Проблема: от поиска по ключевым словам к семантическому пониманию
Применение строительных норм и правил (СНиП, ГОСТ и др.) традиционно требует ручного поиска документов и интерпретации множества взаимосвязанных пунктов. Существующие подходы на основе ключевого поиска не способны обеспечить надежное многошаговое рассуждение, использование мультимодальных данных (чертежи, схемы) и предоставление прослеживаемых ссылок на конкретные пункты стандартов. Это создает риски ошибок в проектировании и строительстве.
Решение: Архитектура BEST-KAG
Команда авторов (Jia-Rui Lin, Junxi Guo, Keyin Chen, Peng Pan) разработала фреймворк BEST-KAG (Knowledge-Augmented Generation for Building Engineering STandards). Система объединяет два ключевых компонента:
- Мультимодальный граф знаний (MKG): унифицированное представление иерархии документов и разнородных знаний с различными связями.
- Гибридный пайплайн (Правила + LLM): метод извлечения знаний, позволяющий масштабировать создание графа без полной потери точности.
Масштаб данных: 251 стандарт, 310 тысяч связей
Для обучения и работы системы был создан обширный граф знаний (MAG), включающий данные из 251 строительного стандарта. Объем структурированных данных впечатляет:
| Метрика | Значение | Значимость |
|---|---|---|
| Количество стандартов | 251 | Покрытие ключевых отраслевых норм |
| Узлы графа (Nodes) | 171,652 | Детализация понятий и терминов |
| Ребра графа (Edges) | 310,914 | Связи между требованиями, условиями и последствиями |
Результаты: Превосходство над базовыми моделями
Эксперименты показали, что BEST-KAG стабильно превосходит современные большие языковые модели (LLM) в задачах ответа на вопросы. Система обеспечивает не только высокую точность, но и clause-grounded (опорную на конкретные пункты) и прослеживаемую выдачу ответов, что критически важно для инженерной отрасли.
Ключевые метрики улучшения по сравнению с базовыми моделями (baselines) приведены ниже:
| Метрика | Результат | Комментарий |
|---|---|---|
| Expert Evaluation | Значительное улучшение | Оценка качества ответов профильными экспертами |
| BLEU | Рост | Метрика точности совпадения текста |
| ROUGE | Рост | Метрика охвата ключевых фраз |
| Макс. улучшение | +74.01% | Пиковый прирост эффективности над базовыми LLM |
Почему это важно
Внедрение таких систем, как BEST-KAG, переводит работу со строительной нормативной базой из плоскости ручного труда в плоскость автоматизированного интеллектуального поиска. Возможность получать ответы с прямой ссылкой на конкретный пункт стандарта снижает юридические и технические риски, а использование мультимодальных графов позволяет учитывать не только текст, но и визуальные данные, интегрированные в нормативы.
Источник: arXiv cs.AI ↗