Проблема: от текста к геометрии и контексту
Проверка профессиональных документов в строительстве — это не просто поиск по тексту. Это задача проверки ограничений (constraint-checking), где решения зависят от сложных отношений между текстом, геометрией чертежей, страницами и их версиями. Традиционные методы часто теряют контекст, когда пытаются сопоставить текстовые требования с визуальными элементами чертежей.
Авторы работы (Rashid Mushkani, Hugo Berard, Shin Koseki) предлагают Evidence-Grounded Pipeline (пайплайн, основанный на доказательствах). Его ключевая особенность — детерминированное выполнение правил в четырех состояниях, нормализация извлеченных фактов и, что самое важное, сохранение исходных фрагментов текста (source spans) в качестве доказательств. Нерешенные случаи автоматически эскалируются для экспертной проверки.
Методология: 160 задач и 29 проектов
Оценка проводилась на выборке из 160 референсных задач, взятых из 29 строительных проектов. Исследователи использовали повторный тест с четырьмя системами и расширение ширины с двумя системами. Ключевым экспериментом стало перераспределение «бюджета» в 4 изображения:
- Было: 4 обзора извлеченных страниц (retrieved page overviews).
- Стало: 1 обзор страницы + 3 перекрывающихся тайла (overlapping tiles).
Результаты: точность против охвата
Перераспределение ресурсов в пользу детализации (тайлов) дало статистически значимый прирост точности принятия решений в рамках семейств проектов. Однако этот эффект не универсален: в более широком блоке данных (Region-RAG) точность даже снизилась.
| Метрика / Эксперимент | Результат | Статистическая значимость |
|---|---|---|
| Прирост точности (повторный тест, 4.3-18.0 CI) | +10.6 п.п. | p = 0.031 (значимо) |
| Изменение точности (Region-RAG, широкий блок) | -4.1 п.п. | p = 0.209 (не значимо) |
| Восстановление набора находок (Exact finding-set recovery) | Низкий уровень | — |
| Частота ложных пропусков (False passes) | Высокая | — |
Вывод: компромисс между глубиной и шириной
Результаты показывают, что не существует универсального преимущества для фокуса на регионах (Region-RAG). Наблюдается четкий trade-off (компромисс) между разрешением (breadth) и глубиной анализа. Исследователи приходят к выводу, что для надежной проверки строительных нормативов необходимы:
- Маршрутизация доказательств, aware к правилам (rule-aware evidence routing).
- Обязательное участие экспертов для случаев с низкой калибровкой согласия при повторных запусках.
Работа подчеркивает, что ИИ в строительной отрасли пока не может полностью заменить человека, но может стать мощным инструментом предварительной фильтрации, если правильно настроен на баланс между общим обзором и детальной проверкой конкретных участков документа.
Источник: arXiv cs.AI ↗