GEMS-RAG: Графовый RAG для инженерных стандартов

Проблема: LLM не справляются с многомерными стандартами

Инженерные стандарты (например, дорожные правила или строительные нормы) — это не просто текст. Это сложные документы, где правила жестко привязаны к схемам, таблицам и перекрестным ссылкам. Обычные методы RAG (Retrieval-Augmented Generation), которые ищут только по тексту, часто теряют контекст, когда вопрос требует сопоставления числовых параметров из таблицы с визуальными элементами на чертеже.

Решение: GEMS-RAG и графовый подход

Команда авторов (Abdul Hannan Azad и соавт.) предложила фреймворк GEMS-RAG (Graph-grounded Engineering Multimodal Standards Retrieval-Augmented Generation). Ключевое отличие — отказ от обработки изображений как «монолитных» картинок. Система использует:

• Иерархическое парсинг документа для понимания структуры.
• Извлечение визуальных сущностей (детекция объектов на чертежах).
• Построение мультимодального графа знаний, где узлы — это текстовые пункты, а ребра связывают их с конкретными элементами схем и таблиц.

Тестирование на MUTCD

Для валидации методологии исследователи использовали MUTCD (Manual on Uniform Traffic Control Devices) — обширный стандарт управления дорожным движением, содержащий сотни технических рисунков и нормативов. GEMS-RAG применяет гибридный поиск: комбинирует плотный (dense), разреженный (sparse) и визуальный поиск с расширением графа для нахождения релевантных доказательств.

Результаты и преимущества

Эксперименты показали, что графово-обоснованный мультимодальный RAG превосходит базовые модели, работающие только с текстом или только с мультимедиа. Это критически важно для safety-critical приложений (авиация, строительство, медицина), где ошибка в интерпретации чертежа или сноски может стоить дорого.

Работа опубликована 23 октября 2026 года в arXiv (cs.AI). Фреймворк открывает путь к автоматизированному аудиту и проверке соответствия сложным техническим регламентам.

Источник: arXiv cs.AI ↗