Проблема: хаос в технических спецификациях
Технические даташиты (datasheets) содержат критически важные инженерные спецификации, необходимые для выбора компонентов и верификации совместимости. Однако ручная обработка таких документов утомительна и чревата ошибками из-за их объема и гетерогенности: информация фрагментирована по таблицам, рисункам и тексту. Простое использование больших языковых моделей (LLM) в режиме «one-shot» (однократная обработка всего документа) часто приводит к потере релевантных спецификаций, даже если документ помещается в контекстное окно модели.
Решение: итеративный конвейер с маршрутизацией
Авторы Haotian Qiao и Robert P. Dick представили автоматизированный LLM-конвейер, который преобразует даташиты в иерархические графы знаний. Ключевые особенности подхода:
- Chunk-based extraction: Извлечение свойств происходит по частям документа, а не целиком.
- Hierarchical routing: Иерархическая маршрутизация запросов для снижения нагрузки на контекст.
- Iterative refinement: Итеративное уточнение данных с сохранением происхождения информации (provenance).
Такой поэтапный дизайн позволяет использовать LLM для семантического вывода, но применяет графовые обновления через детерминированное локальное выполнение, что обеспечивает прослеживаемость промежуточных представлений.
Результаты: прорыв в точности и полноте
Фреймворк был протестирован на 20 даташитах различных типов компонентов. Авторы ввели метрику «inter-graph completeness» для оценки семантического покрытия без необходимости полного ground truth. Результаты демонстрируют существенное превосходство нового метода над базовой моделью (one-shot baseline):
| Метрика | Предложенный метод | One-shot Baseline |
|---|---|---|
| Верность свойств (Property Faithfulness) | 98.8% | 76.1% |
| Полнота покрытия (полное покрытие верных свойств) | 83.6% | 10.5% |
Важно отметить асимметрию результатов: базовая модель полностью покрывает лишь 10.5% свойств, извлеченных новым методом, тогда как новый метод покрывает 83.6% свойств базовой модели. Это указывает на то, что простой подход не только менее точен, но и значительно менее полон.
Значение для индустрии
Созданные графы знаний обеспечивают семантически организованную, основанную на источниках информацию о свойствах оборудования. Это снижает риск упущения ограничений и принятия неверных решений при проектировании и верификации аппаратного обеспечения. Метод позволяет автоматизировать рутинный анализ документации, делая его надежным инструментом для инженеров.
Источник: arXiv cs.AI ↗