Проблема: LLM не справляются с качеством требований
Инженерия требований (RE) — фундамент системной инженерии. Ошибки здесь дорого обходятся на поздних этапах. Хотя LLM перспективны для проверки качества, «голые» модели часто пропускают дефекты, выявленные экспертами, и работают нестабильно. Авторы работы (Jannatul Shefa, Alejandro Salado и др.) из Университета Аризоны предлагают решение: внедрить в промпты структурированные знания из стандартов INCOSE.
Решение: MARQ и стек знаний INCOSE
Система MARQ (Modular, LLM-Agnostic Requirement Quality Assessor) не привязана к конкретному провайдеру. Она работает как модуль, который дополняет любую LLM критериями качества требований. Исследование проводилось на экспертно размеченном наборе данных NASA. Для тестирования использовались три модели: проприетарные Claude Opus 5 и GPT-5.6 Sol, а также открытая Gemma 3 12B. Каждая модель была запущена 100 раз для оценки стабильности.
Результаты: Прорыв с Claude Opus 5
Интеграция инженерных знаний дала значимый прирост метрик, но эффект сильно зависел от базовой модели. Claude Opus 5 показал наилучшие результаты, значительно снизив количество ложных срабатываний. GPT-5.6 Sol стал точнее в обнаружении дефектов, но начал чаще ошибаться в обратную сторону. Gemma 3 12B, несмотря на рост, осталась нестабильной.
| Модель | Базовый F1 (Off-the-shelf) | F1 с MARQ | Прирост | Ключевая особенность |
|---|---|---|---|---|
| Claude Opus 5 | 0.55 | 0.80 | +25 п.п. | Лучший контроль ложных срабатываний |
| GPT-5.6 Sol | 0.52 | 0.62 | +10 п.п. | Выше обнаружение, но больше ложных тревог |
| Gemma 3 12B | 0.18 | 0.53 | +35 п.п. | Догнала проприетарные аналоги, но нестабильна |
Детали: Где именно стало лучше?
Анализ по критериям показал, что наибольший прогресс достигнут в категориях Correctness (корректность) и Conformance (соответствие стандартам). Однако внутри отдельных критериев наблюдаются компромиссы: улучшение в одном аспекте часто ведет к росту ошибок в другом. Это подчеркивает необходимость «human-in-the-loop» (человека в контуре) для финальной проверки, особенно при использовании открытых моделей.
Значение для индустрии
Работа доказывает, что «инжиниринг знаний» (knowledge infusion) — это универсальный путь улучшения LLM в нишевых областях, таких как системная инженерия. MARQ показывает, что даже открытые модели (Gemma) могут достичь уровня проприетарных при правильной подаче экспертных правил, что снижает стоимость внедрения AI в критически важные процессы разработки.
Источник: arXiv cs.AI ↗