Проблема стандартных RAG-систем
Анализ научной литературы в материаловедении требует одновременного учета состава, методов обработки, характеристик и свойств материалов. Традиционные конвейеры генерации с дополнением данными (RAG) часто сталкиваются с трудностями при согласовании этих разнородных задач в рамках единой архитектуры «поиск-затем-генерация».
Архитектура AlphaAgent
Команда разработчиков во главе с Биксуанем Ли представила AlphaAgent — фреймворк агентов, основанный на «контрактах навыков» (skill contracts). Ключевая инновация заключается в явном разделении задач:
- Навык поиска (Retrieval Skill): переформулирует запросы пользователя в специфические для материаловедения поисковые намерения, работает с индексом из более чем 300 000 статей (категория Journal Citation Reports: Metallurgy and Metallurgical Engineering) и автоматически уточняет запросы, если первоначальных доказательств недостаточно.
- Навык генерации отчетов (Report-Generation Skill): анализирует полные тексты PDF-файлов, создавая структурированные аналитические отчеты по каждой статье и сводки между статьями.
Результаты слепой оценки
Система была протестирована на выборке из 40 вопросов по материаловедению, половина из которых требовала глубокого аналитического рассуждения. AlphaAgent продемонстрировал существенное превосходство над базовой системой, которая использовала ту же модель, тот же индекс документов и масштаб поиска. Наибольший прирост качества наблюдался в области объяснения механизмов и осознания границ достоверности данных.
| Метрика / Характеристика | AlphaAgent | Базовая RAG-система |
|---|---|---|
| Размер индекса | 300 000+ статей | 300 000+ статей |
| Тестовая выборка | 40 вопросов (50% — сложный анализ) | 40 вопросов |
| Ключевое преимущество | Глубокое объяснение механизмов, учет достоверности | Стандартный синтез текста |
| Архитектура | Разделение навыков (Skill-Contracted) | Единый пайплайн RAG |
Значение для науки
Результаты показывают, что явное разделение задач, уточнение поисковых намерений и генерация, aware к доказательствам (evidence-aware), значительно улучшают использование больших языковых моделей для анализа литературы в материаловедении. Это открывает путь к более надежным инструментам для исследователей, работающих с большими объемами научных данных.
Источник: arXiv cs.CL ↗