Специализация работает, но не идеально
Команда исследователей под руководством P. B. Radha представила первый детальный бенчмарк для оценки языковых моделей в области физики плазмы и инерциального удержания термоядерного синтеза (ICF). В набор данных вошло 250 вопросов, охватывающих качественное рассуждение, численные вычисления, символьные преобразования и формулировку уравнений. Оценка проводилась с помощью детерминированных проверок (для чисел и формул) и языковых судей (для качественных ответов).
Ключевым объектом сравнения стала модель Prospero, разработанная с помощью доменно-адаптивного предобучения и контролируемой тонкой настройки (SFT). Результаты показали, что специализация дает измеримый прирост: Prospero улучшил свой совокупный балл на 10,7 процентных пункта по сравнению с базовой моделью, причем улучшения наблюдались во всех типах задач.
Фронтенд-модели лидируют, но физика страдает
Несмотря на успех специализированной модели, самые передовые закрытые LLM (frontier models) показали наивысшие совокупные баллы. Однако авторы подчеркивают критический недостаток: в этих моделях сохраняются критические физические ошибки, особенно в задачах на численные расчеты. Это ставит под сомнение их готовность к автономному использованию в научных исследованиях без строгого экспертного контроля.
Влияние RAG на результаты
Исследователи также протестировали эффективность retrieval-augmented generation (RAG). Для более маленькой модели использование внешних знаний дало заметный прирост производительности. Однако для передовых моделей (frontier models) добавление контекста не дало статистически значимого улучшения, что указывает на то, что текущие большие модели уже «знают» достаточно, но не всегда правильно это интерпретируют с точки зрения физики.
Сравнение моделей
Ниже приведена сводка результатов сравнения базовых и специализированных подходов в контексте задачи ICF:
| Модель / Подход | Ключевая метрика / Результат | Примечание |
|---|---|---|
| Prospero (специализированная) | +10.7 п.п. к базовой модели | Доменно-адаптивное предобучение + SFT |
| Frontier LLM (закрытые) | Наивысший совокупный балл | Сохраняются критические физические ошибки |
| Малая модель + RAG | Заметное улучшение | Извлечение знаний помогает слабым моделям |
| Frontier LLM + RAG | Нет стат. значимого улучшения | Контекст не исправляет фундаментальные ошибки |
Рекомендации для научного сообщества
Авторы приходят к выводу, что рост баллов в бенчмарках не гарантирует научной надежности. Они рекомендуют исследователям сначала оценивать существующие возможности доменных моделей и эффективность поиска (RAG), прежде чем инвестировать значительные ресурсы в дополнительную специализацию. Два дополнительных «стресс-теста» показали, что даже полезные возможности моделей требуют экспертной оценки физических предположений и валидности выводов.
Источник: arXiv cs.AI ↗