Суть проблемы: от инженерии к науке
Команда исследователей во главе с Мингом Чжунгом (Ming Zhong) представила Agent4Sci — тестовый полигон для оценки способности AI-агентов самостоятельно улучшать опубликованные научные модели. В отличие от стандартных бенчмарков, Agent4Sci проверяет агентов в условиях «в дикой природе» (in-the-wild), где требуется не просто подбор гиперпараметров, а понимание предметной области. Тест охватывает 20 бенчмарков в 11 научных доменах.
Результаты: прогресс есть, но он поверхностный
Фронтальные модели действительно смогли превзойти существующие лучшие результаты (SOTA) на всех тестовых задачах. Однако анализ траекторий работы агентов выявил критическую проблему: улучшения достигались за счет набора стандартных ML-инженерных трюков, а не глубокого научного инсайта. Агенты часто застревали в локальных оптимумах и не использовали вычислительные ресурсы эффективно.
Цифры и сравнения
Базовые фронтальные агенты показали скромный, но стабильный прогресс. Внедрение легких плагинов для генерации идей, управления экспериментами и контроля качества (checklists) позволило значительно повысить эффективность:
| Модель / Конфигурация | Базовое улучшение (%) | Улучшение с плагинами (%) | Примечание |
|---|---|---|---|
| Claude Opus (базовая) | 10.4% | — | Среднее относительное улучшение |
| Claude Opus (с плагинами) | — | 20.1% | Более разнообразные и релевантные вмешательства |
| Codex (базовая) | 4.4% | — | Значительно отстает от Opus |
| Codex (с плагинами) | — | 8.1% | Двукратный рост эффективности |
Три главных ограничения агентов
Авторы выделяют три системные ошибки, которые мешают агентам стать полноценными научными помощниками:
- Неверная калибровка новизны: агенты часто предлагают изменения, которые кажутся новыми, но не несут реальной ценности.
- Недоиспользование ресурсов: неспособность планировать долгосрочные эксперименты с учетом вычислительных ограничений.
- Быстрая деградация: склонность быстро скатываться к рутинным инженерным настройкам вместо поиска новых гипотез.
Почему это важно
Исследование демонстрирует, что текущие LLM-агенты — это мощные инструменты автоматизации рутины, но они еще не обладают научным мышлением. Внедрение структурированных методов управления экспериментами (как в эксперименте с плагинами) может стать мостом между простым кодингом и настоящей научной автоматизацией. Код и данные доступны на GitHub и Hugging Face.
Источник: arXiv cs.AI ↗