Проблема автономии и контроля
Создание AI-агентов для науки сталкивается с дилеммой: полная автономия ведет к галлюцинациям, а микроменеджмент убивает эффективность. Авторы представляют DiscoveryAgent — фреймворк, где агент самостоятельно проводит эксперименты, но ученый может корректировать гипотезы между раундами. Ключевое нововведение — система checkpointing (фиксация промежуточных состояний), позволяющая «агентам-аудиторам» проверять цепочки рассуждений и воспроизводить анализ.
Результаты бенчмарков и метрики
Система протестирована на задачах предсказательного моделирования. В сравнении с базовыми моделями DiscoveryAgent показал выдающиеся результаты, особенно при вмешательстве человека. Аудиторы-агенты выявляют ошибки автономнее, а люди, используя их помощь, находят в 14 раз больше реальных проблем, чем при ручной проверке.
| Задача / Домен | Результат / Метрика | Значение |
|---|---|---|
| Классификатор переменных звезд | Лучший среди всех базовых моделей | Превосходство над автономными аналогами |
| Предсказание эффекта вариантов белка | Уступил 1 из 106 базовых моделей ProteinGym | Высочайшая точность при steer-управлении |
| Фотометрическая оценка красного смещения | 0.971 AUROC (низкое красное смещение) | Решение проблем изображений и фотометрии |
| Анализ страховых премий (Флорида) | Рост на 83% (2013–2023) | Выявление регрессивной нагрузки |
| Гены T-клеток (CD4+) | Выявлены гены ретрансляции | Связь с аутоиммунными заболеваниями |
Почему это важно
DiscoveryAgent меняет парадигму взаимодействия «человек-ИИ». Вместо того чтобы ИИ выдавал готовый ответ, он становится инструментом расширения эмпирического охвата ученого. Система позволяет исследователям сохранять авторитет над направлением работы, одновременно используя AI для масштабной обработки данных и поиска аномалий, которые человек мог бы пропустить.
Источник: arXiv cs.AI ↗
