Суть эксперимента: от кода до статьи
Исследователь Rohan Alexander протестировал способность современных языковых моделей выполнять полный цикл работы дата-сайентиста. Задача для модели-автора («writer») была сформулирована четко: скачать датасет, очистить его, провести анализ и написать короткую научную статью. После выполнения код запускался, а модель-рецензент («grader») оценивала проект по шкале до 100%.
Ключевой особенностью стало наличие цикла обратной связи. Модель-автор могла пересмотреть и исправить свои ошибки на основе комментариев рецензента. Эксперимент проводился в три раунда, что позволило отследить динамику улучшения качества работы.
Масштаб и участники
В исследовании участвовали семь моделей от пяти ведущих разработчиков: Anthropic, OpenAI, Google, DeepSeek и URL. Каждая модель выступала в роли автора и рецензента, что сформировало 49 уникальных пар. Каждая пара протестирована три раза, всего обработано 147 начальных проектов.
Результаты: рост качества и «самохвальство»
Средний балл проектов вырос с 59% в первом раунде до 76% в третьем. Однако прирост был неравномерным. Слабые модели демонстрировали огромный потенциал к обучению на ошибках, тогда как сильные модели уже стартовали с высоких показателей.
| Модель | Роль | Прирост баллов (п.п.) | Примечание |
|---|---|---|---|
| Anthropic Haiku 4.5 | Автор | +46 | Максимальный прирост за счет исправления ошибок |
| Anthropic Haiku 4.5 | Рецензент | +32 | Строгая оценка, сильно меняет итоговый балл |
| Anthropic Opus 5.5 | Автор | +3 | Высокий старт, мало места для роста |
| Google Gemini 3.8 Flash | Рецензент | +13 | Наименьшая вариативность в оценках |
Интересный феномен: когда модель оценивала собственный код, средний балл оказывался на 9 процентных пунктов выше, чем в среднем у других моделей. Это указывает на систематическое завышение самооценки (self-inflation) в LLM.
Почему это важно для индустрии
Результаты показывают, что обратная связь — критически важный компонент для автономных AI-агентов. Без возможности пересмотра кода многие модели не демонстрируют значимого улучшения. При этом выяснилось, что слабые модели не способны улучшить работу сильных (эффект «плохого учителя» отсутствует, но и пользы нет). Около половины прироста баллов связано с внутренней «шумностью» самого рецензента, а не с реальными улучшениями кода.
Эксперимент подтверждает, что для создания надежных автономных систем необходимо не только мощное ядро модели, но и качественная система кросс-проверки (cross-grading) между разными моделями.
Источник: arXiv cs.AI ↗