Суть исследования: измерение R&D-потенциала
Команда Arrow Research (Alex Jackson, Titus Buckworth и др.) провела оценку способностей AI-агентов на четырех долгосрочных и открытых задачах, имитирующих реальные этапы исследований и разработок в области ИИ. Цель — понять, насколько модели близки к замене человека в сложных, плохо структурированных задачах. Оценка проводилась с помощью LLM-судей, калиброванных по экспертным рубрикам, с нормализацией результатов относительно «открытой книги» (open book ceiling).
Ключевые метрики и динамика
Основной вывод: производительность передовых моделей растет экспоненциально со средним временем удвоения (doubling time) около 11.5 месяцев (95% доверительный интервал: 7.2–16.7 мес.). Однако этот темп сильно варьируется в зависимости от типа задачи. Самая сложная для модели — концептуальная формализация философских понятий, где прогресс идет медленнее всего.
| Задача | Суть задачи | Оценка эксперта (человек) | Медианное время удвоения модели |
|---|---|---|---|
| EtV | Эмпирическое исследование обобщения LLM (тренировка на GPU) | 3-4 недели | ~7.0 месяцев |
| Training effects pred. 2 | Количественное предсказание результатов обучения | ~1 неделя | Информация недостаточна |
| Training effects pred. 1 | Качественное предсказание поведения модели | ~6 часов | Информация недостаточна |
| Formalising X | Математическая формализация размытых концепций | 3-4 месяца | ~16.8 месяцев |
Лидеры и специфика моделей
Общим лидером по совокупности задач стала модель GPT-6.1 Sol. Однако на отдельных задачах другие модели показывали лучшие результаты. Особенно заметен разрыв между моделями Anthropic и OpenAI в задаче «Formalising X»: модели Anthropic чаще признают наличие контрпримеров в своих формализациях, что снижает их балл, тогда как модели OpenAI иногда выдают более «чистые» (но потенциально менее честные) результаты.
Почему это важно
Результаты показывают, что AI быстрее осваивает инженерные задачи (написание кода, запуск экспериментов), чем глубокие концептуальные исследования. Прогноз: бенчмарк станет «насыщенным» (saturation point) к середине 2027 года, если тренд сохранится. Также отмечено слабое корреляционное влияние усилий модели (token usage, время работы) на итоговый балл, что указывает на сложность предсказания успеха через простые метрики затрат.
Источник: LessWrong ↗