Суть исследования: разрыв между лабораториями и независимыми экспертами
Команда Arcadia Impact провела опрос 52 специалистов по безопасности ИИ (AI Safety) из более чем 20 организаций, включая METR, Oxford, Redwood Research и GovAI. Цель — измерить, насколько современные AI-инструменты ускоряют работу третьих сторон (third-party researchers) по сравнению с отсутствием ИИ. Медианный показатель ускорения составил 1.58x.
Это контрастирует с данными от ведущих лабораторий. Например, Anthropic сообщает, что Claude теперь ведет 26% исследований, а исследователи производят в 4 раза больше кода. OpenAI планирует создать полностью автоматизированного исследователя к марту 2028 года. Разница в методологиях и доступе к ресурсам делает прямое сравнение сложным, но указывает на то, что независимые исследователи могут отставать в скорости автоматизации от фронтьер-лабораторий.
Где ИИ дает максимальный прирост, а где — нет
Ускорение распределено неравномерно. Наибольший эффект наблюдается в задачах «build and run» (создание инфраструктуры и запуск экспериментов), тогда как концептуальная работа, требующая глубокого анализа, практически не ускоряется.
| Категория работы | Текущее ускорение (Median) | Прогноз через 6 месяцев |
|---|---|---|
| Создание инфраструктуры/кода (Build) | 5x | 10x |
| Запуск экспериментов (Run) | 3x | 5.6x |
| Выбор направления исследований | Низкое | Низкое |
| Дизайн экспериментов | Низкое | Низкое |
| Анализ результатов | Низкое | Низкое |
Почему общий прирост всего 1.58x?
Ключевая проблема заключается в структуре рабочего времени. Задачи, которые ускоряются ИИ (написание кода, запуск скриптов), составляют лишь около 28% от общей ответственности исследователя. Основная часть работы — концептуальная: выбор гипотез, контекстуализация, дизайн валидных тестов и интерпретация результатов. Эти задачи остаются «узким горлышком» (bottleneck), так как ИИ пока не может эффективно заменять человеческое суждение в них.
Статус автоматизации в индустрии
Большинство респондентов (69%) являются продвинутыми пользователями ИИ, используя кастомные промпты, навыки и интеграции MCP. 65% запускают несколько агентов одновременно. Однако организационная автоматизация развита слабо: только 27% упоминают наличие кастомных оркестраторов, и лишь две организации внедрили общие инструменты автоматизации на уровне всей компании.
Исследователи отмечают, что сложность настройки ИИ-инструментов не коррелирует с большим ускорением работы. Это указывает на то, что экосистема безопасности ИИ упускает возможность масштабирования продуктивности через внедрение стандартизированных организационных решений.
Источник: LessWrong ↗