Новый отчет METR, оценивающий влияние AI на прогресс в области способностей моделей (capabilities), указывает на ускорение работы Anthropic в 1.7 раза. Однако, как отмечает эксперт Ajeya Cotra, это косвенно подразумевает ускорение самого исследовательского процесса примерно в 10 раз (по оценкам сотрудников Anthropic — до 12x). Это означает, что исследователи производят в 10 раз больше качественных результатов по сравнению с прошлым годом.
Несмотря на то, что внешние исследователи безопасности (safety researchers), такие как команда Redwood AI, потенциально могут масштабировать использование вычислительных ресурсов быстрее, чем внутренние команды Anthropic, эмпирические данные показывают иную картину. В то время как ожидается 5-кратное ускорение проектов, фактический рост производительности составляет лишь 2-3x.
Ключевые метрики ускорения
| Источник / Контекст | Оценка ускорения (Uplift) | Примечание |
|---|---|---|
| METR (общий прогресс Anthropic) | 1.7x | Косвенный индикатор ускорения работы |
| Ajeya Cotra / Сотрудники Anthropic | 10x – 12x | Оценка качества-скорректированных результатов |
| Anthropic (Mythos 5) | 5x | Внутренняя оценка исследователей |
| Redwood AI (эмпирические данные) | 2x – 3x | Фактическое ускорение работы внешних исследователей |
Почему происходит разрыв?
Автор поста Buck выделяет несколько гипотез, объясняющих, почему ускорение AI-безопасности не достигает ожидаемых 10x:
- Инфраструктурное неравенство: Anthropic, вероятно, использует специфические внутренние инструменты и скаффолды (scaffolds), которые делают модели значительно полезнее для ML-исследований. Эти инструменты могут быть коммерциализированы или не публиковаться открыто.
- Ограничения моделей: Несмотря на использование Claude Code и собственных решений Redwood, модели часто принимают «неадекватные» решения, что приводит к невалидным результатам. Слабые стороны в написании отчетов также снижают общую эффективность.
- Специфика задач: Исследования способностей (capabilities), особенно связанные с пре-тренингом и эффективной реализацией архитектур, могут быть более восприимчивы к ускорению AI, чем краткосрочные работы по выравниванию (alignment).
- Управленческие узкие места: Рост скорости работы младших исследователей может упираться в время менеджеров, которые не успевают оценивать приоритеты экспериментов.
Тем не менее, есть и успешные кейсы. Например, работа Райана по расследованию Hugging Face была значительно ускорена благодаря интенсивному использованию AI-агентов, что доказывает возможность 10-кратного роста эффективности при правильном подходе и опыте исследователя.
Источник: LessWrong ↗