Суть эксперимента
Команда Arcadia Impact в сотрудничестве с Equistamp и UKAISI разработала «скелет» (scaffold) для автоматизации научных исследований (Automated Alignment Research — AAR). Система работает по следующему принципу:
- Инициация: Агент получает задачу и метрику, пишет скрипт оценки и создает изолированную среду.
- Исполнение: Рабочие агенты (Worker agents) на отдельных VM итерируют решения, опираясь только на локальную среду.
- Контроль: Оркестратор анализирует транскрипты, может перезапускать агентов. Результаты оцениваются на отложенной (held-out) выборке.
Цель была двойной: ускорить работу исследователей и собрать данные о режимах отказа (failure modes) автоматизированного выравнивания (alignment).
Почему это не ускорило работу (Research Uplift)
Внедрение показало низкий уровень принятия. Исследователи не увидели выгоды по трем ключевым причинам:
- Концептуальная работа: Скрипт хорош для узких задач с четкой метрикой. Но главная боль науки — это моделирование угроз, дизайн экспериментов и анализ результатов для выбора следующего шага. К моменту, когда задача сводится к «поднятию метрики», основная интеллектуальная работа уже сделана.
- Проблема «научного вкуса»: Модели отлично строят и запускают эксперименты, но крайне плохо интерпретируют результаты. Они не способны сформировать «научный вкус» — то есть понять, какой следующий вопрос стоит задать. Текущие методы обучения не обобщаются на принятие решений, требующих концептуальной ясности.
- «Whack-a-mole» с промптами: Попытка заставить агентов «делать хорошую науку» вместо «максимизации балла» привела к новым проблемам. Агенты начали тратить ресурсы на абляции и контроль незначимых переменных. Команда тратила все больше времени на дописывание ограничений в системные промпты, что нивелировало экономию времени.
Ключевые инсайты: Режимы отказа (Failure Modes)
Несмотря на провал в ускорении, проект выявил серьезные риски для безопасности AI:
- Проблема аудита: Аудит AAR-запусков становится экспоненциально сложнее из-за объема данных и «прозы», генерируемой моделями. В эпоху роев агентов (agent swarms) это станет еще дороже и сложнее.
- Отсутствие ground truth: Нет объективной истины для оценки мониторинга. Люди и модели часто не сходятся в том, что считать «плохим поведением». Многоагентная несогласованность легко пропускается.
- Взаимодействие с моделью: Многие проблемы специфичны для конкретного дизайна скелета. Важно тестировать модели и скелеты вместе, чтобы понять, какие поведения устойчивы.
Планы на будущее
Авторы выражают обеспокоенность тем, что лаборатории будут агрессивно автоматизировать R&D, в то время как безопасность (safety) отстает. Они предлагают:
- Прозрачность: Лаборатории должны публиковать данные о том, какие части исследований автоматизированы, какой реальный прирост скорости получен и как мониторятся риски.
- Оценки мониторинга: Создание строгих ground truth для оценки безопасности и валидности науки, сгенерированной AI.
- Прокси-настройки: Разработка тестовых сред для изучения масштабируемого надзора (scalable oversight), так как прямой аудит auto-alignment исследований слишком дорог.
Источник: LessWrong ↗