От текста к действиям: эмпирические данные
По мере того как большие языковые модели (LLM) превращаются из чат-интерфейсов в автономных акторов, возникает критическая проблема: стандартные датасеты, основанные на тексте и коде, больше не обеспечивают адекватного обучения. Автор статьи, исследователь из Tarantula Labs, провел эксперимент по дообучению модели Gemma на реальных взаимодействиях в ограниченной среде.
Результаты оказались парадоксальными и показательными. Несмотря на очень маленький корпус данных, модель показала реальный прогресс в 3 из 4 типов задач. Однако регрессия в одной из задач выявила главную проблему: 4% данных в обучающей выборке имели «стиль» решения, отличный от основного. Модель начала копировать этот стиль, демонстрируя излишнюю «блуждающую» логику вместо прямых действий. Это доказывает, что шум в данных действий разрушает эффективность агента быстрее, чем в классических задачах генерации текста.
Три условия валидной среды
Для того чтобы среда обучения была полезна, она должна соответствовать трем строгим критериям. Автор выделяет их как фундаментальные ограничения для создания универсальных движков для агентов:
- Рабочая, живая среда. Среда должна не просто имитировать правила, но и функционировать как реальная система (например, облачная инфраструктура, а не абстрактная доска).
- Решаемость в масштабе. Если среда требует ручной проверки для каждого из 10 миллионов запусков, она бесполезна. Среда должна быть решаемой автоматически и масштабируемо. Нерешаемые задачи в большинстве случаев просто генерируют шум, деградирующий модель.
- Решаемость только предполагаемым путем. Самая сложная задача. Если агент находит «чит» (shortcut), позволяющий решить задачу без обучения нужным навыкам, среда сломана. Полностью исключить это сложно, но можно внедрить механизмы обнаружения таких путей и исключать их из обучения.
Реализм против разнообразия
Ключевая проблема современных бенчмарков — их искусственная чистота. Обучение на средах с одним сломанным компонентом учит модель решать только идеализированные задачи, что не позволяет ей обобщать знания на реальный мир, где десятки сервисов зависят друг от друга и ломаются по-разному.
Гипотеза производительности
Автор выдвигает гипотезу, которую планирует проверить в ближайшее время: современные модели уже обладают абстрактным знанием того, как отлаживать системы (понимают логику действий). Поэтому задача обучения смещается с приобретения знаний на улучшение производительности (performance) через отработку взаимодействий. Это позволяет использовать более простые, но разнообразные среды, фокусируясь на качестве действий, а не на сложности симуляции.
Сводка ключевых метрик эксперимента
| Параметр | Значение / Наблюдение |
|---|---|
| Модель | Gemma |
| Тип данных | Реальные взаимодействия (bounded real interactions) |
| Результат по задачам | Улучшение в 3 из 4 типов задач |
| Причина регрессии | 4% данных с «блуждающим» стилем решения |
| Ключевой вывод | Качество стиля действий важнее объема данных |
Открытые вопросы
Автор поднимает вопрос о необходимости создания task-agnostic (не зависящих от конкретной задачи) движков для обучения агентов, а не узкоспециализированных бенчмарков. Также ставится под сомнение, является ли обучение через действия единственно верным путем, или же модели могут развиваться за счет накопления знаний. Эти вопросы остаются открытыми для сообщества AI-разработчиков.
Источник: LessWrong ↗