Проблема бинарного выбора
Традиционные методы дистилляции интерактивных LLM-агентов делятся на два лагеря: off-policy (учитель генерирует и историю, и действия) и on-policy (студент генерирует всё сам). Авторы статьи из arXiv:2610.31918 утверждают, что это упрощение скрывает более сложную реальность. Они вводят концепцию иерархической дистилляции, где процесс разбивается на два независимых уровня:
- Уровень 1 (История): Какая политика генерирует контекст/историю взаимодействия?
- Уровень 2 (Действие): Какая политика генерирует префикс токенов текущего действия?
Это позволяет не просто смешивать данные, а тонко настраивать, кто именно (учитель или студент) отвечает за каждый аспект обучения.
Экспериментальная проверка
Исследование проведено в условиях само-дистилляции (self-distillation), где замороженный учитель имеет доступ к guidance (подсказкам задачи), недоступным студенту. Тестирование включало три модели и четыре интерактивные среды. Ключевые выводы представлены в таблице ниже:
| Конфигурация дистилляции | Результат эффективности | Комментарий исследователей |
|---|---|---|
| Student History + Teacher Action | Наивысший | История от студента учитывает его ограничения, а действия от учителя дают качественный сигнал. |
| Student History + Student Action | Наихудший | Полное следование за студентом на обоих уровнях приводит к накоплению ошибок. |
| Teacher History + Teacher Action | Хороший (базовый) | Классический off-policy подход, эффективен, но уступает гибридным методам. |
| Смеси (Mixtures) | Зависит от пропорций | Одинаковые доли on-policy данных могут давать разный результат в зависимости от того, как они спарены по уровням. |
Стратегия расписания обучения
Важно не только что мы используем, но и когда. Авторы обнаружили, что статические смеси данных уступают динамическим стратегиям. Оптимальный подход — front-loading (загрузка в начало):
- Начинайте обучение с контекстов, полностью сгенерированных учителем (стабильная база).
- Постепенно вводите on-policy контексты (адаптация к ошибкам студента) ближе к концу обучения.
Почему это важно
Это исследование меняет практику создания агентов. Вместо простого вопроса «брать ли данные учителя или ученика», инженеры теперь могут задавать вопрос: «Кто должен формировать контекст, а кто — решение?». Гибридный подход Student History / Teacher Action становится новым золотым стандартом для эффективного обучения LLM-агентов, позволяя им учиться на опыте учителя, не теряя связи с собственными ограничениями модели.
Источник: arXiv cs.AI ↗