Проблема многооборотного взаимодействия
Несмотря на высокие показатели в одиночных задачах, современные большие языковые модели (LLM) часто терпят неудачу в длительных диалогах с пользователями. Основные проблемы включают попытку решения задачи до полного понимания потребностей пользователя и неспособность исправить ошибочные предположения после получения обратной связи. Авторы работы, опубликованной в arXiv (9 октября 2026 года), предлагают решение, названное Collaborative Theory of Mind (CToM).
Механизм работы: предсказание и самокоррекция
Ключевая идея CToM заключается в том, чтобы обучить модель «читать мысли» пользователя. Процесс работает в три этапа:
- Черновик: Модель генерирует первоначальный ответ.
- Прогноз: Модель предсказывает, как именно ответит пользователь (подтвердит, уточнит или исправит).
- Самокоррекция: На основе этого прогноза модель внутренне пересматривает свой ответ, прежде чем показать его пользователю.
Во время обучения целевым значением для предсказания следующего хода пользователя служит его реальный ответ. Оптимизация проводится с использованием метода Group-Relative Policy Optimization (GRPO), что позволяет одновременно улучшать качество решения задачи и эффективность взаимодействия.
Результаты и метрики
Эксперименты проводились на задачах математического мышления, программирования и написания текстов. CToM превзошла все базовые модели. Ниже приведены ключевые показатели эффективности:
| Метрика | Показатель | Значение / Изменение |
|---|---|---|
| Точность (математика) | Naive GRPO vs CToM | Рост с 74.1% до 79.6% |
| Эффективность (код) | Снижение кол-ва ответов пользователя | На 8% меньше итераций при том же уровне награды |
| Эффективность (текст) | Снижение кол-ва ответов пользователя | На 17% меньше итераций при том же уровне награды |
Почему это важно
Анализ траекторий взаимодействия показал, что чем точнее модель предсказывает реакцию пользователя после обучения, тем больше она способна улучшить свой ответ через самокоррекцию. Это снижает когнитивную нагрузку на пользователя, так как ему требуется реже вступать в диалог для исправления ошибок модели. CToM демонстрирует переход от пассивного выполнения команд к проактивному сотрудничеству, что критически важно для внедрения AI-ассистентов в сложные рабочие процессы.
Источник: arXiv cs.AI ↗