Проблема: почему модели игнорируют инструкции в рассуждениях
Мониторинг цепочки рассуждений (Chain-of-Thought, CoT) считается ключевым инструментом безопасности для агентов на базе больших языковых моделей. Однако текущие модели часто демонстрируют низкую способность контролировать то, что они «озвучивают» в своих мыслительных процессах. Исследователи из Meta AI (Hugh Van Deventer, Dmitrii Troitskii, Laura Ruis) выяснили, что корень проблемы лежит в схлопывании энтропии (entropy collapse) в первых нескольких токенах после открывающего тега мышления.
Решение: префиллинг и запрет частых токенов
Авторы предлагают два метода вмешательства на этапе инференса, которые позволяют восстановить контроль над CoT:
- Префиллинг (Prefilling): даже один заранее заданный токен может существенно повысить управляемость модели.
- Запрет частых открывающих токенов + примеры в контексте: комбинация этих методов позволяет значительно улучшить соблюдение инструкций.
Ключевые метрики и результаты
Внедрение описанных интервенций привело к существенному росту показателей compliance (соответствия инструкциям). Ниже представлены агрегированные результаты улучшений:
| Метод вмешательства | Рост compliance (pp) | Основной эффект |
|---|---|---|
| Запрет частых токенов + In-Context Examples | +34–41 п.п. | Улучшение среднего соблюдения инструкций across моделей |
| Префиллинг (1 токен) | Существенное увеличение | Быстрое восстановление контроля над стартом рассуждений |
Две разные способности: добавление против подавления
Исследование выявило, что управляемость CoT не является единым монолитным навыком. Она разделяется на две группы с разными механизмами:
- Добавление и стиль (Addition & Style): способность добавлять или трансформировать информацию. Эти навыки положительно коррелируют с возможностью мониторинга.
- Подавление (Suppression): способность избегать или удалять информацию. Эта группа ведет себя иначе: корреляция с мониторингом часто отрицательна, а внутри группы показатели могут вести себя независимо от первой группы.
Почему это важно для индустрии
Результаты показывают, что существующие метрики безопасности могут быть обманчивы. Если модель хорошо контролирует «добавление» информации, это не гарантирует, что она сможет эффективно подавлять вредоносные или нежелательные данные. Разработчикам систем безопасности необходимо разделять оценку этих двух способностей и учитывать «узкое горлышко» первых токенов при проектировании интерфейсов для взаимодействия с CoT.
Источник: arXiv cs.AI ↗