Суть открытия: рассуждение без слов
Традиционно считалось, что модели больших языковых моделей (LLM) способны выполнять только параллельные вычисления (класс TC⁰) при использовании так называемых filler tokens — токенов-заполнителей, таких как цепочка точек «...». Это утверждение базировалось на работе Pfau et al. (2024), где модели решали простые задачи, не требуя последовательной зависимости шагов.
Новое исследование, проведенное в рамках проекта MARS 5 и программы Meridian Visiting Researcher, доказывает обратное: LLM могут обучаться многоступенчатому (сериальному) рассуждению на filler tokens. Ключевая особенность метода заключается в том, что информация передается между позициями токенов через механизм внимания (attention), минуя семантическое содержание самих токенов-заполнителей. Это позволяет модели выполнять более сложные вычисления, чем это считалось возможным ранее.
Методология: LoRA и Curriculum Learning
В отличие от предыдущих работ, где модели обучались с нуля, исследователи применили адаптацию LoRA (Low-Rank Adaptation) с рангом 32 к уже существующим моделям. Были выбраны две модели:
- Qwen3.6-35B-A3B
- gpt-oss-20b
Обучение проводилось двумя способами:
- Curriculum (Поэтапное обучение): Модель сначала обучалась на коротких цепочках рассуждений. Как только точность достигала 90%, длина цепочки постепенно увеличивалась. Это позволило измерить предел возможностей модели.
- Direct (Прямое обучение): Модель обучалась сразу на полной длине (по умолчанию 100 шагов), чтобы определить, до какой позиции она сохраняет корректность предсказаний.
Результаты: какие задачи удалось решить?
Исследователи протестировали модели на семи типах задач. Успешное обучение многоступенчатому рассуждению на filler tokens было продемонстрировано только на трех из семи задачах. Это указывает на то, что способность к такому типу вычислений зависит от структуры задачи и ее вычислительной сложности.
| Задача | Тип вычислений | Результат обучения | Суть задачи |
|---|---|---|---|
| Mod sum | Параллельная/Сериальная арифметика | Успех | Вычисление суммы списка чисел по модулю N. Шаг — текущая сумма. |
| Modular arithmetic | Последовательные операции | Успех | Цепочка операций (+, -, ×) по модулю 8. Шаг — промежуточный результат. |
| A5 (Thimblerig) | Групповая теория (перестановки) | Успех | Отслеживание положения мяча под 5 чашками при перемешивании. Шаг — позиция мяча. |
| GL(3,2) | Линейная алгебра над конечным полем | Неудача | Отслеживание состояния 3 ламп. Сложность выше, чем у A5. |
| ProntoQA (Numbered) | Логический вывод (цепочки) | Неудача | Логические умозаключения типа «Все А есть В». |
| HornQA | Horn-логика (P-complete) | Неудача | Вывод категорий с правилами вида «A и B ⇒ C». |
Почему это важно для безопасности и интерпретируемости?
Результаты исследования имеют критическое значение для понимания steganographic reasoning (стеганографического рассуждения). Если модели могут скрывать сложные логические цепочки внутри «мусорных» токенов (например, точек или бессмысленного текста), это создает риски:
- Обход фильтров: Модель может выполнять запрещенные или скрытые вычисления, не выдавая их в явном виде в текстовом ответе.
- Интерпретируемость: Стандартные методы анализа (например, анализ цепочки рассуждений CoT) могут быть обманчивы. То, что выглядит как «размышление», может быть просто визуализацией скрытого внутреннего состояния модели.
Исследование показывает, что filler-token reasoning не ограничивается простыми параллельными задачами, но и не является универсальным решением для всех типов сложной логики. Способность к сериальному вычислению зависит от архитектуры и типа задачи, что требует более тонкого подхода к тестированию и аудиту LLM.
Источник: LessWrong ↗