Проблема существующих подходов
В последние годы активно развивается концепция Soft Chain-of-Thought (Soft CoT), где вместо дискретных токенов используются непрерывные представления. Это позволяет модели удерживать суперпозицию нескольких вариантов рассуждения в одном шаге. Однако существующие методы обучения через подкрепление (RL) трактуют мягкие токены как действия в марковском процессе принятия решений. Это приводит к разрыву градиентов: модель не учитывает, как выбор одного «мягкого» токена влияет на последующие шаги, что снижает эффективность обучения.
Решение: SpaRLax
Авторы работы (Jiabin Fan, Matthias Lindemann и соавторы) предлагают метод SpaRLax (Sparse RL Relaxation). Ключевая инновация — использование entmax для адаптивного определения степени разреженности (sparsity). Алгоритм динамически регулирует «мягкость» токенов:
- При высокой уверенности: отсечению подвергается шум из «длинного хвоста» распределения, что стабилизирует вывод.
- При неопределенности: сохраняются несколько правдоподобных кандидатов, позволяя модели исследовать пространство решений.
Результаты на бенчмарках
Метод был протестирован на девяти различных задачах логического и математического рассуждения. SpaRLax показал наивысшую среднюю производительность по сравнению с базовыми методами Soft CoT и стандартными RL-подходами. Анализ подтвердил, что именно адаптивная спarsity и использование суперпозиции токенов дают прирост точности.
| Характеристика | Описание |
|---|---|
| Название метода | SpaRLax (Sparse RL Relaxation) |
| Ключевая технология | Entmax (адаптивная разреженность) |
| Тип обучения | Reinforcement Learning (RL) с дифференцируемыми шагами |
| Количество бенчмарков | 9 (логика, математика, рассуждения) |
| Основной результат | Наивысшая средняя точность среди протестированных baselines |
Значение для индустрии
Работа закрывает важный пробел в обучении больших языковых моделей (LLM). Переход от дискретных к непрерывным представлениям в цепочках рассуждений обещает более гибкие и точные модели, но требовался эффективный механизм обучения. SpaRLax демонстрирует, что интеграция дифференцируемых операций в RL-петлю позволяет использовать весь потенциал Soft CoT, делая рассуждения моделей более прозрачными и надежными.
Источник: arXiv cs.AI ↗