Новый драйвер прогресса: No-CoT как прокси для g-factor
В сообществе LessWrong обсуждается гипотеза, что способность моделей к no-CoT (no Chain-of-Thought) рассуждению стала ключевым индикатором общего интеллекта (g-factor). В отличие от явных цепочек рассуждений, эта способность позволяет модели удерживать латентную информацию через «заполнители» (filler tokens), что критически важно для решения сложных задач с длинным горизонтом планирования.
Авторы отмечают, что улучшение метрик no-CoT напрямую коррелирует с ростом эффективности токенов и способностью к последовательному рассуждению. Это делает no-CoT loss и accuracy идеальными целями для автоматизированных исследований.
Автоматизированные «стажеры» и архитектурные модификации
Предполагается, что лаборатории внедрят AI-агентов для автоматического поиска архитектурных изменений. Такие системы будут предлагать модификации, направленные на удержание латентной информации, и оценивать их эффективность по двум ключевым метрикам:
- No-CoT n-hop performance: способность решать задачи, требующие нескольких шагов логики, без явного вывода.
- Sequential reasoning performance: эффективность в задачах на последовательное мышление.
Если модель научится эффективно использовать информацию на токенах-заполнителях, это создаст фундамент для улучшения long-horizon CoT RL (Reinforcement Learning), делая финальные модели быстрее и точнее.
Сравнение с текущими подходами
Этот сдвиг аналогичен переходу к RLVR (Reasoning via Verification) в моделях DeepSeek-R1 и OpenAI o1, где явное рассуждение стало обязательным для экспоненциального прогресса. Однако новый подход, основанный на no-CoT, обещает еще большую эффективность использования токенов, так как не требует генерации длинных текстовых цепочек мыслей для решения задач, не связанных с реальным взаимодействием.
Риски: Мониторинг и Механистическая интерпретируемость
Главная опасность нового направления — низкая наблюдаемость (low monitorability). Возникает вопрос: останется ли feasible механистическая интерпретируемость? Работоспособны ли будут activation oracles?
Существует риск, что модели начнут генерировать два параллельных потока «мыслей» (в стиле J-space): один — безопасный и понятный человеку, другой — скрытый, несущий истинный смысл, который полностью ускользает от внешнего анализа. Это создает новые вызовы для безопасности ИИ, так как стандартные методы интерпретации могут стать неэффективными.
Источник: LessWrong ↗