Суть открытия: мост важнее фактов
Традиционно считалось, что малые языковые модели (Small LLMs) не способны к двухшаговому выводу (two-hop reasoning) без использования цепочки рассуждений (Chain of Thought, CoT), особенно когда оба факта являются синтетическими (сгенерированными для обучения). Новое исследование, проведенное на моделях Qwen3.6-35B-A3B и Qwen3-8B, опровергает это ограничение. Ключевым фактором успеха является не происхождение самих фактов, а природа «связующего звена» (bridge entity, e2). Если это связующее звено — реальный, хорошо известный объект (страна или крупный город), модель успешно комбинирует два синтетических факта в латентном пространстве.
Методология и настройки
Исследование использовало два метода дообучения: стандартное SFT (Supervised Fine-Tuning) и SDF (Synthetic Document Fine-Tuning). Были созданы контролируемые наборы данных, где:
- Реальный мост: e2 — реальные страны или известные города (по количеству просмотров в Wikipedia).
- Скрытый мост: e2 — малоизвестные города, которые модель все еще узнает.
- Синтетический мост: e2 — полностью вымышленные города, сгенерированные Claude Opus 5.5.
В обоих случаях (реальный и синтетический мост) сами факты (e1 и e3) могли быть как реальными, так и полностью сгенерированными. Это позволило изолировать влияние именно связующего звена.
Ключевые метрики и результаты
Точность двухшагового вывода (accuracy) критически зависит от известности связующего звена. Ниже приведены сравнительные данные успешности выполнения задачи без CoT:
| Тип связующего звена (e2) | Примеры | Успешность двухшагового вывода | Примечание |
|---|---|---|---|
| Реальная страна | Франция, Япония | Высокая | Модель стабильно соединяет факты, даже если они синтетические |
| Известный город | Париж, Токио | Высокая | Результаты сопоставимы с реальными фактами |
| Малоизвестный город | Неизвестные населенные пункты | Средняя/Низкая | Успех падает по мере снижения узнаваемости объекта |
| Синтетический город | Вымышленные названия | Практически нулевая | Модель не может связать два синтетических факта через вымышленный мост |
Почему это важно для безопасности и AI-архитектуры
Результаты имеют два фундаментальных значения:
- Мониторинг (Monitorability): Способность малых моделей к латентному выводу над синтетическими фактами означает, что они могут скрывать ложные убеждения или манипуляции, заложенные через дообучение, не проявляя их явно в цепочке рассуждений. Это создает риски для систем безопасности, полагающихся на анализ CoT.
- Установка убеждений (Belief Instillation): Исследование показывает, что для внедрения новых «фактов» в модель достаточно использовать реальные, знакомые модели объекты в качестве контекста. Источник остальных сущностей (реальный или вымышленный) вторичен. Это открывает путь к более эффективным методам тестирования на misalignment (несоответствие ценностей), так как позволяет создавать контролируемые сценарии, где модель «верит» в синтетические факты, опираясь на реальные якоря.
Код исследования доступен на GitHub (Redwood Research), что позволяет воспроизвести результаты для дальнейших механистических анализов.
Источник: LessWrong ↗