От хаоса к порядку: эволюция взглядов
Ник Каммарата, соавтор ранних работ по механистической интерпретируемости в OpenAI, делится радикально новым взглядом на архитектуру больших языковых моделей. В начале своего пути он был пессимистом: нейросети казались ему «произвольными спутанными узлами», где лишь около 2% нейронов были разборчивы с помощью примитивных инструментов того времени.
Сегодня, возглавив первый крупномасштабный проект по автоматической интерпретируемости в OpenAI, он пришел к обратному выводу. Используя современные агентные инструменты и углубляясь в анализ, он обнаружил, что большинство нейронов в моделях до триллиона параметров являются «чистыми» (legible), а их вычислительные контуры (circuits) отличаются красотой и логичностью.
Ключевые метрики и выводы
Прорыв заключается не в создании новой архитектуры, а в применении «простых вещей на абсурдном масштабе». Старые примеры «запутанных нейронов» оказались результатом недостаточной глубины анализа. Ниже приведено сравнение подходов:
| Критерий | Ранние исследования (OpenAI) | Современный подход (2026) |
|---|---|---|
| Разборчивость нейронов | ~2% | Большинство (vast majority) |
| Инструментарий | Примитивные методы | Современные агентные инструменты |
| Структура контуров | Спутанные узлы | Чистые, логичные схемы |
| Масштаб моделей | Меньшие модели | До триллиона параметров |
Почему это важно для AI Alignment?
Автор утверждает, что проблема интерпретируемости, возможно, уже решена к моменту, когда она станет критически важной. Это позволяет перевести задачу выравнивания (alignment) из разряда «научной фантастики» в категорию «нормальной науки» (normal science). Как отмечает комментатор StanislavKrym, цитируя Элиезера Юдковского, новости настолько хороши, что даже самые пессимистичные прогнозы (Pdoom) могут быть пересмотрены.
Вывод: «Битое учение» (Bitter Lesson)
Каммарата резюмирует, что путь к пониманию нейросетей лежит через масштабирование и автоматизацию. Простые методы, примененные к огромным моделям, работают лучше сложных эвристик, примененных к малым. Это возвращает исследователям радость от изучения «чуждой онтологии» (alien ontology) глубокого обучения, раскрывая ее как упорядоченную систему, а не черный ящик.
Источник: LessWrong ↗