От «черного ящика» к исходному коду
В статье, опубликованной на LessWrong, Алекс Амадори ставит под сомнение общепринятую точку зрения, согласно которой развитие интерпретируемости (interpretability) в первую очередь служит целям безопасности (alignment). Автор доказывает, что улучшение понимания внутренних механизмов нейросетей приведет к гораздо более быстрому прогрессу в их вычислительных возможностях (capabilities). Ключевой механизм этого процесса — ускорение рекурсивного самосовершенствования (Recursive Self-Improvement, RSI). Чем лучше мы понимаем «мышление» ИИ, тем эффективнее он может читать и оптимизировать собственный код.
Пример с шахматами: эвристики против перебора
Для иллюстрации автор использует пример игры в шахматы. Современные модели общего назначения, такие как Opus 5.5, демонстрируют уровень игры около 2100 Elo (сильный любитель), используя эвристики, а не полный перебор вариантов, как специализированные движки. Интерпретируемость позволяет выявить эти внутренние эвристики (например, оценку материала или форсированные последовательности ходов) и превратить их в понятные алгоритмы.
В отличие от бэклоп-пропагации, которая обучается методом проб и ошибок на огромных массивах данных, человек или продвинутый ИИ может использовать первые принципы (first principles) для быстрого вывода правил. Если интерпретируемость позволит «прочитать» внутренние контуры нейросети, разработчики смогут не эволюционировать алгоритмы, а проектировать их целенаправленно, что резко снизит потребность в вычислительных ресурсах для достижения того же уровня интеллекта.
Сравнение подходов к обучению
| Критерий | Традиционное обучение (Backprop) | Обучение через интерпретируемость |
|---|---|---|
| Механизм | Статистическая оптимизация весов | Прямое чтение и модификация внутренних контуров |
| Роль доменных знаний | Отсутствует (uniform prior) | Использование первых принципов и логики |
| Эффективность данных | Низкая (требует миллионов примеров) | Высокая (быстрый вывод правил) |
| Роль ИИ в процессе | Пассивный объект оптимизации | Активный оптимизатор собственного кода (RSI) |
Риски для безопасности
Амадори предупреждает: если прогресс в возможностях ИИ опережает прогресс в безопасности, это увеличивает риск катастрофических сценариев. Улучшенная интерпретируемость позволяет ИИ быстрее находить уязвимости в собственном коде и улучшать себя, создавая петлю обратной связи, которую трудно контролировать. Автор призывает исследователей безопасности пересмотреть свои приоритеты, так как развитие интерпретируемости без соответствующего уровня координации в индустрии может сделать появление сверхинтеллекта (ASI) более вероятным и менее предсказуемым.
Источник: LessWrong ↗