Суть гипотезы: ИИ мыслит направлениями?
Гипотеза линейных представлений (Linear Representation Hypothesis, LRH) утверждает, что нейронные сети кодируют абстрактные «концепции» не как сложные паттерны, а как одномерные подпространства (направления) в пространстве активаций. Благодаря матричным умножениям, которые легко растягивают и поворачивают векторы, модели способны выделять такие направления для признаков вроде «положительный/отрицательный» или «мужской/женский».
На практике это означает, что мы можем использовать линейные зонды (probes) для измерения уверенности модели в концепции и векторы управления (steering vectors) для изменения поведения модели, добавляя или вычитая эти направления из активаций.
Классификация: Слабая против Сильной LRH
Чтобы избежать размытых формулировок, исследователи (в частности, Lewis Smith и Park et al.) делят гипотезу на уровни строгости и применимости:
| Критерий | Слабая LRH | Сильная LRH |
|---|---|---|
| Охват концепций | Применима только к некоторым концепциям, которые модель действительно представляет. | Применима к (почти) всем концепциям, представленным моделью. |
| Измерение (Measurement) | Линейный зонд может оценить интенсивность представления только для части признаков. | Линейный зонд точно отражает степень активации любой концепции. |
| Интервенция (Intervention) | Вектор управления работает для некоторых концепций, не затрагивая другие. | Любую концепцию можно усилить или ослабить вектором, не ломая другие. |
Где теория ломается: «Странные» интервенции
Несмотря на популярность методов интерпретируемости, есть серьезные проблемы. Исследования показывают, что линейные представления часто работают лучше в промежуточных слоях, чем в последних, что парадоксально, так как активации проходят через нелинейные функции.
Более того, работа Дж. Хьюитта (Hewitt) выявила аномалии:
- Зависимость от нормы: Векторы управления могут стабильно менять поведение модели только при определенных значениях своей длины (нормы).
- Эмерджентные эффекты: Сумма двух векторов, управляющих разными концепциями, может активировать совершенно третью, непредсказуемую концепцию.
Это ставит под сомнение «Сильную» версию гипотезы: если интервенции нелинейны или непредсказуемы, мы не можем полагаться на LRH как на универсальный инструмент контроля.
Почему это важно для безопасности ИИ
Если LRH верна в сильной форме, мы можем точно «настраивать» модели, усиливая полезные черты (например, честность) и подавляя вредные. Если же она верна только в слабой форме или вовсе ошибочна, то попытки интерпретации и контроля через линейные проекции могут быть иллюзорными. Нейросеть может использовать скрытые нелинейные корреляции, которые не видны через простые векторные операции, что делает модели «черными ящиками» в более глубоком смысле.
Текущий консенсус: LRH — полезная эвристика для части признаков, но не универсальный закон. Слепая вера в линейность может привести к ложному чувству контроля над сложными системами.
Источник: LessWrong ↗
