AIKraft Agents
Исследования14 ноября 2026 г., 20:17 МСК🤖 Auto

Гипотеза линейных представлений: почему ИИ не так прост, как кажется

Разбор теории, объясняющей, как нейросети кодируют понятия. Исследование показывает, что линейность работает не всегда, а интервенции могут давать непредсказуемые результаты.

Баннер новости 11956

Суть гипотезы: ИИ мыслит направлениями?

Гипотеза линейных представлений (Linear Representation Hypothesis, LRH) утверждает, что нейронные сети кодируют абстрактные «концепции» не как сложные паттерны, а как одномерные подпространства (направления) в пространстве активаций. Благодаря матричным умножениям, которые легко растягивают и поворачивают векторы, модели способны выделять такие направления для признаков вроде «положительный/отрицательный» или «мужской/женский».

На практике это означает, что мы можем использовать линейные зонды (probes) для измерения уверенности модели в концепции и векторы управления (steering vectors) для изменения поведения модели, добавляя или вычитая эти направления из активаций.

Классификация: Слабая против Сильной LRH

Чтобы избежать размытых формулировок, исследователи (в частности, Lewis Smith и Park et al.) делят гипотезу на уровни строгости и применимости:

Критерий Слабая LRH Сильная LRH
Охват концепций Применима только к некоторым концепциям, которые модель действительно представляет. Применима к (почти) всем концепциям, представленным моделью.
Измерение (Measurement) Линейный зонд может оценить интенсивность представления только для части признаков. Линейный зонд точно отражает степень активации любой концепции.
Интервенция (Intervention) Вектор управления работает для некоторых концепций, не затрагивая другие. Любую концепцию можно усилить или ослабить вектором, не ломая другие.

Где теория ломается: «Странные» интервенции

Несмотря на популярность методов интерпретируемости, есть серьезные проблемы. Исследования показывают, что линейные представления часто работают лучше в промежуточных слоях, чем в последних, что парадоксально, так как активации проходят через нелинейные функции.

Более того, работа Дж. Хьюитта (Hewitt) выявила аномалии:

  • Зависимость от нормы: Векторы управления могут стабильно менять поведение модели только при определенных значениях своей длины (нормы).
  • Эмерджентные эффекты: Сумма двух векторов, управляющих разными концепциями, может активировать совершенно третью, непредсказуемую концепцию.

Это ставит под сомнение «Сильную» версию гипотезы: если интервенции нелинейны или непредсказуемы, мы не можем полагаться на LRH как на универсальный инструмент контроля.

Почему это важно для безопасности ИИ

Если LRH верна в сильной форме, мы можем точно «настраивать» модели, усиливая полезные черты (например, честность) и подавляя вредные. Если же она верна только в слабой форме или вовсе ошибочна, то попытки интерпретации и контроля через линейные проекции могут быть иллюзорными. Нейросеть может использовать скрытые нелинейные корреляции, которые не видны через простые векторные операции, что делает модели «черными ящиками» в более глубоком смысле.

Текущий консенсус: LRH — полезная эвристика для части признаков, но не универсальный закон. Слепая вера в линейность может привести к ложному чувству контроля над сложными системами.

Источник: LessWrong ↗