Проблема поверхностного понимания
После четырехлетнего перерыва в области безопасности ИИ, автор возвращается с критическим анализом метода steering vectors (векторов управления). Ранее в работе, представленной на NeurIPS 2023, было доказано, что этот подход не помогает в дебиасинге (удалении предвзятости), потому что модель неправильно понимает сами концепции, которые пытается исправить.
Эксперимент на Colored-MNIST
Для проверки гипотезы был использован классический датасет Colored-MNIST. В этом сценарии модель обучается на цифрах, всегда окрашенных в один и тот же цвет (например, нули — всегда красные). Это создает ложную корреляцию между цветом и значением цифры.
Автор применил метод ActAdd (активное добавление) к такой модели, чтобы попытаться устранить bias. Цель — отделить понимание цифры от понимания ее цвета.
Ключевой вывод
Результаты подтвердили первоначальные выводы: steering vectors не работают для дебиасинга. Причина кроется не в самом методе коррекции, а в том, как модель внутренне репрезентирует концепции. Если модель «думает», что красный цвет и цифра 0 — это одно и то же понятие, простое векторное управление не разорвет эту связь.
Значение для индустрии
Это исследование важно для всех, кто использует методы интерпретируемости (interpretability) для контроля поведения LLM. Оно предупреждает: без глубокого понимания того, как модель кодирует концепции, попытки «выключить» предвзятость через векторы могут быть бесполезны или даже вредны.
Источник: LessWrong ↗