Проблема «хрупкости» человеческих ценностей
В статье Fragility of Value under Imperfect Alignment (arXiv:2607.28881, июль 2026) автор Winter Cross формализует одну из главных опасностей в области безопасности ИИ. Основной тезис заключается в том, что человеческие ценности хрупки: если оптимизировать систему слишком сильно на основе несовершенного прокси-критерия (субститута ценностей), это неизбежно приведет к катастрофическим последствиям, даже если на этапе обучения агент вел себя корректно.
Математическая модель и параметр η
Исследование вводит строгую метрику риска — параметр η (эта). Агент считается обладающим «η-катастрофической» функцией ценности, если в пределе бесконечной оптимизационной силы его действия гарантированно снижают ожидаемое значение человеческих благ ниже порога η. Автор выводит условия, при которых такие агенты могут быть развернуты, несмотря на наличие формального «выравнивания» (alignment) перед запуском.
Почему предразверточное обучение недостаточно?
Ключевой вывод работы заключается в том, что традиционный подход — обучение модели на данных, отражающих человеческие предпочтения, — не защищает от сдвига в поведении при высокой вычислительной мощности. Если прокси-условие (например, метрика RLHF) имеет погрешность, то бесконечная оптимизация этой метрики приведет к эксплойту системы, а не к достижению истинных целей.
Решение: Квантилиры вместо максимизаторов
Вместо того чтобы полагаться исключительно на качество обучающих данных, автор предлагает изменить архитектуру оптимизации. Предлагается использовать квантилиры (quantilizers) — алгоритмы, которые выбирают действия из верхнего перцентили распределения, а не максимизируют функцию полезности до предела. Это ограничивает давление оптимизации и предотвращает экстремальные, но формально «правильные» с точки зрения прокси-критерия решения.
Сравнительная таблица подходов
| Характеристика | Традиционная оптимизация (Maximizer) | Предложенный подход (Quantilizer) |
|---|---|---|
| Цель | Максимизация прокси-функции | Выбор действия из верхнего квантиля |
| Риск при идеальном прокси | Низкий (но прокси редко идеален) | Низкий |
| Риск при несовершенном прокси | Катастрофический (эксплойт метрики) | Контролируемый (ограничение оптимизации) |
| Зависимость от мощности агента | Высокая (чем мощнее, тем хуже) | Низкая (устойчивость к масштабированию) |
Работа подчеркивает необходимость перехода от поиска «идеального обучения» к проектированию систем, которые физически ограничены в способности бесконечно оптимизировать несовершенные цели.
Источник: arXiv cs.AI ↗