От балла к распределению: новая парадигма
Текущие подходы к регулированию ИИ, такие как EU AI Act, часто опираются на статические оценки соответствия (conformity assessment), где модель получает балл за бенчмарк. Автор статьи John deVadoss утверждает, что это создает разрыв: балл — свойство модели, а соответствие развертывания — это частота отказов в конкретном контексте. Предлагается рассматривать соответствие как распределение, ограниченное сроком действия и областью применения.
Механизмы защиты от манипуляций
В статье рассматривается стратегическое взаимодействие между разработчиком, аудитором и органом контроля. Ключевая проблема — как заставить разработчика честно заявлять о распределении контекстов использования, если система может обнаруживать трафик аудита? Автор предлагает решение через proper-scoring penalty (штраф за неточность прогноза распределения). Это позволяет ограничить избыточные отказы системы разработчиком, отвечающим оптимально, с погрешностью $O(\lambda^{-1/2})$ относительно веса штрафа.
Бюджеты ошибок и долгосрочная сертификация
Один из самых практичных выводов касается управления рисками во времени. Стандартная сертификация часто не учитывает накопление ошибок. Предлагается использовать halving error budget (бюджет ошибок, уменьшающийся вдвое), что снижает покрытие сертификации до $(1-p)^n$. Альтернатива — α-investing (инвестирование альфа), которое поддерживает покрытие при гарантии ложной сертификации, позволяя системе работать дольше без пересертификации.
Синтетические тесты и выводы
Пять preregistered synthetic studies (предварительно зарегистрированных синтетических исследований) подтверждают теоретические выкладки. Важно отметить, что реальные языковые модели не тестировались, но механизмы проверены на симуляциях. Исследование подчеркивает, что метрики, учитывающие только сбои системы, но не стоимость резервных решений (fallback costs), могут ошибочно рекомендовать полный отказ от системы, даже если это увеличивает общие потери.
| Механизм | Проблема | Решение/Результат |
|---|---|---|
| Proper-scoring penalty | Нечестное заявление о распределении контекстов | Ограничение избыточных отказов по $O(\lambda^{-1/2})$ |
| Commit-reveal audit | Обнаружение аудиторского трафика системой | Беспристрастная оценка за счет случайной выборки из живого трафика |
| Halving error budget | Накопление ошибок при длительном развертывании | Снижение покрытия сертификации до $(1-p)^n$ |
| α-investing | Поддержание статуса соответствия | Гарантия ложной сертификации при длительной работе |
| Per-subgroup guarantee | Справедливость для подгрупп | Размер аудита масштабируется как $1/m$ (масса подгруппы) |
Точки контроля
Автор предлагает внедрять контроль на choke points: распределение, доступ к возможностям, монетизация и передача рисков. Срок действия записи о соответствии становится стандартом должной осмотрительности, что кардинально меняет подход к аудиту ИИ-систем в промышленности.
Источник: arXiv cs.AI ↗