Контекст: от субстандартных ипотеков к безопасности ИИ
Предложение Дарио Амодеи о создании «встроенных оценщиков» (embedded evaluators) для ИИ-лабораторий перекликается с практикой финансового регулирования, возникшей после кризиса 2008–2009 годов. Тогда модели оценки рисков, игнорировавшие корреляцию падений цен на жилье, привели к краху институтов. Ответом регуляторов США стал стандарт SR 11-7 (Guidance on Model Risk Management, 2011), который заменил слабое руководство 2000 года и ввел жесткие требования к валидации количественных моделей.
Модель «Трех линий защиты» против предложения Амодеи
В банковской сфере контроль распределен по принципу «Трех линий защиты». Автор статьи, 15-летний ветеран риск-менеджмента в G-SIB (глобально значимом банке), указывает на критическое различие между текущей практикой и планом Амодеи. В то время как Амодеи предлагает внешним оценщикам доступ уровня «сотрудника» (рабочие места, бейджи), он не прописывает четкого взаимодействия с внутренними командами.
| Роль / Линия | Функция в банке (SR 11-7) | Аналог в предложении Амодеи | Пробел в текущем предложении |
|---|---|---|---|
| 1-я линия (Разработка) | Создание модели, первичное тестирование, регистрация в реестре | Команды разработки ИИ | — |
| 2-я линия (Валидация) | Независимая техническая проверка PhD-специалистами, право остановить запуск | Встроенные оценщики (METR и др.) | Отсутствие четкого разделения с внутренней валидацией; оценщики берут на себя функции 3-й линии |
| 3-я линия (Аудит) | Проверка соответствия процессов стандартам, отчетность перед советом директоров | Встроенные оценщики (оценка эффективности риск-команд) | Смешение ролей валидации и аудита снижает эффективность контроля |
Как работает валидация в реальности: «Стоп-кран»
Ключевой механизм безопасности в банках — это не просто проверка, а процесс, где модель не может быть развернута без одобрения валидаторов. Процесс выглядит так:
- Разработчики создают модель, тестируют её и загружают документацию (код, данные, логику решений) в реестр.
- Модель и команда разработки «останавливаются».
- Команда валидации (2-я линия) изучает материалы. Если информации недостаточно, процесс приостанавливается до предоставления данных.
- Только после успешной валидации модель получает доступ к продакшену.
Рекомендации для усиления контроля ИИ
Чтобы внедрение оценщиков не стало формальностью, автор предлагает адаптировать банковский опыт:
- Усилить внутреннюю 2-ю линию: Дать внутренним командам валидации независимость и реальное право блокировать тестирование и развертывание моделей.
- Разделить роли: Встроенные оценщики должны сначала оценивать эффективность внутренних риск-команд, а не дублировать их техническую работу. Внешний аудит (3-я линия) нужен для проверки соблюдения стандартов.
- Прямая линия к Совету директоров: Оценщики должны иметь право прямого эскалационного сообщения в Совет директоров. Любое решение об игнорировании их выводов должно публиковаться публично.
- Обучение: Обе стороны (внутренние риск-команды и внешние оценщики) должны проходить подготовку по управлению рисками и надзору.
Такая структура создает естественный механизм сдерживания (pacing mechanism), аналогичный тому, что сформировался в финансовом секторе после кризиса, но без необходимости ждать принятия жестких законов.
Источник: LessWrong ↗