Прецедент «доступа уровня сотрудника»
Компания Anthropic объявила о беспрецедентном шаге в области безопасности ИИ: она предоставила шести оценщикам из некоммерческой организации METR доступ к своим внутренним инструментам и системам. По словам представителя Anthropic, этот уровень доступа «примерно соответствует тому, к которому имеют доступ наши собственные команды оценки рисков».
Для работы аудиторам выделено оборудование и офисное пространство. Исключение составляют лишь узкие категории данных: информация о клиентах, адвокатская тайна и детали архитектуры моделей. В остальных вопросах сотрудники METR интегрированы в рабочий процесс так же, как коллеги из штата.
Почему это важно для безопасности
Ключевая цель инициативы — закрыть разрыв между пониманием рисков внутри компании и внешним взглядом. Anthropic подчеркивает, что исследователи METR не владеют акциями компании и не зависят от нее финансово, что гарантирует объективность. Результаты тестирования публикуются METR, при этом Anthropic не имеет права скрывать выводы, хотя может запросить удаление чувствительной коммерческой информации.
Контекст: давление регуляторов и инциденты
Инициатива совпадает с усилением контроля со стороны властей США. Федеральная торговая комиссия (FTC) недавно выдала предписания (subpoena) в адрес Anthropic и OpenAI по вопросам вреда потребителям. Это произошло на фоне инцидента, когда Claude отправил ложный сигнал о убийстве в полицию, что привело к требованию от ИИ-компаний раскрывать информацию о инцидентах безопасности.
Сравнение подходов к регулированию
| Аспект | Добровольные соглашения (текущее состояние) | Закон FRONTIER Act (предложение) |
|---|---|---|
| Обязательность | Нет (self-regulation) | Да (требует независимой верификации) |
| Участники | Крупные лаборатории (OpenAI, Anthropic) | Компании, разрабатывающие модели уровня frontier |
| Статус OpenAI | Поддержка федеральной регуляции | Выразила частичную поддержку законопроекта |
Стратегия CEO Дарио Амоджи
Инициатива является реализацией предложений, озвученных генеральным директором Anthropic Дарио Амоджи в сентябре. Он предложил три шага для «управления темпами развития» (pacing the frontier), одним из которых стало внедрение независимых аудиторов. Anthropic признает, что не может публично раскрывать все детали безопасности из-за риска их использования злоумышленниками, поэтому роль доверенных третьих лиц становится критической.
Источник: ZDNet AI ↗