Системный сбой в экосистеме безопасности ИИ
Авторы исследования, проведённого на базе LessWrong, проанализировали ландшафт из более чем 500 организаций, занимающихся безопасностью искусственного интеллекта. В штате этих структур работает около 2 000 сотрудников (в среднем 4 FTE на организацию). Ключевой вывод: работа по безопасности ИИ фрагментирована и сосредоточена на исследованиях, а не на инженерии.
Лишь около 80 организаций создают инструменты (tools) любого рода, и большинство из них специализируется на кибербезопасности или смежных областях. При этом ни одна из 100 проанализированных стипендий и курсов не ориентирована на обучение создателей инструментов (tool builders). Это создаёт «узкое горлышко»: даже если исследования выявляют риски, не хватает инфраструктуры для их автоматизированного мониторинга и предотвращения.
Где не хватает инструментов: карта пробелов
Существующие инструменты часто создаются под внутренние нужды конкретных лабораторий и не обладают масштабируемостью. Авторы выделяют критические области, где инструменты либо отсутствуют, либо находятся на ранней стадии:
- Многоагентная безопасность: инструменты для мониторинга взаимодействия множества AI-агентов.
- CBRN-мониторинг: отслеживание рисков, связанных с химическим, биологическим, радиологическим и ядерным оружием через ИИ.
- Эпистемические риски: инструменты для выявления козависимости человека и ИИ и искажения информации.
- Отчётность об инцидентах: стандартизированные системы регистрации уязвимостей и сбоев.
- Встроенные оценщики: инструменты для непрерывного мониторинга frontier-моделей в реальном времени.
Инструменты vs Продукты: почему это важно
В тексте проводится важное различие между «инструментами» (public goods) и «продуктами» (for-profit startups). Хотя коммерческие стартапы привлекают венчурный капитал и лучше масштабируются, их приоритет — прибыль, а не безопасность. Авторы предлагают термин «инструменты», чтобы подчеркнуть необходимость создания открытых, универсальных решений (public infrastructure), которые могут использоваться исследователями, инженерами и регуляторами по всему миру, а не только клиентами конкретных компаний.
Лидеры рынка и метрики
Несмотря на общий дефицит, есть организации, которые успешно монетизируют или развивают инструменты безопасности. Ниже приведена сводка по ключевым игрокам и их финансированию, выделенная в источнике:
| Категория | Примеры компаний | Финансирование / Оценка |
|---|---|---|
| LLM Red-teaming & Guardrails | Alice, HiddenLayer, Patronus, Gray Swan, Mindgard | Alice ($280M), HiddenLayer ($156M), Patronus ($70M), Gray Swan ($45.7M), Mindgard (~$42M) |
| Agent & AI-infra Security | Geordie, Multifactor, Midplane, Alter | Geordie ($36.5M), Multifactor ($15M) |
| Evals & Safety Research Infra | Irregular, Vals AI, Robocurve, Tokenless | Irregular ($80M), Vals AI ($45M), Robocurve ($10M) |
| Interpretability | Goodfire, Transluce, Decode Research | Goodfire ($207M), Transluce (~$17M в грантах) |
| Formal Verification | Pramaana Labs, Midas, Midspiral | Pramaana Labs ($27M, pre-release), Midas ($10M) |
Что уже делается?
Некоторые организации начинают закрывать пробелы. Например, запущена организация Neolithic, сфокусированная на создании инструментов для масштабирования исследований в области безопасности ИИ. Также упоминается пилотная программа AI Safety for Builders, направленная на обучение инженеров созданию таких инструментов. Однако масштаб этих усилий пока несопоставим с необходимостью, учитывая скорость развития AI.
Источник: LessWrong ↗