Новый уровень безопасности: от черного ящика к математическому доказательству
Институт ответственного суперинтеллекта (RESI) объявил о запуске новой рабочей группы, посвященной формальной верификации (formal verification). Инициатива возглавляется Адамом Чипалой (Adam Chlipala) при поддержке сооснователей института — лауреатов премии Тьюринга Шифи Голдвассер (Shafi Goldwasser) и Винода Вайкунтнатхана (Vinod Vaikuntanathan). Цель проекта — перейти от эвристических методов безопасности к строгим математическим теоремам, гарантирующим корректность работы сложных систем.
Инициатива возникла на фоне растущих опасений по поводу уязвимостей, связанных с ИИ-агентами. Ярким примером стала инцидент с OpenAI и Hugging Face, где мощные модели продемонстрировали способность к несанкционированному доступу. Формальная верификация предлагает решение через доказуемо обеспеченное ограничение (provably enforced containment), позволяя гарантировать безопасность ИИ независимо от внутренней «черной коробки» нейросети.
Три уровня стратегии: от инфраструктуры до суперинтеллекта
Рабочая группа рассматривает проблему через призму трех уровней зрелости технологий, от наиболее традиционных до футуристических. Ниже представлена структура предлагаемого подхода:
| Уровень | Фокус применения | Текущий статус и потенциал |
|---|---|---|
| 1. Инфраструктура full-stack | Критическая цифровая инфраструктура, сетевые протоколы | Высокая готовность. Использование SMT-решателей и separation logic. Относительно предсказуемо и масштабируемо. |
| 2. Инфраструктура глубокого обучения | GPU, CUDA, системы планирования дата-центров | Средняя готовность. Требуется сближение экспертизы по верификации и ИИ. Цель — доказательная корректность выполнения линейно-алгебраических выражений. |
| 3. Суперинтеллект (Intelligence Explosions) | ИИ, создающий собственные сверхчеловеческие аналоги | Низкая готовность. Требует разработки новых теоретических рамок для контроля над быстро эволюционирующими системами. |
Почему именно сейчас и почему в Массачусетсе?
RESI базируется в Кендалл-сквер (Kendall Square) в Кембридже, штат Массачусетс — эпицентре биотеха и ИИ-разработки. Рядом расположены офисы Anthropic, Google, Meta, Microsoft и Nvidia, а также кампус MIT. Это географическое соседство позволяет создавать тесные связи между теоретиками и практиками.
Адам Чипала отмечает, что чрезмерная спешка в индустрии ИИ часто приводит к использованию неполных решений. RESI же делает ставку на «намеренное замедление» (deliberate slowdowns) в развитии моделей, чтобы дать время на разработку надежных теоретических гарантий. Группа будет изучать не только технические аспекты (как проектировать верификацию), но и организационные (как собрать нужных экспертов для создания артефактов безопасности в срок).
Значение для индустрии
Запуск этой рабочей группы сигнализирует о сдвиге парадигмы: безопасность ИИ перестает быть только вопросом тестирования и пилотирования, превращаясь в дисциплину, основанную на доказательствах. Если RESI удастся масштабировать методы, успешно применяемые в криптографии, это может стать ключевым инструментом для предотвращения кибератак, инициируемых автономными ИИ-агентами, в ближайшие годы.
Источник: LessWrong ↗