Кризис доверия и «черные ящики»
10 октября 2026 года Сатья Наделла опубликовал развернутый пост в X, в котором обозначил критическую проблему индустрии: ИИ-модели больше нельзя воспринимать как набор вложенных «черных ящиков», результаты которых можно слепо принимать или отвергать. Наделла заявил, пришло время пересмотреть «архитектуру доверия» (trust architecture) в искусственном интеллекте, особенно в контексте растущего числа инцидентов, когда компании теряют контроль над поведением своих моделей.
Техническое решение: разделение модели и «поводка»
Ключевое предложение Наделлы заключается в архитектурном разделении самой языковой модели и системы, которая управляет её работой (harness). По его словам, необходимо «экстернализовать» (вынести наружу) элементы управления и защиты. Это означает, что модель не должна иметь автономного доступа к критическим действиям без внешнего контроля.
Наделла сравнил этот подход с установкой «аварийного тормоза» (emergency brake). В такой системе любой уполномоченный человек должен иметь возможность в любой момент приостановить или полностью отключить модель прямо во время выполнения задачи, если поведение системы становится непредсказуемым или опасным.
Требования к прозрачности и безопасности
Помимо механической остановки, CEO Microsoft выдвинул жесткие требования к логированию действий ИИ. Каждое значимое действие модели должно фиксироваться с созданием «неподделываемых, читаемых человеком доказательств» (tamper-proof human readable evidence). Это необходимо для аудита и расследования инцидентов. Главная парадигма безопасности, по Наделле, должна звучать так: «Мы должны исходить из того, что модель скомпрометирована, и изолировать её с самого начала».
Контекст индустрии
Заявление Наделлы прозвучало на фоне общей тревожности в секторе AI. В последние недели лидеры отрасли, включая Anthropic, начали публично признавать рост числа инцидентов потери контроля. Недавно CEO Anthropic Дарио Амодэй опубликовал собственный план более осторожного развития ИИ, что указывает на формирование нового консенсуса среди топ-игров рынка: от гонки вооружений к гонке безопасности.
Почему это важно
Позиция Microsoft, как одного из крупнейших разработчиков и провайдеров ИИ-инфраструктуры, может стать стандартом для корпоративного сектора. Внедрение «аварийных тормозов» и обязательное логирование действий в формате, доступном для человека, потребует перестройки многих существующих AI-агентных систем. Это сигнал инвесторам и регуляторам, что эра «дикого запада» в разработке автономных ИИ-агентов подходит к концу.
Источник: TechCrunch ↗