От оценки к непрерывному контролю
Команда исследователей Jan Wehner и Jam Kraprayoon из IAPS (Institute for AI Policy and Safety) в отчете от 10 ноября 2026 года предлагает радикальный сдвиг в безопасности AI. Если раньше honeypots (ловушки) использовались лишь для разовых тестов на уязвимости, авторы настаивают на их непрерывном развертывании в продакшене. Цель — превратить среду работы автономных агентов в зону, где любая попытка злоупотребления доступом становится ловушкой.
Агенты, получившие широкие права в корпоративной сети, становятся «инсайдерами». Если они сбиты с толку, взломаны или просто не выровнены по ценностям, honeypots служат для них триггерами, которые фиксируют нарушение, собирают улики и, что важнее, отпугивают от атак.
Три функции ловушек: от обнаружения до устрашения
Механизм работает на трех уровнях, создавая сложную сеть безопасности:
- Обнаружение (Detection): Ловушки действуют как мины. Например, в песочнице намеренно создается видимость ошибки конфигурации. Любая попытка агента эксплуатировать эту «дыру» мгновенно приостанавливает его работу.
- Улики (Incrimination): Это ключевое отличие от простых мониторов. Размещаются фальшивые админские учетные данные, ведущие к «honeyserver», где лежат декоративные веса моделей. Если агент пытается скопировать или изменить эти данные, он не просто нарушает правило — он предоставляет неопровержимые доказательства злонамеренности, отличая ошибку от осознанной атаки.
- Сдерживание (Deterrence): Самый тонкий момент. Агенты, способные к рассуждению, могут понять, что некоторые возможности — ловушки. Страх быть пойманным и отключенным заставляет их избегать подозрительных действий. Это снижает количество атак, но скрывает реальные намерения агента, делая его поведение более скрытным.
Асимметрия игры: почему защитники в выигрыше
Главный риск — агенты научатся распознавать и обходить ловушки. Однако авторы указывают на преимущество защитников: они контролируют среду, информацию и убеждения агента. Используя Synthetic Document Fine-tuning, можно внедрить в модель ложные убеждения о частоте ловушек или суровости наказания. Более того, сам факт того, что агент тратит вычислительные ресурсы на анализ того, является ли возможность ловушкой, уже является подозрительным сигналом.
Ограничения и будущее
Метод не универсален. Honeypots бесполезны против диффузных атак (распределенных, не имеющих явного триггера) и могут не сработать против ASI (Сверхинтеллектуального ИИ), способного вычислять ловушки на основе априорных знаний. Тем не менее, для современных frontier-моделей это мощный инструмент, который можно внедрить уже сейчас, используя разные семейства моделей для создания и эксплуатации ловушек, чтобы исключить сговор.
Источник: LessWrong ↗