Конфликт между безопасностью и безопасностью
Вопреки распространенному мнению, что ИИ-фильтры (guardrails) исключительно полезны, они создают серьезные препятствия для специалистов по кибербезопасности. Исследователи, чья работа заключается в поиске неизвестных уязвимостей (zero-day) и разработке инструментов для их эксплуатации, столкнулись с тем, что крупные провайдеры ИИ блокируют легитимные запросы на анализ кода и симуляцию атак.
Механизм блокировки
Специалисты отмечают, что модели OpenAI и Anthropic часто интерпретируют технические запросы, связанные с отладкой или тестированием безопасности, как потенциально вредоносные. Это приводит к отказу в генерации полезного кода или объяснений, необходимых для понимания того, как работает уязвимость. В результате исследователи вынуждены тратить время на обход фильтров или использовать менее совершенные модели.
Почему это важно для индустрии
Эффективная кибербезопасность требует понимания того, как работают атаки. Если инструменты ИИ, которые должны помогать в защите, блокируют доступ к знаниям об эксплойтах, это замедляет процесс выявления и исправления уязвимостей. В долгосрочной перспективе это может оставить критическую инфраструктуру и корпоративные системы более уязвимыми для реальных злоумышленников, которые не ограничены подобными фильтрами.
Позиция разработчиков ИИ
Компании продолжают настаивать на необходимости строгих ограничений для предотвращения злоупотреблений. Однако сообщество исследователей безопасности призывает к более тонкой настройке этих систем, чтобы отличать легитимные исследовательские запросы от реальных угроз, не жертвуя при этом скоростью реагирования на новые киберугрозы.
Источник: TechCrunch ↗