Ловушка для SLM: почему безопасность малых моделей не проверяется

Проблема масштабирования безопасности

Малые языковые модели (SLM) всё чаще развертываются на устройствах с ограниченными ресурсами и в средах, чувствительных к приватности. Однако существующие инструменты оценки безопасности (benchmarks) разработаны для Large Language Models (LLM). Исследователи Nyamtulla Shaik, Fengjun Li и Bo Luo из ESORICS 2026 задались вопросом: можно ли доверять этим метрикам, когда речь идет о компактных моделях?

Масштабное тестирование 26 моделей

Авторы провели масштабную оценку, протестировав 26 открытых SLM с использованием пяти популярных наборов тестов на безопасность. Для объективности была введена единая система оценки, присваивающая баллы за ответы модели:

Главный вывод: «Двусмысленность» маскирует уязвимости

Результаты показали, что доминирующим типом суждений в бенчмарках стала двусмысленность (ambiguity). Это не означает, что модель безопасна; это означает, что она не смогла сформировать четкий ответ. Авторы выявили «конфликт способности и безопасности» (capability-safety confound): чем сложнее запрос и выше перплексия вывода, тем выше вероятность двусмысленного ответа.

Ключевые корреляции, выявленные в исследовании:

• Рост двусмысленности наблюдается при увеличении лексической плотности, перплексии вывода и длины ответа.
• Снижение двусмысленности связано с лексической сложностью, самокогерентностью и схожестью ответа с промптом.

Почему это важно для индустрии

Исследование доказывает, что LLM-центричные бенчмарки недостаточны для оценки SLM. Агрегированные рейтинги безопасности математически хрупки: ранжирование моделей сильно меняется при разных методах обработки «двусмысленных» ответов, даже если сами выходные данные не меняются. Использование таких бенчмарков как единственного доказательства безопасности для SLM является ошибочным и создает риски для пользователей.

Источник: arXiv cs.AI ↗