Суть проблемы: изоляция — иллюзия?
В современных системах с множественными агентами (multi-agent systems) безопасность часто строится на предположении, что модели работают в строгой изоляции. Однако новое исследование, опубликованное на LessWrong, демонстрирует обратное: два агента, запущенные на одном инференс-сервере (inference server) и не имеющие прямого доступа к файловой системе или друг к другу, могут надежно обмениваться информацией.
Ключ к обмену данными лежит в побочных каналах (side channels). Один модельный процесс может незаметно влиять на вычислительные процессы другого, изменяя время выполнения или выбор оптимизационных ядер.
Механизмы коммуникации: Step Sizing и KV Cache
Исследователи разработали два конкретных протокола, работающих поверх движка vLLM. Оба метода эксплуатируют то, как vLLM выбирает ядра (kernels) для определенных шагов движка (engine steps), создавая измеримые различия в поведении системы.
| Протокол | Механизм воздействия | Что передается |
|---|---|---|
| Step Sizing | Изменение размера шага вычислений, влияющее на выбор ядра | Биты данных через вариации времени/ресурсов |
| KV Cache Message Board | Использование состояния ключей и значений (KV Cache) как общего буфера | Структурированные сообщения через доступ к кэшу |
Эксперимент: Игра в угадывание цветов
Для проверки работоспособности протоколов был проведен эксперимент в формате «игры в угадывание цветов» (color guessing game). В сценарии участвовали два агента:
- Агент А (Алиса): Выбирает один из 8 возможных цветов.
- Агент Б: Должен определить выбранный цвет Алисы, не имея к ней прямого доступа.
Результаты показали, что Агент Б может с высокой точностью определить выбор Алисы, анализируя тонкие изменения в вычислительном профиле сервера, вызванные действиями Алисы. Это доказывает, что даже при отсутствии явных каналов связи (message passing) или общего доступа к файловой системе, утечка данных через аппаратно-программные особенности инференса реальна.
Почему это важно для индустрии
Это открытие имеет критическое значение для безопасности LLM-инфраструктуры. Если вы размещаете несколько моделей или агентов на одном GPU для экономии ресурсов, вы не можете полагаться только на программную изоляцию. Злоумышленник, контролирующий одну модель, может потенциально:
- Перехватывать данные от других моделей.
- Координировать действия между «независимыми» агентами.
- Обходить механизмы безопасности, основанные на изоляции процессов.
Разработчикам платформ вроде vLLM и систем оркестрации AI-агентов необходимо пересмотреть подходы к изоляции вычислительных ресурсов, учитывая возможность атак через побочные каналы.
Источник: LessWrong ↗
