Проблема текстового обмена в мульти-агентных системах
В современных системах с несколькими ИИ-агентами (multi-agent systems) коммуникация традиционно строится на обмене текстом. Один агент суммирует выводы, другой — обрабатывает текст. Этот подход накладывает жесткие ограничения: коммуникация сводится к дискретным токенам, что создает избыточные вычислительные затраты и ограничивает пропускную способность. Ранее существовавшие методы передачи KV-кеша (Key-Value cache) работали только внутри одного семейства моделей или требовали от получателя предварительного заполнения (prefill) текста, что нивелировало преимущества прямого обмена состояниями.
Решение SwaT: «Телепатия» без префилла
Исследователи из MIT (Abdulrahman Alabdulkareem, Irene Tenison, Yang Zhang, Yada Zhu, Boris Katz, Dan Gutfreund) представили метод SwaT (Swarm Telepathy). Это первый подход, позволяющий передавать KV-кеш между моделями разных семейств (cross-family) без необходимости префилла. Ключевые особенности:
- Zero-shot кросс-семейная совместимость: Работает между различными архитектурами LLM без адаптации под конкретную пару моделей.
- Замороженные модели: Не требует дообучения (fine-tuning) ни отправителя, ни получателя.
- Низкая стоимость обучения: Для обучения модуля передачи требуется менее 50 миллионов токенов и менее 1 GPU-дня.
Результаты: Точность и скорость
В экспериментах SwaT показал превосходство над классическим текстовым обменом (text-to-text) в связке с методами сжатия KV-кеша. Метод протестирован на 17 бенчмарках с участием 12 моделей из 6 различных семейств.
| Метрика | SwaT (KV-Transfer) | Text-to-Text (Baseline) |
|---|---|---|
| Точность (Accuracy) | +40% (в среднем) | База |
| Время выполнения (Wall-clock time) | В 4 раза быстрее | База |
| Количество протестированных моделей | 12 LLM | 12 LLM |
| Семейства моделей | 6 семейств | 6 семейств |
Перенос визуальных способностей в текстовые модели
Особый интерес представляет способность SwaT передавать знания от мультимодальных моделей. В эксперименте, где отправителем выступала Vision-Language Model (VLM), а получателем — текстовая LLM (без визуального входа), SwaT успешно передал визуальные способности. Получатель смог корректно обрабатывать визуальные запросы, превзойдя результаты стандартного текстового описания изображений, хотя сам метод SwaT обучался исключительно на текстовых данных.
Почему это важно
Технология открывает путь к созданию высокопроизводительных мульти-агентных систем, где агенты разных типов (текстовые, визуальные, разные архитектуры) могут обмениваться «мыслями» (внутренними представлениями) напрямую, минуя потерю информации при токенизации в текст. Это критически важно для сложных кооперативных задач, где скорость и точность передачи контекста являются ограничивающим фактором.
Источник: Arxiv ↗