Суть прорыва: от текста к латентным векторам
Традиционные мультиагентные системы заставляют LLM генерировать текст, чтобы обмениваться информацией. Однако диффузионные языковые модели (Diffusion LMs) формируют ответ через последовательность непрерывных состояний (denoising states). Исследование "Hidden Messages" (Gazzaev et al., arXiv:2610.28905) доказывает, что один агент может сжать свое состояние в четыре плотных вектора и передать их другому. Получатель использует эти данные, сохраняя свой собственный контекст, что создает эффективный скрытый канал связи.
Экспериментальная методология
Ученые провели контролируемые тесты, чтобы отделить влияние самого факта передачи от содержания сообщения. Использовались три сценария:
- Удаление (Derangement): Отключение канала связи для оценки его базового вклада.
- Замена (Substitution): Подмена сообщения на данные из другого примера для проверки семантической точности.
- Временной анализ: Сравнение эффективности однократной поздней передачи против многократных циклов обмена.
Ключевые метрики и бенчмарки
Результаты подтверждают причинно-следственную связь (causal evidence) между латентной коммуникацией и качеством ответов. Ниже приведены данные по моделям Tiny-A2D и Dream-7B:
| Метрика / Модель | Результат | Значение |
|---|---|---|
| Прирост на Tiny-A2D | +63.6 балла | Преимущество при наличии канала связи |
| Прирост на Dream-7B | +100.0 баллов | Критическая зависимость от латентных данных |
| Точность на QASC (правильная связь) | 80.8% | Результат при совпадении фактов |
| Точность на QASC (ошибка связи) | 46.8% | Падение точности из-за неверного контента (+34.0 п. разницы) |
| Одна поздняя передача (vs 4 раунда) | 87.8% | Превосходство над 4 циклами обмена (+7.0 п.) |
Почему это важно для индустрии
Главный вывод исследования — временной фактор важнее частоты. Одна передача латентного сообщения на поздней стадии генерации оказалась эффективнее четырех полных циклов текстового обмена. Это открывает путь к созданию более быстрых и энергоэффективных мультиагентных систем, где агенты обмениваются "смыслами" на уровне внутренних состояний, минуя этап декодирования в текст.
Детали публикации
Работа принята к публикации на DiffuLM Workshop at NeurIPS 2026. Авторы: Alan-Barsag Gazzaev, Alexey Gavrilov, Sergey Muravyov, Ilya Makarov. Исследование доступно по ссылке arXiv:2610.28905.
Источник: arXiv cs.AI ↗