Проблема избыточности в латентной коммуникации
Системы мультиагентного взаимодействия, такие как Vision Wormhole, позволяют гетерогенным моделям обмениваться непрерывными представлениями (тензорами), минуя сериализацию в текст. Однако текущий протокол транспортирует каждое сообщение как плотный тензор фиксированного размера, независимо от его информационной плотности. Это приводит к колоссальному перерасходу ресурсов: большинство доступных степеней свободы остаются неиспользованными, что делает канал связи потенциально сжимаемым.
Методология: Пост-хок разреженное автокодирование
Авторы работы Di Wu и Xiaohui Zhu (подано в arXiv 10 августа 2026 года) применили метод Post-Hoc Sparse Autoencoder (SAE) к замороженным активациям Vision Wormhole. Целью было измерение избыточности данных и оценка возможности сжатия без ущерба для downstream-задач. Эксперимент проводился на девяти бенчмарках для проверки реконструкции, переиспользования признаков и токенов.
Ключевые метрики и результаты
Исследование показало, что активации моделей крайне разрежены. Фитированный словарь из 4096 элементов использует лишь 50 активных признаков на задачу. Среднее попарное сходство Жаккара (Jaccard similarity) для активных множеств на уровне задач составило 0.906, что указывает на высокую стабильность и предсказуемость латентных представлений.
Сравнение эффективности передачи данных выглядит следующим образом:
| Параметр | Оригинал (Vision Wormhole) | Сжатый формат (SAE k=4) | Эффект |
|---|---|---|---|
| Тип данных | float32 (плотный тензор) | uint16-index / float16-value | Снижение разрядности |
| Активные коэффициенты | Все элементы тензора | k=4 на токен | Жесткое ограничение |
| Объем передаваемых данных | Базовый уровень | В 128 раз меньше | Экономия трафика |
| Точность (Non-AIME, 7 задач) | 49.85% | 49.77% | Потеря ~0.08% |
Значение для индустрии
Результаты доказывают сильную пост-хок сжимаемость латентного пространства VLM-агентов. Потеря точности в 0.08% при сокращении объема данных в 128 раз делает этот подход крайне привлекательным для развертывания распределенных AI-систем. Авторы отмечают, что дальнейшая работа должна быть направлена на изоляцию вклада именно разреженного кодирования от эффектов снижения точности чисел (precision) и оптимизации SAE, а также на создание механизмов с адаптивным размером payload.
Источник: arXiv cs.AI ↗