Суть проблемы: «Испорченный телефон» в цепочках агентов
В системах с множественными переходами (multi-hop agent relays) информация передается от одной LLM к другой. Существует два противоположных подхода: оптимизация формата (структурированные сообщения дешевле и точны) и ограничение формата (структура ухудшает генерацию). Ни одно из исследований не учитывало эффект многократной передачи, где важна не однократная генерация, а сохранение исходных данных (copy fidelity). Автор Zayx Shawn провел контролируемый тест, чтобы выяснить, как формат влияет на целостность данных при прохождении через несколько узлов.
Методология: 12 фактов, 5 форматов, 6 прыжков
Эксперимент использовал тестовый стенд, где краткие брифы из 12 программно сгенерированных атомарных фактов перекодировались шаг за шагом. Тестировались пять форматов сообщений на шести переходах (hops). Оценивалась точность сильным градером по сравнению с программной истиной. Ключевыми переменными стали два уровня мощности ретранслятора (tier) и условия когнитивной нагрузки.
Ключевые результаты: Зависимость от «Tier» модели
Результаты показали, что эффекты формата строго зависят от мощности модели-ретранслятора. Для сильных моделей структура не нужна для точности, но для слабых — критична.
| Параметр | Сильный ретранслятор (Strong) | Слабый ретранслятор (1.5B) |
|---|---|---|
| Точность (при верной инструкции) | Почти без потерь (lossless). Эффект «испорченного телефона» отсутствует. | Разброс точности между форматами вырос в 8.7 раз (с 2.3 до 20.5 баллов). |
| Влияние когнитивной нагрузки | Точность формата не изменилась (±1.8 балла), но стоимость генерации выросла на 24-53%. | Информация недостаточна для детального сравнения, но доминирует влияние формата. |
| Устойчивость к ошибкам | Структура изолирует ошибки, но не исправляет их. | Жесткий JSON-схема обеспечивает сопротивление дрейфу (drift resistance), меняя рейтинг форматов в процессе передачи. |
Главный инсайт: Структура — это канал, а не исправительный код
Самое важное открытие касается инъекции ошибок. При тесте с парным разветвлением (paired-fork injection), если в сообщение вводилось неверное значение, оно сохранялось до последнего шага в 83-100% случаев во всех форматах. Это совпадает с тем, как каждый формат сохраняет истинное значение. Структурированные данные (JSON, triples) не исправляют ошибки, введенные на ранних этапах, но они локализуют их, не повреждая соседние факты.
Вывод для разработчиков
Выбор формата передачи сообщений между агентами должен определяться самым слабым звеном в цепочке (weakest relay). Если в пайплайне есть слабая модель (например, 1.5B), использование жестких структур (JSON) обязательно для сохранения целостности данных. Если же все агенты сильные, можно использовать свободный естественный язык, экономя вычислительные ресурсы, так как структура не дает прироста точности, но увеличивает стоимость.
Источник: arXiv cs.AI ↗