Суть эксперимента: от Markdown к integer arrays
Google Open Knowledge Format (OKF), изначально задуманный как Markdown+YAML скелет для обмена знаниями между людьми и ИИ-агентами, был адаптирован для узкой технической задачи. Авторы исследования использовали OKF не для текстовых диалогов, а для эффективной передачи предтокенизированных целочисленных массивов (pre-tokenized integer arrays) между тремя версиями модели Qwen2.5-Coder (7B, 3B и 1.5B). Такой подход позволяет избежать избыточных вычислений при повторной токенизации данных.
Ключевые метрики производительности
Основной целью оптимизации было снижение задержки при передаче контекста от одной модели к другой. Использование OKF в качестве стандартизированного формата обмена позволило достичь значительного ускорения генерации первого токена (Time To First Token, TTFT). Это критически важно для систем с множественными агентами, где задержка накапливается.
| Метрика / Параметр | Результат / Значение | Значимость |
|---|---|---|
| Снижение TTFT | 28–37% | Значительное ускорение отклика системы при межмодельном взаимодействии |
| Обмениваемые данные | Pre-tokenized integer arrays | Исключает накладные расходы на токенизацию на стороне получателя |
| Модели | Qwen2.5-Coder (7B, 3B, 1.5B) | Тестирование на моделях разного размера подтвердило масштабируемость метода |
| Механизм безопасности | One full-vocabulary equivalence check | Единичная проверка эквивалентности словаря обеспечивает целостность данных без перегрузки системы |
Почему это важно для разработчиков LLM
В архитектурах Multi-Agent Systems (MAS) передача контекста между специализированными моделями часто становится «узким горлышком». Традиционный обмен текстом требует, чтобы каждая принимающая модель заново токенизировала входящий текст, что увеличивает вычислительную нагрузку и время отклика. Использование OKF для передачи уже обработанных числовых представлений токенов решает эту проблему.
Дополнительным преимуществом стала реализация проверки эквивалентности словаря (vocabulary equivalence check). Этот механизм гарантирует, что модели используют совместимые токенизаторы, предотвращая ошибки интерпретации данных, и делает процесс обмена безопасным и предсказуемым даже при взаимодействии моделей разных версий или размеров.
Источник: Towards Data Science ↗