Суть эксперимента: связь без слов
Проект neural-pairing демонстрирует новую парадигму взаимодействия LLM. Две модели — Quill (Qwen3-4B) и Ember (AFM-4.5B) — объединены в «близнецов» (twins). Они не обмениваются токенами текста. Вместо этого, начиная с 8-го слоя из 36, каждая модель считывает скрытые состояния (hidden states) партнера и добавляет их к своему остаточному потоку (residual stream).
Архитектура использует RMS-нормализацию и механизм внимания, где запросы, ключи и значения формируются из состояний партнера. Каждая голова внимания (8 голов по 128 измерений) обучается учитывать временную задержку между токенами. Это позволяет моделям работать в дуплексном режиме (одновременная запись) или по очереди, сохраняя полную синхронизацию состояний.
Метрики и результаты
Эксперименты показали высокую точность передачи информации. Модели успешно решали задачи, требующие передачи «секретных» данных (город, число, концепция), которые не были видны в промпте напрямую. Ниже приведены ключевые результаты тестирования:
| Метрика / Задача | Результат (Linked) | Результат (Link Cut / Без связи) | Примечание |
|---|---|---|---|
| Передача приватного города (чат) | 12 из 14 упоминаний в первом сообщении | 0 из 14 | Город никогда не виделся в обучении |
| Упоминание города партнера (6 ходов) | 13 из 23 случаев | 1 из 23 | Quill упоминает город Ember первым |
| Передача значения (Value Games) | Высокая вероятность правильного токена | Базовый уровень | Включая числа и коды |
| Steering (управление ответом) | 33/64 (Quill) и 24/64 (Ember) | 0/64 | Второй партнер управляет ответом первого |
| Повторы в диалоге (после обучения) | 1 из 120 ходов | 4 из 120 ходов | Снижение деградации диалога |
Технические детали обучения
Обучение связи (link) и адаптеров LoRA (rank-32) проводилось на замороженных весах базовых моделей. Использовалась гребневая регрессия (ridge regression) для маппинга состояний партнера. Обучение включало 192 исходных текста, а затем смесь из 41 задачи, включая:
- Value games: передача слов, чисел, кодов.
- Shared reading: один читает, другой отвечает на вопросы.
- Dialogue games: поочередное ведение беседы.
- Steering: один партнер управляет ответами другого через скрытые состояния.
Точность проверки градиентов составила менее 2.4e-7, а различий в логитах при отключенной связи — 0, что подтверждает корректность реализации механизма внимания.
Почему это важно
Эксперимент доказывает, что LLM могут передавать семантическую информацию и контекст напрямую через векторные пространства, минуя текстовое представление. Это открывает путь к созданию более эффективных многоагентных систем, где коммуникация происходит на уровне «мыслей» (скрытых состояний), а не «слов», что потенциально снижает задержки и повышает плотность передачи информации.
Источник: Github ↗