Суть эксперимента: Гигантский граф против малого веса
Проект Fly Language Model (FLM) представляет собой эксперимент по интеграции полного коннектома самца дрозофилы (MaleCNS v1.0) в архитектуру языка. В качестве «мозга» использована замороженная модель LiquidAI LFM2.5-1.2B-Instruct (1,17 млрд параметров). К ней подключен резервуарный компьютер, содержащий 166 700 нейронов и 25 582 938 синаптических связей.
Ключевая особенность: веса самой LLM и графа зафиксированы. Обучается только слой считывания (readout) объемом 278 528 параметров (менее 0.024% от общего числа). Это позволяет изолировать влияние именно биологической структуры на генерацию текста.
Результаты: Биология проигрывает случайности
Тестирование проводилось на наборе SmolTalk (32 диалога, 1 236 токенов). Метрика — перплексия (NLL, нат/токен). Оказалось, что подключение реального коннектома дает минимальное улучшение по сравнению с базовой моделью, но уступает контролю, где граф заменен случайными связями.
| Условие | NLL (наты/токен) | Комментарий |
|---|---|---|
| Замороженная базовая модель | 1.381995 | Исходный уровень |
| FLM (с коннектомом мухи) | 1.359816 ± 0.000110 | Улучшение на 0.0222 ната |
| Контроль (без графа, прямой вход) | 1.359328 ± 0.000108 | Лучший результат (ниже NLL) |
| Перемешанные узлы (без переобучения) | 1.381265 ± 0.000802 | Результат близок к базовому |
| Отсутствие связей (W=0) | 1.381995 | Полное исчезновение эффекта |
Почему это важно для AI-индустрии
Результаты ставят под сомнение идею о том, что «правильная» биологическая архитектура автоматически дает преимущество в языковых задачах. Контрольная модель с тем же количеством каналов, но без анатомической структуры графа, показала статистически значимое превосходство. Это означает, что выгода от FLM обусловлена не топологией мозга мухи, а просто наличием дополнительного слоя проекции.
Технические детали и ограничения
- Кратковременная память: Рекуррентные связи в графе сжимают различия начальных состояний со скоростью 0.6 за токен. Через 20 токенов влияние исчезает почти полностью (до 0.0000366). Долгосрочная память по-прежнему обеспечивается только базовой LLM.
- Воспроизводимость: Код доступен на GitHub (MIT-лицензия, Python 3.12), но артефакты обучения (веса readout) не опубликованы, что затрудняет независимую проверку.
- Масштаб: В отличие от предыдущих прототипов (например, ngxson/fly-hf с 49 тыс. нейронов), FLM использует полный ретенированный граф, что делает его самым крупным экспериментом такого типа на данный момент.
Проект демонстрирует, что интеграция биологических данных в ИИ — это скорее интересный инженерный вызов, чем путь к немедленному прорыву в качестве генерации текста.
Источник: MarkTechPost ↗