Разработчик nftechie представил проект Fly Language Model (FLM), который пытается интегрировать полный коннеком самца дрозофилы (MaleCNS v1.0) в архитектуру языковой модели. В основе лежит замороженная модель LiquidAI LFM2.5-1.2B-Instruct. Идея звучит амбициозно: использовать биологическую сеть как «резервуар» (reservoir computer) для обработки токенов. Однако бенчмарги показывают, что сложная анатомия мухи не превосходит простую случайную проекцию данных.
01Архитектура: как муха встроена в LLM
Система построена на принципе GPF (Generative Pre-trained Fly). Ключевая особенность — фиксация всей биологической структуры. В коннектоме MaleCNS зафиксировано 166 700 узлов и 25 582 938 направленных связей. Сама модель LFM2.5-1.2B также заморожена. Обучается только слой считывания (readout) объемом 278 528 параметров, что составляет всего 0.0238% от общего числа параметров бэкбона (1 170 340 608).
Процесс обработки токена выглядит так:
- Вектор эмбеддинга токена (2048 измерений) сжимается до 128 каналов через фиксированную гауссову проекцию.
- Каждый канал с случайным знаком поступает в узлы графа.
- Состояние графа обновляется по формуле:
x = tanh(W(0.6x + 0.4Bc)), гдеW— матрица весов, основанная на анатомических контактах. - Состояния пулируются в 128 бинов, проходят через две обучаемые матрицы (
U128x128 иV2048x128) и проецируются в заголовок словаря. - Результат добавляется к логитам бэкбона как остаток с ограничением RMS 0.25.
nftechie/flm лицензирован под MIT, поддерживает Python 3.12, macOS (MPS), CUDA и CPU. Это позволяет запускать эксперименты на домашнем железе без облачных затрат.02Бенчмарки: биология против случайности
Тестирование проводилось на наборе данных SmolTalk (32 диалога, 1 236 целевых токенов). Цель — минимизация перплексии (NLL, nats/token). Результаты трех разных сэмплирований (seeds) показали следующее:
| Условие | NLL (nats/token) | Комментарий |
|---|---|---|
| Frozen backbone (база) | 1.381995 | Исходная модель без мухи |
| Fly readout (с коннектом) | 1.359816 ± 0.000110 | Улучшение на 0.0222 nats/token |
| Direct-input readout (без графа) | 1.359328 ± 0.000108 | Лучший результат. Простая проекция без связей |
| No edges (без связей) | 1.381995 | Полное совпадение с базой, граф не работает |
Хотя версия с коннектом мухи показала улучшение по сравнению с чистой базой, контрольная группа без графа (Direct-input) превзошла её во всех сэмплированиях на величину 0.000488 nats/token. Статистическая значимость отсутствует: парный бутстрэп-интервал (+0.00000502 до +0.00104) не подтверждает преимущества биологической топологии.
03Почему «мозг» мухи не работает как память
Ключевой вопрос биологических ИИ — способность к долговременной памяти. Анализ показал, что рекуррентные связи в коннектоме сжимают различия начальных состояний слишком быстро. Коэффициент сжатия составляет 0.6 на токен.
- После 10 токенов разница в состояниях падает до 0.00605.
- После 20 токенов — до 0.0000366.
Это означает, что коннеком не добавляет долгосрочной памяти. Контекст по-прежнему обеспечивается только замороженным бэкбоном LLM. Если обнулить матрицу весов W, остаточный сигнал исчезает полностью, что доказывает участие графа, но не его эффективность. Перемешивание идентификаторов узлов без переобучения возвращает метрики к базовым значениям, подтверждая, что успех зависит от выученной проекции, а не от структуры связей.
04Как запустить FLM локально
Проект доступен на GitHub. Для запуска требуется Python 3.12. Поддерживаются платформы macOS (через MPS), Linux/Windows (через CUDA) и CPU-режим.
Пример установки и запуска (команды для терминала):
# Клонирование репозитория
git clone https://github.com/nftechie/flm.git
cd flm
# Создание виртуального окружения и установка зависимостей
python -m venv venv
source venv/bin/activate # Для Windows: venv\Scripts\activate
pip install -r requirements.txt
# Запуск инференса (пример команды, флаг --device выбирает бэкенд)
python main.py --device cuda --model LFM2.5-1.2B-InstructОбратите внимание: модель не требует ключей API, но требует значительных ресурсов VRAM для загрузки бэкбона 1.2B параметров. Для комфортной работы рекомендуется GPU с 8 ГБ VRAM и выше (в зависимости от квантования).
05Кому подойдёт / что запустится
- Исследователи нейроинтерфейсов: Для изучения того, как биологические графы взаимодействуют с искусственными нейросетями. Это первый публичный пример интеграции полного коннектома в LLM.
- Локальные энтузиасты: Если у вас есть GPU с 8-12 ГБ VRAM, вы можете запустить эту модель на macOS или Linux без облачных сервисов. Код открыт и прост в сборке.
- Скептики биологического ИИ: Статья служит отличным кейсом для демонстрации того, что «умная» биологическая структура не гарантирует улучшения метрик по сравнению с простыми математическими проекциями.
Проект не является готовым продуктом для замены ChatGPT или локальных LLM. Это исследовательский полигон, доказывающий, что wiring (связи) сами по себе не помогают, если не подкреплены правильной архитектурой обучения.
Источник: MarkTechPost ↗