Гибкость вместо скачка точности
Компания Zyphra выпустила обновленную версию своей фундаментальной модели для электроэнцефалографии (EEG) — ZUNA1.1 — под лицензией Apache 2.0. Главное нововведение заключается не в увеличении числа параметров (они остались на уровне 380 млн), а в поддержке переменной длины входных данных от 0.5 до 30 секунд. Предыдущая версия ZUNA1 обрабатывала только фиксированные 5-секундные сегменты, что ограничивало её применение в реальных сценариях, где записи сильно варьируются по длительности.
Архитектура: 4D-позиционное кодирование
Модель представляет собой диффузионный автоэнкодер на базе трансформатора. Ключевая инновация — использование 4D-ротационного позиционного кодирования (RoPE) по координатам (x, y, z) электрода и времени (t). Это делает модель «канало-независимой»: она может реконструировать сигналы в точках, где датчики физически отсутствовали, позволяя апсемплинг ЭЭГ с 4-канальных головных повязок до 256-канальных исследовательских шапок.
Сравнение версий
Различия между ZUNA1 и ZUNA1.1 кроются в стратегии обучения и качестве данных, а не в структуре нейросети. Ниже приведена детальная сравнительная таблица:
| Атрибут | ZUNA1 | ZUNA1.1 |
|---|---|---|
| Параметры | 380M | 380M |
| Длина входа | Фиксированная 5 с | 0.5–30 с (шаг 0.125 с) |
| Схемы дропаута | 1 (случайные каналы) | 4 (каналы, время, пространственно-временные кластеры, точечные пропуски) |
| Корпус данных | ~2 млн канал-часов | ~3.5 млн канал-часов |
| Фильтрация качества | На уровне записи | Покадровая оценка качества канала |
| Реконструкция NMSE | Базовая | Равная или лучшая |
Практическое применение
ZUNA1.1 решает проблемы «грязных» данных: шум, выпадение каналов и артефакты движения. Модель способна восстанавливать пропавшие каналы, очищать сегменты от артефактов и генерировать сигналы для виртуальных электродов. Для работы требуется consumer GPU, но инференс возможен и на CPU. Весы доступны на Hugging Face, код — на GitHub. Установка через pip install zuna.
Источник: MarkTechPost ↗