Проблема разрозненных модальностей
Реальное зрение динамично, но большинство систем нейрораспознавания анализируют ЭЭГ и фМРТ изолированно, часто на статичных изображениях. Это игнорирует контекст и временные масштабы. Авторы работы, принятой на BMVC 2026, предлагают решение: синхронная запись ЭЭГ и фМРТ во время просмотра длинных натуралистичных видео. Ключевая идея — использование замороженных пространств эмбеддингов длинных видео (Long-Form Video Embeddings) как общей семантической ссылки, а не буквального нейронного кода.
Архитектура BrainBind
Система BrainBind маппирует сигналы мозга в единое визуальное семантическое пространство. Это позволяет обрабатывать повторяющийся нарративный контекст и множество семантически похожих кандидатов, что критически важно для естественного просмотра контента. Подход отказывается от попыток прямого кодирования нейронных импульсов в пользу семантической близости к видеорепрезентациям.
Результаты на датасете CineBrain
Эксперименты проводились на датасете CineBrain с использованием 5 участников (seeds). Оценка производилась через матрицу Recall@K 2 x 4 (два якоря видео, четыре конфигурации системы). Результаты показали четкие различия в профилях поиска в зависимости от выбранной прокси-модели:
| Конфигурация | Ключевая метрика | Значение | Характеристика |
|---|---|---|---|
| Omni (fMRI) | MRR (Mean Reciprocal Rank) | 23.82 | Наиболее сильная организация полного списка кандидатов |
| Omni (fMRI) | nDCG@10 | 25.31 | Высокая релевантность топ-10 результатов |
| Joint-Dual | Label-aware R@1 | 13.52% | Наивысшая точность первого ранга с учетом меток |
Значение для нейротехнологий
Исследование количественно оценивает вклад повторяющейся идентичности стимула и нарративного контекста при случайном разделении данных. BrainBind демонстрирует, что выбор прокси-модели и конфигурации системы формирует различные профили поиска как в топ-рангах, так и по всему списку. Это открывает новые возможности для создания интерфейсов «мозг-компьютер», способных понимать сложный, динамичный визуальный опыт человека в реальном времени.
Источник: arXiv cs.AI ↗