Суть эксперимента: язык против ЭЭГ
Команда BCI Report провела тестирование на датасете BETA (70 участников, 40 частот от 8.0 до 15.8 Гц). Цель — проверить, может ли языково-условный заголовок (head) на базе предобученной модели CBraMod ответить на вопрос о частоте мерцания, которую он никогда не видел в обучающей выборке. В каждой из пяти ротаций 32 частоты использовались для обучения, а 8 — удерживались для тестирования (held-out).
Результаты: язык не справляется
Результаты оказались разочаровывающими для сторонников универсальных языковых интерфейсов в BCI. Языковая модель показала низкую точность на неизвестных частотах, значительно уступая как стандартным методам, так и простым эвристикам.
| Метод | Точность (Accuracy) | Примечание |
|---|---|---|
| Стандартный CCA | 80.9% | Не требует обучения, опирается на физику сигнала |
| Plain Spectrum (языковой head) | 28.7% | Использует сырой спектр ЭЭГ |
| CBraMod + Language Head | 19.0% | Замороженные признаки CBraMod + языковой запрос |
| Шанс (Chance) | 12.5% | Случайный выбор из 8 вариантов |
Почему это важно для BCI
Ключевой вывод заключается в том, что «замороженные» признаки предобученных моделей (CBraMod) не обобщаются на новые частоты через языковые инструкции. Более того, простые методы, использующие числовые коды частот или усредненные баллы соседних обученных частот, превзошли сложную языковую модель. Это ставит под сомнение эффективность подхода «encode-once, answer-many» с использованием естественного языка для задач, требующих точной частотной дискриминации.
Проблема перефразирования
Эксперимент также показал хрупкость модели к изменениям формулировок. При перефразировании вопросов, на которых модель была обучена, сбалансированная точность падала. Только в одном из шести сравнений результат оставался в пределах заранее объявленного маржи в 2%. Это указывает на то, что текущие языковые декодеры ЭЭГ не обладают необходимой семантической устойчивостью для практического применения в интерфейсах «мозг-компьютер».
Источник: Towards AI pub ↗