Проблема классической классификации
Традиционные интерфейсы «мозг-компьютер» (BCI) часто опираются на класс-меченый супервизор (CLS). Этот подход имеет существенный недостаток: он оставляет отношения между классами неявными, не позволяя модели понимать семантическую связь между сигналами. Исследователи из команды, возглавляемой Сюань Вэнь (Xuan Wen), предложили альтернативу — Language as Supervision (LaS). Метод выравнивает нейронные признаки с естественными языковыми описаниями классов через обученные проекции, используя текстовые прототипы для предсказания.
Результаты бенчмарков
Авторы протестировали LaS на семи архитектурах энкодеров, используя данные как с поверхности кожи (scalp), так и интракраниальные записи. Ключевым показателем эффективности стало улучшение точности декодирования речи. В сравнении с базовыми моделями CLS, новый метод показал значительный прирост метрик.
| Метрика / Параметр | Результат / Значение |
|---|---|
| Улучшение точности декодирования речи | до 17.15 п.п. (процентных пунктов) над базой CLS |
| Типы данных | Зрительные, моторные и речевые сигналы (scalp & intracranial) |
| Количество протестированных архитектур | 7 независимых энкодеров |
| Специфическая способность | Декодирование «невидимых» частот в SSVEP |
Универсальность и адаптация
LaS не просто повышает точность, но и решает проблему переобучения под конкретного пользователя. Представления, полученные методом, поддерживают повторное использование набора кандидатов и адаптацию с метками, что критично для разных субъектов и сессий. Особого внимания заслуживает способность LaS к условному декодированию частот, которые не присутствовали в обучающей выборке (unseen-frequency decoding) в ответах на стационарные вызванные потенциалы (SSVEP). Это становится возможным благодаря корректному соответствию описаний классов, что подтверждается визуализацией атрибуции с двух сторон — нейронной и текстовой.
Значение для индустрии BCI
Работа демонстрирует, что текстовые описания могут служить универсальными ссылками для обучения и интерпретации в нейронном декодировании. Это открывает путь к созданию более гибких BCI-систем, которые легче адаптировать под новых пользователей и новые задачи без необходимости полного переобучения моделей с нуля, используя семантическую структуру языка как основу для понимания мозговых сигналов.
Источник: arXiv cs.AI ↗