Проблема «утечки» субъекта
В машинном обучении с EEG-данными часто возникает ошибка: одно и то же окно сигнала от одного участника попадает и в обучающую, и в тестовую выборку. Это создает иллюзию высокой обобщающей способности модели, хотя на деле она просто запоминает индивидуальные особенности конкретного человека, а не физиологические паттерны задачи. Аналогичная проблема актуальна для данных с носимых устройств и медицинских мониторов.
Экспериментальная настройка
Авторы использовали датасет EEGMAT (PhysioNet) с 36 записями ЭЭГ. Сигнал (19 каналов, 1-40 Гц) разбивался на 4-секундные окна, что дало 2134 образца. Извлекались спектральные признаки (76 фич: 19 каналов × 4 частотных диапазона). Сравнивались три алгоритма: логистическая регрессия, SVM с RBF-ядром и случайный лес (300 деревьев).
Результаты: разрыв в точности
При переходе от случайного разбиения окон к строгому удержанию целых участников (subject-level holdout) точность всех моделей резко упала. Модель, показывавшая почти идеальные результаты на знакомых данных, теряла более четверти точности на новых субъектах.
| Метрика / Модель | Random-Window Split | Subject-Held-Out | Падение (Delta) |
|---|---|---|---|
| Logistic Regression (Bal. Acc) | 0.770 | 0.648 | -0.122 |
| Random Forest (Bal. Acc) | 0.664 | 0.532 | -0.132 |
| RBF-SVM (Bal. Acc) | 0.864 | 0.602 | -0.262 |
| RBF-SVM (ROC-AUC) | 0.932 | 0.671 | -0.261 |
Доказательство утечки данных
Чтобы доказать, что модель «подсматривает» личность, авторы поставили задачу классификации не по типу задачи (фон/счет), а по личности участника. Модель с точностью 94.0% (при уровне случайности 2.8%) успешно определяла, от кого именно получен сигнал. Это доказывает, что спектральные признаки содержат сильный индивидуальный «отпечаток», который и дает ложноположительные результаты при неправильном валидации.
Вывод для индустрии
Для надежной оценки обобщающей способности EEG-моделей необходимо использовать GroupKFold или аналогичные методы, исключающие попадание данных одного субъекта в train и test одновременно. Иначе результаты исследований в области трансляционной ЭЭГ и нейроинтерфейсов будут необоснованно оптимистичными.
Источник: Towards Data Science ↗