Почему графики переобучения MLOps не работают: модели не забывают, они испытывают шок

01Введение: проблема забывания моделей

Современные ML модели в производственной среде не деградируют постепенно — они сталкиваются с резкими и непредсказуемыми изменениями. Исследование на основе 555,000 транзакций показало, что традиционная экспоненциальная кривая забывания имеет R² = −0.31, что хуже, чем предсказание среднего значения.

Перед тем как устанавливать график переобучения, стоит выполнить простую трехстрочную диагностику, чтобы понять, как ведет себя ваша модель:

report = tracker.report()
print(report.forgetting_regime)   # "smooth" or "episodic"
print(report.fit_r_squared)       # < 0.4 → abandon schedule assumptions

Если ваш R² меньше 0.4, модель не "забывает", и все предположения о полураспаде могут оказаться ошибочными.

02Как всё началось: неделя номер семь

В седьмую неделю показатель Recall упал с 0.9375 до 0.7500 всего за семь дней. Это стирание трёх недель улучшений модели произошло без предупреждения, хотя общие ежемесячные показатели остались в пределах нормы.

Этот случай заставил пересмотреть предположения о графиках переобучения, которые основывались на экспоненциальной модели забывания, предложенной Германом Эббингхаусом в XIX веке.

03Модель забывания: от психологии к машинному обучению

Историческая перспектива

В 1885 году Герман Эббингхаус изучал человеческую память и обнаружил экспоненциальную зависимость: память угасает постепенно и предсказуемо. Это открытие стало основой для многих исследований в когнитивной психологии.

Эксперимент с мошенническими транзакциями

Для проверки применимости этой модели в машинном обучении был использован набор данных о мошеннических транзакциях с кредитными картами. Модель, использующая LightGBM, не переобучалась в течение тестового периода, а качество оценивалось на основе еженедельных данных.

04Результаты и выводы эксперимента

За 26 недель наблюдений были выявлены резкие изменения в показателях. Наиболее драматическим был случай на 7-й неделе. Модель потеряла способность обнаруживать мошенничество, когда количество мошеннических транзакций внезапно возросло более чем в 2 раза.

Эти изменения сложно предсказать с помощью традиционных графиков переобучения.

05Два режима забывания моделей

Анализ данных выявил два режима забывания моделей: плавный и эпизодический. Плавный режим соответствует постепенному изменению данных, тогда как эпизодический режим характеризуется резкими скачками.

Эпизодический режим требует использования методов обнаружения шоков, а не регулярных графиков переобучения.

Как применять на практике

Метод диагностики позволяет определить, в каком режиме работает ваша модель, и выбрать подходящую стратегию управления:

• Если R² ≥ 0.4 — используйте плановое переобучение.
• Если R² < 0.4 — применяйте обнаружение шоков.

Такой подход позволяет быстро адаптироваться к изменяющимся условиям и поддерживать высокую производительность моделей.