Проблема переобучения как ресурс
Традиционно переобучение (overfitting) считается негативным явлением, но исследователи Ali Mohammadi Ruzbahani и Rezvan Abouzadeh предложили использовать его как инструмент. Их метод Model Annealing (отжиг модели) предполагает, что сеть сначала полностью запоминает небольшой размеченный датасет, а затем тратит оставшееся время обучения на «пересмотр» и консолидацию знаний.
Процесс делится на эпизоды. В каждом эпизоде скорость обучения (learning rate) снова повышается, а затем охлаждается. Каждое «охлажденное» состояние сохраняется в памяти. Новый эпизод учится не только на исходных метках, но и на предсказаниях этой памяти, а также на так называемых «адверсиональных снах» — данных, сгенерированных в зонах наибольшего расхождения между текущей моделью и её прошлыми версиями.
Механика: Память и Сны
Ключевая особенность метода — способ агрегации знаний. Память модели усредняет предсказания, а не веса, что позволяет избежать размытия параметров. Развернутая (deployed) сеть — это просто последний студент, поэтому накладные расходы на инференс отсутствуют. Два механизма борются с дрейфом уверенности (overconfidence):
- Память (Memory): усредняет предсказания прошлых состояний.
- Сны (Dreams): генерируют сложные примеры там, где текущая модель и память сильно расходятся.
Исследование показало, что при малом количестве данных простое переобучение (как в snapshot distillation) приводит к накоплению излишней уверенности. Память и сны вместе полностью устраняют этот дрейф.
Результаты бенчмарков
Метод протестирован на наборах данных CIFAR-100, Tiny-ImageNet и Imagewoof с использованием 5%–100% размеченных данных. Тестились архитектуры ConvNeXt, ViT и MLP-Mixer (на оптимизаторе AdamW), а также ResNet-18 (на SGD). Model Annealing превзошел стандартное обучение с кросс-энтропией в 28 из 33 конфигураций.
| Метрика / Архитектура | Результат Model Annealing | Сравнение с конкурентами |
|---|---|---|
| Top-1 Accuracy (AdamW) | +1.3 п.п. в среднем | На уровне с Snapshot Distillation, лучше стандартного CE |
| ResNet-18 (SGD) | Точность снизилась | Улучшена устойчивость к малым адверсиональным возмущениям |
| Калибровка и Robustness | Выше, чем у CE и SD | Лучше по вероятности (likelihood) и устойчивости к искажениям |
Почему это важно
Model Annealing демонстрирует, что «отжиг» модели через циклы переобучения и анализа собственных ошибок может быть эффективнее традиционных методов регуляризации, особенно в условиях дефицита данных. Метод не требует дополнительных вычислительных затрат на этапе инференса, что делает его привлекательным для практического внедрения в ресурсоограниченных средах.
Источник: arXiv cs.AI ↗
