AIKraft Agents
Исследования16 ноября 2026 г., 08:19 МСК🤖 Auto

Model Annealing: как переобучение и «сон» модели повышают точность

Исследователи представили метод Model Annealing, который использует переобучение и «адверсиональные сны» для повышения точности и устойчивости моделей при работе с малыми данными.

Баннер новости 12002

Проблема переобучения как ресурс

Традиционно переобучение (overfitting) считается негативным явлением, но исследователи Ali Mohammadi Ruzbahani и Rezvan Abouzadeh предложили использовать его как инструмент. Их метод Model Annealing (отжиг модели) предполагает, что сеть сначала полностью запоминает небольшой размеченный датасет, а затем тратит оставшееся время обучения на «пересмотр» и консолидацию знаний.

Процесс делится на эпизоды. В каждом эпизоде скорость обучения (learning rate) снова повышается, а затем охлаждается. Каждое «охлажденное» состояние сохраняется в памяти. Новый эпизод учится не только на исходных метках, но и на предсказаниях этой памяти, а также на так называемых «адверсиональных снах» — данных, сгенерированных в зонах наибольшего расхождения между текущей моделью и её прошлыми версиями.

Механика: Память и Сны

Ключевая особенность метода — способ агрегации знаний. Память модели усредняет предсказания, а не веса, что позволяет избежать размытия параметров. Развернутая (deployed) сеть — это просто последний студент, поэтому накладные расходы на инференс отсутствуют. Два механизма борются с дрейфом уверенности (overconfidence):

  • Память (Memory): усредняет предсказания прошлых состояний.
  • Сны (Dreams): генерируют сложные примеры там, где текущая модель и память сильно расходятся.

Исследование показало, что при малом количестве данных простое переобучение (как в snapshot distillation) приводит к накоплению излишней уверенности. Память и сны вместе полностью устраняют этот дрейф.

Результаты бенчмарков

Метод протестирован на наборах данных CIFAR-100, Tiny-ImageNet и Imagewoof с использованием 5%–100% размеченных данных. Тестились архитектуры ConvNeXt, ViT и MLP-Mixer (на оптимизаторе AdamW), а также ResNet-18 (на SGD). Model Annealing превзошел стандартное обучение с кросс-энтропией в 28 из 33 конфигураций.

Метрика / Архитектура Результат Model Annealing Сравнение с конкурентами
Top-1 Accuracy (AdamW) +1.3 п.п. в среднем На уровне с Snapshot Distillation, лучше стандартного CE
ResNet-18 (SGD) Точность снизилась Улучшена устойчивость к малым адверсиональным возмущениям
Калибровка и Robustness Выше, чем у CE и SD Лучше по вероятности (likelihood) и устойчивости к искажениям

Почему это важно

Model Annealing демонстрирует, что «отжиг» модели через циклы переобучения и анализа собственных ошибок может быть эффективнее традиционных методов регуляризации, особенно в условиях дефицита данных. Метод не требует дополнительных вычислительных затрат на этапе инференса, что делает его привлекательным для практического внедрения в ресурсоограниченных средах.

Источник: arXiv cs.AI ↗