Проблема: память против забывания
Непрерывное обучение (Continual Learning, CL) критически важно для малых языковых моделей (SLM), работающих в условиях ограниченных ресурсов. Однако прямое обновление параметров таких моделей приводит к катастрофическому забыванию — потере ранее полученных знаний. Существующие решения для больших моделей (LLM) требуют избыточного объема памяти и мощных способностей к рассуждению в контексте, чего SLM лишены.
Решение: MIITA
Команда во главе с Дун Ли (Dong Li) предложила фреймворк MIITA (Memory-Induced Inference-Time Adaptation). Ключевая идея — разделение удержания знаний и параметров модели. MIITA работает в режиме supervised CL (обучение с учителем) при строгом ограничении памяти:
- Хранение: Опыт сохраняется в виде компактных прототипов коррекции направлений с семантическими якорями.
- Извлечение: На этапе инференса система использует семантические и основанные на неопределенности (uncertainty) сигналы для поиска нужных прототипов.
- Адаптация: Извлеченные направления применяются через gate-based адаптацию скрытых состояний (gated temporary hidden-state adaptation).
Технические преимущества
Метод позволяет повторно использовать прошлый опыт без деструктивных изменений. В отличие от традиционных подходов, MIITA не требует:
- Обновления основной модели (backbone updates).
- Расширения промптов (prompt extensions).
- Обратного распространения ошибки во время тестирования (test-time backpropagation).
Результаты и значимость
Теоретический анализ связывает архитектуру MIITA с снижением потерь первого порядка и направленной покрытием для сохранения знаний. Эксперименты в различных сценариях CL показывают, что при фиксированном бюджете памяти MIITA стабильно повышает итоговую производительность и минимизирует забывание. Это открывает путь к созданию адаптивных SLM для edge-устройств, где ресурсы жестко ограничены.
Источник: arXiv cs.AI ↗