Проблема «пластичности» в композиционном обучении
Классическое класс-инкрементальное обучение (CIL) часто терпит неудачу в реальных сценариях, где концепции состоят из комбинаций примитивов (например, «красный» + «блестящий» + «автомобиль»). Стандартные методы treats каждую композицию как независимый класс, что приводит к запутыванию признаков примитивов и дрейфу параметров при появлении новых задач. Это вызывает катастрофическое забывание (catastrophic forgetting) ранее изученных комбинаций.
Архитектура LSA-PAST
Авторы (Kyle Stein, Andrew Arash Mahyari и соавторы) предлагают параметрически эффективный метод, основанный на замороженном Vision Transformer (ViT). Ключевые компоненты:
- Layer-Specific Adaptation (LSA): Внедрение Low-Rank Adaptation (LoRA) с глубинно-специализированными адаптерами для состояний, объектов и их композиций.
- Prototype-Anchored Adapter-Space Transport (PAST): Механизм, который отображает зафиксированные прототипы прошлого в пространство текущих адаптеров через аффинное преобразование, подобранное только на данных текущей задачи.
Ключевые метрики и результаты
Метод LSA-PAST демонстрирует state-of-the-art (SOTA) баланс между точностью и забыванием. В отличие от подходов, требующих хранения буфера примеров (rehearsal), PAST использует только данные текущего этапа для калибровки, что снижает требования к памяти.
| Компонент | Функция | Преимущество |
|---|---|---|
| LSA (LoRA) | Адаптация слоев ViT | Сохранение структуры знаний, низкие вычислительные затраты |
| PAST | Транспорт прототипов | Совместимость старых знаний с новыми адаптерами без репетиции |
| Замороженный ViT | Базовая модель | Стабильность извлечения признаков |
Значение для индустрии
Работа, опубликованная 19 октября 2026 года в arXiv (cs.AI), закрывает критический пробел в обучении моделей, работающих с динамически меняющимся миром. Возможность обучаться на новых комбинациях признаков без необходимости хранить старые данные или переобучать всю сеть делает LSA-PAST перспективным инструментом для робототехники, автономных систем и адаптивных интерфейсов.
Источник: arXiv cs.AI ↗