Проблема существующих архитектур
Современные модели последовательностей сталкиваются с фундаментальным компромиссом. LSTM сжимают всю историю в одно скрытое состояние, теряя детали. Трансформеры требуют квадратичных вычислительных затрат ($O(N^2)$) для внимания ко всем токенам. State-space модели (SSM), такие как Mamba, используют фиксированное состояние, лишая модель явной адресной памяти, зависящей от контента. Авторы работы из arXiv (2610.12864) предлагают решение на базе нелинейных систем с временной задержкой.
Три ключевых инновации TDS
Новая архитектура внедряет механизм контент-ориентированного временного recalls. Система работает по трем основным принципам:
- Дифференцируемый оценщик семантической задержки: Вычисляет мягкие веса внимания по истории на основе семантического сходства текущего и прошлых входов.
- Диагональное пространство состояний: Использует решение в замкнутой форме для кумулятивной суммы, что обеспечивает сложность $O(1)$ на шаг без последовательных циклов.
- Интерпретируемая нечеткая модуляция: Учит контекстно-зависимые правила для баланса между мгновенной обработкой и воспоминанием истории, где центры правил соответствуют прототипическим семантическим контекстам.
Сравнение подходов
| Архитектура | Сложность | Память | Интерпретируемость |
|---|---|---|---|
| LSTM | Линейная | Сжатая (потеря деталей) | Низкая |
| Transformer | Квадратичная ($O(N^2)$) | Полная (Attention) | Средняя |
| Mamba (SSM) | Линейная ($O(N)$) | Фиксированное состояние | Низкая |
| Time Delay System | Постоянная ($O(1)$) | Контент-адресная | Высокая (нечеткая логика) |
Результаты и значимость
Эксперименты показали, что TDS превосходит существующие методы SOTA в задачах классификации текста и его генерации. Главное преимущество — возможность интерпретировать, как модель принимает решения, опираясь на семантически похожие фрагменты истории, а не просто на их позицию. Это открывает путь к более прозрачным и эффективным языковым моделям.
Источник: arXiv cs.CL ↗