Проблема: Эмбеддинги «съедают» модель
В современных малых языковых моделях (Small Language Models, SLM) таблица эмбеддингов часто является самым тяжелым компонентом. На примере модели Gemma 3 270M автор показывает, что таблица весов занимает 168 МБ из 268 МБ параметров. Даже при квантовании остальных слоев модели, эмбеддинги остаются в 16-битном формате, что делает их главным препятствием для создания ультра-легких решений.
Решение: Замороженный 16 МБ словарь
Автор предлагает радикальный подход: заменить обучаемую таблицу эмбеддингов на фиксированную (frozen) таблицу размером 16 МБ. Эта таблица содержит 512-битные коды, полученные путем проекции главных компонент (PCA) и знаковой бинаризации из предварительно обученной эмбеддинговой таблицы. В новой архитектуре нет обучаемых параметров в слое эмбеддингов.
Результаты: Gemma 3 270M с замороженным словарем
Модель была обучена с нуля на датасете объемом 2.05 млрд токенов. Сравнение с базовой моделью (с обучаемыми эмбеддингами) показало следующие метрики:
| Метрика / Тест | Обучаемые эмбеддинги | Замороженные эмбеддинги (16 MB) | Комментарий |
|---|---|---|---|
| Validation Loss (nats) | База | +0.20 nats | Незначительное ухудшение общей потери |
| LAMBADA | — | Лучше или на уровне | Тест на предсказание следующего слова |
| HellaSwag | — | Лучше или на уровне | Тест на завершение текстов |
| PIQA | — | Лучше или на уровне | Тест на физическую интуицию |
| ARC-Easy | Лучше | — | Единственный тест, где выиграла базовая модель |
| Редкие слова | — | Выигрыш 1.7–2.3 nats | Замороженный словарь лучше справляется с редкой лексикой |
Экстремальная оптимизация: Ternary BitNet b1.58
Самый впечатляющий результат достигнут при использовании тела модели BitNet b1.58 (тернарная архитектура). В связке с замороженным словарем общая модель весит всего 46 МБ.
- Скорость: Генерация 615–740 токенов в секунду на процессоре ноутбука (CPU).
- Память: Использование всего 62 МБ оперативной памяти.
- Сравнение: Это в 5–6 раз быстрее, чем 8-битная GGUF-версия float-модели, при использовании в 7 раз меньше памяти.
Устойчивость к дообучению
Замороженный словарь демонстрирует высокую устойчивость к дообучению (fine-tuning). При добавлении 10 000 новых слов:
- Стоимость дообучения составляет всего 3%.
- Модель с замороженным словарем не деградирует, в то время как модель с обучаемыми эмбеддингами теряет 43% качества (collapse).
Все веса, данные и результаты оценок опубликованы в открытом доступе, что делает этот метод доступным для сообщества разработчиков edge-устройств и embedded-систем.
Источник: arXiv cs.CL ↗