Суть эксперимента: от градиентов к ручному программированию
Традиционные LLM обучаются через градиентный спуск, что требует огромных вычислительных ресурсов. Авторы исследования (Hyunjong Ok, Jaeho Lee, POSTECH) предложили альтернативу: Weight-Space Programming. В этом сценарии LLM не обучается, а выступает как архитектор, который вручную записывает целевые веса модели в виде текстовых фактов. Эти факты компилируются в разреженную концептуальную таблицу (sparse concept table), которую затем читает фиксированная процедура.
Эксперимент проводился на наборе данных ARC (Abstraction and Reasoning Corpus). Три передовые модели — Claude Opus 5.5, GPT-6.1 Sol и GPT-6 Astra — получили всего 10 размеченных вопросов и песочницу. Все три модели converged (сошлись) к одному решению: они генерируют строки фактов, группируют слова в концепты и создают таблицу для быстрого поиска.
Почему таблицы лучше плотных весов?
Ключевое преимущество разреженных таблиц — локальность редактирования и интерпретируемость. В плотных трансформерах знания распределены по миллионам параметров, и ошибка в одном ответе может быть вызвана интерференцией множества скрытых представлений. В табличном подходе:
- Каждый вес имеет явное текстовое описание.
- Ошибка легко локализуется: достаточно найти строку, отвечающую за неверный факт, и переписать её.
- Изменение одной строки влияет лишь на 0.5–1.8 ответов в среднем, тогда как в написанных трансформерах — на 4.8 и более.
Более того, большинство написанных LLM двухслойных трансформеров показали результат ниже, чем простой поиск по ключевым словам BM25. Табличные модели, напротив, стабильно превосходят BM25.
Производительность: 680x меньше и 17x быстрее
Первоначальные модели, спроектированные LLM, были медленными: они запускали от 200 до 300 GPU-ядер на вопрос. Авторы оптимизировали процесс, создав ассоциативную память на вычисляемых адресах. Теперь модель читает фиксированное количество строк (120 строк пар-таблицы и одно произведение концепт-таблицы), независимо от общего числа фактов.
Результаты оптимизации на GPU RTX 3090 впечатляют:
- Модель на таблицах примерно в 680 раз меньше по размеру, чем самая точная архитектура, написанная той же LLM.
- Она отвечает в 17 раз быстрее, чем трансформер аналогичного размера.
Результаты на ARC и других задачах
Ниже приведена точность (ARC test, 3530 вопросов, шанс 25%) для различных подходов. Обратите внимание, что LLM-дизайнеры (LLM-designed) и оптимизированные табличные модели (Ours) значительно превосходят базовые трансформеры, написанные теми же LLM.
| Модель-автор (Writer) | Released Architectures | Written Transformer | LLM-designed (1st / last) | Ours (1st / last) |
|---|---|---|---|---|
| Claude Opus 5.5 | 43.1% | 36.1% | 50.8% / 54.4% | 49.6% / 52.4% |
| GPT-6.1 Sol | 35.0% | 36.3% | 44.6% / 47.4% | 41.2% / 45.6% |
| GPT-6 Astra | 34.4% | 32.6% | 42.7% / 46.2% | 42.5% / 47.4% |
Ограничения метода
Метод не универсален. На задачах, требующих генерации текста (SQuAD, SciQ), табличные модели работают, но их точность ограничена. На сложных задачах типа MMLU они остаются на уровне случайного угадывания (~25%). На изображениях (CIFAR-10) точность составляет всего 21–28%, так как LLM сложно «вручную» прописать семантические связи для пикселей без предобученных чекпоинтов. Тем не менее, исследование демонстрирует, что для специфических задач логического вывода прозрачные, «программируемые» веса могут быть эффективнее черных ящиков трансформеров.
Источник: Github ↗
