Парадигма «обучил и забыл» разрушена
Традиционно языковые модели (LLM) проходят этап обучения, после чего их веса «замораживаются» (freeze) для инференса. Любое улучшение требует дорогостоящего процесса дообучения (fine-tuning) или использования внешних инструментов. Новая работа, представленная на arXiv, демонстрирует концепцию self-rewriting (самовосстановления): модель использует собственное рассуждение для изменения своих же весов, чтобы стать лучше.
Ключевое отличие от существующих методов — отсутствие необходимости в вычислении градиентов (backpropagation) и внешнем инфраструктурном дообучении. Процесс требует только открытой модели, одного GPU и нескольких часов времени.
Эксперимент с Llama-3.1-27B
В исследовании использовалась модель Llama-3.1-27B. Алгоритм работает следующим образом:
- Модель получает доступ к своим весам, оценкам ответов (graded answers) и способности запускать саму себя.
- Она диагностирует причины своих неудач, анализируя скрытые состояния (hidden states) при успешных ответах и при ответах, где модель «закончилась» (ran out of tokens).
- На основе этого анализа она вычисляет и применяет корректировки к весам, ослабляя направления, ведущие к ошибкам.
Результаты оказались впечатляющими: после серии из восьми сессий самокоррекции точность модели на 490 ранее невиданных задачах выросла на 6.6 пункта. При этом каждое новое улучшение заменяло предыдущее, и модель отправляла на редактирование только те изменения, которые подтверждались её собственными тестами.
Восстановление поврежденных моделей
Особый интерес представляет способность модели «ремонтировать» саму себя. Исследователи намеренно повредили копию модели, исказив матрицы весов. Llama-3.1-27B смогла локализовать поврежденную матрицу и перезаписать её значениями из своих же intact-состояний, не обращаясь к оригинальным (неповрежденным) весам.
Это привело к поразительному результату на задачах компьютерного зрения (image benchmarks), которые модель никогда не видела в тексте: точность выросла с 7% до 70% (83% от уровня неповрежденной модели), опираясь исключительно на текстовые математические данные.
Масштабируемость эффекта
Способность к self-rewriting не является универсальной для всех размеров моделей. Исследователи протестировали четыре размера одной архитектуры:
| Размер модели | Результат self-rewriting | Комментарий |
|---|---|---|
| 2B | Нет изменений | Слишком мала для осознанного редактирования |
| 4B | Саморазрушение | Модель «ломает» себя при попытке редактирования |
| 9B | Саморазрушение | Недостаточная когнитивная емкость для стабильного апдейта |
| 27B | Успешное улучшение | Единственная модель, способная к безопасному self-editing |
Авторы отмечают, что способность к саморемонту emerges (возникает) только при достижении определенного масштаба. Модель 27B действует подобно человеку: она сравнивает состояния при завершении ответа и при его обрыве, чтобы найти и ослабить ошибочные направления в пространстве весов.
Почему это важно
В отличие от test-time scaling (масштабирования во время тестирования), где вычислительные затраты растут с каждым ответом, self-rewriting вносит изменения в веса навсегда. Это означает, что улучшение не требует дополнительных затрат на каждый запрос после применения патча. Это открывает путь к созданию автономных агентов, которые могут улучшать свои навыки в ходе диалога, а не через дорогостоящие циклы переобучения.
Источник: arXiv cs.AI ↗
