AutoIndexer: LLM с функцией «Ctrl+Z» для гибкого редактирования текста

Проблема линейной генерации

Традиционные авторегрессионные модели (LLM) генерируют текст последовательно: каждое следующее слово зависит от предыдущих, и исправить ошибку «задним числом» невозможно. Диффузионные модели частично решают эту проблему, но им сложно гибко вставлять или удалять произвольное количество токенов в уже сгенерированном контексте. Это ограничивает их применение в задачах, требующих итеративного мышления, подобных человеческому.

Решение: AutoIndexer и «Цепочка правок»

Авторы работы (Shu Ishida, Aliasghar Khani, Tianyu Zhang и др.) разработали AutoIndexer — генеративную модель, которая имитирует работу текстового редактора. Модель обучается предсказывать маркерные токены для открытия и закрытия правок, одновременно перемещая «курсор» в нужную позицию существующей последовательности токенов. Это позволяет вставлять, заменять или удалять фрагменты текста после их первичной генерации.

Механизм обучения

Ключевая инновация заключается в способе подготовки данных. Последовательности обучения получаются путем возмущения эталонных ответов с помощью обратных операций редактирования. Модель учится «отменять» эти ошибки, восстанавливая исходный текст. Такой подход делает AutoIndexer устойчивым к ошибкам в контексте и адаптивным к задачам исправления кода.

Результаты и преимущества

Метод демонстрирует способность к пост-генерационному редактированию контекста, чего не хватает большинству авторегрессионных и диффузионных моделей, при этом не снижая производительности на стандартных бенчмарках для LLM. Это открывает путь к созданию более надежных систем, способных к самокоррекции.

Доступность

Код модели доступен по ссылке, указанной в статье. Исследование опубликовано 8 октября 2026 года в arXiv (cs.CL).

Источник: arXiv cs.CL ↗