Проблема длинного контекста и решение MEMENTO
Агенты на базе больших языковых моделей (LLM) часто сталкиваются с ограничением размера контекстного окна. Стандартный подход — «компакция» (сжатие истории в заметки) — часто дает сбой: модели вроде GPT-5.5 и GLM-5.3 генерируют неэффективные заметки, а чистое обучение с подкреплением (RL) редко приводит к полезному поведению. Исследователи Yunfan Zhang, Taehoon Hwang и коллеги представили MEMENTO — агента на базе Qwen3-8B, обученного эффективно управлять контекстом.
Методология: от синтетики к RL
Обучение MEMENTO прошло два этапа. Сначала модель была дообучена (fine-tuning) на синтетических траекториях, аннотированных заметками, сгенерированными задним числом (in hindsight). Затем процесс был усилен RL с наградой, сочетающей правильность ответа, качество заметок и калибровку уверенности. Важно, что модель обучалась только на компакции, но на этапе тестирования способна использовать стратегии сворачивания контекста (folding) и возврата по уверенности (backtracking).
Результаты: точность и экономия
Тестирование проводилось на задачах ответов на вопросы по книгам (book-level QA) с объемом до 2.5 млн токенов. MEMENTO удерживает в контексте не более 20K токенов, что радикально снижает затраты. Результаты сравнения с флагманами представлены ниже:
| Модель / Агент | Точность (Accuracy) | Контекст | Относительная стоимость |
|---|---|---|---|
| Qwen3-8B (базовая) | 36.9% | — | — |
| MEMENTO (Qwen3-8B) | 67.8% | 20K токенов | 1x (база) |
| GPT-5.5 Agent | 13.1% | — | ~50x дороже |
| GPT-5.5 (полный контекст) | 56.7% | Весь текст | ~50x дороже |
| GLM-5.3 Agent | 69.3% | — | ~9x дороже |
| GLM-5.3 (полный контекст) | — | Весь текст | ~26x дороже |
MEMENTO не только превосходит GPT-5.5 в агентном режиме (13.1% против 67.8%), но и почти догоняет GLM-5.3 (69.3%), оставаясь при этом в 9 раз дешевле. По сравнению с полным контекстом GLM-5.3, MEMENTO уступает всего 6.4 процентных пункта, экономя 26 раз в вычислительных ресурсах.
Почему это важно
Работа MEMENTO демонстрирует, что эффективное управление контекстом через компакцию может быть обучено даже на моделях среднего размера (8B). Это открывает путь к созданию дешевых и быстрых агентов для работы с огромными объемами данных (книги, документы), где использование полных контекстных окон крупных моделей экономически нецелесообразно.
Источник: arXiv cs.CL ↗