Проблема избыточности LLM
Инструктивно-обученные большие языковые модели (LLM) часто генерируют ответы, значительно превышающие необходимый объем. Авторы исследования — Махмуд Алюсифи, Мирна Имбаби и Эман Эльхамиси — поставили задачу: можно ли удалить «лишнее» без переобучения модели, сохранив при этом смысл ответа?
Базовым эталоном (baseline) в исследовании выступила простая обрезка (truncation) — отсечение хвоста ответа до нужной длины. Авторы искали способ превзойти этот примитивный метод, не прибегая к дообучению.
Провал энтропийного фильтра
Исследователи протестировали entropy-gated logits processor — метод, пытающийся отбрасывать токены с низкой уверенностью модели. Результаты оказались обманчивыми:
- Метод удалял 25,5–34,9% токенов на вопросах MT-Bench (dev) и 19,9–34,2% на тестовой выборке.
- По метрике BERTScore результаты были не хуже базовой обрезки.
- Но: аудит показал, что выходной текст всегда являлся просто префиксом (началом) оригинального ответа. То есть, по сути, это была та же обрезка, просто с «умным» определением точки отсечения.
Введение метода ELIDE
После анализа 23 семейств методов без обучения (training-free) авторы пришли к выводу, что ни один из них не выбирает контент лучше, чем простая обрезка, без использования «оракульных» меток. В ответ они представили Entailment-Licensed In-Decoding Elision (ELIDE).
Суть ELIDE: на границе каждого предложения система использует модель естественного языка (NLI) для проверки логического следования. Если текущий фрагмент текста логически вытекает из уже прочитанного, он скрывается от читателя, но генерация модели продолжается без изменений.
Результаты и скрытые риски
ELIDE превзошел базовую обрезку на трех семействах моделей. Однако ручная проверка выявила серьезную проблему: при чтении 936 эллипсисов (пропущенных фрагментов) на 670 публичных промптах 59% случаев нанесли вред смыслу ответа.
Автоматические метрики не смогли обнаружить эти ошибки. Сужение «лицензии» на эллипсис до уровня дискурсивной единицы снизило долю вредных пропусков до ~10% на новых тестах.
Сравнение подходов
| Метод | Суть работы | Результат/Риск |
|---|---|---|
| Truncation (Baseline) | Простое отсечение хвоста ответа | Надежно, но теряет конец ответа |
| Entropy-gated | Удаление токенов с низкой энтропией | Фактически та же обрезка, скрытая за сложной логикой |
| ELIDE (NLI-based) | Пропуск фрагментов, если они логически следуют из контекста | Превосходит обрезку, но 59% пропусков искажают смысл (без сужения контекста) |
Почему это важно
Исследование ставит под сомнение эффективность многих «умных» методов сжатия текста в реальном времени. Оно показывает, что автоматическое удаление информации без глубокого понимания контекста (discourse unit) критически опасно для качества ответов LLM. Для разработчиков это сигнал: простота (обрезка) часто надежнее сложных эвристик, если последние не имеют строгой семантической верификации.
Источник: arXiv cs.CL ↗