DeMTS: Как детектировать галлюцинации в диффузионных LLM

Проблема: слепые зоны существующих методов

Диффузионные большие языковые модели (D-LLM) генерируют текст, постепенно очищая шум, но остаются уязвимыми к галлюцинациям — фактологически неверным утверждениям. Существующие методы детекции часто сжимают траектории денормализации по временной оси или по оси токенов, теряя двумерную структуру данных. Это приводит к пропуску критических паттернов, таких как несогласованная сходимость (inconsistent convergence) и распространение ошибок между токенами (cross-token fault propagation).

Решение: DeMTS как многомерный временной ряд

Новая архитектура DeMTS (Denoising Trajectories as Multivariate Time Series) решает эту проблему, сохраняя полную двумерную структуру. Метод включает два ключевых модуля:

• Token-to-variable assignment: преобразует сигналы токенов в стабильные латентные переменные, сохраняя информацию о траектории.
• Dynamic multivariate temporal modeling: прогрессивно интегрирует моделирование межпеременных зависимостей с временным кодированием для предсказания галлюцинаций.

Результаты и метрики

Эксперименты проводились на двух бэкбонах D-LLM и трех бенчмарках. DeMTS демонстрирует превосходство над существующими методами по точности детекции, сохраняя при этом высокую эффективность и устойчивость. Ниже приведена сравнительная оценка подхода:

Значение для индустрии

Работа авторов (Xin Zhang, Yili Wang, Yue Tan и др.) закрывает важный пробел в безопасности D-LLM. Способность выявлять галлюцинации на этапе денормализации, а не только после генерации, позволяет создавать более надежные системы генерации текста, критически важные для приложений, требующих высокой фактологической точности.

Источник: arXiv cs.CL ↗