Не тратьте токены: новый метод оценки неопределенности LLM без генерации ответов

Проблема «эпистемической утечки»

Оценка aleatoric uncertainty (неопределенности, вызванной неоднозначностью данных, а не незнанием модели) — критическая задача для надежного внедрения LLM. Традиционные методы требуют генерации нескольких уточняющих вариантов запроса, получения ответов на каждый из них и сравнения результатов. Авторы статьи (Omer Nahum, Niv Nayman и др.) доказывают, что этот подход неэффективен: ответы часто избыточны, добавляют вычислительные затраты и приводят к epistemic leakage (утечке эпистемической неопределенности), когда модель «подсказывает» себе ответ через контекст уточнений.

Решение: Clarification-Only подход

Команда предлагает оценивать неопределенность напрямую в пространстве возможных интерпретаций ввода, вообще не генерируя финальные ответы. Метод анализирует, насколько сильно модель «размывается» при попытке интерпретировать неоднозначный запрос, до того как начнет формулировать ответ. Это позволяет отделить истинную неоднозначность задачи от недостатка знаний модели.

Результаты на бенчмарках

Эксперименты проводились на трех различных наборах данных. Новый метод превзошел существующие аналоги по качеству детекции неоднозначности и значительно сократил ресурсы:

Почему это важно

Для разработчиков AI-агентов и систем, работающих с реальными пользователями, этот метод означает возможность дешево и быстро проверять, стоит ли вообще отвечать на запрос или нужно запрашивать уточнение. Отказ от генерации «мусорных» промежуточных ответов снижает нагрузку на инфраструктуру и ускоряет время отклика (latency), делая LLM-приложения более экономичными и отзывчивыми.

Источник: arXiv cs.AI ↗