Научная группа из Массачусетского технологического института (MIT) представила инновационный подход к оценке неопределенности в больших языковых моделях (LLM). Этот метод способен выявлять случаи, когда модель уверена в своем ответе, но оказывается неправой. Это особенно важно в критических областях, таких как здравоохранение и финансы, где ошибка может повлечь серьезные последствия.
Проблема самоуверенности в моделях
Современные языковые модели способны генерировать убедительные, но не всегда точные ответы. Исследователи MIT разработали новый подход, который измеряет не только самоуверенность модели, но и учитывает различия в ответах других моделей. Такой подход позволяет более точно оценить, насколько можно доверять ответу модели.
Как работает новый метод
Традиционные методы оценки базируются на повторном запросе одного и того же вопроса к модели. Однако даже если модель дает одинаковый ответ, это не гарантирует его правильность. Новый метод от MIT сравнивает ответы целевой модели с ответами других, аналогичных моделей. Это позволяет выявлять эпистемическую неопределенность — сомнения в том, правильно ли выбрана модель для данной задачи.
Комбинирование подходов для лучшей точности
Исследователи соединили свой метод с традиционной оценкой самоуверенности, создав метрику общей неопределенности. Это дало возможность более точно определять ненадежные предсказания, и, что немаловажно, требовало меньше вычислительных ресурсов.
Практическое применение и будущее развитие
Метод был протестирован на 10 задачах, включая ответ на вопросы и математические рассуждения, и показал лучшие результаты по сравнению с традиционными подходами. В будущем исследователи планируют адаптировать метод для задач с более открытыми ответами и изучить другие формы неопределенности.
Эта работа была частично профинансирована лабораторией MIT-IBM Watson AI Lab.