Проблема стандартных EBM
Энергетические модели (EBM) присваивают скалярное значение энергии каждой комбинации входных данных и вариантов ответа. В традиционных подходах обучение снижает энергию правильного варианта относительно остальных. Однако у таких моделей нет «нулевой точки» — фиксированного уровня энергии, относительно которого можно было бы оценить, подходит ли вообще какой-либо вариант. Это приводит к тому, что модель часто вынуждена выбирать из плохих вариантов, вместо того чтобы сказать «не знаю».
Решение ZeroPoint
ZeroPoint вводит фиксированное состояние «пустого ответа» (empty answer) с энергией, равной нулю для любого входа. Все остальные варианты оцениваются относительно этой точки. Глубина (depth) варианта — это его не отрицательная энергия относительно нуля. Если ни один вариант не имеет положительной глубины, модель выбирает отказ от ответа. Это позволяет обучать решение об отказе через стандартную функцию потерь отрицательного логарифмического правдоподобия (NLL), а не через отдельные эвристики.
Архитектура и эффективность
Функция энергии реализуется через небольшой многоязычный энкодер, который обрабатывает входные данные и все варианты ответов одновременно. Архитектура инвариантна к порядку вариантов, что делает её устойчивой к перестановкам. Ключевой вывод абстрактов: основная польза от ZeroPoint приходит именно от обучения на примерах, где ни один вариант не является приемлемым.
Сравнение с альтернативами
Исследование показывает, что фиксированная нулевая точка разделяет входы с приемлемым и неприемлемым вариантом лучше, чем обучаемый класс отказа, и значительно лучше, чем пороговая классификация на основе softmax. При этом выбор между самими вариантами ответа остается неизменным.
| Метод | Механизм отказа | Результат разделения (Accept/Reject) | Влияние на выбор варианта |
|---|---|---|---|
| ZeroPoint (предлагаемый) | Фиксированная энергия 0 | Лучшее разделение | Не изменяет выбор |
| Обучаемый класс отказа | Дополнительный класс в модели | Слегка лучше порога | Не изменяет выбор |
| Thresholded Softmax | Порог вероятности | Худшее разделение | Не изменяет выбор |
Значение для индустрии
ZeroPoint демонстрирует, что легковесные модели могут эффективно решать задачу «отказа от ответа» без усложнения архитектуры. Это критически важно для систем, где ложноположительные ответы недопустимы (медицина, юриспруденция, автономные системы), так как позволяет модели безопасно игнорировать неопределенность, а не гадать.
Источник: arXiv cs.AI ↗