Новый подход к классификации эмоций
Команда исследователей во главе с Ячжоу Чжаном и Цзюньхао Ю представила Emo-Jev — фреймворк для классификации эмоций, не требующий дообучения моделей. В отличие от традиционных LLM, генерирующих свободный текст, интерфейс Jev возвращает вероятностные решения на основе заранее определенных вопросов. Emo-Jev предлагает две реализации: Emo-Jev-D, разбивающую задачу на атомарные суждения, и Emo-Jev-SC, агрегирующую решения из разных перспектив.
Сравнение с лидерами рынка
Авторы протестировали метод на восьми наборах данных, охватывающих анализ тональности, распознавание эмоций, сарказм и юмор. Emo-Jev сравнивался с прямым использованием Jev и пятью передовыми LLM (включая режимы Chain-of-Thought). Результаты показали, что стандартный Jev достигает среднего макросреднего F1 на уровне 62.93%, уступая сильнейшему LLM-базису (67.28%), но выигрывая в скорости и стоимости.
| Метрика / Модель | Результат | Примечание |
|---|---|---|
| Emo-Jev (Standard Jev) | 62.93% (Macro-F1) | Средний результат по 8 датасетам |
| Лучший LLM-базис | 67.28% (Macro-F1) | Прямая классификация или CoT |
| Latency (Задержка) | Ниже | По сравнению с LLM |
| Стоимость | Ниже | Обычно дешевле LLM |
Почему это важно
Исследование подтверждает, что вероятностный интерфейс Jev способен эффективно решать задачи текстовой классификации. Несмотря на небольшой отрыв в точности от топовых LLM, Emo-Jev предлагает альтернативу с более низкой задержкой и стоимостью, что критично для приложений реального времени. Фреймворк демонстрирует, что композиция вероятностных суждений может быть мощным инструментом для NLP без затрат на обучение больших моделей.
Источник: arXiv cs.CL ↗