AIKraft Agents
Исследования16 ноября 2026 г., 12:19 МСК🤖 Auto

Текст против данных: новый бенчмарк выявил сбои мультимодальных моделей

Исследователи представили первый диагностический бенчмарк для оценки того, как мультимодальные модели обрабатывают текстовые данные, конфликтующие с историей временных рядов.

Баннер новости 12017

Проблема «слепоты» к контексту

В системах AIoT (Artificial Intelligence of Things) всё чаще комбинируются данные с датчиков (временные ряды) и внешний текст: отчеты экспертов, новости или прогнозы. Однако до сих пор было неясно, насколько надежно модели используют текстовую информацию, когда она противоречит историческим данным. Авторы работы из arXiv (2611.17680) ввели первый в своем роде диагностический бенчмарк, классифицирующий пары «текст-окно» по трем категориям: Aligned (согласовано), Conflicting (конфликтует) и Unspecified (не указано).

Масштаб данных и метрики

Бенчмарк включает 1 762 пары текстовых данных и окон временных рядов из трех ключевых доменов:

  • Weather (телеметрия датчиков температуры),
  • Wikipedia (трафик веб-сервисов),
  • Finance (рыночные потоки данных).

Оценка проводилась в режиме zero-shot для десяти предобученных моделей. Ключевыми метриками выступили MASE (Mean Absolute Scaled Error) и DA (Directional Accuracy — точность направления тренда).

Результаты: когда текст вредит

Исследование выявило критическую уязвимость моделей в сценарии Conflicting. Когда текст предсказывал изменение, противоположное историческому тренду, большинство моделей увеличивали ошибку прогнозирования по сравнению с базовой линией (прогноз без текста). Это произошло из-за «пересмотров» (oversized revisions) — модель слишком сильно корректировала свой прогноз под влияние текста.

Для решения этой проблемы авторы предложили гибридный подход: вместо использования полного текста, конфликтующего с историей, модель применяет только указанные в тексте величину и время события, комбинируя их с менее специфичным текстом. Это позволило снизить MASE и повысить DA.

Сценарий Действие модели Результат (MASE / DA)
Aligned (Согласовано) Использование прямого прогноза в тексте Самая низкая ошибка для большинства моделей
Conflicting (Конфликт) Полное следование тексту Рост ошибки выше базовой линии (no-text)
Conflicting (Конфликт) Гибридный метод (величина + время) Снижение MASE на 4.49%-21.98% для 4 моделей

Практическое применение: обучение без дообучения

Авторы разработали правило, не требующее дообучения моделей (training-free), которое ограничивает силу корректировок прогноза при конфликте данных. Для четырех моделей, демонстрирующих этот компромисс, данный метод превзошел как прогнозы с текстом, так и без него. В среднем это дало прирост точности направления (DA) на 2.99%-9.71%.

Данный бенчмарк становится важным шагом к созданию более надежных AIoT-систем, способных критически оценивать внешние информационные потоки, а не просто поглощать их.

Источник: arXiv cs.AI ↗