Проблема «слепоты» к контексту
В системах AIoT (Artificial Intelligence of Things) всё чаще комбинируются данные с датчиков (временные ряды) и внешний текст: отчеты экспертов, новости или прогнозы. Однако до сих пор было неясно, насколько надежно модели используют текстовую информацию, когда она противоречит историческим данным. Авторы работы из arXiv (2611.17680) ввели первый в своем роде диагностический бенчмарк, классифицирующий пары «текст-окно» по трем категориям: Aligned (согласовано), Conflicting (конфликтует) и Unspecified (не указано).
Масштаб данных и метрики
Бенчмарк включает 1 762 пары текстовых данных и окон временных рядов из трех ключевых доменов:
- Weather (телеметрия датчиков температуры),
- Wikipedia (трафик веб-сервисов),
- Finance (рыночные потоки данных).
Оценка проводилась в режиме zero-shot для десяти предобученных моделей. Ключевыми метриками выступили MASE (Mean Absolute Scaled Error) и DA (Directional Accuracy — точность направления тренда).
Результаты: когда текст вредит
Исследование выявило критическую уязвимость моделей в сценарии Conflicting. Когда текст предсказывал изменение, противоположное историческому тренду, большинство моделей увеличивали ошибку прогнозирования по сравнению с базовой линией (прогноз без текста). Это произошло из-за «пересмотров» (oversized revisions) — модель слишком сильно корректировала свой прогноз под влияние текста.
Для решения этой проблемы авторы предложили гибридный подход: вместо использования полного текста, конфликтующего с историей, модель применяет только указанные в тексте величину и время события, комбинируя их с менее специфичным текстом. Это позволило снизить MASE и повысить DA.
| Сценарий | Действие модели | Результат (MASE / DA) |
|---|---|---|
| Aligned (Согласовано) | Использование прямого прогноза в тексте | Самая низкая ошибка для большинства моделей |
| Conflicting (Конфликт) | Полное следование тексту | Рост ошибки выше базовой линии (no-text) |
| Conflicting (Конфликт) | Гибридный метод (величина + время) | Снижение MASE на 4.49%-21.98% для 4 моделей |
Практическое применение: обучение без дообучения
Авторы разработали правило, не требующее дообучения моделей (training-free), которое ограничивает силу корректировок прогноза при конфликте данных. Для четырех моделей, демонстрирующих этот компромисс, данный метод превзошел как прогнозы с текстом, так и без него. В среднем это дало прирост точности направления (DA) на 2.99%-9.71%.
Данный бенчмарк становится важным шагом к созданию более надежных AIoT-систем, способных критически оценивать внешние информационные потоки, а не просто поглощать их.
Источник: arXiv cs.AI ↗
