Суть проблемы: LLM в управлении пожарами
Команда исследователей во главе с Юэ Чжао (Yue Zhao) представила работу AI4Fire, первую комплексную оценку больших языковых моделей (LLM) в задачах управления лесными пожарами. В отличие от предыдущих 138 работ, исследованных авторами, этот проект тестирует модели как в «голом» режиме (bare), так и с привязкой к данным (grounded). Ошибки LLM здесь критичны: завышенные оценки могут стоить имущества и жизней.
Методология: 6 моделей, 5 задач, 29 доп. тестов
Исследование охватывает 6 базовых моделей и 29 дополнительных вариантов в режиме zero-shot. Модели оценивались по пяти ключевым задачам: обнаружение дыма, прогнозирование численности бригад, оценка опасности пожара и другие. Ключевое отличие — наличие «заземления» (grounding): для обнаружения дыма моделям предоставлялась эталонная кадра без дыма с той же камеры, а для некоторых задач — доступ к базам данных через SQL.
Ключевые результаты: Провалы и прорывы
Результаты разделились на три четкие категории. Во-первых, простые эвристики часто превосходили ИИ. Ни одна из базовых моделей не смогла превзойти простое повторение текущей численности персонала, а некоторые открытые модели (open-weight) просто копировали медиану данных за предыдущие дни, что давало худший прогноз.
Во-вторых, «заземление» дало колоссальный прирост точности там, где ответ содержался в дополнительных данных. Использование SQL-инструмента (read-only) подняло точность работы с базами данных с максимума в 16% до минимум 88% для всех базовых моделей.
Риски публичных датасетов
Авторы выявили серьезные проблемы в открытых наборах данных. Например, колонка «уровень пожарной опасности» позволяла моделям идеально разделять тестовые выборки, что является формой утечки данных. Кроме того, 67 кадров с дронов содержали метки о наличии огня, полученные из обрезанных тепловых максимумов, что искажает реальную картину обучения.
Сравнение точности: Bare vs Grounded
| Задача / Метрика | Режим Bare (без данных) | Режим Grounded (с инструментами) | Примечание |
|---|---|---|---|
| Точность БД (SQL) | ≤ 16% | ≥ 88% | Резкий рост при доступе к данным |
| Прогноз численности бригад | Хуже простого правила | Информация недостаточна | Простое копирование текущих цифр лучше LLM |
| Обнаружение дыма | Базовый уровень | Улучшено | Использование эталонного кадра |
Авторы опубликовали промпты, ответы, оценки, код и запись литературного обзора, призывая сообщество быть осторожнее с внедрением LLM в критическую инфраструктуру без строгого контроля и внешних инструментов.
Источник: arXiv cs.CL ↗