Автоматизация WisTMP с помощью LLM
Дорожные работы (work zones) требуют тщательного планирования для обеспечения безопасности и мобильности. Подготовка планов управления дорожными работами (TMP) традиционно трудоемка и зависит от экспертизы специалистов. Исследователи под руководством Цзихао Шэнга (Zihao Sheng) предложили фреймворк на базе больших языковых моделей (LLM) для автоматизации генерации контента TMP, используя систему WisDOT WisTMP в качестве тестового полигона.
Ключевая особенность подхода — использование открытых LLM разных масштабов, дообученных (fine-tuned) на локальных серверах для обеспечения безопасности данных. Для обучения была создана специализированная датасет: исторические документы WisTMP были преобразованы из PDF в структурированные пары вопрос-ответ в формате JSON.
Результаты экспериментов и метрики
Эксперименты показали, что дообучение значительно улучшает показатели генерации текста по стандартным метрикам. Однако анализ на уровне стратегий выявил специфические проблемы: модели склонны к избыточной генерации стратегий и испытывают трудности с созданием обоснований, специфичных для конкретного проекта, а также с точной оценкой затрат.
Интересный вывод касается масштабирования: увеличение размера модели с 7B/8B до 14B параметров дало лишь незначительное улучшение результатов, что указывает на то, что качество данных и специализация важнее «грубой силы» вычислений в данной задаче.
| Параметр | Наблюдение/Результат |
|---|---|
| Используемые модели | Открытые LLM разных масштабов (7B, 8B, 14B) |
| Формат данных | JSON (пары вопрос-ответ из PDF-документов WisTMP) |
| Сильные стороны | Высокое качество общей генерации текста, улучшение метрик после fine-tuning |
| Слабые стороны | Избыточная генерация стратегий, неточные оценки затрат, слабое обоснование |
| Эффект масштабирования | Переход от 7B/8B к 14B дает ограниченный прирост производительности |
Значение для отрасли
Работа демонстрирует реальный потенциал ИИ в снижении трудозатрат при подготовке технической документации в транспортной сфере. Несмотря на существующие ограничения в точности финансовых и специфических обоснований, система уже способна взять на себя рутинную часть работы. Исследователи планируют опубликовать исходный код и демонстрационные видео, что позволит другим специалистам протестировать подход на своих данных.
Источник: arXiv cs.CL ↗