Проблема недетерминированности в критических системах
Генеративный ИИ все чаще используется в управлении воздушным движением (ATM) для планирования полетов и проверки ограничений. Однако его неопределенный характер создает риски безопасности. Авторы статьи, опубликованной 11 сентября 2026 года, предлагают решение — AI Trust and Assurance Layer (ATAL). Это модель-агностичная архитектура, которая оценивает, насколько сгенерированные ИИ данные готовы к использованию человеком-оператором.
Три столпа валидации ATAL
Система ATAL не просто принимает или отвергает ответ, а анализирует его по трем ключевым направлениям, формируя метрику надежности:
- Семантическая стабильность: проверка того, что при вариациях входного запроса (prompt) смысл ответа не искажается.
- Операционная согласованность: анализ структуры выходных данных на соответствие стандартам.
- Нормативная валидация: проверка соблюдения строгих авиационных правил и ограничений.
Метрика Decision Readiness Level (DRL)
Главным инструментом интерфейса между ИИ и человеком становится шкала Decision Readiness Level (DRL). Она переводит технические показатели надежности в понятные уровни готовности решения. Это позволяет диспетчерам мгновенно оценивать, можно ли доверять предложенному маршруту или требуется ручная проверка.
Результаты экспериментов
В ходе экспериментального исследования, смоделированного на реальных сценариях ATM, система ATAL продемонстрировала способность выявлять опасные, противоречивые или вводящие в заблуждение выводы ИИ до того, как они повлияют на валидацию или выполнение плана полета. Архитектура доказала свою эффективность в фильтрации «галлюцинаций» и логических ошибок генеративных моделей.
| Компонент ATAL | Функция | Цель валидации |
|---|---|---|
| Semantic Stability | Анализ устойчивости смысла | Исключение искажений при изменении запроса |
| Operational Consistency | Проверка структуры данных | Совместимость с операционными стандартами |
| Normative Validation | Сверка с правилами | Соответствие авиационным нормам безопасности |
| DRL Output | Уровень готовности | Инструмент принятия решения для оператора |
Значимость для отрасли
Хотя исследование сфокусировано на авиации, авторы подчеркивают, что фреймворк ATAL переносим на другие критически важные области, требующие человеческого надзора в условиях строгих регуляторных ограничений. Это шаг от «доверия к ИИ» к «верифицированному доверию».
Источник: arXiv cs.AI ↗