От «черного ящика» к «первоклассному» пониманию
В статье, опубликованной в arXiv (ID: 2611.13022, ноябрь 2026), авторы Liming Zhu, Qinghua Lu и Ming Ding предлагают радикальный сдвиг в парадигме разработки ИИ. Традиционно системы создаются для достижения максимальной точности или эффективности задачи, а объяснимость (XAI) рассматривается как опциональный надстрой. Новая методология Understanding-First AI Engineering утверждает, что человеческое понимание должно быть first-class design principle (принципом первого класса) на этапах требований, проектирования и эксплуатации.
Ключевой тезис авторов: ИИ может выдавать надежные результаты без человеческого понимания, но само понимание критически важно для формирования предпочтений, коллективного управления и удовлетворения познавательного интереса, даже если человек не участвует в исправлении ошибок модели.
Четыре цели человеческого участия
Исследователи классифицируют цели, для которых необходимо человеческое понимание, на четыре комплементарных рационала. Это позволяет инженерам четко определять, зачем именно «встраивать» человека в контур:
| Рационал | Суть и цель |
|---|---|
| Reflective Agency (Рефлексивная агентность) | Позволяет пользователю осмысливать решения ИИ, формируя собственные предпочтения и суждения. |
| Effective Action (Эффективное действие) | Обеспечивает возможность человека принимать обоснованные решения на основе объяснений модели. |
| Collective Governance (Коллективное управление) | Поддержка процессов принятия решений в группах, где важно понимание логики системы для доверия и контроля. |
| Epistemic Value (Эпистемическая ценность) | Удовлетворение познавательного интереса и расширение знаний о предметной области через взаимодействие с ИИ. |
Референсная архитектура и паттерны
Для реализации этой философии предложена референсная архитектура, связывающая четыре этапа жизненного цикла: Production (производство), Verification (верификация), Use (использование) и Learning/Exploration (обучение и исследование). Связующим звеном выступают «shared records» (общие записи), которые поддерживают понимание через объяснения и участие.
Авторы выделяют пять архитектурных паттернов для выбора конкретных решений:
- Parallel learning (Параллельное обучение): ИИ и человек обучаются параллельно, обмениваясь контекстом.
- Explanatory models (Объясняющие модели): Специализированные подмодели, генерирующие интерпретируемые выводы.
- Goal exploration (Исследование целей): Инструменты для поиска и переопределения целей системы совместно с пользователем.
- Audience-specific views (Виды для конкретной аудитории): Адаптация интерфейсов и объяснений под уровень экспертизы пользователя.
- Distributed expertise (Распределенный экспертный опыт): Интеграция знаний разных специалистов в контур работы ИИ.
Зачем это нужно индустрии?
Подход делает человеческое понимание явным инженерным обязательством. Важно отметить, что обоснование такой архитектуры не зависит от улучшения исходной задачи ИИ. То есть, внедрение элементов «понимания» может не повысить точность предсказаний, но критически важно для доверия, этики и долгосрочного использования системы в сложных социальных и бизнес-средах. Авторы демонстрируют это на качественном анализе двух гипотетических сценариев, показывая, как классификация целей и выбранные паттерны влияют на процессы принятия решений.
Источник: arXiv cs.AI ↗