Проблема «черного ящика» и ручного труда
Символьные модели (rule-based systems) исторически считались мощным инструментом для объяснения когнитивных процессов, но их применение ограничивалось необходимостью ручного программирования правил и вычислительной сложностью. Авторы работы Solim LeGris, Philipp Mondorf и коллеги из Университета Джонса Хопкинса и других институтов предлагают решение: Behavior-Conditioned Symbolic Synthesis (BCSS). Этот подход использует AI для автоматического поиска детерминированных символьных программ, которые верифицируемо воспроизводят наблюдаемое поведение.
Масштаб эксперимента: люди против машин
Команда применила BCSS для моделирования поведения людей и современных ИИ-систем на сотнях сложных задач на рассуждение. Целью было не просто предсказать ответ, а извлечь логику принятия решений. Метод позволяет перевести «мысли» нейросети или человека в понятные логические правила, которые можно проверить на корректность.
Ключевые находки: общая стратегия «достаточного»
Анализ синтезированных программ выявил удивительное сходство в том, как люди и ИИ решают задачи. Обе стороны склонны к сатисфакции (satisficing) — выбору первого решения, которое удовлетворяет минимальным критериям, вместо поиска оптимального. Конкретные паттерны упрощения:
- Частичные объяснения: И люди, и модели используют правила, которые объясняют лишь часть наблюдений, игнорируя сложные взаимосвязи.
- Ложные зависимости: Обе стороны часто ошибочно выводят связи между признаками задачи, которые на самом деле не влияют на результат.
- Влияние ресурсов: Уровень упрощения напрямую зависит от доступных вычислительных или когнитивных ресурсов. Чем больше усилий, тем сложнее правило, но базовая тенденция к упрощению сохраняется.
Почему это важно для индустрии
BCSS открывает путь к созданию интерпретируемых ИИ. Вместо того чтобы гадать, почему нейросеть приняла то или иное решение, разработчики могут получить точную символьную модель, которая это решение генерирует. Это критически важно для областей, требующих прозрачности: медицины, юриспруденции и автономных систем. Метод демонстрирует, что «логика» черных яшек ИИ часто зеркалит человеческие когнитивные искажения, что позволяет лучше настраивать модели под реальные сценарии использования.
Источник: arXiv cs.AI ↗