Проблема «черного ящика» в корпоративном ПО
В современных enterprise-системах (таких как ServiceNow) логика работы часто скрыта за слоями бизнес-правил, которые не прописаны в коде платформы, а задаются администраторами. Эти правила могут меняться, добавляться или удаляться, что делает невозможным предсказание последствий действий агента без их явного знания. Традиционные подходы требуют ручного запроса к системе для каждого действия, что неэффективно и медленно.
Новый подход: Continual Discovery Agent (CDA)
Команда исследователей во главе с Шамбхави Мишра разработала агента CDA, который начинает с нулевого знания правил. Он взаимодействует с записями системы, наблюдает за результатами и строит собственную «модель мира» (world model). Ключевая особенность — непрерывное обучение: когда правила меняются, агент пересматривает свою модель, а не начинает обучение с нуля.
Метрика и бенчмарк EnterpriseWorldShift
Для оценки была создана среда EnterpriseWorldShift на базе реальной инстанции ServiceNow. Тестирование проводилось на 9 таблицах, 25 скрытых правилах и 600 оценочных действиях. Среда симулирует четыре сценария: модификацию, добавление, удаление правил и их вывод из эксплуатации.
Результаты сравнения точности предсказаний эффектов правил:
| Метрика | Значение / Описание |
|---|---|
| Улучшение IoU | До +8.98 пунктов по сравнению с методом прямого запроса (baseline) |
| Скорость ответа | Агент отвечает на основе своей внутренней модели, не запрашивая живую систему |
| Адаптивность | Успешно проходит тесты на discovery, revision, extension и retirement правил |
Почему это важно
Результаты показывают, что автономное обнаружение правил превосходит прямые запросы к системе. Это открывает путь к созданию самообучающихся ИИ-ассистентов, которые могут работать в сложных, меняющихся корпоративных средах, не требуя постоянной настройки и отладки со стороны разработчиков.
Источник: arXiv cs.AI ↗