Проблема существующих решений
Традиционные системы на базе LLM часто справляются с финансовым вопросно-ответным моделированием (QA), но терпят неудачу при сложном анализе документов. Основные проблемы: неспособность обнаруживать скрытые несоответствия между разными отчетами, отсутствие механизма получения недостающих фактов и невозможность верификации правок на основе доказательной базы.
Что такое FilingLoop
Команда разработала FilingLoop — не просто набор тестов, а интерактивный бенчмарк и фреймворк самоэволюционирующих агентов. Система работает в цикле: обнаруживает дефицит информации, запрашивает недостающие данные из связанных документов и проверяет, удовлетворяют ли предлагаемые изменения требованиям регуляторов (SEC).
Ключевые возможности
- Обнаружение скрытых дефектов: Агенты анализируют перекрестные ссылки между документами, выявляя противоречия, которые не видны при построчном чтении.
- Приобретение фактов: Система самостоятельно ищет недостающие корпоративные данные, а не полагается только на предоставленный контекст.
- Верификация правок: Любое предлагаемое изменение должно быть обосновано конкретными доказательствами из исходных документов.
Значение для индустрии
FilingLoop закрывает критический пробел в оценке ИИ-агентов. Если предыдущие тесты показывали лишь способность отвечать на вопросы, то новый фреймворк оценивает способность агентов действовать в сложной среде корпоративной отчетности. Это важный шаг к автоматизации комплаенса и аудита в реальном времени.
Источник: arXiv cs.AI ↗