Проблема экспертных данных и решение Navalia
Большие языковые модели (LLM) эволюционируют от простых чат-ботов к «Cowork Agents» — автономным агентам, способным планировать, использовать инструменты и выполнять сложные задачи. Однако в таких сферах, как финансовый анализ, требуется интеграция кросс-документальных доказательств и многошаговое численное рассуждение. Создание экспертных задач вручную дорого, а прямая генерация LLM часто дает ненадежные ответы.
Команда авторов (Hengqi Liu, Ziyuan Liu, Yang Qin и др.) представила Navalia — фреймворк, который решает эту проблему через верифицируемый синтез задач и долгосрочное пост-обучение (long-horizon post-training). В качестве источника данных используются корпоративные финансовые отчеты.
Механика: от семантики к исполняемым цепочкам
Navalia не просто генерирует вопросы, а выстраивает логические связи. Процесс включает:
- Семантический отбор: система выбирает поддерживающие доказательства из полного набора фактов.
- Построение цепочек вычислений: создаются исполняемые шаги с прослеживаемыми доказательствами и реальными зависимостями данных между этапами.
- Верификация: независимый обзор другой LLM и программные проверки гарантируют согласованность доказательств и правильность ответов.
Обучение и результаты
Верифицированные задачи используются для сбора траекторий, холодного старта через Supervised Fine-Tuning (SFT) и последующего обучения с подкреплением (RL). Базовой моделью для инициализации Navalia стала Qwen3.6-35B-A3B.
Результаты показывают стабильное превосходство над базовой моделью во всех пяти протестированных бенчмарках:
| Бенчмарк | Описание/Фокус |
|---|---|
| OfficeQA Pro | Общие офисные задачи |
| FinSearchComp | Финансовый поиск и сравнение |
| Finance Agent Benchmark | Специализированные финансовые агенты |
| APEX-Agents-AA | Сложные агентные задачи |
| Workspace-Bench-Lite | Легковесный тест рабочих пространств |
Значение для индустрии
Navalia демонстрирует, что улучшение интеграции доказательств, использования инструментов и выполнения долгосрочных задач возможно без сбора огромных массивов ручных данных. Подход обобщается не только на финансы, но и на общие офисные задачи, что делает его перспективным для создания универсальных профессиональных AI-ассистентов.
Источник: arXiv cs.AI ↗