Революция в поиске документов
Корпоративный облачный сервис Box объявил о запуске новой системы извлечения контента, основанной на подходе agent-first (сначала агент). В отличие от традиционных методов, где ИИ просто ищет ключевые слова, новая архитектура использует агентов Nvidia Nemotron для глубокого понимания контекста запросов пользователей.
Конкретные метрики эффективности
Интеграция модели Nemotron позволила Box существенно оптимизировать производительность системы. Согласно предоставленным данным, новая архитектура демонстрирует выдающиеся результаты по сравнению с предыдущими решениями:
- Скорость ответа: Запросы обрабатываются в 4 раза быстрее.
- Точность: Количество ошибок (hallucinations или неточных ответов) снижено на 20%.
- Экономия ресурсов: Потребление токенов сокращено на 90%, что критически важно для снижения затрат на inference в корпоративном масштабе.
Почему это важно для бизнеса
Снижение потребления токенов на 90% — это не просто техническая деталь, а прямой путь к экономии бюджета. Для компаний, обрабатывающих терабайты неструктурированных данных, каждый сэкономленный токен означает значительное уменьшение счетов за API-вызовы. Кроме того, четырехкратное ускорение поиска делает работу с документами практически мгновенной, повышая продуктивность сотрудников.
Техническая суть
Использование Nvidia Nemotron позволяет системе не просто индексировать файлы, но и «понимать» намерение пользователя. Агент самостоятельно формирует запросы, фильтрует нерелевантные документы и агрегирует ответы, минимизируя необходимость в многократных итерациях поиска, что и объясняет столь радикальное снижение нагрузки на модель.
Источник: TechCrunch ↗