Проблема продакшен-агентов
Демонстрационные агенты часто терпят крах в реальных условиях из-за неполных данных, бесконечных циклов повторных попыток или превышения лимитов по времени и стоимости. Компания TinyFish, предоставляющая веб-инфраструктуру для AI-агентов, опубликовала технические руководства, решающие эти проблемы. В основе их подхода — разделение логики модели (reasoning) и детерминированного выполнения (execution) через строгие интерфейсы инструментов.
7-фазный цикл управления
Архитектура TinyFish оперирует через семь четких фаз, что позволяет избежать проблемы «потери сущностей» (lost-in-retrieval), характерной для ChainRAG. Ключевые этапы:
- Определение задачи: Создание «контракта на доказательства» (требования к полям, источникам, свежести).
- Планирование: Разделение независимых и зависимых запросов (зависимые ждут ответов).
- Выбор маршрута: Маршрутизация на основе пробела в информации, а не фиксированной лестницы инструментов.
- Поиск и извлечение: Обработка результатов как кандидатов до получения контента.
- Оценка: Классификация доказательств (достаточно, неполно, конфликтует, недоступно).
- Восстановление: Корректировка запроса или смена источника при неудаче.
- Валидация: Возврат результата или эскалация человеку.
Уроки из Deep Research: отказ от субагентов
При создании системы глубокого исследования TinyFish выявила три критические ошибки проектирования, которые пришлось исправить:
- Удаление отдельного планировщика: Изначально планировщик был изолирован, что приводило к потере контекста при уточняющих запросах. Планирование интегрировано в единый цикл рассуждений оркестратора.
- Удаление субагентов: Отдельные агенты для каждого запроса увеличивали задержку и стоимость. Их заменили на вызовы инструментов (tool calls) для рутинных задач (ранжирование, классификация), что снизило объем передаваемых данных.
- Качество важнее покрытия: Смещение фокуса с простого охвата источников на релевантность доказательств. Внедрен LLM-судья для оценки отчетов.
Сравнение с лидерами рынка (OpenBenchmarks)
На бенчмарке OpenBenchmarks (модель gpt-5.6-sol, 100 задач, корпоративная документация) TinyFish показала лучшие результаты по стоимости и эффективности токенов, уступив Exa в чистом поиске, но лидируя в комплексных задачах «поиск + извлечение».
| Метрика | TinyFish | Exa Deep | Perplexity | Firecrawl |
|---|---|---|---|---|
| Completion (Search + Fetch) | 79.0% ± 2.0 | 83.0% ± 1.0 | 77.7% ± 1.5 | 76.0% ± 1.0 |
| Median Task Time | 24s | 37s | 22s | 34s |
| Median Task Cost | $0.050 | $0.127 | $0.083 | $0.082 |
| Median Task Tokens | 12,844 | 23,660 | 20,062 | 17,379 |
| Search-only Completion | 59.3% | 66.3% (Fast) | 77.3% | 70.3% |
Примечание: В режиме только поиска (Search-only) TinyFish уступает Perplexity (77.3%) и Exa (66.3%), так как эти сервисы оптимизированы под быстрый ответ, а не под глубокое извлечение контента.
Почему это важно
Индустрия движется от простых RAG-цепочек к автономным агентам. Опыт TinyFish доказывает, что жесткий контроль траектории, отказ от избыточных субагентов и маршрутизация на основе «пробелов в информации» (information gap) позволяют снизить стоимость задачи в 2.5 раза по сравнению с Exa при сопоставимой или лучшей полноте ответа. Это эталон для построения экономичных Enterprise AI-систем.
Бенчмарки
| Бенчмарк | TinyFish | Exa deep | Exa fast | Firecrawl | Perplexity |
|---|---|---|---|---|---|
| OpenBenchmarks (Search + fetch) | 79% | 83% | — | 76% | 77.7% |
| OpenBenchmarks (Search-only) | 59.3% | — | 66.3% | 70.3% | 77.3% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗