Суть проблемы: токены на схемы
Основная боль при создании AI-агентов с обширным функционалом — это стоимость и размер контекстного окна. Каждая декларация функции (инструмента) требует передачи JSON-схемы параметров. При наличии десятков инструментов это может занимать десятки тысяч токенов в каждом запросе, даже если модель использует лишь одну функцию.
Новая функция Tool Retrieval в Interactions API (v1beta) меняет парадигму: модель видит только имя и краткое описание инструмента. Полная схема загружается только тогда, когда агент действительно решает вызвать эту функцию.
Как это работает технически
Разработчики добавляют поле defer_loading: true к нужным функциям. Процесс выглядит так:
- Шаг 1: Модель запрашивает инструмент через
tool_search_call. - Шаг 2: API возвращает полную схему через
tool_search_result. - Шаг 3: Модель генерирует вызов функции
function_call, который исполняет ваш код.
В серверном режиме (по умолчанию) первые два шага разрешаются за один API-запрос без дополнительных раундов связи. В клиентском режиме (execution: client) поиск происходит на стороне разработчика, что добавляет один лишний раунд, но позволяет использовать собственные базы знаний или фильтры прав доступа.
Сравнение с конкурентами
Google не опубликовала собственных метрик экономии токенов, но привела данные от Anthropic и OpenAI для сравнения подходов. Ниже приведена сводная таблица характеристик:
| Характеристика | Google Gemini (Tool Retrieval) | Anthropic (Tool Search) | OpenAI (Tool Search) |
|---|---|---|---|
| Статус | Preview (v1beta) | Не раскрыто в документации | Не раскрыто в документации |
| Макс. отложенных инструментов | Не раскрыто (рекомендация: <20 статичных) | 10,000 | Не раскрыто |
| Экономия токенов | Не опубликовано | 85% (с 77K до 8.7K токенов) | 47% на 250 задачах MCP Atlas |
| Точность (Accuracy) | Не опубликовано | 79.5% – 88.1% (Opus 4.5) | Не опубликовано |
| Поддержка MCP | Да (на уровне mcp_server) | Да (на уровне mcp_toolset) | Да (на уровне сервера) |
Стоимость и ограничения
За саму функцию Tool Retrieval отдельной платы нет. Токены тарифицируются по стандартным ставкам модели. Однако есть важные нюансы:
- Загрузка навсегда: Как только схема инструмента загружена, она остается в контексте разговора и продолжает тарифицироваться как входные данные. «Разгрузить» её нельзя.
- Кэширование: Отложенные схемы не участвуют в prefix-caching. Загруженные схемы добавляются в конец, что может снизить эффективность кэширования, если общий размер промпта падает ниже порога кэширования.
- Рекомендации Google: Для стабильных, часто используемых инструментов (<20 штук) лучше использовать статичную загрузку. Tool Retrieval оптимален для больших библиотек, где активны лишь малая часть функций.
Функция доступна на моделях Gemini 4 (Carbon, Neon, Hydrogen, Argon), 3.8 Flash и 3.6 Flash.
Бенчмарки
| Бенчмарк | Opus 4.5 |
|---|---|
| Published accuracy (Anthropic Tool Search) | 88.1% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗
