Архитектура «Pets vs Cattle» для AI-агентов
Компания Anthropic внедрила парадигму, заимствованную из инфраструктуры облачных вычислений, где ресурсы делятся на «питомцев» (уникальные, требующие ручного управления) и «скот» (стандартизированные, легко заменяемые). В контексте AI-агентов это означает четкое разделение на два компонента:
- «Мозг» (Brain): Модуль логики и принятия решений. Он отвечает за планирование, анализ контекста и выбор стратегии. Этот компонент должен быть стабильным, надежным и требовать минимальных вычислительных ресурсов для инициализации.
- «Руки» (Hands): Модуль выполнения действий. Он взаимодействует с внешними инструментами, API и интерфейсами. Этот компонент может быть более ресурсоемким, но его можно масштабировать и перезапускать независимо от «мозга».
Результаты производительности
Главным показателем успеха новой архитектуры стало радикальное улучшение метрики p95 Time-to-First-Token (TTFT) — времени, необходимого для получения первого ответа от модели после запроса. Разделение нагрузки позволило оптимизировать процесс инициализации и снизить задержки.
| Метрика | До оптимизации | После внедрения новой архитектуры | Изменение |
|---|---|---|---|
| p95 TTFT (время до первого токена) | Высокие значения (медленный отклик) | Снижено более чем на 90% | Кратное улучшение |
| Масштабируемость | Ограничена связностью модулей | Высокая (независимое масштабирование) | Положительное |
| Надежность | Зависимость от состояния всего агента | Изолированные сбои (отказ «рук» не ломает «мозг») | Положительное |
Почему это важно для индустрии
Традиционные AI-агенты часто страдают от монолитной архитектуры, где логика и выполнение действий тесно переплетены. Это приводит к:
- Высоким задержкам при каждом запросе.
- Сложности в отладке и масштабировании.
- Неэффективному использованию вычислительных ресурсов.
Разделение «мозга» и «рук» позволяет:
- Быстрее реагировать на запросы: «Мозг» может быстро генерировать план, не дожидаясь завершения тяжелых операций «рук».
- Экономить ресурсы: Можно масштабировать только те компоненты, которые создают нагрузку.
- Повышать надежность: Сбои в выполнении действий не приводят к полному отказу системы.
Заключение
Инновация Anthropic демонстрирует, что применение проверенных принципов инфраструктуры (таких как разделение ответственности и стандартизация ресурсов) может привести к прорывам в производительности AI-агентов. Снижение p95 TTFT на 90% делает такие агенты практически применимыми для задач, требующих высокой скорости реакции, таких как интерактивные помощники, автоматизация рабочих процессов и реал-тайм аналитика.
Источник: Towards AI pub ↗