AIKraft Agents

agenta-ai/agenta

Открытая платформа LLMOps: плейграунд для промптов, управление ими, оценка и наблюдаемость LLM в одном месте.

LLMOps⭐ 4 887TypeScriptпоследний релиз: v0.128.8
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

Agenta — это open-source LLMOps-платформа, объединяющая управление промптами, оценку качества моделей (evaluation) и отслеживание работы приложений (observability).

Зачем нужен

Инструмент помогает инженерным и продуктовым командам создавать надежные LLM-приложения, обеспечивая контроль над качеством промптов и стабильностью работы в продакшене. Он позволяет систематически тестировать модели, сравнивать их результаты и отслеживать затраты и задержки, что снижает риски при внедрении ИИ.

Что можно реализовать

  • Совместная работа экспертов предметной области (SME) и разработчиков над созданием и версионированием промптов через интерактивный Playground.
  • Автоматизированная оценка качества ответов LLM с использованием 20+ встроенных метрик, подхода LLM-as-judge или пользовательских скриптов.
  • Отладка сложных рабочих процессов (workflows) с помощью детального LLM Tracing и интеграции со стандартами OpenTelemetry.
  • Мониторинг производительности и затрат на использование LLM в реальном времени для оптимизации бюджета.

Ключевые возможности

  • Единая среда для управления промптами, оценки и наблюдаемости (LLMOps).
  • Поддержка 50+ LLM-моделей и возможность подключения собственных провайдеров (BYOM).
  • Гибкие тестовые наборы (testsets) с возможностью загрузки из CSV или создания на основе данных из продакшена.
  • Интеграция с OpenTelemetry, OpenLLMetry и OpenInference для совместимости с существующими инструментами мониторинга.
  • Встроенные механизмы для сбора обратной связи от экспертов (human feedback) и версионирования конфигураций.

👤 Кому подойдёт: Инженеры по машинному обучению (MLE), разработчики LLM-приложений, продуктовые менеджеры и эксперты предметной области (SME), участвующие в разработке и поддержке ИИ-решений.

Релизы

v0.128.8minor
🕐 8 ч назад · релиз на GitHub ↗

Релиз v0.128.8: бета-режим разработчика в /m, исправления багов фронтенда и API, улучшение тестов и фильтрации.

  • Added: Бета-режим разработчика, позволяющий оставаться в интерфейсе /m.
  • Added: Предпросмотр семи новых представлений для разработчиков в /m.
  • Added: Возможность создания новой оценки и добавления в тестовый набор прямо из /m playground.
  • Fixed: Исправлены ошибки в /m playground, трассировке и обзоре приложения.
  • Fixed: Исправлена работа фильтров трассировки при живой оценке и устранено исключение трассировок оценщика из запросов.
  • Fixed: Устранена случайная нестабильность веб-юнит-тестов из-за конкуренции за ресурсы CPU.
v0.128.7patch
🕐 18 ч назад · релиз на GitHub ↗

Исправления в API и фронтенде, улучшение стабильности очередей и аннотаций, запуск сценариев из интерфейса оценки.

  • Fixed: Исправлены сбои живых оценок, повторные прогоны трейсов и ошибки сканирования очередей при неудачном чтении.
  • Fixed: Устранены проблемы с переименованием приложений, перемещением в папки и отображением сообщений об ошибках.
  • Added: Добавлена возможность запуска инвокации сценария со страницы запуска оценки в интерфейсе /m.
  • Added: Реализованы ссылки на шаринг Playground, сохранение последнего выбора и навигационные ссылки между страницами.
  • Fixed: Оптимизирована загрузка бегунка Playground и исправлены мелкие баги интерфейса (заголовки, типы JSON, фильтры).
v0.128.6patch
🕐 вчера · релиз на GitHub ↗

Исправления в интерфейсе: сохранение тестовых случаев при создании оценщика и корректная фильтрация удалённых версий в playground.

  • Fixed: Тестовые случаи в playground сохраняются после создания оценщика через New Evaluation в /w.
  • Fixed: Удалённые версии больше не отображаются в выборе playground в /m.
v0.128.5major
🕐 вчера · релиз на GitHub ↗

Масштабное обновление интерфейса /m: добавлены инструменты для оценки, аннотирования, управления тестовыми наборами и плейграунда.

  • Added: Полный цикл управления оценками: создание, просмотр сценариев, конфигурация и аннотирование результатов в интерфейсе /m.
  • Added: Расширенный плейграунд: сравнение версий, AI-улучшение промптов, импорт тестовых наборов и работа с входными данными.
  • Added: Управление тестовыми наборами: создание, клонирование, импорт CSV/JSON и просмотр архивных версий.
  • Added: Инструменты аннотирования: добавление спанов из трасс, фильтрация и пакетная работа с аннотациями.
  • Fixed: Исправлены ошибки в скрытых представлениях оценщиков, оптимизирована загрузка панели трасс и устранены ошибки линтинга.
v0.128.4minor
🕐 2 дн назад · релиз на GitHub ↗

Запуск Playground, аннотационных очередей и тестовых наборов в мобильном интерфейсе /m, а также оптимизация производительности.

  • Added: В мобильном интерфейсе /m добавлены Playground, очереди аннотаций, списки и редакторы тестовых наборов, а также управление вариантами, деплоями и промптами.
  • Added: В UI внедрены компактные SVG-графики для замены библиотеки recharts.
  • Fixed: Исправлена работа с идентификаторами трасс, сохранение изменений тестовых случаев и корректное поведение пустого чата после перезагрузки.
  • Fixed: Устранены проблемы с лишними API-запросами в /m, блокировкой редактора агентов для зрителей и ошибочным паркованием вызовов инструментов.
  • Fixed: Обновлены зависимости pyasn1 и follow-redirects, улучшена обработка Jinja-переменных в управляющих блоках.
v0.128.3minor
🕐 2 дн назад · релиз на GitHub ↗

Обновление интерфейса /m: переключатель режимов разработчика, управление SSO, архивами и сброс пароля.

  • Added: Добавлен переключатель режимов разработчика в интерфейсе /m, открывающий доступ к новым функциям.
  • Added: В настройках /m появилась возможность управления доменами, провайдерами SSO и организационным слугом.
  • Added: Реализована функция создания ссылок для сброса пароля для участников с авторизацией по паролю.
  • Added: За переключателем разработчика скрыты страницы архивных приложений, эндпоинтов и фильтрация трассировок.
  • Fixed: Восстановлена возможность восстановления архивных агентов и открытия Playground из меню агента.
v0.128.2patch
🕐 3 дн назад · релиз на GitHub ↗

Исправления UI, стабильности и безопасности зависимостей; новая функция экспорта навыков.

  • Added: Появилась возможность скачивать навыки в формате SKILL.md или ZIP-архива.
  • Fixed: Устранены проблемы с UI: корректное закрытие панелей, отображение скелетонов загрузки и поведение при переключении проектов.
  • Fixed: Исправлена логика обработки сообщений: предотвращена потеря финальных сообщений и очищение очереди после закрытия ворчдогом.
  • Fixed: Обновлены зависимости (undici, zod, certifi, litellm) для устранения уязвимостей и повышения стабильности раннера.
  • Fixed: Улучшена работа с API: исправлен маппинг ошибок EmbedError на 400 код и добавлены таймауты для Redis-клиента.
v0.128.1minor
🕐 3 дн назад · релиз на GitHub ↗

Версия v0.128.1: детализация ролей доступа, учёт токенов и стоимости в чате, исправление тестов.

  • Added: Роли теперь применяются к каждому плану; добавлена роль Member, которая не имеет доступа к просмотру трасс.
  • Added: В ответах чата теперь отображается количество токенов и стоимость для каждого отдельного хода.
  • Added: Обновлена документация по проектированию: уточнены роли в малых командах, фильтрация трасс заменена контролем доступа к чату.
  • Fixed: Исправлено выполнение acceptance-тестов для сценариев 'Needs setup' с включёнными и выключёнными личными аккаунтами.
v0.128.0minor
🕐 6 дн назад · релиз на GitHub ↗

Введение персональных аккаунтов и подключений (Composio, MCP) с настройками и экранами подтверждения.

  • Added: Хранение личных секретов и подключений Composio для каждого пользователя.
  • Added: Поддержка входа через MCP на уровне конкретного пользователя.
  • Added: Новые экраны настроек и выбора личных аккаунтов в интерфейсе.
  • Added: Возможность выбора собственных аккаунтов в агентах, чате и автоматизациях.
  • Added: Принятие приглашений в организацию через маршрут /m.
v0.127.3patch
🕐 6 дн назад · релиз на GitHub ↗

Исправления OAuth, сессий GitHub, аналитики и производительности; добавлены навыки дизайна и ревью.

  • Fixed: Исправлена передача client_id в метаданных OAuth для MCP.
  • Fixed: Решена проблема сессии при входе через GitHub и добавлено именование внешних запусков в аналитике.
  • Added: Добавлены навыки (skills) для дизайна и ревью.
  • Fixed: Оптимизирована производительность: пропущена проверка обновлений npm в pi-acp при каждом новом сеансе.
  • Added: Настроена отправка опроса и намерений первого агента при онбординге.
v0.127.2minor
🕐 6 дн назад · релиз на GitHub ↗

Релиз v0.127.2: новые возможности автоматизации событий, управление каналами и исправления интерфейса.

  • Added: Добавлена настройка каналов: выбор, где и кому отвечает агент.
  • Added: Расширены возможности автоматизации событий: выбор полей и включение события в сообщение агента.
  • Added: Пауза выбора при открытой заметке с переходом к комментарию через плитку.
  • Fixed: Исправлено отображение ошибок подключения MCP и очищена панель соединений.
  • Fixed: Сообщения чата остаются видимыми, а метки обновляются в реальном времени во время работы агента.
  • Fixed: Исправлено перенаправление незарегистрированных пользователей на страницу входа для прохождения онбординга.
v0.127.1patch
🕐 7 дн назад · релиз на GitHub ↗

Исправления в API, SDK и фронтенде, а также оптимизация производительности раннера: переиспользование бинарников, параллельный монтаж и пропуск обновлений дисков.

  • Fixed: Исправлена загрузка страниц /m в dev-режиме за счёт обновления Next.js до версии 16.4.2.
  • Fixed: Устранена ошибка разделения символов при обрезке воспроизведённой истории в раннере.
  • Fixed: Исправлено корректное удаление пути /api в SDK, чтобы не повреждать имена хостов.
  • Fixed: Администраторы организаций теперь могут тестировать подключение из любого проекта.
  • Fixed: Исправлена запись полных флагов аутентификации при создании организации администратором.
  • Added: Оптимизация производительности раннера: переиспользование бинарников инструментов, локальных копий навыков и параллельный монтаж дисков.
v0.127.0minor
🕐 7 дн назад · релиз на GitHub ↗

Обновление онбординга, исправления Composio и API, а также изменения в архитектуре рабочих пространств.

  • Added: Включен первый этап онбординга агентов с вопросами, синхронизированными с опросом регистрации.
  • Added: Рабочие пространства больше не записываются отдельно; организация теперь указывает, где находится рабочее пространство (шаг 2 M4b).
  • Added: Конфигурация и хуки агентов теперь общие, что позволяет каждой проверке фиксировать сессии.
  • Deprecated: Режим остановки потока (stream stop) устарел; вызовы перенесены в маршрут отмены.
  • Fixed: Исправлена маршрутизация событий триггеров Composio V3, которые ранее терялись.
  • Fixed: Отредактированные фильтры автоматизации теперь корректно отправляются в Composio.
v0.126.0minor
🕐 8 дн назад · релиз на GitHub ↗

Исправлена безопасность приватных агентов, улучшена обработка ошибок потоков и добавлено управление подключениями организаций.

  • Fixed: Усилен контроль доступа к приватным агентам в каналах (Codex review).
  • Fixed: Неудачный запуск агента теперь корректно завершает потоки SSE или NDJSON фреймом ошибки.
  • Added: Добавлена возможность управления подключениями организаций по имени, области и слугу, включая вход по подписке.
  • Added: В настройках и выборе модели теперь отображаются подключения организации.
  • Fixed: Исправлено отображение сохраненной модели в селекторе, если она была задана через bare model id.
v0.125.3patch
🕐 9 дн назад · релиз на GitHub ↗

Критические обновления безопасности зависимостей, исправления фронтенда и поддержка модели Kimi K3.1 Pro.

  • Fixed: Исправлена передача проекта при запуске агентов и удалена иконка блокировки у имён сессий.
  • Added: Добавлена корректная поддержка модели Kimi K3.1 Pro.
  • Fixed: Обновлён адаптер Codex и инициализация ACP с учётом переопределений HOME.
  • Fixed: Критические обновления безопасности: Next, dompurify, certifi, Pillow, pypdf, aiohttp и другие зависимости.
v0.125.2patch
🕐 9 дн назад · релиз на GitHub ↗

Добавлена поддержка Claude Haiku 5.5, улучшена стабильность сессий и исправлена логика бюджетов в runner.

  • Added: Добавлена модель Claude Haiku 5.5 в каталоги SDK и пикер, обеспечена её работа на Pi.
  • Fixed: Исправлена потеря данных: сохранение частичных ответов при остановке, входящих сообщений при смене сессий и черновиков до отправки.
  • Fixed: Исправлена логика бюджетов: теперь лимит вывода применяется на шаг, а не на весь ход, и сохраняется работа при истечении таймаута.
  • Fixed: Улучшена производительность API за счёт параллельных запросов при старте хода агента.
  • Fixed: Исправлена установка зависимостей для MCP-инструментов и обновлён пакет certifi.
v0.125.1minor
🕐 10 дн назад · релиз на GitHub ↗

Исправления SDK и комментариев, запуск Gemini через нативный протокол Google, улучшения CI и документации.

  • Added: Возможность обслуживания встроенного Gemini через нативный протокол Google.
  • Fixed: Исправлена передача облачных учетных данных в SDK: теперь они передаются в каждом вызове, а не через переменные окружения.
  • Fixed: Исправлена обработка ссылок в комментариях, когда в CSV-ячейке отсутствует имя заголовка столбца.
  • Fixed: Добавлена автоматическая подстановка схемы http для AGENTA_API_URL без схемы в функции parse_url.
  • Added: Проверка бандла office viewer теперь выполняется как независимая задача CI.
v0.125.0minor
🕐 10 дн назад · релиз на GitHub ↗

В релизе v0.125.0 появились приватные агенты и сессии с возможностью шаринга, а также улучшена организация хранения данных.

  • Added: Добавлена поддержка приватных агентов и сессий, а также функционал их совместного использования.
  • Added: Новые монтируемые ресурсы (mounts) теперь используют структуру хранения на уровне организации.
  • Added: API стало принимать идентификаторы организаций там, где ранее требовался идентификатор рабочего пространства.
  • Fixed: Исправлена регрессия, из-за которой вложение, отправленное первым сообщением в новом чате, не отображалось.
v0.124.2patch
🕐 11 дн назад · релиз на GitHub ↗

Исправлено зависание встроенных вызовов Gemini на Vertex и увеличено время старта API и веб-интерфейса в Helm.

  • Fixed: Исправлено зависание встроенных вызовов Gemini при остановке запросов к Vertex AI.
  • Fixed: По умолчанию для low thinking теперь используется модель gemini-3.8-flash.
  • Fixed: Увеличено время ожидания запуска API и веб-интерфейса при развёртывании через Helm на новом узле.
v0.124.1patch
🕐 11 дн назад · релиз на GitHub ↗

Исправлена регистрация Gmail-адресов с точками и тегами, а также исправлено использование учётных данных провайдера в SDK.

  • Fixed: При регистрации теперь учитывается, что варианты Gmail с точками и тегами (+tag) относятся к одному адресу.
  • Fixed: Исправлено использование SDK: теперь применяются только учётные данные провайдера, принадлежащие проекту.
v0.124.0minor
🕐 11 дн назад · релиз на GitHub ↗

Релиз v0.124.0: усиление безопасности, централизация управления доступом и исправления рантайма.

  • Added: Внедрена единая система определения прав доступа для каждого запуска через principal.
  • Fixed: Ужесточены проверки для администраторов организаций, SSO, паролей и тестовых запусков.
  • Fixed: Исправлена работа блокировок кэша, ограниченное чтение в песочнице и резервирование имен MCP-серверов.
  • Added: Оптимизировано создание рабочих пространств и ускорена миграция членства в проектах.
v0.123.1patch
🕐 12 дн назад · релиз на GitHub ↗

Исправлена проверка прав администраторов организаций, доменов SSO и runtime-идентификаторов.

  • Fixed: Ужесточены проверки прав администраторов организаций.
  • Fixed: Обновлена логика валидации доменов SSO.
  • Fixed: Исправлено преобразование runtime-идентификаторов.
v0.123.0minor
🕐 12 дн назад · релиз на GitHub ↗

Редизайн интерфейса, превью офисных файлов, поддержка структурированного вывода Claude 5 и новые шаблоны агентов.

  • Added: Полный редизайн чата, файловых карточек и композера; теперь чат открывается по умолчанию вместо обзора агента.
  • Added: Превью и комментирование Excel, PowerPoint, Word, HTML и документов прямо в панели файлов.
  • Added: Интеграция с Google Drive: ссылки на файлы, папки и автоматизацию; добавлен шаблон SEO Content Agent.
  • Added: SDK: отправка json_schema в модели Claude 5 как нативный структурированный вывод.
  • Fixed: Исправлена работа MCP-эндпоинтов при невалидных строках, обработка сбоев Gemini и очистка песочниц Daytona.
v0.122.11majorbreaking
🕐 13 дн назад · релиз на GitHub ↗

Встроенные модели теперь доступны только через агентные запуски платформы, улучшена безопасность и исправлены ошибки.

  • Breaking: Встроенные модели теперь обслуживаются исключительно в рамках агентных запусков платформы; прямые API-вызовы возвращают ошибку 403.
  • Added: Введен механизм tombstone при удалении аккаунта: повторная регистрация в течение 365 дней не дает бесплатных кредитов.
  • Fixed: Удален временный мост стартовых кредитов; новые организации получают грант по стандартной политике регистрации.
  • Added: Code evaluators теперь получают ограниченные учетные данные вместо ключей провайдеров с доступом только на запись.
  • Fixed: Токен шлюза больше не попадает в среду Daytona; исправлены ошибки подписки ChatGPT и поддержка host.docker.internal.
v0.122.10minor
🕐 15 дн назад · релиз на GitHub ↗

Улучшена обработка ошибок и форм, добавлены лимиты регистрации, кэширование и защита от фрода для Enterprise.

  • Fixed: Ошибки выполнения теперь отображаются как ответы агента с возможностью восстановления, а формы вопросов больше не зависают.
  • Added: Внедрено ограничение частоты запросов на вход и регистрацию по IP-адресу клиента.
  • Added: Для Enterprise-версии добавлена проверка новых аккаунтов и ключей API на фермы кредитов через TypeSafe Jev.
  • Added: Настроено кэширование списка заблокированных доменов при регистрации с настраиваемым TTL.
  • Fixed: Исправлено ложное отображение панели добавления API-ключа в рабочих пространствах, работающих на кредитах.
v0.122.9minor
🕐 16 дн назад · релиз на GitHub ↗

Возможность встраивания агентов на сайты, поддержка подписок Claude, исправления стабильности и безопасности.

  • Added: Встраивание агента на любой сайт через iframe-виджет для посетителей без аккаунта.
  • Added: Подключение подписок Claude Pro/Max к проектам через setup-токен вместо API-ключа.
  • Fixed: Исправлена работа раннера: устранены зависания и утечки памяти при ожидании ответа модели.
  • Fixed: Корректные коды ошибок (401, 409, 503, 422) вместо 500 при отказах в выполнении или входе.
  • Added: Добавлена переменная окружения для ограничения числа организаций на одного пользователя.
v0.122.8minor
🕐 18 дн назад · релиз на GitHub ↗

Масштабное обновление MCP: гибкая аутентификация, OAuth и управление ключами; редизайн биллинга и мобильной версии.

  • Added: Гибкая аутентификация MCP: привязка API-ключа к заголовкам, параметрам URL или префиксам, поддержка OAuth с регистрацией приложений.
  • Added: Редизайн настроек биллинга с разделением на Credits и Plan, а также обновление мобильного интерфейса входа и онбординга.
  • Added: Сохранение файлов из composer в сессионный диск даже при превышении лимита вложений.
  • Fixed: Исправлена ошибка 500 при дублировании slug ревизии (теперь 409), очищены сессии БД и улучшена обработка CORS.
  • Fixed: Отключены инструменты Claude Code и claude.ai в агентах, исправлено отображение имен моделей и ссылок на организацию.
v0.122.7patch
🕐 21 дн назад · релиз на GitHub ↗

Исправлена работа портала биллинга и оформления заказа для выбранной организации.

  • Fixed: Исправлена ошибка при открытии портала биллинга и оформления заказа для выбранной организации.
v0.122.6minor
🕐 21 дн назад · релиз на GitHub ↗

Добавлена модель Gemini 4 Argon, внедрено OpenTelemetry-трекинг и JSON-логи, исправлены ошибки API, SDK и хостинга.

  • Added: Добавлена модель Gemini 4 Argon с ценой 1.2x от Google, поддержка JSON-логов для Google Cloud Logging и трассировка запросов через OpenTelemetry.
  • Fixed: Исправлена работа с медными провайдерами (LiteLLM), улучшена обработка ошибок LLM-шлюза и скрытие маскированных ключей в ошибках.
  • Fixed: Устранены проблемы с загрузкой шаблонов SDK, порядком сессий, лимитом чтения текста (4 MiB) и корректным завершением потоков.
  • Added: Появилась возможность создавать агентов с нуля, загружать файлы или импортировать их из GitHub-репозиториев.
  • Fixed: Удалена интеграция New Relic, улучшена структура логов Gunicorn и исправлены ошибки в Helm-чартах и конфигурации хостинга.
v0.122.5minor
🕐 24 дн назад · релиз на GitHub ↗

Обновление UI: превью медиа, флайуток агентов, панель обслуживания. Исправления SDK, API, безопасности и стабильности раннера.

  • Added: Добавлен флайуток агентов в боковую панель и превью изображений, файлов и ссылок в чате.
  • Added: Реализована панель обслуживания (maintenance notice), управляемая через PostHog feature flag.
  • Fixed: Исправлено отображение вопросов агента в доке, сохранен порядок вопросов.
  • Fixed: Устранены проблемы с таймаутами аналитики, ошибками экспорта трасс и стабильностью записи в БД при рестартах.
  • Fixed: Обновлены зависимости Python, Node.js и раннера для устранения уязвимостей безопасности.
  • Fixed: Исправлено хранение конфигурации агентов в SDK, оптимизированы запросы к Postgres и Stripe.