experientiallabs/world-model-harness

Experiential — это open-source шлюз без наценок для BYOK, self-hosted и 1000+ моделей из маркетплейса. Он обучается на вашем трафике, чтобы сократить расходы, рекомендовать лучшие модели и обучать специализированную модель, которой вы владеете.

Инференс⭐ 14 984Pythonпоследний релиз: v0.7.233

Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

Experiential — это open-source шлюз (gateway) и роутер для LLM, позволяющий объединять хостинговые, BYOK и локальные модели через единый OpenAI-compatible API.

Зачем нужен

Инструмент помогает контролировать расходы, ограничивать доступ пользователей к моделям и оптимизировать качество и скорость ответов. Он анализирует производственный трафик для обучения специализированных роутеров или дообучения собственных моделей.

Что можно реализовать

Централизованное управление доступом к множеству LLM (OpenAI, Anthropic, Gemini и др.) через один API-эндпоинт.
Автоматическая маршрутизация запросов к лучшим моделям на основе анализа качества, скорости и стоимости.
Снижение затрат на LLM за счет оптимизации роутера на основе собранных телеметрических данных (traces).
Дообучение (fine-tune) открытых моделей под свои задачи с использованием данных из продакшена.

Ключевые возможности

Единый OpenAI-compatible интерфейс для любых провайдеров и локальных моделей.
Встроенный сбор трафика (capture) и анализ OTel-трейсов для оптимизации.
Гибкое управление бюджетами и доступом (guardrails) для разных пользователей и агентов.
Возможность локального запуска или использования управляемой платформы (hosted gateway).
Интеграция с инструментами разработки (Claude Code, Cursor, Codex) через перенаправление запросов.

👤 Кому подойдёт: Разработчики, использующие LLM-агенты, и команды, стремящиеся оптимизировать расходы и качество работы с моделями.

Релизы

v0.7.233patch

🕐 4 ч назад · релиз на GitHub ↗

Исправлено преждевременное завершение WebSocket-соединений при ожидании метаданных HTTP-ретрансляции.

Fixed: Устранена проблема с истечением таймаута WebSocket-захвата ответов во время ожидания метаданных от HTTP-ретрансляции.
Added: Обновлен компонент exp-gateway-native до версии 0.3.179.
Механизмы захвата ответов, проверки права на settlement, подтверждения назначения и ограничения пропускной способности продолжают работать в штатном режиме.

v0.7.228minor

🕐 2 дн назад · релиз на GitHub ↗

В релизе v0.7.228 добавлено жесткое ограничение пропускной способности очередей (Fleet Lane Limits) на уровне шлюза для управления нагрузкой.

Added: Внедрена система жестких ограничений пропускной способности очередей (Fleet Lane Limits), управляемая через хост-инжектируемый шлюз FleetLaneGate.
Added: Реализована политика GatewayRungDispatchPolicy, позволяющая настраивать лимиты запросов, токенов, всплески и контроль заполненности на основе закона Литтла.
Added: Добавлена логика распределения переполнения (spill): при превышении лимита запросы передаются следующему узлу, а не принудительно возвращаются в очередь.
Added: Добавлен набор из 27 новых тестов, охватывающих проверку работы шлюза, политики рунгов, учет ресурсов и обработку переполнения.

v0.7.226minor

🕐 4 дн назад · релиз на GitHub ↗

В релизе v0.7.226 добавлены оценки моделей решений, маршрутизация по тегам и команда для авторизации правил.

Added: Добавлены оценки категорий моделей решений для каждого отвеченного чек-апта.
Added: Реализована маршрутизация псевдонимов проектов на основе тегов моделей решений.
Added: Появилась команда для создания политик маршрутизации правил тегов.

v0.7.225minor

🕐 6 дн назад · релиз на GitHub ↗

Добавлен механизм опционального подключения OpenAI access-программ через GatewayRungDispatchPolicy.

Added: В GatewayRungDispatchPolicy добавлено свойство access_programs для управления доступом.
Added: Реализована опция OpenAI access-program, активируемая автором развертывания.
Added: Программы доступа внедряются в полезную нагрузку Responses на этапе разрешения.

v0.7.223minor

🕐 8 дн назад · релиз на GitHub ↗

В релизе experiential 0.7.223 добавлена автоматическая кэширование префиксов для Gemini Developer API.

Added: Реализовано автоматическое кэширование префиксов через Gemini Developer API (AI Studio).
Added: Встроен автоматический планировщик префиксов Google, включающий системные префиксы и кандидатов Studio.
Added: Добавлена проверка countTokens в формате generateContentRequest перед генерацией контента.

v0.7.221minor

🕐 9 дн назад · релиз на GitHub ↗

Релиз v0.7.221: поддержка Azure и Bedrock для изображений, исправление DeepSeek и улучшение обработки отказов.

Added: Добавлена поддержка моделей изображений Azure и интеграции Bedrock Stability с /v1/images/edits.
Fixed: Исправлен порядок инструментов (tool-order) для модели DeepSeek.
Fixed: Введена остановка settle при пустом ответе (empty-answer stops settle).
Added: При отказе от обработки изображения теперь указывается имя несущего сообщения.
Added: В реестр (ledger) добавлено наименование отказанной возможности.

v0.7.220patch

🕐 11 дн назад · релиз на GitHub ↗

Восстановлена запись о релизе v0.7.220 на GitHub для синхронизации с PyPI; исходный код и пакеты не изменены.

Fixed: Восстановлена запись о релизе v0.7.220 в GitHub для корректной работы при переходе на новую платформу.
Исходный код, версии пакетов и существующие артефакты PyPI остались без изменений.
Сохранена точная привязка аннотированного тега GitLab к исходному комиту.