Cheaper Inference
Cheaper Inference — проект, создающий экосистему навыков для эффективного взаимодействия с различными ИИ-провайдерами. Основной продукт включает модуль omni-models, который позволяет запрашивать доступные модели у всех настроенных поставщиков, разрешать алиасы и просматривать полный каталог.
Платформа предлагает мощные инструменты для управления инфраструктурой и данными: omni-db-backups обеспечивает работу с SQLite, omni-tunnels управляет безопасными туннелями для публикации сервисов, а omni-webhooks настраивает события. Также доступны навыки для сжатия токенов (omni-compression) и обнаружения CLI-инструментов (cli-skill-collector).
Ключевая функция — omni-combos-routing, позволяющая создавать комбинированные маршруты с 19 стратегиями, включая приоритетные и резервные цепочки. Это полезно для разработчиков и команд, стремящихся снизить затраты на инференс и повысить надежность работы с ИИ-моделями.