CI
omni-cache
Управляет кэшем ответов LLM: просматривает статистику, очищает записи, настраивает политики TTL и пороги семантического сходства. Пригодится для оптимизации затрат и ускорения инференса.
Что делает навык
Навык управляет кэшем ответов LLM, позволяя просматривать статистику, очищать записи и настраивать политики. Он оптимизирует затраты и ускоряет инференс за счет контроля семантического сходства и TTL.
Когда применять
- Просмотр текущей статистики использования кэша для анализа эффективности
- Очистка всех записей кэша или статистики при необходимости сброса
- Получение детальной статистики по всем слоям кэша
- Управление записями кэша и кэшем рассуждений (reasoning)
Как работает
- Получить токен аутентификации через POST /api/auth/login или использовать существующий Bearer token
- Отправить GET-запрос на /api/cache для получения общей статистики кэша
- Отправить GET-запрос на /api/cache/stats для получения детальной статистики по всем слоям
- Отправить GET-запрос на /api/cache/entries для просмотра записей кэша
- Отправить DELETE-запрос на /api/cache для очистки всех кэшей
- Отправить DELETE-запрос на /api/cache/stats для очистки статистики
Примеры запросов агенту
Посмотри статистику кэша LLM
Очисти все записи в кэше
Покажи детальную статистику по слоям кэша
Что понадобится
- Действующий Bearer token или session cookie
- Доступ к эндпоинтам API (например, localhost:20128)
- Для локальной разработки: настройка REQUIRE_API_KEY=false
Описание составлено по SKILL.md навыка, сверено 22.10.2026.
Как подключить
1Скачать навык
# возьмите папку навыка «cheaper-inference-omni-cache» из репозитория:
# https://github.com/cheaper-inference/omniroute
2Положить папку с
SKILL.md к навыкам ассистента# положите папку навыка туда, где ассистент ищет skills:
cp -r cheaper-inference-omni-cache/ ~/.claude/skills/cheaper-inference-omni-cache/
Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.