AIKraft/Skills/omni-cache

omni-cache

Управляет кэшем ответов LLM: просматривает статистику, очищает записи, настраивает политики TTL и пороги семантического сходства. Пригодится для оптимизации затрат и ускорения инференса.

CICheaper Inference official Разработка ★ 79.4k

Что делает навык

Навык управляет кэшем ответов LLM, позволяя просматривать статистику, очищать записи и настраивать политики. Он оптимизирует затраты и ускоряет инференс за счет контроля семантического сходства и TTL.

Когда применять

  • Просмотр текущей статистики использования кэша для анализа эффективности
  • Очистка всех записей кэша или статистики при необходимости сброса
  • Получение детальной статистики по всем слоям кэша
  • Управление записями кэша и кэшем рассуждений (reasoning)

Как работает

  1. Получить токен аутентификации через POST /api/auth/login или использовать существующий Bearer token
  2. Отправить GET-запрос на /api/cache для получения общей статистики кэша
  3. Отправить GET-запрос на /api/cache/stats для получения детальной статистики по всем слоям
  4. Отправить GET-запрос на /api/cache/entries для просмотра записей кэша
  5. Отправить DELETE-запрос на /api/cache для очистки всех кэшей
  6. Отправить DELETE-запрос на /api/cache/stats для очистки статистики

Примеры запросов агенту

Посмотри статистику кэша LLM
Очисти все записи в кэше
Покажи детальную статистику по слоям кэша

Что понадобится

  • Действующий Bearer token или session cookie
  • Доступ к эндпоинтам API (например, localhost:20128)
  • Для локальной разработки: настройка REQUIRE_API_KEY=false

Описание составлено по SKILL.md навыка, сверено 22.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «cheaper-inference-omni-cache» из репозитория: # https://github.com/cheaper-inference/omniroute
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r cheaper-inference-omni-cache/ ~/.claude/skills/cheaper-inference-omni-cache/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.