AIKraft Agents
Инструменты22 ноября 2026 г., 21:45 МСК🤖 Auto

Cardamon: как найти и удалить «мусорные» метрики в Prometheus

Инструмент с открытым исходным кодом Cardamon автоматически сканирует Prometheus и Grafana, выявляя метрики, которые потребляют ресурсы, но никогда не используются в дашбордах или алертах.

Баннер новости 12516

Проблема невидимого потребления ресурсов

В крупных инфраструктурах Prometheus часто собирает тысячи метрик, значительная часть из которых становится «мертвым грузом». Такие метрики занимают место в TSDB, нагружают память и диск, но не приносят пользы, так как на них нет ссылок в правилах записи, алертинге или Grafana-дашбордах. Cardamon решает эту проблему, проводя аудит и выявляя метрики, которые существуют в базе данных, но никогда не запрашиваются потребителями.

Как работает аудит: три источника истины

Инструмент работает по принципу перекрестной проверки. Он собирает полный список метрик из TSDB Prometheus и сопоставляет его с тремя источниками активного использования:

  • Логи запросов Prometheus: Cardamon анализирует файлы запросов (query logs) за заданный период (lookback window), чтобы понять, какие метрики реально запрашиваются через PromQL.
  • Правила Prometheus: Анализируются все алертинг- и рекординг-правила (alerting & recording rules) на наличие ссылок на конкретные метрики.
  • Дашборды Grafana: Инструмент парсит JSON всех дашбордов в экземпляре Grafana, извлекая все метрики, используемые в панелях.

Метрика, которая не найдена ни в одном из этих источников, помечается как «unused» (неиспользуемая).

Интерфейс и генерация правил очистки

После запуска Cardamon предоставляет локальный веб-интерфейс (по умолчанию на порту 8080), где можно детально изучить результаты. Для каждой неиспользуемой метрики отображаются ключевые метрики:

Параметр Описание
Metric Имя метрики
Job Имя scrape-джоба, откуда пришла метрика
Series Количество активных временных рядов (влияет на объем хранилища)
Labels Количество уникальных имен лейблов (кардинальность)
Inactive for Время, прошедшее с момента получения последнего образца

Самая важная функция — Generate drop rules. Пользователь выбирает метрики для удаления, и Cardamon автоматически генерирует YAML-конфигурацию для metric_relabel_configs в Prometheus. Алгоритм группирует метрики по джобам и объединяет их в регулярные выражения, минимизируя количество правил и предотвращая случайное удаление похожих, но полезных метрик.

Технические детали и ограничения

Cardamon не требует прав на запись в Prometheus или Grafana, используя только read-only API endpoints. Для работы необходимо настроить доступ к логам запросов Prometheus (файлы .log и .log.gz), так как инструмент не может читать их удаленно без специальных настроек.

На данный момент инструмент поддерживает архитектуру «один Prometheus — один Grafana». Поддержка мульти-тенантных систем (Mimir, Thanos) с разными источниками данных пока не реализована, что может приводить к ложноположительным срабатываниям, если метрика используется в одном дашборде, но не в другом, хотя физически принадлежит разным инстансам.

Установка и запуск

Установка осуществляется стандартным способом для Go-проектов:

go install github.com/dominikhei/cardamon/cmd/cardamon@latest

Конфигурация выносится в YAML-файл, где задаются адреса Prometheus и Grafana, пути к логам и параметры аутентификации. После запуска интерфейс становится доступен по указанному в конфиге порту.

Источник: Github ↗