Проблема невидимого потребления ресурсов
В крупных инфраструктурах Prometheus часто собирает тысячи метрик, значительная часть из которых становится «мертвым грузом». Такие метрики занимают место в TSDB, нагружают память и диск, но не приносят пользы, так как на них нет ссылок в правилах записи, алертинге или Grafana-дашбордах. Cardamon решает эту проблему, проводя аудит и выявляя метрики, которые существуют в базе данных, но никогда не запрашиваются потребителями.
Как работает аудит: три источника истины
Инструмент работает по принципу перекрестной проверки. Он собирает полный список метрик из TSDB Prometheus и сопоставляет его с тремя источниками активного использования:
- Логи запросов Prometheus: Cardamon анализирует файлы запросов (query logs) за заданный период (lookback window), чтобы понять, какие метрики реально запрашиваются через PromQL.
- Правила Prometheus: Анализируются все алертинг- и рекординг-правила (alerting & recording rules) на наличие ссылок на конкретные метрики.
- Дашборды Grafana: Инструмент парсит JSON всех дашбордов в экземпляре Grafana, извлекая все метрики, используемые в панелях.
Метрика, которая не найдена ни в одном из этих источников, помечается как «unused» (неиспользуемая).
Интерфейс и генерация правил очистки
После запуска Cardamon предоставляет локальный веб-интерфейс (по умолчанию на порту 8080), где можно детально изучить результаты. Для каждой неиспользуемой метрики отображаются ключевые метрики:
| Параметр | Описание |
|---|---|
| Metric | Имя метрики |
| Job | Имя scrape-джоба, откуда пришла метрика |
| Series | Количество активных временных рядов (влияет на объем хранилища) |
| Labels | Количество уникальных имен лейблов (кардинальность) |
| Inactive for | Время, прошедшее с момента получения последнего образца |
Самая важная функция — Generate drop rules. Пользователь выбирает метрики для удаления, и Cardamon автоматически генерирует YAML-конфигурацию для metric_relabel_configs в Prometheus. Алгоритм группирует метрики по джобам и объединяет их в регулярные выражения, минимизируя количество правил и предотвращая случайное удаление похожих, но полезных метрик.
Технические детали и ограничения
Cardamon не требует прав на запись в Prometheus или Grafana, используя только read-only API endpoints. Для работы необходимо настроить доступ к логам запросов Prometheus (файлы .log и .log.gz), так как инструмент не может читать их удаленно без специальных настроек.
На данный момент инструмент поддерживает архитектуру «один Prometheus — один Grafana». Поддержка мульти-тенантных систем (Mimir, Thanos) с разными источниками данных пока не реализована, что может приводить к ложноположительным срабатываниям, если метрика используется в одном дашборде, но не в другом, хотя физически принадлежит разным инстансам.
Установка и запуск
Установка осуществляется стандартным способом для Go-проектов:
go install github.com/dominikhei/cardamon/cmd/cardamon@latest
Конфигурация выносится в YAML-файл, где задаются адреса Prometheus и Grafana, пути к логам и параметры аутентификации. После запуска интерфейс становится доступен по указанному в конфиге порту.
Источник: Github ↗
