Революция в OSINT: ноль ключей, максимум данных
Инструмент Metabigor решает главную боль специалистов по кибербезопасности и исследователей: необходимость регистрироваться в десятках сервисов ради получения API-ключей. Metabigor объединяет данные из бесплатных и открытых источников, позволяя картировать инфраструктуру цели, находить утечки кода и определять CDN-провайдеров «из коробки».
Ключевая особенность — использование Shodan InternetDB (без ключа), crt.sh для прозрачности сертификатов и grep.app для поиска секретов в GitHub. Все данные объединяются в единую цепочку обработки.
Архитектура и установка
Metabigor написан на Go, что обеспечивает кроссплатформенность и высокую скорость. Установка доступна через npm, brew или прямую сборку из исходников. Бинарные файлы поставляются предварительно собранными, что исключает необходимость наличия Go-тулчейна на машине пользователя.
- npm:
npm install -g @j3ssie/metabigor - Homebrew:
brew install j3ssie/tap/metabigor - Исходники:
git clone ... && make build
Ключевые модули и возможности
Инструмент предлагает шесть основных команд, каждая из которых решает специфическую задачу в процессе разведки:
| Команда | Функция | Источники данных |
|---|---|---|
net |
Поиск CIDR-диапазонов по ASN, домену или организации | Локальная офлайн-база, живые запросы (--live) |
cert |
Обнаружение поддоменов через журналы прозрачности сертификатов | crt.sh |
ip |
Обогащение IP: порты, хостнеймы, уязвимости (CVE) | Shodan InternetDB (бесплатный доступ) |
github |
Поиск секретов, ключей и поддоменов в публичных репозиториях | grep.app (требует Chrome/Chromium для обхода ботов) |
related |
Поиск связанных доменов через WHOIS и аналитику | crt.sh, reverse WHOIS, Google Analytics/Tag Manager |
url |
Сбор URL из веб-архивов, включая скрытые API-эндпоинты из WARC | Wayback, Common Crawl, OTX, URLScan, GhostArchive |
Глубокий анализ веб-архивов
Особое внимание уделено модулю url. В отличие от стандартных поисковиков, Metabigor не просто индексирует страницы, а «копает» сырые WARC-файлы. Это позволяет извлекать динамически загруженные данные: XHR-запросы, JSON-эндпоинты и скрипты, которые не видны при обычном просмотре страницы. В тестовом запуске для tesla.com 8 запросов вернули 147 URL, включая живые API-интерфейсы.
Гибкость вывода и пайплайны
Все команды поддерживают единый флаг формата -f (text, flat, json, csv), что позволяет легко интегрировать Metabigor в CI/CD пайплайны или передавать данные в другие инструменты (например, dnsx или httpx). Результаты всегда идут в stdout, логи — в stderr, что гарантирует чистоту пайплайнов.
Инструмент также поддерживает кластеризацию IP-адресов по ASN (offline) и детекцию CDN/WAF для отделения защищенных адресов от потенциальных origin-серверов.
Источник: Github ↗