io.github.sadri-dridi/robots-inspect
Сервер извлекает публичный файл robots.txt и возвращает только количество групп правил. Полезен для быстрого анализа директив индексирования.
AIsadri-dridi
Удалённый · HTTP
Безопасность
official
Что это
Сервер извлекает публичный файл robots.txt и возвращает только количество групп правил. Полезен для быстрого анализа директив индексирования.
Как подключить
1Remote MCP — устанавливать локально не нужно
https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/robots-inspect/mcp
2Добавить в конфиг MCP-клиента (mcp.json / claude_desktop_config.json)
{
"mcpServers": {
"io-github-sadri-dridi-robots-inspect": {
"url": "https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/robots-inspect/mcp"
}
}
}
Вставьте блок в конфиг клиента (Claude Desktop, Claude Code, Cursor, VS Code, Cline). Для защищённого endpoint добавьте заголовок авторизации из официальной инструкции.