AI
io.github.ryuamarines/robots-txt-checker
Проверяет, разрешён ли путь URL для сканирования согласно robots.txt. Требует оплату x402 (testnet USDC).
Удалённый · HTTP
Браузер
official
Что это
Проверяет, разрешён ли путь URL для сканирования согласно robots.txt. Требует оплату x402 (testnet USDC).
Как подключить
1Remote MCP — устанавливать локально не нужно
https://faceted-napped-debtless.ngrok-free.dev/robots-txt-checker/mcp
2Добавить в конфиг MCP-клиента (mcp.json / claude_desktop_config.json)
{
"mcpServers": {
"io-github-ryuamarines-robots-txt-checker": {
"url": "https://faceted-napped-debtless.ngrok-free.dev/robots-txt-checker/mcp"
}
}
}
Вставьте блок в конфиг клиента (Claude Desktop, Claude Code, Cursor, VS Code, Cline). Для защищённого endpoint добавьте заголовок авторизации из официальной инструкции.