AI
io.github.saulius876-lgtm/website-content-crawler
Скачивает веб-страницы и целые сайты, очищая их до Markdown для RAG и AI-агентов. Использует Apify API (sauliusautomatesit/website-content-crawler-api) для обхода ссылок и карт сайта.
Удалённый · HTTP
Данные
official
Что это
Скачивает веб-страницы и целые сайты, очищая их до Markdown для RAG и AI-агентов. Использует Apify API (sauliusautomatesit/website-content-crawler-api) для обхода ссылок и карт сайта.
Как подключить
1Remote MCP — устанавливать локально не нужно
https://mcp.apify.com/?tools=sauliusautomatesit/website-content-crawler-api
2Добавить в конфиг MCP-клиента (mcp.json / claude_desktop_config.json)
{
"mcpServers": {
"io-github-saulius876-lgtm-website-content-crawler": {
"url": "https://mcp.apify.com/?tools=sauliusautomatesit/website-content-crawler-api"
}
}
}
Вставьте блок в конфиг клиента (Claude Desktop, Claude Code, Cursor, VS Code, Cline). Для защищённого endpoint добавьте заголовок авторизации из официальной инструкции.