AIKraft/AI/Войти
AIKraft/Skills/Краулинг

Краулинг

Crawl any website and save pages as local markdown files. Use when you need to download documentation, knowledge bases, or web content for offline access or analysis. No code required - just provide a URL.

TATavily AI official Документы

Что делает навык

Навык извлекает контент с веб-сайтов, сохраняя страницы в виде локальных markdown-файлов или возвращая структурированные данные. Используется для скачивания документации, баз знаний и веб-контента для офлайн-доступа или анализа.

Когда применять

  • Сбор документации и баз знаний сайта в локальные файлы для последующего анализа.
  • Извлечение релевантных фрагментов контента (chunks) для передачи в контекст LLM без переполнения окна.
  • Сбор полных страниц для создания архива данных.
  • Обход сайта с фильтрацией по путям (select_paths/exclude_paths) для фокусировки на конкретных разделах.

Как работает

  1. Подготовить JSON-запрос с обязательным полем url (корневой URL) и опциональными параметрами (max_depth, limit, instructions и др.).
  2. Отправить POST-запрос на https://api.tavily.com/crawl с заголовком Authorization: Bearer <TAVILY_API_KEY> и Content-Type: application/json.
  3. Использовать скрипт ./scripts/crawl.sh '<json>' [output_dir] для автоматического обхода и сохранения результатов в markdown-файлы.
  4. При необходимости использовать Map API (https://api.tavily.com/map) для быстрого получения списка URL без извлечения контента.
  5. Настроить параметры аутентификации: OAuth через ~/.mcp-auth/ или API-ключ в ~/.claude/settings.json.

Примеры запросов агенту

Выполни обход сайта https://docs.example.com с глубиной 2 и лимитом 50 страниц, сохранив результаты в папку ./docs.
Найди документацию по API и примерам кода на https://example.com, используя инструкции и ограничиваясь путями /docs и /api.
Получи только релевантные фрагменты контента с https://docs.example.com для анализа в контексте, используя chunks_per_source.

Что понадобится

  • Аккаунт на tavily.com и API-ключ (TAVILY_API_KEY) или OAuth-токены в ~/.mcp-auth/.
  • Скрипт ./scripts/crawl.sh из репозитория tavily-ai/skills.
  • Доступ к интернету для взаимодействия с API https://api.tavily.com/crawl.

Описание составлено по SKILL.md навыка, сверено 05.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «crawl» из репозитория: # https://github.com/tavily-ai/skills
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r crawl/ ~/.claude/skills/crawl/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.