ScrapeGraphAI/Scrapegraph-ai

Python-скрейпер на базе ИИ

Инструменты⭐ 31 185Pythonпоследний релиз: v2.2.4
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

ScrapeGraphAI — это библиотека на Python, которая использует LLM и графовую логику для автоматического извлечения структурированных данных с веб-страниц и локальных файлов.

Зачем нужен

Инструмент решает задачу парсинга контента без написания сложных CSS-селекторов или XPath: пользователь просто указывает, какие данные нужны, а библиотека формирует пайплайн для их извлечения. Это полезно для быстрого сбора информации, подготовки датасетов для AI-агентов и аналитики.

Что можно реализовать

  • Извлечение контактных данных, описания компании и ссылок на соцсети с одной страницы (SmartScraperGraph).
  • Парсинг локальных документов (XML, HTML, JSON, Markdown) в структурированный формат.
  • Интеграция с фреймворками AI-агентов (Langchain, CrewAI, LlamaIndex) для подачи чистых данных в LLM.
  • Использование через MCP-сервер для взаимодействия с другими AI-инструментами.
  • Создание кастомных пайплайнов извлечения данных с помощью графовых узлов.

Ключевые возможности

  • Поддержка множества LLM (OpenAI, Ollama, локальные модели) через единую конфигурацию.
  • Готовые интеграции с популярными AI-фреймворками (Langchain, CrewAI, Agno) и no-code платформами (Zapier, n8n, Bubble).
  • Возможность работы с локальными файлами (XML, JSON, Markdown) наряду с веб-страницами.
  • Наличие SDK для Python и Node.js, а также MCP-сервер.
  • Простой интерфейс: достаточно передать промпт и URL/файл для получения результата в виде словаря или JSON.

👤 Кому подойдёт: Разработчики Python/Node.js, специалисты по данным, исследователи, использующие LLM и AI-агентов, а также разработчики, интегрирующие парсинг в no-code/low-code решения.

Релизы

v2.2.4patch
🕐 14 дн назад · релиз на GitHub ↗

Исправлено чтение переменной окружения SCRAPEGRAPHAI_TELEMETRY_ENABLED, обновлены лимиты токенов для Gemini 2.5 и улучшена обработка HTTP-ошибок.

  • Fixed: Переменная окружения SCRAPEGRAPHAI_TELEMETRY_ENABLED теперь читается из окружения, а не из файла конфигурации.
  • Fixed: Добавлены лимиты токенов для моделей Gemini 2.5, чтобы избежать их обрезки до 8192 токенов.
  • Fixed: HTTP-ошибки и отсутствие контента теперь корректно отображаются, вместо возврата ответа NA.
v2.2.2patch
🕐 1 мес назад · релиз на GitHub ↗

Исправлена ошибка, при которой провайдер fetch возвращал NA вместо реальных ошибок HTTP или отсутствия контента.

  • Fixed: Теперь при ошибках HTTP или отсутствии контента корректно передаются исключения, а не заглушка NA.
v2.2.1patch
🕐 1 мес назад · релиз на GitHub ↗

Исправлена обработка Markdown-ссылок из URL документа; обновлена документация и добавлены спонсорские материалы.

  • Fixed: Исправлена ошибка с разбором Markdown-ссылок, найденных в URL документа.
  • Обновлен README: добавлены реферальные коды и баннеры спонсора NodeMaven.
  • Fixed: Исправлены битые ссылки в документации по настройке таймаутов.
v2.2.0minor
🕐 1 мес назад · релиз на GitHub ↗

Добавлена поддержка OpenAI Batch API для SmartScraperMultiGraph, обновлена модель MiniMax по умолчанию и исправлены ошибки парсинга JSON и импортов.

  • Added: Добавлена поддержка OpenAI Batch API для SmartScraperMultiGraph.
  • Added: Модель MiniMax по умолчанию обновлена до версии M3.
  • Fixed: Исправлена ошибка парсинга JSON с двойными фигурными скобками от моделей вроде DeepSeek.
  • Fixed: Устранён крах FFmpeg DLL на Windows благодаря ленивому импорту torchcodec.
  • Fixed: Обновлены сломанные тестовые импорты и исправлен импорт PromptTemplate в модуле batch.
v2.1.7patch
🕐 1 мес назад · релиз на GitHub ↗

Исправление: добавлена возможность отслеживать случаи использования fallback при достижении лимита в 8192 токенов.

  • Fixed: Теперь можно узнать, когда сработало падение до 8192 токенов (закрытие #1121).
v2.1.6patch
🕐 2 мес назад · релиз на GitHub ↗

Исправлена метаданных и конечных точек для модели MiniMax.

  • Fixed: Обновлены метаданные и конечные точки для модели MiniMax.
v2.1.4patch
🕐 3 мес назад · релиз на GitHub ↗

Исправлен крах FFmpeg DLL на Windows благодаря ленивому импорту torchcodec; обновлены документация и баннеры.

  • Fixed: Устранён сбой FFmpeg DLL на Windows за счёт ленивого импорта torchcodec
  • Обновлена документация: заменена инфографика интеграций на баннер API и исправлены ссылки