io.github.D4Vinci/Scrapling

Переработанный MCP-сервер, конвертация в Markdown для RAG, переиспользование вкладок браузера и фиксы Cloudflare.

• Ломает совместимостьMCP-сервер переработан: инструменты разделены на одноразовые и сессии, добавлена аутентификация и привязка к localhost.
• НовоеВкладки браузера теперь переиспользуются между запросами, что ускоряет автоматизацию и сохраняет состояние.
• НовоеПоявился метод Response.markdown() для получения чистого Markdown, готового для LLM, и новый Spider для сбора корпусов под RAG.
• ИсправленоИсправлено решение Cloudflare Turnstile, которое теперь работает стабильно независимо от локали браузера.

Исправлена ошибка установки v0.4.13 через uv из-за конфликта зависимостей curl_cffi.

• ИсправленоУстранена проблема, когда uv отказывался устанавливать v0.4.13, тихо откатываясь на старую версию.
• ИсправленоВсе зависимости теперь разрешаются на стабильные релизы, исключая необходимость в prerelease-версиях curl_cffi.

Добавлены шаблоны XML/CSV-спайдеров, обновлён MCP-сервер до SDK v2, исправлены ошибки импорта и работы с браузерами.

• НовоеПоявились новые шаблоны спайдеров: XMLFeedSpider для разбора RSS/Atom и CSVFeedSpider для CSV-файлов с автодекомпрессией.
• НовоеMCP-сервер обновлён до SDK v2: добавлены инструкции для AI-агентов, автоподтверждение операций чтения и новая команда scrapling-mcp.
• НовоеУбрано жесткое привязывание версий Playwright/Patchright; User-Agent теперь динамически соответствует установленной версии Chromium.
• ИсправленоИсправлен краш при импорте из-за рассинхрона версий fingerprints и браузеров, а также ошибка масштабирования пулов в bulk-инструментах.
• Введена политика раскрытия использования AI при внесении вкладов в проект.

Scrapling v0.4.12: автонастройка скорости, экспорт в CSV/XML, защита MCP-сервера и исправление багов.

• НовоеДобавлен AutoThrottle для автоматической регулировки задержек запросов в зависимости от ответа сервера.
• НовоеПоявилась возможность экспортировать собранные данные в форматы CSV и XML.
• НовоеMCP-сервер теперь поддерживает аутентификацию по токену и ограничение по хостам.
• НовоеБраузерные фетчеры и сессии MCP могут подключаться к Chrome через HTTP-CDP URL.
• ИсправленоИсправлена потеря куки при кэшировании ответов от браузерного движка в режиме разработки.
• ИсправленоУстранена принудительная установка локали en-US, что снижало подозрительность для сайтов.

Добавлена интеграция с Scrapy, поддержка кастомного Chromium в MCP-сервере и исправления багов.

• НовоеПоявилась интеграция с Scrapy: декоратор scrapling_response позволяет использовать парсинг Scrapling внутри существующих проектов Scrapy без переписывания кода.
• НовоеMCP-сервер теперь поддерживает запуск на базе пользовательского Chromium-совместимого браузера через аргументы или переменные окружения.
• НовоеОбновлены версии браузеров и отпечатков; для применения изменений требуется выполнить команду scrapling install --force.
• ИсправленоИсправлено искажение текста (mojibake) при загрузке страниц с кодировками, отличными от UTF-8.
• ИсправленоУстранена ошибка в LinkExtractor, из-за которой не фильтровались составные расширения файлов, такие как .tar.gz.
• ИсправленоИсправлена потеря незавершенных запросов при возобновлении паузы в краулинге, а также скорректирован расчет задержек из robots.txt.

Релиз Scrapling v0.4.9: критическое исправление утечки IP через прокси, обновление браузеров и фиксы багов.

• Ломает совместимостьИсправлено молчаливое игнорирование session-level proxy, которое могло привести к утечке реального IP; теперь конфликт session и request-level прокси вызывает ошибку.
• НовоеОбновлены все браузеры и отпечатки; для применения изменений требуется запуск команды scrapling install --force.
• НовоеВ CLI добавлен флаг --version для проверки текущей версии.
• ИсправленоУстранены сбои навигации при сочетании init_script с user_data_dir, ошибки индексации при auto_save и проблемы с сохранением кэша на Windows.
• ИсправленоИсправлено определение кодировки при кавычках в заголовке Content-Type и некорректный подсчет схожести в find_similar.