Проблема: «Сборка» из Puppeteer ломается в продакшене
Создание AI-агентов с доступом к интернету часто упирается в хрупкость инструментов. Разработчики привыкли собирать решения из отдельных частей: Puppeteer, плагины stealth, ручная настройка прокси. Однако production-уровень требует не просто рендеринга HTML, а решения сложных инфраструктурных задач. Как отмечает команда Vakra Dev, основные боли включают:
- Анти-бот системы: Cloudflare, Turnstile и JS-челленджи блокируют наивные скрипты.
- TLS-отпечатки: Стандартные браузерные инстансы имеют отличимые от реальных пользователей отпечатки, что легко детектируется сайтами.
- Управление ресурсами: Необходимость пулинга браузеров, контроля памяти и graceful recycling (корректного завершения).
Решение: Три примитива вместо сложной архитектуры
Reader позиционируется как готовый движок на базе Playwright, где вся «грязная работа» (обход защит, ротация прокси, кэширование) скрыта под капотом. Разработчик получает чистый Markdown или HTML. Библиотека поддерживает Node.js >= 18 и устанавливается через npm:
npm install @vakra-dev/reader
API спроектирован вокруг трех ключевых операций:
- Scrape (Скрапинг): Превращение URL в чистый Markdown/HTML с автоматическим удалением навигации, футеров и баннеров.
- Crawl (Обход): Поиск ссылок (BFS) с ограничением глубины и количества страниц.
- Browser Session (Сессия): Получение CDP-соединения для полного контроля над браузером через Playwright или Puppeteer с активным stealth-режимом.
Технические детали и безопасность
Reader внедряет анти-детект функции на уровне ядра. При запуске сессии активируются следующие механизмы:
- Спуфинг navigator и маскировка WebRTC.
- Установка флага
webdriver=false. - Корректное формирование TLS-отпечатков.
Для масштабирования предусмотрена система пулов прокси с двумя уровнями: Standard (датацентровые, быстрые) и Premium (резидентские, для обхода сложных защит). Система автоматически мониторит здоровье прокси и переключается между ними.
Сравнение подходов: Reader vs «Сборка» из библиотек
| Параметр | Стандартный стек (Puppeteer/Playwright) | Reader (Open Source) |
|---|---|---|
| Обход Cloudflare/Turnstile | Требует сторонних плагинов (stealth.js), часто ломается | Встроено в ядро (TLS, navigator spoofing) |
| Управление прокси | Ручная настройка ротации и health-check | Автоматические tiered-пулы (Standard/Premium) |
| Очистка контента | Только HTML, требуется парсинг DOM | Автоматический вывод Markdown (удаление мусора) |
| Интеграция с AI | Разрозненные скрипты | Единый API для агентов (scrape/crawl/session) |
CLI и режим демона
Помимо Node.js API, Reader предоставляет мощный CLI. Для долгосрочных задач рекомендуется запускать демон, который держит пул браузеров в активном состоянии, избегая накладных расходов на запуск новых инстансов:
npx reader start --direct-pool-size 5
npx reader scrape https://example.com
Это позволяет обрабатывать батчи запросов с отслеживанием прогресса, таймаутами и логированием, что критично для стабильной работы AI-агентов, зависящих от внешних данных.
Источник: Github ↗
