StarTrail-org/PixelRAG

Что это за инструмент

PixelRAG — это система визуального RAG, которая преобразует веб-страницы и документы в скриншоты для поиска и анализа, сохраняя визуальную структуру, которую теряют традиционные текстовые парсеры.

Зачем нужен

Инструмент решает проблему потери контекста при извлечении данных из HTML, позволяя LLM-моделям «видеть» таблицы, графики и макет страниц как изображения. Это полезно для задач, где ответ зависит от визуального расположения элементов, а не только от текста.

Что можно реализовать

• Поиск информации в базах знаний, где важны таблицы и диаграммы (например, 8.28M статей Wikipedia)
• Интеграция с Claude Code через плагин pixelbrowse для анализа страниц с графиками и схемами
• Визуальный поиск по изображениям документов или веб-страниц через API
• Анализ научных статей (arXiv) с акцентом на визуальные данные и верстку

Ключевые возможности

• Использование модели Qwen3-VL-Embedding, дообученной на скриншотах для визуального индексирования
• Готовый хостинг с API для поиска по индексу Wikipedia без необходимости настройки инфраструктуры
• Плагин для Claude Code, позволяющий модели делать скриншоты и читать их напрямую
• Поддержка визуального поиска (поиск по изображению-запросу)
• Простая установка через pip и использование CLI-команды pixelshot

👤 Кому подойдёт: разработчики, исследователи в области NLP и RAG, инженеры данных, работающие с неструктурированными веб-данными и документами