От чат-бота к системному исследователю
Разработчик TheBlewish представил проект Automated-AI-Web-Researcher — инструмент, который кардинально меняет подход к работе с большими языковыми моделями. В отличие от стандартных чат-ботов, этот ассистент не просто отвечает на вопросы, а проводит структурированное исследование. Он разбивает сложную тему на приоритетные области, самостоятельно формулирует поисковые запросы, анализирует результаты, извлекает данные с веб-страниц и сохраняет всю информацию в текстовый документ с ссылками на источники.
Ключевое отличие заключается в цикличности процесса: модель может генерировать новые направления для исследования на основе уже найденных данных, создавая цепочки логических выводов. Пользователь может прервать процесс в любой момент командой, после чего ИИ сформирует итоговый саммари и перейдет в режим диалога для уточнения деталей.
Техническая реализация и производительность
Проект работает локально через Ollama, что обеспечивает конфиденциальность данных и отсутствие абонентской платы. Алгоритм использует поиск через DuckDuckGo и парсинг контента. По заявлению автора, в зависимости от мощности системы и выбранной модели, инструмент способен выполнить более 100 поисковых запросов и извлечений контента за короткий промежуток времени, формируя обширную базу знаний по теме.
Для корректной работы требуется модель с большим контекстным окном, так как в память загружаются результаты множества поисковых выдач. В конфигурационном файле llm_config.py по умолчанию настроены параметры для работы с длинными контекстами (n_ctx: 55000).
Рекомендуемые модели и конфигурация
Проект протестирован и оптимизирован для работы с моделями семейства Phi-3. Выбор модели критически важен для качества синтеза информации и объема контекста, который модель может удержать в памяти во время исследования.
| Модель | Размер | Контекст | Статус рекомендации |
|---|---|---|---|
| phi3:3.8b-mini-128k-instruct | 3.8B | 128k | Рекомендуется (легковесная, высокая скорость) |
| phi3:14b-medium-128k-instruct | 14B | 128k | Рекомендуется (лучшее качество рассуждений) |
| custom-phi3-32k-Q4_K_M | 32k (пример) | Настраиваемый | Базовая настройка в конфиге |
Управление процессом исследования
Интерфейс взаимодействия построен на текстовых командах в консоли. Пользователь задает тему, а затем может управлять процессом в реальном времени:
- Статус (s): показывает текущее состояние и прогресс.
- Пауза (p): останавливает сбор данных, но позволяет ИИ оценить, достаточно ли собрано информации для ответа. После оценки можно продолжить или завершить.
- Выход (q): завершает сессию и генерирует финальный отчет.
Все найденные материалы, включая URL-адреса источников, сохраняются в текстовом файле в директории проекта, что позволяет верифицировать информацию.
Зачем это нужно?
Проект закрывает важную нишу между простым поиском в интернете и глубоким анализом. Для аналитиков, студентов и исследователей это инструмент, который берет на себя рутину по сбору первичных данных. Автор отмечает, что в отличие от своих предыдущих проектов, этот инструмент перешел из категории «новинка» в категорию «полезный рабочий инструмент», так как обеспечивает воспроизводимость результатов и наличие документальной базы.
Проект распространяется под лицензией MIT, что позволяет свободно модифицировать код и интегрировать его в собственные рабочие процессы. Установка требует базовых знаний работы с Python и Git.
Источник: Github ↗