hegelai/prompttools

Что это за инструмент

PromptTools — это open-source библиотека для тестирования, экспериментов и оценки качества работы LLM, векторных баз данных и промптов.

Зачем нужен

Инструмент позволяет разработчикам быстро сравнивать ответы разных моделей (например, OpenAI, LLaMA, Anthropic) при одинаковых входных данных, что критично для выбора оптимальной конфигурации. Он также поддерживает оценку точности извлечения информации (retrieval accuracy) в RAG-системах через интеграцию с векторными базами данных.

Что можно реализовать

• A/B-тестирование промптов и параметров (temperature, top_p) на нескольких LLM одновременно
• Оценка качества работы RAG-пайплайнов и сравнение эффективности разных векторных баз данных
• Локальный запуск плейграунда для интерактивного экспериментирования с моделями
• Экспорт результатов экспериментов в CSV, JSON или MongoDB для дальнейшего анализа

Ключевые возможности

• Поддержка широкого спектра LLM: OpenAI, Anthropic, LLaMA, HuggingFace, Google Gemini, Mistral, Azure и др.
• Интеграция с векторными БД: Chroma, Weaviate, Qdrant, LanceDB, Pinecone, Milvus
• Простой API для запуска экспериментов в коде, Jupyter Notebooks или через Streamlit-плейграунд
• Полная приватность: данные и API-ключи остаются на локальной машине, нет передачи на сторонние серверы
• Встроенная визуализация результатов экспериментов

👤 Кому подойдёт: разработчики, работающие с LLM и RAG, ML-инженеры, исследователи, оценивающие качество моделей и промптов