google/langextract

Что это за инструмент

LangExtract — это Python-библиотека для извлечения структурированной информации из неструктурированного текста с использованием LLM, обеспечивающая точную привязку результатов к исходному тексту.

Зачем нужен

Инструмент решает задачу преобразования больших объемов неструктурированных данных (например, медицинских отчетов или литературных текстов) в четкие структуры данных. Он полезен тем, что гарантирует верифицируемость результатов за счет визуализации и точного указания цитат в источнике, а также эффективно обрабатывает длинные документы.

Что можно реализовать

• Извлечение сущностей из клинических заметок и радиологических отчетов (RadExtract)
• Анализ литературных текстов: выделение персонажей, эмоций и отношений
• Структурирование медицинских данных, таких как списки лекарств
• Обработка длинных документов с использованием чанкинга и параллельной обработки

Ключевые возможности

• Точная привязка к источнику (Source Grounding): каждая сущность связана с точным местом в тексте, что позволяет верифицировать данные
• Интерактивная визуализация: генерация HTML-файла для удобного обзора и проверки извлеченных данных
• Оптимизация для длинных документов: стратегия чанкинга и многопроходной обработки для повышения полноты извлечения
• Гибкая поддержка моделей: работа с облачными LLM (Gemini, OpenAI) и локальными моделями через Ollama
• Контролируемая генерация: использование few-shot примеров для обеспечения стабильной структуры вывода

👤 Кому подойдёт: разработчики, исследователи данных, аналитики, работающие с неструктурированными текстами