microsoft/guidance

Что это за инструмент

Guidance — это библиотека на Python для точного управления генерацией текстов большими языковыми моделями (LLM). Она позволяет задавать строгие ограничения на вывод модели, снижая затраты и задержки по сравнению с обычным промптингом или дообучением.

Зачем нужен

Инструмент решает задачу получения структурированных и предсказуемых ответов от LLM без необходимости тонкой настройки моделей. Он полезен для создания надежных пайплайнов, где критична точность формата вывода, так как позволяет сочетать логику программы (условия, циклы) с генерацией текста.

Что можно реализовать

• Генерация строго валидного JSON или данных по регулярному выражению (regex)
• Решение задач с множественным выбором (multiple choice) с гарантией возврата правильного варианта
• Создание сложных диалоговых агентов с ветвлением логики и использованием инструментов (tool use)
• Отладка грамматик и ограничений локально без вызовов API LLM

Ключевые возможности

• Поддержка контекстно-свободных грамматик (CFG) и регулярных выражений для ограничения вывода
• Интеграция контроля (Python-код) и генерации в едином потоке выполнения
• Низкая задержка и стоимость за счет эффективного парсинга, а не перебора промптов
• Возможность локальной отладки грамматик с помощью Mock-модели
• Поддержка множества бэкендов: Transformers, llama.cpp, OpenAI и других

👤 Кому подойдёт: разработчики, работающие с LLM, инженеры по машинному обучению, создатели AI-приложений, требующих детерминированного формата вывода