composable-models/llm_multiagent_debate

Что это за инструмент

Реализация метода многоагентных дебатов для улучшения фактологической точности и рассуждений языковых моделей (LLM).

Зачем нужен

Инструмент позволяет запускать LLM в режиме взаимодействия, где несколько агентов обсуждают ответы, что повышает качество решений. Это полезно для задач, требующих высокой точности фактов и сложных логических выводов, снижая вероятность галлюцинаций.

Что можно реализовать

• Решение математических задач (арифметика, Grade School Math)
• Ответы на вопросы по биографиям и фактам
• Решение многопредметных тестов (MMLU)
• Улучшение качества ответов LLM через самокоррекцию в диалоге

Ключевые возможности

• Основано на исследовании ICML 2024 (Du et al.)
• Готовые скрипты для генерации и оценки ответов
• Поддержка нескольких бенчмарков: math, gsm, biography, mmlu
• Простая структура папок для быстрого старта экспериментов

👤 Кому подойдёт: исследователи, разработчики AI, data scientists