areal-project/AReaL

Что это за инструмент

AReaL — это инфраструктура для асинхронного обучения с подкреплением (RL), предназначенная для настройки больших языковых моделей (LLM) в роли автономных агентов.

Зачем нужен

Инструмент решает задачу эффективного и масштабируемого обучения агентов, объединяя подготовку foundation-моделей с современными агентными приложениями. Он полезен тем, что позволяет оптимизировать стоимость и скорость обучения за счет полностью асинхронной парадигмы, делая процесс создания AI-агентов доступным для широкого круга разработчиков.

Что можно реализовать

• Обучение агентов для решения математических задач и написания кода (coding/math agents)
• Создание агентов для поиска информации (search agents) и обслуживания клиентов (customer service)
• Настройка black-box agent приложений путем простой замены base_url без изменения кода
• Использование self-evolving data synthesis engine (AReaL-SEA) для синтеза данных и обучения MoE-моделей

Ключевые возможности

• Полностью асинхронная парадигма обучения, обеспечивающая высокую скорость и стабильность
• Гибкая настройка agentic RL и online RL training для любых приложений через замену base_url
• Поддержка обучения на устройствах Ascend NPU
• Интеграция с NVIDIA TensorRT-LLM Scaffoldings для модульного разделения выполнения агента, расчета награды и сбора траекторий
• SOTA результаты в задачах математики, кодинга, поиска и клиентского обслуживания

👤 Кому подойдёт: Исследователи и разработчики, занимающиеся созданием и обучением AI-агентов на базе LLM, а также инженеры, ищущие масштабируемые решения для RL-тренинга.