Новый уровень контроля: RL и SFT в одном сервисе
Together AI представил Together Post-Training — сервис, позволяющий дообучать модели (post-training) с использованием обучения с подкреплением (RL) и обучения с учителем (SFT). В отличие от стандартного fine-tuning, этот инструмент дает полный контроль над циклом обучения: вы определяете данные, окружение и метрики, а Together оптимизирует инфраструктуру для скорости и качества.
Ключевая ценность — устранение «тихих багов» в сложных системах RL. Платформа гарантирует численное согласование между этапами обучения и инференса, предотвращая дрейф политики (policy drift), который часто приводит к коллапсу обучения.
Технические детали и архитектура
Сервис работает на выделенных Model Resources (GPU-кластерах), которые не конкурируют с другими пользователями за ресурсы. Архитектура включает:
- Trainer: отвечает за forward/backward проходы и обновление весов.
- Generator: выполняет rollout (генерацию ответов) от политики модели.
- Асинхронный RL: позволяет одновременно использовать GPU для генерации и обучения, максимизируя утилизацию.
Поддерживаются как LoRA-адаптеры (включая несколько адаптеров на одной GPU), так и полное дообучение весов (full-weight) для моделей, требующих глубокой адаптации к узким задачам.
Поддерживаемые модели и алгоритмы
Запуск сервиса сопровождается поддержкой ряда передовых open-weight моделей. Разработчики могут использовать стандартные функции потерь (Cross-Entropy, GRPO, CISPO, DPPO) или внедрять собственные кастомные лосс-функции.
| Категория | Детали |
|---|---|
| Базовые модели | Muse Spark Open, GLM 5.3, Kimi K3, Qwen 3.8-27B |
| Методы дообучения | RL (с кастомными наградами), SFT, LoRA, Full-weight |
| Оптимизации | Rollout Routing Replay, sequence packing, intelligent caching |
| Модель тарификации | GPU-минута (оплата за выделенный ресурс) |
Экономия и масштабирование
Together Post-Training позиционируется как более экономичное решение при масштабировании по сравнению с токеновой оплатой. Благодаря оптимизациям инференса (те же, что используются в serving stack) и возможности запускать несколько LoRA-экспериментов на одном GPU, стоимость обучения снижается.
После завершения экспериментов модели можно сразу развернуть в Dedicated Model Inference с поддержкой мульти-LoRA адаптеров. Это позволяет переключаться между разными версиями модели в рамках одного GPU-инстанса, экономя на продакшен-инфраструктуре.
Почему это важно сейчас
В 2026 году кастомные модели перестают быть нишевой темой. Компании переходят от «лечения» моделей через промпты к их физическому дообучению. Together Post-Training снимает барьер входа, беря на себя сложность настройки RL-инфраструктуры, что позволяет исследователям и domain-экспертам фокусироваться на качестве данных, а не на отладке системных сбоев.
Источник: Together AI ↗