Новый стандарт визуального грундинга
Команда разработчиков представила GroundAnything, фундаментальную модель искусственного интеллекта объемом 4 миллиарда параметров. Главная особенность архитектуры заключается в ее способности решать широкий спектр задач визуального грундинга (visual grounding) с высокой точностью локализации. В отличие от узкоспециализированных решений, GroundAnything унифицирует различные подходы, позволяя системе не только находить объекты на изображении, но и генерировать текстовые описания в параллельном режиме декодирования.
Гибридная архитектура: от AR к Diffusion
Ключевым техническим нововведением стал метод преобразования авторегрессионных (AR) моделей в диффузионные. Обучение проходило в четыре этапа, что позволило объединить преимущества генеративных и дискретных подходов:
- Grounding Pretraining: Предварительное обучение на задачах грундинга для формирования базовых представлений.
- AR-to-Diffusion Conversion: Конвертация авторегрессионной архитектуры в диффузионную с использованием совместных функций потерь (joint objectives).
- Supervised Fine-Tuning (SFT): Дообучение на размеченных данных для повышения точности.
- GRPO-based RL: Применение reinforcement learning с использованием Group Relative Policy Optimization для финальной оптимизации качества ответов.
Сравнение подходов к обучению
Этапность обучения GroundAnything позволяет достичь баланса между скоростью инференса и семантической точностью. Ниже приведена структура применяемых методов:
| Этап обучения | Методология | Цель |
|---|---|---|
| 1. Pretraining | Grounding Pretraining | Формирование базовых визуальных паттернов |
| 2. Conversion | AR-to-Diffusion + Joint Objectives | Объединение последовательного и параллельного декодирования |
| 3. SFT | Supervised Fine-Tuning | Адаптация под конкретные задачи локализации |
| 4. RL | GRPO (Group Relative Policy Optimization) | Максимизация качества и согласованности выводов |
Почему это важно
Развитие моделей грундинга критически важно для развития систем компьютерного зрения, способных взаимодействовать с миром так, как это делает человек. GroundAnything демонстрирует, что диффузионные модели могут быть эффективно адаптированы для задач точной локализации, предлагая альтернативу традиционным авторегрессионным подходам. Параллельное декодирование обещает значительное ускорение работы системы при сохранении высокой детализации результатов, что делает технологию перспективной для применения в робототехнике, автономных системах и сложных интерфейсах «человек-машина».
Источник: Github ↗