Проблема субъективных понятий
Большинство инструментов для обучения ИИ предполагают, что границы понятия (например, «вредная еда» или «кликбейт») уже известны. Google Research предлагает обратный подход: Agile Deliberation помогает пользователю совместно с ИИ найти эти границы. Фреймворк работает по принципу human-in-the-loop, превращая размытое понятие в четкое текстовое определение, которое служит и политикой модерации, и промптом для классификатора.
Как работает система: два этапа
Процесс разделен на две ключевые стадии, исключающие классический сбор неопределенных данных:
- Этап 1 (Scoping): Gemini 2.5 Pro разбивает понятие на до 3 подпонятий. Пользователь выбирает позитивные и негативные примеры (например, для «здоровой еды»: салат — да, фастфуд — нет).
- Этап 2 (Iteration): Вместо оценки уверенности модели (которая часто некалибрована), система ищет изображения, которые являются пограничными по смыслу. Gemini 2.5 Flash генерирует запросы для поиска таких изображений, кластеризация происходит через FAISS и dictionary learning. Пользователь размечает только самые сложные случаи, а LLM обновляет определение на основе обратной связи.
Результаты бенчмарков
Оценка проводилась в 18 живых сессиях с участием 9 человек. Участники определяли понятия «paid to play» (платная реклама/кликбейт) и «healthy food» (здоровая еда). Agile Deliberation показала значительное улучшение метрики F1 по сравнению с базовой zero-shot моделью Gemini 2.5 Flash.
| Концепция | Zero-shot (Baseline) | Agile Deliberation | Прирост F1 |
|---|---|---|---|
| Paid to play | 0.48 | 0.59 | +11 пунктов |
| Healthy food | 0.48 | 0.58 | +10 пунктов |
В лучшем случае точность (precision) выросла на 22 пункта (с 0.35 до 0.57), однако наблюдается снижение полноты (recall) на 15-17 пунктов, что характерно для задач строгой фильтрации субъективного контента.
Сравнение с другими методами
Agile Deliberation выделяется на фоне предыдущих подходов (Modeling Collaborator, Agile Modeling) способностью адаптироваться к изменяющимся определениям и меньшими затратами человеческого труда. В то время как другие методы требуют сотен или тысяч ручных меток, Agile Deliberation достигает результата за ~45 минут ручной работы и обратной связи.
| Характеристика | Agile Deliberation | Modeling Collaborator (CVPR 2024) | Zero-shot VLM |
|---|---|---|---|
| Адаптивность | Да (динамическое обновление) | Нет (статично) | Нет |
| Человеческие усилия | ~45 мин + фидбек | ~100 лейблов + чат | Только описание |
| Модель | Gemini 2.5 Flash/Pro | Distilled classifier | Gemini 2.5 Flash |
Доступность и внедрение
Код фреймворка опубликован под лицензией Apache 2.0 на GitHub. Для запуска требуется Jupyter/Colab ноутбук, ключ API Gemini и индекс FAISS (стартовый размер ~260 МБ). Система не требует дообучения (fine-tuning) моделей, работая исключительно через API, что делает её доступной для разработчиков без доступа к ресурсам Google.
Источник: MarkTechPost ↗