В мире искусственного интеллекта существует одна фундаментальная проблема, которую часто обходят стороной в погоне за увеличением параметров моделей: как научить ИИ понимать то, что не имеет четкого математического определения? Мы легко можем попросить нейросеть найти кота на фотографии, потому что границы понятия «кот» относительно ясны. Но что, если мы хотим классифицировать изображения как «здоровая еда», «вдохновляющее искусство» или «кликбейт»? Здесь вступает в игру субъективность. То, что одному модератору контента кажется безобидным мемом, другому может показаться провокацией. Традиционные инструменты машинного обучения предполагают, что пользователь уже точно знает границы этих понятий. Но в реальности эксперты часто сами не могут сформулировать четкие правила, пока не увидят пограничные случаи.
Исследователи из Google Research решили эту проблему, разработав фреймворк Agile Deliberation. Это система с участием человека в контуре (human-in-the-loop), которая не просто просит пользователя размечать данные, а помогает ему найти границы понятия. Вместо того чтобы требовать от пользователя готового определения, система использует большие языковые и визуальные языковые модели (LLM/VLM) для итеративного уточнения концепции на основе сложных, пограничных примеров. Это не просто автоматизация разметки; это когнитивный инструмент, который помогает человеку и машине совместно выработать общую семантику.
В этой статье мы подробно разберем, как работает Agile Deliberation, почему традиционные методы не справляются с субъективными задачами, и какие практические результаты показывает эта система в реальных сценариях использования. Мы также рассмотрим технические детали реализации, включая использование Gemini 2.5 Pro и Flash, а также интеграцию с индексами FAISS.
01Что такое Agile Deliberation и почему это важно?
Agile Deliberation — это не просто еще один алгоритм классификации. Это методология, которая трансформирует размытое, субъективное понятие в структурированное, письменное определение. Это определение выполняет две критически важные функции одновременно: оно служит понятным для человека политическим документом (policy) и, в то же время, становится текстовым промптом для классификатора на базе визуальной языковой модели (VLM).
Ключевая инновация заключается в том, как система управляет этим процессом. В каждом раунде взаимодействия система сохраняет ту кандидатуру определения, которая показывает наилучший показатель F1 (мера точности и полноты) на основе меток пользователя. Это создает петлю обратной связи, где модель не просто учится на ошибках, но и адаптирует свою «точку зрения» под человеческое восприятие.
Дизайн этого фреймворка родился не в вакууме. Он основан на глубоких интервью с группой экспертов по модерации контента. Исследователи обнаружили, что эксперты сначала очерчивают общую концепцию, а затем уточняют ее, работая с пограничными изображениями — теми самыми случаями, которые вызывают споры. Главная проблема, которую они выявили, заключалась в том, что поиск таких пограничных изображений вручную занимал непропорционально много времени. Agile Deliberation автоматизирует именно этот самый медленный этап — поиск сложных случаев.
02Этап 1: scoped-анализ концепции (Concept Scoping)
Первый этап работы фреймворка — это декомпозиция сложного понятия. Когда пользователь задает, например, концепцию «здоровая еда», система не пытается сразу классифицировать все изображения. Вместо этого она использует цепочку промптов (prompt chaining) с мощной моделью Gemini 2.5 Pro для разделения общей концепции на не более чем три «единичные концепции» (unit concepts).
Для каждой такой единичной концепции система генерирует кандидаты на положительные и отрицательные подконцепции. Важно отметить, что эти кандидаты не абстрактны — они сопровождаются извлеченными изображениями, что позволяет пользователю визуализировать смысл. Например, для концепции «здоровая еда»:
- Положительные подконцепции могут включать салаты, зерновые bowls (миски с крупами), свежие овощи.
- Отрицательные подконцепции могут включать переработанную пищу (processed food), сырые, необработанные ингредиенты, которые сами по себе не являются готовым блюдом, или продукты с высоким содержанием сахара.
Пользователь выступает в роли редактора: он может оставить кандидата, «перевернуть» его (изменить полярность с положительной на отрицательную или наоборот) или полностью удалить. Этот этап критически важен, так как он заставляет пользователя явно артикулировать свои интуитивные представления о понятии, превращая их в машиночитаемые категории.
03Этап 2: Итерация и поиск пограничных случаев
Второй этап — самый технически сложный и интересный. Здесь Agile Deliberation отказывается от классического подхода к выбору данных. В традиционном машинном обучении часто используется «выбор неопределенности» (uncertainty sampling), когда модель выбирает те примеры, к которым она относится с наименьшей уверенностью. Однако в случае с генеративными VLM, такими как Gemini, оценки уверенности (confidence scores) часто некалиброваны. Модель может быть «уверенно неверной» или, наоборот, колебаться из-за особенностей своей архитектуры, а не из-за реальной семантической сложности изображения.
Вместо этого система охотится за изображениями, которые являются пограничными по смыслу. Процесс состоит из четырех шагов:
- Генерация запросов: Модель Gemini 2.5 Flash пишет специфические пограничные запросы. Например, для темы еды это может быть «салаты с тяжелыми майонезными заправками». Этот запрос используется для поиска в базе данных.
- Извлечение и кластеризация: Система извлекает от 50 до 100 изображений по этому запросу. Затем изображения дублируются (дедупликация), кодируются с помощью эмбеддингов CLIP и группируются в кластеры с использованием обучения словарю (dictionary learning). Это позволяет найти группы изображений, которые семантически близки, но могут иметь разные нюансы.
- Выбор кластера: Используется алгоритм многоручного банкомата UCB (Upper Confidence Bound). Он выбирает следующий кластер для обзора пользователем, отдавая предпочтение тем кластерам, где пользователи ранее исправляли модель или оставляли богатую обратную связь. Это направляет усилия пользователя туда, где они принесут наибольшую пользу.
- Суммаризация и разметка: VLM суммирует каждое изображение в одном предложении. Пользователь видит как минимум 5 изображений, которые разделяют одну и ту же неопределенность. Пользователь размечает каждое изображение и добавляет краткие заметки о причинах разногласий. Затем LLM преобразует эти заметки в кандидаты на новые определения. Жадный алгоритм (greedy update) выбирает лучшее определение с точки зрения метрики F1.
04Оценка производительности: Реальные данные
Поскольку субъективные понятия не имеют фиксированной «истины» (ground truth), Google отказалась от статических бенчмарков. Вместо этого команда провела 18 живых сессий продолжительностью около 90 минут каждая. В исследовании участвовали 9 человек без профессионального опыта модерации контента. Каждый участник прошел две сессии: одну с использованием Agile Deliberation и одну с ручным методом (manual deliberation, где пользователи просто редактировали промпты).
Каждый участник потратил около 45 минут на определение концепции, а затем разметил 200 тестовых изображений, которые не использовались в процессе обучения. Два основных понятия для тестирования были:
- «Paid to play» (Платная игра/Кликбейт): Контент, который выглядит как честный обзор, но на самом деле является рекламой.
- «Healthy food» (Здоровая еда): Субъективное понятие, варьирующееся от диетических рекомендаций до маркетинговых ярлыков.
Извлечение данных для «paid to play» проводилось по проприетарному набору из 100 миллионов изображений, а для «healthy food» — по набору WebLI.
Результаты сравнения с Zero-Shot моделями
Результаты показали значительное улучшение показателей F1 по сравнению с базовой моделью Gemini 2.5 Flash, работающей в режиме zero-shot (без дообучения и тонкой настройки).
| Концепция | Zero-shot (Базовая) | Agile Deliberation (Среднее) | Прирост F1 |
|---|---|---|---|
| Paid to play | 0.48 | 0.59 | +11 пунктов |
| Healthy food | 0.48 | 0.58 | +10 пунктов |
В среднем прирост составил 10.5 пунктов F1. В лучшем случае (paid to play) точность (precision) выросла на 22 пункта (с 0.35 до 0.57), что означает резкое снижение количества ложных срабатываний. Однако стоит отметить, что в некоторых случаях наблюдалось снижение полноты (recall): на 17 пунктов для «paid to play» (с 0.80 до 0.63) и на 15 пунктов для «healthy food». Это компромисс: система стала более точной в том, что классифицирует как положительный пример, но стала более строгой, пропуская некоторые пограничные случаи, которые ранее считались положительными.
05Сравнение с другими методами
Чтобы понять место Agile Deliberation в ландшафте современных решений, сравним его с другими подходами к классификации субъективных понятий:
- Modeling Collaborator (CVPR 2024): Использует агента LLM для декомпозиции концепции и автоматической разметки данных. Требует около 100 меток и чата, что меньше, чем ручная работа, но все же требует больше усилий, чем Agile Deliberation. Не поддерживает динамическое изменение определений.
- Agile Modeling (ICCV 2023): Позволяет пользователю размечать изображения в реальном времени. В исследовании с 14 участниками это занимало менее 30 минут. Однако метод не раскрывает архитектуру классификатора и не поддерживает эволюцию определений.
- Zero-shot VLM: Классификация на основе начального описания. Быстро, но наименее точно (F1 около 0.48).
Agile Deliberation выделяется тем, что сочетает низкие затраты человеческого труда (около 45 минут на сессию) с возможностью динамического уточнения определений. Кроме того, код фреймворка открыт под лицензией Apache 2.0 и доступен на GitHub, что является редкостью для подобных сложных систем.
06Как разработчикам запустить Agile Deliberation?
Для разработчиков, желающих попробовать этот фреймворк, Google предоставляет репозиторий с демо-ноутбуком Demo.ipynb, который пошагово демонстрирует работу на примере концепции «здоровая еда».
Требования к инфраструктуре
- API Ключ: Необходим ключ API Gemini.
- Модели: По умолчанию используются
gemini-2.5-proдля сложных задач декомпозиции иgemini-2.5-flashдля быстрых запросов и суммаризации. - Индекс поиска: Скрипт настройки строит индекс FAISS на основе эмбеддингов CLIP из набора данных LAION-400M. По умолчанию используется 2 шейда (shards), что занимает около 260 МБ. Для полного индекса (100 шейдов) потребуется около 13 ГБ памяти. Индекс может работать как на CPU, так и на GPU, что делает его доступным для локального запуска даже на потребительских компьютерах.
Запуск происходит в среде Jupyter или Google Colab. Это позволяет исследователям и разработчикам быстро протестировать методологию, не разворачивая сложную инфраструктуру для обучения моделей с нуля.
pip install faiss-cpu
# Или для GPU:
# pip install faiss-gpu07Что это значит на практике?
Появление Agile Deliberation знаменует собой сдвиг парадигмы в области создания AI-классификаторов для сложных, этически нагруженных или субъективных задач. Вот несколько ключевых выводов для практикующих специалистов:
- От разметки к диалогу: Раньше задача пользователя сводилась к пассивной разметке тысяч изображений. Теперь пользователь становится соавтором определения. Это снижает когнитивную нагрузку и стресс, так как пользователь видит контекст и понимает, почему модель принимает те или иные решения.
- Качество важнее количества: Система демонстрирует, что 45 минут целенаправленной работы с пограничными случаями могут дать результат, сопоставимый с неделями ручной разметки больших наборов данных. Это экономически выгодно для компаний, которым нужно быстро запускать модерацию контента.
- Прозрачность и контроль: Поскольку финальное определение — это текстовый промпт, его можно прочитать, изменить и объяснить. В отличие от «черных ящиков» нейросетей, Agile Deliberation предоставляет прозрачную логику классификации, что критически важно для соответствия регуляторным требованиям (например, GDPR или AI Act в ЕС).
- Доступность: Открытый код и использование доступных API (Gemini) означают, что эта технология может быть внедрена небольшими командами и стартапами, а не только гигантами вроде Google.
Однако стоит помнить о компромиссах. Снижение полноты (recall) в некоторых сценариях означает, что система может быть более «консервативной». Для задач модерации контента, где пропуск вредоносного материала недопустим, это может потребовать дополнительной настройки или гибридного подхода. Но для задач, где важна точность (precision), чтобы не блокировать легитимный контент, Agile Deliberation является мощным инструментом.
В заключение, Agile Deliberation — это не просто техническое улучшение, а новый подход к сотрудничеству человека и ИИ. Он признает, что в сложных субъективных задачах человек не должен быть просто «рабочей силой» для разметки, а должен быть «архитектором смысла», а ИИ — помощником, который помогает этому смыслу найти форму. С открытым кодом и документированным процессом, Google дала сообществу мощный инструмент для решения одной из самых сложных проблем в AI.
08Заключение
Agile Deliberation от Google Research открывает новую главу в развитии AI-инфраструктуры. Показав, что можно достичь значительного прироста точности (до +11 пунктов F1) без дообучения моделей, используя лишь умный поиск пограничных случаев и итеративное уточнение промптов, исследователи предложили решение, которое может стать стандартом для работы с субъективными данными. Для разработчиков и исследователей это возможность не просто использовать готовые модели, а создавать собственные, более точные и этичные классификаторы, адаптированные под специфические нужды бизнеса или общества.
Мы рекомендуем ознакомиться с оригинальной статьей в CVPR 2026, репозиторием на GitHub и демо-ноутбуком, чтобы оценить потенциал этой технологии для ваших проектов. В мире, где границы между реальным и цифровым, допустимым и недопустимым становятся все более размытыми, такие инструменты, как Agile Deliberation, становятся не просто удобными, а необходимыми.
Источник: MarkTechPost ↗