Человеческий фактор в генерации контента
Журналистское расследование 404 Media, основанное на анализе внутренних документов Microsoft, выявило масштабную практику использования человеческих ресурсов для обучения и оценки модели Copilot. В отличие от автоматических фильтров, реальные люди — подрядчики из компаний вроде Prolific — просматривают не только текстовые промпты, но и загруженные пользователями изображения. Их задача — определить, какой из двух сгенерированных вариантов лучше соответствует запросу, опираясь на «человеческую интуицию».
Инструкции для сотрудников прямо предписывают: «Доверяйте своей интуиции. Когда вы смотрите на два отредактированных изображения рядом, какое из них сразу кажется лучшим? Ваша реакция как человеческого зрителя имеет значение».
Масштаб проблемы: от эротических запросов до педофилии
Подрядчики сообщают о постоянном потоке откровенно сексуального, непристойного и потенциально незаконного контента. Среди типичных запросов, которые должны оценивать люди, — увеличение груди, укорачивание юбок, создание изображений в сексуальных позах. Особую тревогу вызывает наличие промптов, связанных с фетишизацией детей (включая персонажей мультфильмов) и контентом, пропагандирующим расстройства пищевого поведения (про-анорексию).
Один из сотрудников описал ситуацию, когда ему пришлось оценивать качество «увеличения бюста» или выбор «правильной сексуально откровенной позы» для женщин среднего возраста. Другой столкнулся с набором из восьми «апскёрт» (фото с нижней точки) фотографий. Сообщается о запросах на создание изображений Ariana Grande с анорексией и групповых сцен с участием молодых девушек.
Почему это критично для пользователей
Главная проблема заключается в нарушении ожиданий приватности. Пользователи, загружающие свои фото или изображения других людей в Copilot, обычно полагают, что эти данные остаются между ними и ИИ. На практике же эти изображения и текстовые запросы просматривают живые люди, которые не являются модераторами безопасности, а выполняют работу по улучшению качества ответа модели. Они не фильтруют контент для его удаления, а оценивают его эстетическое и техническое соответствие запросу.
Реакция Microsoft и контекст
Microsoft заявляет, что использует данные клиентов в соответствии с условиями использования для улучшения продуктов. Однако история Copilot пестрит инцидентами злоупотребления: ранее инструмент использовался для создания порнографии с участием Тейлор Свифт, а в 2024 году выявлялось, что Copilot мог временно генерировать, а затем удалять ответы на сексуальные запросы. Несмотря на это, в марте 2024 года Copilot был одобрен для использования в Сенате США для рутинной работы.
Сравнение подходов к модерации
| Критерий | Автоматическая модерация | Оценка подрядчиками (Copilot) |
|---|---|---|
| Цель | Блокировка запрещенного контента | Улучшение качества и релевантности ответа |
| Обработка контента | Фильтрация и удаление | Просмотр и сравнение вариантов (A/B тест) |
| Приватность | Анонимизация данных | Прямой доступ людей к исходным фото и промптам |
| Риск для сотрудников | Низкий (автоматизировано) | Высокий (психологическая травма от NSFW/незаконного контента) |
Источник: 404media ↗