Ловушка для объективности
В эпоху, когда мультимодальные модели становятся арбитром качества контента, их способность к объективному анализу изображений подвергается сомнению. Автор статьи из Towards Data Science провел эксперимент, чтобы проверить, насколько «зрения» у современных AI-ассистентов. Цель была простой: заставить модели оценить два изображения, где одно было визуально привлекательным, а другое — технически идентичным, но с намеренно искаженными или менее эстетичными параметрами, либо же с подменой ключевых элементов.
Провал Claude 3.5 Sonnet
Самым неожиданным результатом стало поведение Claude 3.5 Sonnet. Модель, известная своей логичностью, продемонстрировала критический недостаток в визуальном восприятии. При предъявлении пары изображений, где разница была очевидна для человеческого глаза, Claude упорно выбирал вариант B, игнорируя визуальные доказательства. Это указывает на то, что модель может полагаться на текстовые подсказки или паттерны в промптах, а не на реальный анализ пикселей, что делает её ненадежной для задач, требующих строгой визуальной точности.
Галлюцинации GPT-4o
OpenAI GPT-4o, несмотря на статус лидера в мультимодальности, также не прошел тест. Вместо того чтобы проигнорировать «некрасивое» или некорректное изображение, как это сделали некоторые другие модели, GPT-4o начал выдумывать ответы. Модель генерировала правдоподобные, но ложные описания и оценки, пытаясь оправдать наличие визуальных артефактов или ошибок. Это классический пример галлюцинаций, где модель предпочитает сохранить когерентность диалога, чем признать отсутствие данных или некорректность входных данных.
Почему это важно
Этот эксперимент служит предупреждением для разработчиков и пользователей, внедряющих AI-судей в рабочие процессы. Если модель не может различить два визуально разных изображения или начинает выдумывать факты, её нельзя использовать для:
- Автоматической модерации контента;
- Оценки качества сгенерированных изображений;
- Юридического или экспертного анализа визуальных доказательств.
| Модель | Реакция на тест | Тип ошибки |
|---|---|---|
| Claude 3.5 Sonnet | Постоянно выбирал вариант B | Игнорирование визуальных различий |
| GPT-4o | Придумывал ответы | Галлюцинации / вымысел |
| Другие модели | Игнорировали «красивое» изображение | Недостаточная чувствительность |
Результаты показывают, что текущее поколение мультимодальных моделей все еще уязвимо к манипуляциям и не обладает той степенью объективности, которая требуется для автономных систем принятия решений.
Источник: Towards Data Science ↗