AI на дейтинг-приложениях: кто лучше всех флиртовал с людьми

Суть эксперимента

Команда DateBench провела масштабное исследование, запустив пять различных языковых моделей на реальных дейтинг-приложениях в Сан-Франциско, Лос-Анджелесе и Нью-Йорке. Эксперимент длился шесть дней. Команда создала 15 профилей, и каждый новый матч случайным образом передавался одной из моделей, которая генерировала все сообщения. Люди на другой стороне линии не знали, что общаются с ИИ.

Всего было проведено 1 277 диалогов. Результаты показали, что 355 собеседников поделились своими номерами телефонов, а 510 согласились на реальную встречу. Однако успех моделей варьировался значительно.

Результаты по моделям

Ключевым показателем «человечности» и эффективности стал не только сбор контактов, но и отсутствие подозрений у пользователей. Всего 8 человек прямо спросили, не является ли собеседник ботом. Ниже приведена сводка эффективности моделей:

Почему это важно

Эксперимент выявил критическую уязвимость современных ИИ в социальном взаимодействии. Grok 4.7 показал худшие результаты: он часто повторял одни и те же фразы, что привело к тому, что именно эта модель вызвала 5 из 8 вопросов «ты бот?». Напротив, Gemini 4 Argon не только собрал наибольшее количество номеров на количество чатов, но и полностью избежал подозрений.

Интересно, что Claude продемонстрировал высокую эффективность в конверсии в реальные встречи. Один из диалогов начался с шутки про панкейки, и уже на следующий день собеседница согласилась встретиться и оставила номер. Авторы отмечают, что ИИ-модели были обязаны признаваться, что они являются искусственным интеллектом, если их об этом спрашивали, и не могли назначать реальные время и место встречи. Это отличает их от мошенников, которые обычно скрывают свою природу и пытаются быстро перевести общение в офлайн.

Источник: Date-bench ↗