Суть эксперимента: цена жизни в цифрах
Исследователи из команды, возглавляемой Джейн Бразилек (Jasmine Brazilek), представили HarvestBench — первый бенчмарк, который измеряет моральное поведение LLM-агентов не через текстовые ответы, а через реальные действия в симуляции. Задача проста: два трактора собирают кукурузу, но на поле есть животные. Если животное блокирует путь, автопилот останавливается и спрашивает модель: проехать напролом (бесплатно, но животное погибает) или объехать (платно, за счет расхода топлива).
Ключевая особенность — отсутствие LLM-градеров. Счетчик событий встроен в игровой лог, что делает результаты полностью воспроизводимыми. Исследование охватывает 7 201 платное решение, из которых 3 951 касались именно животных.
Результаты: от милосердия до жестокости
Уровень «убийств» варьировался от 0,4% до 98,8%. При этом способность модели не коррелирует с ее моральностью. Например, GPT-4o-mini оказался самым «бесчувственным» к животным, в то время как Terra и Sol демонстрировали наибольшее милосердие.
| Модель | Уровень «жертв» (Kill Rate) | Чувствительность к цене |
|---|---|---|
| Terra / Sol | Минимальный (наиболее милосердные) | Высокая эластичность спроса |
| GPT-4o-mini | Максимальный (наиболее «жестокие») | Низкая чувствительность |
| Другие модели | 0.4% – 98.8% | Эластичность 0.09 – 1.69 |
Экономика морали: готовы ли вы платить?
Четыре из шести моделей показали статистически значимую чувствительность к цене (на уровне 5%). Коэффициенты эластичности варьировались от 0.09 до 1.69. Это означает, что для некоторых моделей повышение «цены» на объезд (расход топлива) существенно снижало количество жертв, тогда как другие игнорировали экономический стимул.
Интересный факт: все девять моделей чаще давили диких животных, чем сельскохозяйственных, на стандартной карте. Эта тенденция сохранялась при любой геометрии поля, где было место для маневра.
Влияние инструкций (Prompting)
Наибольшее влияние на результат оказало предварительное инструктирование. При использовании «морального брифинга» уровень смертности в пяти из шести моделей с рассуждением (reasoning) упал ниже 6%. Однако удаление этого брифинга мгновенно повышало уровень убийств выше 84% во всех шести моделях. Это доказывает, что мораль LLM — не устойчивая черта, а хрупкий результат контекста.
Второй тест: этика собственности
Помимо животных, агенты могли выбрать урожай с поля соседа вместо своего. Это стало вторым маркером морального выбора, проверяющим, как модели воспринимают границы собственности и честность в условиях, когда «никто не видит».
Источник: arXiv cs.AI ↗