01Введение в проблему этики автономных систем
В современном мире искусственный интеллект (ИИ) всё чаще используется для оптимизации принятия решений в критически важных сферах. Например, автономные системы могут предложить стратегию распределения электроэнергии, которая минимизирует затраты при поддержании стабильности напряжения. Однако зачастую возникает вопрос: соответствуют ли такие решения этическим нормам?
Представьте себе ситуацию, когда стратегия распределения электроэнергии, которая снижает затраты, оставляет менее обеспеченные районы более уязвимыми к отключениям, чем районы с более высоким доходом. Это пример этической дилеммы, которую необходимо решать до внедрения системы.
02Методика SEED-SET: структурированное тестирование
Для решения подобных проблем исследователи из MIT разработали методику SEED-SET (Scalable Experimental Design for System-level Ethical Testing), которая позволяет оценивать результаты автономных систем с точки зрения как количественных, так и качественных критериев. Эта система помогает выявить сценарии, где система соответствует человеческим ценностям, а где — нет.
Разделение оценки на объективную и субъективную
Методика SEED-SET работает по принципу разделения оценки на две части: объективная модель оценивает систему на основе измеримых метрик, таких как стоимость, а субъективная — на основе оценок заинтересованных сторон, таких как справедливость. Таким образом, можно более точно оценить соответствие решения этическим нормам.
03Внедрение субъективности через модели на естественном языке
Для проведения субъективной оценки SEED-SET использует большую языковую модель (LLM) в качестве прокси для человеческих оценок. Исследователи кодируют предпочтения каждой группы пользователей в виде текстовых инструкций для модели. Это позволяет системе сравнивать разные сценарии и выбирать более предпочтительный с точки зрения этических критериев.
Как объясняет Анжали Парашар, ведущий автор исследования, использование LLM позволяет избежать усталости и непоследовательности человеческих оценок, которые могут возникать при анализе сотен или тысяч сценариев.
04Практическое применение и перспективы развития
Для проверки эффективности SEED-SET исследователи протестировали её на реальных автономных системах, таких как система распределения электроэнергии и система маршрутизации городского трафика. Результаты показали, что SEED-SET генерирует вдвое больше оптимальных тестовых случаев, чем базовые стратегии, тем самым выявляя множество упущенных ранее сценариев.
В будущем планируется проведение пользовательских исследований, чтобы оценить, насколько сценарии, созданные SEED-SET, помогают в реальном принятии решений. Кроме того, исследователи намерены изучить возможности использования более эффективных моделей, способных масштабироваться для решения больших задач с большим количеством критериев.
