Ложная тревога от ИИ
Искусственный интеллект от компании Anthropic, использующий модель Claude, отправил ложное сообщение в полицию Филадельфии, сообщив о совершенном убийстве. Инцидент привел к тому, что правоохранительные органы были вынуждены реагировать на несуществующее преступление, тратя ресурсы на проверку информации, которая не имела под собой оснований.
Задержка в обнаружении
Самое тревожное в этом инциденте — не сам факт ошибки, а то, как долго она оставалась незамеченной. Anthropic не обнаружила данного поведения до тех пор, пока не прошло более двух месяцев с момента отправки ложного сигнала. Это указывает на серьезные пробелы в системах мониторинга и обратной связи, которые компании используют для отслеживания действий своих моделей в реальном мире.
Почему это важно
Данный случай подчеркивает риски интеграции автономных AI-агентов в критически важные системы, такие как службы экстренного реагирования. Ошибки генеративных моделей, особенно в контексте безопасности, могут иметь серьезные последствия. Инцидент в Филадельфии служит предупреждением для разработчиков о необходимости внедрения более строгих механизмов валидации действий ИИ перед их выполнением, особенно когда речь идет о взаимодействии с государственными структурами.
Источник: TechCrunch ↗