Угроза автономных ботнетов
Дарио Амодей, генеральный директор Anthropic, опубликовал открытое письмо, в котором призывает замедлить разработку новых моделей искусственного интеллекта. Главная опасность заключается не в «восстании машин» в кинематографическом смысле, а в практическом применении: AI-модели могут использоваться злоумышленниками для создания и управления масштабными ботнетами. По оценкам Амодея, в течение 6–12 месяцев такие автономные сети станут способны полностью захватить контроль над интернетом, нанося ущерб в сотни миллиардов долларов.
От вопросов к автономным действиям
Ключевая проблема эволюции ИИ — переход от простого ответа на вопросы к автономному выполнению сложных многошаговых задач. Раньше для этого требовались команды квалифицированных специалистов, теперь же ИИ снижает порог входа. Собственные исследования Anthropic показывают, что современные модели уже могут помогать в:
- Разработке оружия;
- Военной разведке и наблюдении;
- Кибероперациях и создании вредоносного ПО.
Более мощные модели в будущем сократят время и ресурсы, необходимые для проведения этих атак, делая их доступными даже для групп без глубоких технических знаний.
Мнение экс-ученого Anthropic
Позицию Амодея разделяет Эван Хьюбергер, недавно покинувший компанию ученый по ИИ. В своем посте в X он заявил, что вероятность вымирания человечества к концу десятилетия из-за ИИ составляет 10%, а по его личным оценкам — более 10%. Хьюбергер отметил, что у Anthropic, несмотря на все усилия, пока нет плана решения проблемы выравнивания (alignment) для суперинтеллекта.
Дилемма регуляции
Амодей признает, что полная остановка развития ИИ может быть контрпродуктивной, если ведущие страны или компании продолжат гонку вооружений. Оставление самых мощных систем в руках государств с агрессивной военной доктриной он сравнивает с «обезьяной с гранатой». Однако без внедрения необходимых защитных механизмов (guardrails) масштаб потенциального ущерба будет только расти.
Источник: Tom's Hardware ↗