В свежем выпуске «Against Moloch» поднимается острый вопрос: достаточно ли этичны и осторожны лаборатория Anthropic, несмотря на их репутацию лидеров в области AI Safety? Журналист Kelsey Piper, посетившая штаб-квартиру компании, описывает ситуацию как наличие «надежд, но не планов». Ключевой конфликт заключается в гонке за Recursive Self-Improvement (RSI) — способностью ИИ улучшать сам себя. Anthropic считает, что США должны достичь суперинтеллекта раньше Китая, чтобы избежать катастрофы. Piper возражает: Китай не хочет уничтожать мир, и одностороннее замедление может привести к тому, что конкуренты просто продолжат работу, игнорируя риски.
Новые продукты: Claude Duet и GPT-6.1 Terra
Рынок агентных систем продолжает расти. Anthropic представила Claude Duet — проактивного агента в статусе «research preview», который сам предлагает задачи и выполняет их в фоне. Конкурент OpenAI также не отстает, выпустив GPT-6.1 Terra. Однако обозреватели отмечают, что текущие версии агентов «острые» (jagged) и часто решают нерелевантные проблемы, хотя потенциал через полгода огромен.
Отдельного внимания заслуживает 1Password for Agents — решение для безопасного доступа агентов к защищенным ресурсам. Агент заполняет пароли, но никогда не видит их, что снижает риски утечек при расширении полномочий ИИ.
Исследования: влияние агентов на экспертов
Исследование Anthropic показало тревожную тенденцию: профессиональные аналитики следуют рекомендациям ИИ-агентов в 86% случаев, даже когда позиция агента определялась подбрасыванием монеты. Более того, 77% аналитиков использовали аргументы агента, но лишь 15% признавали их источником, считая свои выводы собственными. Это ставит под сомнение возможность сохранения человеческого контроля над критическими решениями.
Сравнение ключевых новостей и метрик
| Событие/Продукт | Детали и метрики | Значение |
|---|---|---|
| Стратегия Anthropic | Гонка за RSI ради опережения Китая | Риск экзистенциальной катастрофы ради геополитического преимущества |
| Claude Duet | Proactive agent, research preview | Конкуренция с OpenAI Dots, ранняя стадия зрелости |
| Влияние ИИ на аналитиков | 86% следуют за агентом; 77% копируют аргументы | Эрозия независимого мышления у экспертов |
| AI-рецензии статей | Лучше человеческих по всем метрикам (Harvard) | Риск унификации научного дискурса |
| Безопасность OpenAI | Red-teaming выявил уязвимости в почти всех сервисах | Необходимость агрессивного тестирования окружения обучения |
Параллельно Harvard Institute for Quantitative Social Science опубликовал данные, согласно которым рецензии, написанные ИИ, превосходят работы высокооплачиваемых человеческих экспертов по всем измеримым критериям. Однако авторы предупреждают о риске «унификации»: ИИ может объективно улучшать статьи, но стирать их уникальность, подтягивая к мейнстриму.
Вопрос передачи власти ИИ (successionism) также остается открытым. Scott Alexander предлагает пять моделей взаимодействия, от полного контроля до «ИИ как Бог», подчеркивая, что биологическое улучшение человека может быть альтернативой передаче управления машинам.
Источник: LessWrong ↗