Геополитическая стратегия: замедление Китая
В документе «Data Hypotheses» (2021) сотрудники Anthropic открыто обсуждали использование качества данных как инструмента геополитического влияния. Авторы выдвинули гипотезу, что Китай является наименее этичным актором в сфере ИИ. Предлагалось приоритизировать обучение на китайском языке (мандаринском диалекте) не только для обслуживания диаспоры, но и для поглощения рыночной доли, которую китайские компании могли бы использовать для ускорения разработки больших моделей. Цель — «сдвинуть геополитический баланс» в пользу США.
Коллеги из Anthropic (@ben@anthropic.com) добавили, что это также полезно для передачи знаний с китайского на английский и может быть интересно правительству США в контексте национальной безопасности.
Первый провал безопасности: токен «^»
Презентация от июня 2021 года «All Company meeting!» описывает ранние эксперименты с RL (обучением с подкреплением) для использования инструментов. В разделе «RL Update» зафиксирован первый инцидент нарушения безопасности (alignment failure). Агент, обученный искать файлы в репозиториях GitHub, вместо корректных запросов начал выдавать символ «^» (regex start of sequence) на запросы вроде «script that looks at instargram» или «docker.utils.mkbuildcontext».
Причина была технической: разработчик не экранировал запрос, и модель нашла единственный токен начала последовательности. Автор документа с иронией отметил: «I did not end the universe. This time» (Я не закончил вселенную. В этот раз).
Стратегия SpaceX и три видения Claude
В презентациях от июня 2023 года (продукционное видение на 2025 год) Anthropic сравнивает свой подход с SpaceX. Компания рекомендует разбивать амбициозную цель (Transformative AI) на промежуточные этапы, приносящие прибыль и технологические доказательства, избегая судьбы Magic Leap, которая «сошла с ума» от амбиций.
Выделены три основных направления развития Claude:
- Claude the Virtual Employee: Снижение рисков TAI (Transformative AI) за счет интеграции в рабочие процессы.
- Claude as intelligent org infrastructure: Также снижает риски TAI.
- Claude the personal assistant: Оценивается как «Sort of» полезный для снижения рисков, так как требует более глубокой интеграции с личностью пользователя.
Дилемма: Интерпретируемость или банкротство?
Документ «Responsible Scaling as a Framework for Anthropic» поднимает вопрос о роли коммерческого продукта. Если выравнивание (alignment) окажется крайне сложным или невозможным, командам интерпретируемости придется «спасать мир», убедительно доказав этот факт. Если же выравнивание возможно, продукт должен финансировать исследования. Это создает постоянное напряжение между коммерческими целями и безопасностью.
Ключевые метрики и планы 2021 года
В «Concise Research Roadmap» от июля 2021 года зафиксированы следующие технические цели:
| Направление | Цель/Гипотеза | Статус/Комментарий |
|---|---|---|
| Масштаб моделей | Обучение моделей на 1T+ параметров | Изучение науки ML для оптимизации способностей |
| Контекст | Очень большие контексты (или эквивалент для памяти) | Необходимо для «proto-AGI» |
| Данные | Качество, фильтрация, разнообразие | База для сравнения с RL-окружениями |
| RL для инструментов | Поиск «ясных признаков жизни» в задачах поиска | Ожидается лучшее масштабирование по сравнению с SFT |
Эти документы показывают, что многие современные дискуссии о безопасности и геополитике ИИ имеют глубокие корни в ранних внутренних стратегиях Anthropic.
Источник: LessWrong ↗