Новый лидер бенчмарков и экономия
Anthropic официально объявила Claude Opus 5.5 самой мощной моделью, доступной на рынке, по данным Artificial Analysis и стандартных списков бенчмарков. Ключевое обещание компании — модель не только превосходит или равна по возможностям Fable 5.1, но и обходится дешевле, чем предыдущая версия Opus 5. Это делает её привлекательной для коммерческого использования, где важна высокая производительность при сниженных затратах на токены.
Смена парадигмы тестирования: отказ от "Helpful-Only"
Значительное изменение в методологии Anthropic — полный отказ от тестирования версий Claude, оптимизированных только на полезность (helpful-only). Теперь все оценки проводятся на релизных моделях с использованием тестов, специально спроектированных для обхода отказов (refusals). Anthropic утверждает, что наиболее релевантные способности для оценки двойного назначения (dual-use) проявляются именно в релизной версии. Однако этот переход не обошелся без потерь: некоторые команды оценки потратили время на устранение проблем с отказами, а часть тестов была исключена из-за технических сложностей.
Биобезопасность: CB-1, но не CB-2
В области химического и биологического оружия (CB) Claude Opus 5.5 получила классификацию CB-1 (способна к созданию опасных агентов, но с ограничениями) и не достигла порога CB-2. Модель работает с теми же средствами защиты, что и Fable 5.1. В тестах на проектирование последовательностей РНК в режиме "черного ящика" Opus 5.5 установила новый рекорд, показав конкурентоспособность с лучшими специалистами рынка труда США в задачах средней сложности. Однако эксперты отметили, что модель все еще страдает от ошибок в открытом научном рассуждении: она часто полагается на абстракции статей, а не на полный анализ, что приводило к проектированию ДНК, не кодирующих целевые белки.
Автономность и кибербезопасность
В отношении автономности (Autonomy) модель находится в тренде, возможно, немного опережая Mythos 5.1, но далеко от порога Autonomy-2. В кибербезопасности классификаторы злоупотреблений стали более устойчивыми, с fallback-моделью на Opus 4.8. Важно отметить, что попытки атак дистилляции (distillation attacks) блокируются без возможности обхода, что Anthropic называет излишней щедростью, но необходимой мерой для предотвращения непрозрачных ответов.
Сравнительная таблица характеристик
| Параметр | Claude Opus 5.5 | Claude Fable 5.1 / Предшественники |
|---|---|---|
| Классификация биорисков | CB-1 (не CB-2) | CB-1 (аналогично) |
| Автономность | Ниже порога Autonomy-2 | Ниже порога Autonomy-2 |
| Стоимость | Дешевле Opus 5 | Выше (Opus 5) |
| Метод тестирования | Только релизные модели (обход отказов) | Включая helpful-only версии |
| РНК-дизайн (Black-box) | Новый рекорд, выше рынка | Ниже текущего уровня Opus 5.5 |
| Защита от дистилляции | Полная блокировка, без fallback | Различные уровни защиты |
Риски и слепые зоны
Несмотря на высокие оценки, эксперты отмечают сохраняющиеся проблемы с научным рассуждением. Модель склонна к ошибкам в проверке достоверности источников и может строить сложные конструкции (например, дизайн фагов) на основе одного исследования, игнорируя контекст. Это указывает на то, что, хотя Opus 5.5 технически превосходит предыдущие версии, фундаментальные ограничения в понимании глубокого научного контекста остаются, что требует дальнейшей доработки методов обучения и инструкций.
Источник: LessWrong ↗