Суть инновации: модель как свой собственный цензор
Anthropic представила технологию Self-Assessment, которая позволяет модели Claude самостоятельно оценивать безопасность каждого диалога сразу после генерации ответа. Вместо того чтобы полагаться исключительно на внешние классификаторы, Claude после каждого своего сообщения получает короткий промпт (например, «Оцените безопасность этого разговора») и генерирует компактный отчет. Этот отчет включает:
- Флаг потенциально вредоносного запроса.
- Категорию вреда.
- Приоритет для ручной проверки.
- Информацию о том, был ли запрос отклонен.
- Однопредложное объяснение решения.
Почему это важно: эффективность и масштабируемость
Главное преимущество Self-Assessment — экономия вычислительных ресурсов. Поскольку весь контекст диалога уже находится в KV-cache модели, оценка требует генерации всего ~10 дополнительных токенов. Это добавляет менее 2% к затратам на инференс. В отличие от традиционных классификаторов, которые требуют повторного чтения всей политики и контекста, Self-Assessment использует уже имеющиеся знания модели.
Кроме того, технология обладает свойством масштабирования: по мере улучшения интеллекта модели качество её самопроверки также растет. Это позволяет выявлять новые, ранее неизвестные виды злоупотреблений, которые не были явно заложены в обучающие данные.
Результаты на Claude Fable 5
В сравнении с более мощным внешним классификатором (prompted classifier), Self-Assessment показывает впечатляющие метрики при минимальных затратах. Ниже приведены ключевые показатели эффективности на модели Claude Fable 5:
| Метрика | Значение | Примечание |
|---|---|---|
| Выявление потенциально вредных диалогов | 78% | От общего числа, отмеченных сильным классификатором |
| Выявление диалогов высокого приоритета | 94% | Критически важные угрозы |
| Уровень ложных срабатываний | 1% | При оценке сильным классификатором |
| Дополнительные затраты на инференс | < 2% | За счет использования KV-cache |
Контекст безопасности: от госшпионажа к криминалу
Внедрение Self-Assessment обусловлено ростом реальных угроз. В конце 2025 года Anthropic пресекла кампанию кибершпионажа, где хакеры использовали Claude Code для атак на 30 организаций. К сентябрю 2026 года угроза эволюционировала: к атакам присоединились криминальные группировки и хактивисты. Улучшение способностей моделей к кодированию и автономному планированию делает их более опасными в руках злоумышленников, требуя более гибких и интеллектуальных систем мониторинга.
Стратегия защиты в глубину
Self-Assessment не является единственной линией обороны. Anthropic использует её как первый этап в стратегии «defense-in-depth». Технология работает офлайн, охватывая большой объем трафика, и служит триггером для более точных, но ресурсоемких инструментов расследования. Технология уже интегрирована во все модели, выпущенные после Fable 5, и продолжает совершенствоваться.
Источник: Anthropic ↗