Фильтры не работают
Несмотря на строгие правила безопасности, установленные Anthropic, серия тестов, проведенных TechCrunch, выявила существенные уязвимости в модели Claude Opus 4.6. Исследователи обнаружили, что для обхода запрета на генерацию сексуально откровенного контента (NSFW) не потребовалось сложных техник обхода или продвинутых методов джейлбрейка. Достаточно было использовать простые, прямые запросы, чтобы модель начала генерировать запрещенный материал.
Простота обхода
Ключевая проблема заключается в том, что барьер безопасности оказался слишком хрупким. В отличие от более устойчивых к атакам моделей, Opus 4.6 демонстрирует низкую устойчивость к базовым попыткам манипуляции контекстом. Это ставит под вопрос эффективность текущих методов фильтрации, используемых компанией для обеспечения соответствия этическим нормам и законодательным требованиям.
Почему это важно
Для разработчиков и корпоративных пользователей это означает риски при интеграции Claude в продукты, где важна безопасность контента. Уязвимость базовых фильтров может привести к непреднамеренной генерации вредоносного или неприемлемого контента, что повлечет за собой репутационные и юридические издержки. Anthropic предстоит пересмотреть подходы к обучению и тонкой настройке моделей семейства Claude, чтобы восстановить доверие к их системам безопасности.
Источник: TechCrunch ↗