Суть инновации: Единый вызов для всех модальностей
9 октября 2026 года Cloudflare представила Clef-omni, новую модель семейства Clef. В отличие от предыдущих версий, работающих только с текстом и изображениями, Clef-omni способна анализировать текст, изображения, аудио и видео в рамках одного API-вызова. Это критически важно для Agentic AI: разработчикам больше не нужно собирать сложные пайплайны с отдельными шагами для транскрипции аудио или создания субтитров к видео.
Модель базируется на Qwen3-Omni-30B-A3B-Instruct. Cloudflare сохранила бэкбонд понимания, но убрала путь генерации текста в речь (TTS). Архитектура использует механизм Mixture of Experts (MoE): 30 миллиардов параметров, из которых активны только 3 миллиарда. Обучение проводилось с использованием LoRA-адаптеров, а калибровка вероятностей обеспечивалась комбинацией кросс-энтропии и метрики Brier score.
Технические характеристики и ограничения
Модель работает на платформе Workers AI с контекстным окном до 64,000 токенов. Поддерживаемые форматы ввода строго лимитированы:
- Изображения: до 4 файлов (PNG, JPEG, WebP), 64–1024 токенов каждое.
- Аудио: до 4 клипов (WAV, MP3), до 300 секунд, ~780 токенов в минуту.
- Видео: до 2 клипов (MP4, WebM), до 60 секунд, семплирование 2 кадра/сек.
Для самохостинга требуется GPU с объемом памяти около 64 ГБ (тестировалось на H200 в формате bfloat16). Стоимость хостинга составляет $0.15 за миллион токенов.
Производительность: Скорость против Точности
Clef-omni демонстрирует выдающиеся результаты в задачах классификации намерений (intent classification), но уступает специализированным текстовым моделям в сложных логических рассуждениях. Например, на бенчмарке CLINC150+OOS она показала 97.7 macro-F1, что является лучшим результатом среди всех моделей Clef. Однако на задаче POP909-CL точность упала до 2.6, а на GPQA Diamond она составила 47.4 против 78.3 у модели Jev от TypeSafe.
Сравнение с конкурентами и другими моделями Cloudflare
Ниже приведена сравнительная таблица ключевых метрик Clef-omni, её предшественников (Clef, Clef-flash) и главного конкурента Jev:
| Параметр | Clef-omni | Clef | Clef-flash | Jev (TypeSafe) |
|---|---|---|---|---|
| Архитектура | 30B MoE (3B active) | 27B Dense | 9B Dense | Не раскрыто |
| Модальности | Text, Image, Audio, Video | Text, Image, Video | Text, Image, Video | Text |
| Контекст (Hosted) | 64,000 токенов | 64,000 токенов | 24,000 токенов | ~32,000 токенов |
| Цена ($/M токенов) | $0.15 | $0.24 | $0.038 | $0.042 |
| BANKING77 (macro-F1) | 94.8 | 94.20 | 90.93 | 79.74 |
| CLINC150+OOS (macro-F1) | 97.7 | 97.43 | 66.77 | 89.27 |
| When2Call (accuracy) | 63.3 | 72.37 | 65.58 | 80.97 |
Оптимизация скорости: Clef стал в 2 раза быстрее
Параллельно с запуском Clef-omni, Cloudflare оптимизировала хостинг базовой модели Clef, перейдя на движок SGLang. Это позволило сократить медианную задержку с 262 мс до 152 мс (при 800 токенах) и с 616 мс до 305 мс (при 3,400 токенах). Ускорение составляет 1.7x–2.0x без изменения весов модели. Поддержка SGLang 0.5.22 уже доступна для разработчиков.
Бенчмарки
| Бенчмарк | Clef | Clef-omni | Clef-flash | Jev |
|---|---|---|---|---|
| CLINC150+OOS (macro-F1) | 97.43% | 97.7% | 66.77% | 89.27% |
| BANKING77 (macro-F1) | 94.2% | 94.8% | 90.93% | 79.74% |
| When2Call (accuracy) | 72.37% | 63.3% | 65.58% | 80.97% |
| GPQA Diamond | — | 47.4% | — | 78.3% |
| Home appliances case-exact accuracy | — | 69.3% | 97.73% | — |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗