Cloudflare Clef-Omni: Мультимодальное принятие решений за один вызов

В мире искусственного интеллекта, где доминируют генеративные модели, создающие текст или изображения, существует другой, не менее важный класс систем — модели принятия решений (decision models). В отличие от LLM, которые генерируют свободный текст, эти модели возвращают структурированные ответы с вероятностями, что критически важно для автоматизации бизнес-процессов. 9 октября 2026 года компания Cloudflare представила новый флагманский продукт в этой нише — Clef-omni. Это первая открытая модель, способная обрабатывать четыре модальности одновременно: текст, изображения, аудио и видео, делая это за один вызов API.

Запуск Clef-omni стал частью более широкой стратегии Cloudflare по оптимизации инфраструктуры AI. Параллельно с релизом новой модели компания значительно ускорила работу своей базовой модели Clef и снизила цены на Clef-flash, сделав их дешевле предложений конкурентов, таких как Jev от TypeSafe AI. Для разработчиков агентов (agentic AI) это означает радикальное упрощение пайплайнов: больше не нужно запускать отдельные сервисы для транскрипции аудио или создания описаний изображений перед отправкой данных в LLM.

В этой статье мы подробно разберем, как работает Clef-omni, какова ее архитектура, как она справляется с бенчмарками и что это значит для разработчиков, работающих с мультимодальными данными. Мы также сравним ее с предыдущими версиями Clef и альтернативами от TypeSafe AI, чтобы вы могли принять взвешенное решение о выборе модели для своих проектов.

01Что такое модель принятия решений (Decision Model)?

Прежде чем углубляться в технические детали Clef-omni, важно понять фундаментальное отличие «моделей принятия решений» от традиционных больших языковых моделей (LLM). Обычная LLM, такая как GPT-4 или Claude, генерирует текст токен за токеном. Это отлично подходит для творческих задач, но часто избыточно и дорого для задач классификации, маршрутизации или извлечения структурированных данных.

Модель принятия решений, такая как Clef, работает иначе. Вы отправляете ей входные данные (состояние) и схему вопросов (schema). Модель не генерирует текст; вместо этого она возвращает типизированный ответ с вероятностью для каждого допустимого варианта. Например, если вы спрашиваете: «Является ли это сообщение спамом?», модель вернет не ответ «Да, это спам», а структуру данных, указывающую вероятность того, что сообщение является спамом, и вероятность того, что оно не является спамом.

Clef поддерживает три основных типа вопросов:

• bool: бинарный выбор (да/нет, истина/ложь).
• choice: выбор одного или нескольких вариантов из списка.
• score: присвоение числовой оценки (например, от 1 до 5).

Этот формат API совместим с экосистемой TypeSafe AI (Jev и SystemOne), что обеспечивает гибкость при выборе бэкенда. Такой подход обеспечивает высокую скорость, низкую стоимость и детерминированность результатов, что делает его идеальным для интеграции в агентов AI, которые должны принимать решения на основе сложных входных данных.

02Архитектура Clef-omni: Как это работает?

Clef-omni построена на базе модели Qwen3-Omni-30B-A3B-Instruct. Это модель с архитектурой Mixture of Experts (MoE), которая имеет 30 миллиардов параметров в общей сложности, но активирует только 3 миллиарда для каждого токена. Это обеспечивает баланс между мощностью и эффективностью.

Ключевая инновация Clef-omni заключается в том, как она обрабатывает мультимодальные данные. Cloudflare сохранила «бэкбон» (основную часть) модели для понимания контента, но убрала путь вывода текста в речь (text-to-speech), который был в базовой модели Qwen3-Omni. Вместо этого была добавлена небольшая головка схемы (schema head), которая оценивает варианты ответов.

Процесс обработки выглядит следующим образом:

1. Единый проход префиллинга (Prefill): Модель выполняет один проход по всем входным данным. Видеокадры и аудиодорожки синхронизируются и объединяются в единую последовательность для совместной обработки. Это позволяет модели «видеть» и «слышать» контекст одновременно.
2. Сбор доказательств: Каждый допустимый вариант ответа собирает доказательства из входных данных. Например, если вопрос касается тональности видео, модель анализирует как визуальные признаки (мимику), так и аудиальные (интонацию).
3. Кросс-аттеншн (Cross-attention): Векторы полей взаимодействуют друг с другом по всему контексту, вычисляя оценки уверенности (confidence scores).

Для обучения Cloudflare заморозила базовую модель Qwen3 и обучила адаптеры LoRA. Процесс обучения сочетал кросс-энтропию с сглаживанием меток (label-smoothed cross-entropy) и калибровку по критерию Брайера (Brier score calibration), что помогает моделям лучше оценивать свою уверенность в предсказаниях.

03Поддерживаемые форматы и ограничения

Одной из главных сильных сторон Clef-omni является ее способность принимать разнообразные типы данных в одном запросе. Согласно документации разработчиков Cloudflare, поддерживаются следующие форматы:

• Изображения: до 4 файлов (PNG, JPEG, WebP). Каждое изображение может быть обработано от 64 до 1024 токенов. Это позволяет анализировать скриншоты, документы или визуальные объекты.
• Аудио: до 4 клипов (WAV, MP3). Максимальная длительность — 300 секунд (5 минут) на клип. Примерно 780 токенов приходится на минуту аудио. Это критически важно для анализа голосовых сообщений или подкастов.
• Видео: до 2 клипов (MP4, WebM). Максимальная длительность — 60 секунд на клип. Видео семплируется с частотой 2 кадра в секунду, что оптимизирует использование ресурсов без потери ключевого контекста.
• Вопросы: от 1 до 64 вопросов в одном запросе. Это позволяет проводить комплексный анализ, например, одновременно определяя намерение пользователя, тональность и наличие конкретных ключевых слов.

Контекстное окно для Workers AI составляет 64 000 токенов. Это значительный объем, позволяющий обрабатывать длинные документы или длительные аудиозаписи в сочетании с визуальным контекстом.

04Производительность и бенчмарки

Cloudflare провела сравнительный анализ Clef-omni с предыдущими моделями Clef, Clef-flash и конкурентом Jev от TypeSafe AI. Результаты показывают четкое разделение специализаций: Clef-omni доминирует в задачах классификации намерений, но уступает в сложных логических рассуждениях.

Сильные стороны: Классификация намерений

В задачах, где нужно определить, что хочет пользователь, Clef-omni показывает выдающиеся результаты:

• CLINC150+OOS: 97.7 macro-F1. Это один из лучших результатов среди всех протестированных моделей (Clef, Clef-flash, Jev).
• BANKING77: 94.8 macro-F1. Модель отлично справляется с классификацией запросов в банковской сфере.
• Amazon ESCI: 57.8. Модель хорошо определяет релевантность товаров (Exact, Substitute, Complement, Irrelevant).

Эти результаты делают Clef-omni идеальным выбором для чат-ботов, голосовых помощников и систем маршрутизации обращений, где важно быстро и точно понять намерение пользователя, основываясь на тексте, голосе или скриншоте.

Слабые стороны: Сложные рассуждения и рабочие процессы

Однако Clef-omni не является универсальным решением. В задачах, требующих глубокого логического анализа или точного следования сложным инструкциям, она уступает текстово-ориентированной модели Clef:

• POP909-CL: Точность всего 2.6. Это указывает на проблемы с пониманием специфических структурных данных.
• GPQA Diamond: Точность 47.4 против 78.3 у Jev. Это серьезный разрыв в задачах на научные и технические рассуждения.
• Home appliances: Точность 69.3 против 97.73 у Clef-flash. Модель struggles с точным извлечением данных из сложных инструкций.

Также в тестах TypeSafe AI workflow evals Clef-omni показала результаты ниже, чем базовая Clef, во всех пяти измеренных метриках. Это подтверждает, что добавление мультимодальности немного снижает точность в чисто текстовых логических задачах.

05Сравнительная таблица: Clef-omni vs Clef vs Clef-flash vs Jev

Ниже приведена сводная таблица, сравнивающая ключевые характеристики моделей. Обратите внимание на различия в стоимости, архитектуре и поддерживаемых входных данных.

Примечание: Оценки бенчмарков взяты из объявления Cloudflare и не были независимо проверены.

06Оптимизация скорости: Как Cloudflare ускорила Clef

Параллельно с запуском Clef-omni, Cloudflare провела значительную оптимизацию своей хостинговой инфраструктуры для базовой модели Clef. Компания перешла на движок SGLang и настроила стек обслуживания (serving stack). Важно отметить, что новые веса модели не выпускались; улучшение достигнуто исключительно за счет оптимизации кода.

Результаты оптимизации впечатляют:

• При длине запроса около 800 токенов медианная задержка снизилась с 262 мс до 152 мс (ускорение в 1.7 раза).
• При длине запроса около 3,400 токенов задержка упала с 616 мс до 305 мс (ускорение в 2.0 раза).
• При длине запроса около 16,000 токенов задержка снизилась с 2,721 мс до 1,635 мс.

Поддержка Clef в SGLang версии 0.5.22 уже доступна. Это означает, что даже без использования новой мультимодальной модели, разработчики могут получить значительный прирост скорости и снижение затрат, просто обновив версию движка.

07Ценообразование и доступность

Cloudflare продолжает политику доступности AI-инфраструктуры. Лицензия Clef-omni — Apache-2.0, что позволяет свободно использовать, модифицировать и распространять модель, в том числе в коммерческих продуктах.

Стоимость хостинга Clef-omni через Workers AI составляет $0.15 за миллион токенов. Хотя это дороже, чем Clef-flash ($0.038) или Jev ($0.042), цена оправдана сложностью обработки четырех модальностей одновременно. Для сравнения, традиционный пайплайн, где вы используете отдельную модель для транскрипции аудио, другую для распознавания объектов на видео и третью для анализа текста, обойдется значительно дороже и будет работать медленнее.

Для тех, кто предпочитает самохостинг, Clef-omni доступна для загрузки. Как упоминалось ранее, для работы в формате bfloat16 потребуется GPU с объемом памяти около 64 ГБ (например, NVIDIA H200 или A100). Это делает самохостинг экономически целесообразным только для крупных компаний с высокой нагрузкой.

08Что это значит на практике

Запуск Clef-omni знаменует собой важный шаг в эволюции AI-агентов. Раньше создание мультимодального агента требовало сборки конструктора из разных моделей: Whisper для аудио, CLIP для изображений и LLM для логики. Это создавало задержки, увеличивало стоимость и усложняло отладку.

С Clef-omni разработчик может отправить один запрос, содержащий скриншот ошибки, запись голоса пользователя, описывающего проблему, и текст из журнала событий. Модель вернет структурированный ответ с вероятностями, например: «Класс ошибки: Network Timeout (95%), Тональность: Раздражение (80%), Требуемое действие: Перезагрузить роутер (90%)».

Для бизнеса это означает:

1. Снижение операционных расходов: Меньше вызовов API, меньше токенов, быстрее обработка.
2. Улучшение пользовательского опыта: Мгновенная реакция на сложные запросы, включающие голос и визуальные элементы.
3. Упрощение архитектуры: Одна модель вместо десятка микросервисов.

Однако важно помнить о ограничениях. Если ваша задача требует глубокого логического вывода или работы с очень сложными текстовыми инструкциями, базовая Clef или Jev могут быть более точными. Clef-omni — это инструмент для мультимодальной классификации и маршрутизации, а не для сложного рассуждения.

Cloudflare продолжает укреплять свои позиции в области AI-инфраструктуры, предлагая не только модели, но и оптимизированную среду для их запуска. Сочетание открытой лицензии, высокой скорости и мультимодальности делает Clef-omni одним из самых интересных инструментов для разработчиков AI в 2026 году.

09Заключение

Clef-omni от Cloudflare — это не просто еще одна модель. Это демонстрация того, как можно эффективно объединять различные типы данных для принятия решений. Несмотря на некоторые уступки в точности логических задач по сравнению с текстовыми моделями, ее способность обрабатывать текст, аудио, видео и изображения в одном вызове делает ее незаменимой для современных AI-агентов.

Разработчикам стоит протестировать Clef-omni в своих пайплайнах, особенно если они работают с голосовыми интерфейсами, видеонаблюдением или сложными пользовательскими запросами. А оптимизация базовой Clef через SGLang делает всю линейку продуктов Cloudflare еще более привлекательной для внедрения в продакшн.

Следите за обновлениями Cloudflare и TypeSafe AI, так как конкуренция в области decision models приводит к быстрому прогрессу в скорости, точности и доступности технологий AI.

Источник: MarkTechPost ↗