Языковые модели (LLM) захватили воображение миллионов пользователей, но они — лишь верхушка айсберга в мире машинного обучения. Мы привыкли просить ИИ писать тексты, переводить документы или генерировать код. Однако в реальных бизнес-сценариях, таких как обработка клиентских обращений, задача часто сложнее. Сначала нужно понять, что именно сказал клиент (распознавание речи), а затем принять решение: куда направить запрос, как оценить уровень его разочарования или определить срочность проблемы (принятие решений).
Передавать эти задачи напрямую в большую языковую модель — дорого, медленно и неэффективно. Для каждой из этих задач существуют специализированные модели, которые работают быстрее, точнее и требуют меньше вычислительных ресурсов. Команда Hugging Face, известная своими инструментами для разработчиков, представила два новых пакета для экосистемы Swift: AnySpeechRecognizer и AnyDecisionModel. Эти инструменты позволяют запускать открытые модели локально на устройствах Apple, сохраняя при этом знакомый и удобный API.
01Почему локальный запуск на Apple Silicon — это прорыв?
До появления таких библиотек, как AnyLanguageModel, разработчики на платформе Apple часто были ограничены проприетарными API Apple, такими как Speech framework. Хотя эти API надежны, они не дают свободы выбора моделей. Вы не можете просто заменить движок распознавания речи на более точный или более быстрый, если он не поддерживается Apple напрямую.
Новые пакеты AnySpeechRecognizer и AnyDecisionModel ломают этот монолит. Они предлагают унифицированный интерфейс Swift, который абстрагирует сложность работы с разными бэкендами. Это означает, что вы можете написать код один раз, а затем переключаться между моделями NVIDIA, Alibaba, Moondream или собственными решениями Apple, меняя всего одну строку импорта или конфигурации. Кроме того, запуск моделей локально на чипах Apple Silicon (M1, M2, M3, M4) обеспечивает конфиденциальность данных (они не покидают устройство) и работу без интернета, что критически важно для многих корпоративных приложений.
02AnySpeechRecognizer: Гибкость распознавания речи
Apple представила новый API для работы со звуком — SpeechAnalyzer в macOS 26 и iOS 26. Он включает модули для транскрибации и обнаружения речи. AnySpeechRecognizer полностью повторяет эту архитектуру, но добавляет возможность выбора движка. По умолчанию он использует Apple Speech, но вы можете легко переключиться на сторонние модели.
Паракет (Parakeet) от NVIDIA
Центральной фигурой здесь является модель Parakeet TDT 0.6B v3 от NVIDIA. Это полиглот, способный распознавать 25 европейских языков. Его ключевое преимущество — автоматическое определение языка, что избавляет разработчика от необходимости явно указывать локаль. В пакете доступны три вариации:
- Parakeet v3: Базовая модель NVIDIA.
- Parakeet Ultra: Пост-обученная версия от Moondream, показавшая лучшую точность в тестах.
- Parakeet Unified EN: Модель, оптимизированная только для английского языка.
Все эти модели работают на собственном рантайме Core ML пакета. Они поддерживают «летучие» результаты (volatile results), то есть вы получаете промежуточные варианты транскрипции в реальном времени, а также временные метки для каждого слова и оценку уверенности. Это критически важно для приложений диктовки или субтитров.
Qwen3-ASR от Alibaba
Если вам нужен охват азиатских языков, обратите внимание на Qwen3-ASR. Эта модель от Alibaba поддерживает 30 языков и 22 китайских диалекта, включая мандаринский, кантонский, японский и корейский языки, которые Parakeet не покрывает. Она доступна в размерах 0.6B и 1.7B параметров.
Важное отличие Qwen3-ASR: она выдает один финальный результат для каждого сегмента аудио (до 40 секунд). В отличие от Parakeet, она не поддерживает «летучие» результаты, временные метки слов или оценку уверенности на уровне слов. Кроме того, Qwen3-ASR работает на GPU и значительно медленнее Parakeet, что делает её более подходящей для обработки записанных файлов, а не для потоковой передачи в реальном времени.
Диаризация говорящих (Speaker Diarization)
Одной из самых больших проблем при транскрибации разговоров является определение того, кто именно говорит. Apple Speech framework не имеет встроенного модуля для этого. AnySpeechRecognizer решает эту проблему, добавляя модуль SpeakerDiarizer. Он использует модель NVIDIA Streaming Sortformer (версии v2 или v2.1), которая работает параллельно с транскрибером.
Диаризатор может отслеживать до четырех говорящих одновременно, даже если они перебивают друг друга. Результаты собираются в SpeakerTimeline, где каждое слово привязывается к конкретному спикеру. Это позволяет генерировать структурированные стенограммы вида:
Спикер 1: Здравствуйте, у меня проблема с оплатой.
Спикер 2: Добрый день, давайте разберемся.
Это функциональность, которая выходит далеко за рамки возможностей стандартного API Apple на данный момент.
03AnyDecisionModel: Структурированные решения без генерации текста
Второй пакет, AnyDecisionModel, решает совершенно другую задачу. Часто приложениям нужно не генерировать креативный текст, а принимать бинарные или категориальные решения: «Срочный ли это запрос?», «К какой команде отнести тикет?», «Насколько зол клиент?». Традиционный подход — отправить промпт в LLM и парсить ответ. Это неэффективно и не дает вероятностей.
AnyDecisionModel извлекает ответы непосредственно из вероятностей модели, не генерируя текст. Это обеспечивает типобезопасные результаты и доступ к метрикам уверенности.
Как это работает в коде
API спроектировано вокруг паттерна «Модель-Сессия». Вы создаете сессию с контекстом (текстом или JSON), а затем задаете вопросы. Модель возвращает не просто строку, а структурированный объект с вероятностями для каждого варианта ответа.
import AnyDecisionModel
enum Department: String, Choosable {
case billing, technical, sales
}
let ticket = "Мне дважды списали деньги за заказ, и приложение выкидывает меня при попытке запросить возврат."
let model = MLXDecisionModel(modelID: "mlx-community/Qwen3-4B-Instruct-2507-4bit")
let session = DecisionSession(model: model, state: .text(ticket))
// Проверка на срочность (да/нет)
let urgent = try await session.probability(of: "Does this convey urgency?")
// Выбор команды
let team = try await session.choice("Which team?", from: Department.self)
// Оценка эмоций (шкала)
let anger = try await session.score("How frustrated?", levels: [
"Calm", "Frustrated", "Very angry"
])
// team.value — это тип Department, готовый к использованию в switch
// team.probabilities — словарь вероятностей для каждого отделаРезультат team содержит выбранный случай, вероятности для всех вариантов и значение уверенности. Это позволяет вам не только получить ответ, но и понять, насколько модель «уверена» в своем решении. Если вероятность низкая, вы можете перенаправить запрос человеку.
Бэкенды и модели
AnyDecisionModel поддерживает шесть различных бэкендов:
- MLX: Запуск небольших языковых моделей на Apple Silicon с использованием библиотеки mlx-swift-lm. Идеально для локального запуска.
- MLX Decision Heads: Использование моделей с обученными «головами принятия решений», таких как Clef. Модель Clef-Flash (9B параметров) обучена специально для вывода вероятностей по схеме вопросов за один проход. Это быстрее и точнее, чем использование next-token probabilities обычных LLM.
- Core AI: Аналогично MLX, но использует нативный фреймворк Apple Core AI (доступен в macOS 26 и iOS 26).
- llama.cpp: Работа с локальными моделями в формате GGUF через llama.swift.
- Jev: Вызов API TypeSafe Jev через System One API. Позволяет использовать облачные модели с гарантированной типобезопасностью.
- Ollama: Подключение к локальному серверу Ollama или облачной версии Ollama.
04Практический пример: Приложение Emoji Magnet
Чтобы продемонстрировать мощь AnyDecisionModel, создатели представили приложение Emoji Magnet. Это macOS-приложение, где пользователь вводит фразу (например, «вещи, которые носят»), и эмодзи, соответствующие описанию, «выскакивают» из кучи. При уточнении («вещи для зимы») лишние эмодзи исчезают.
В приложении нет жестко заданных правил. Для каждого из 343 эмодзи модель задает вопрос: «Соответствует ли это эмодзи описанию?». Если используется облачный бэкенд Jev, все 343 вопроса обрабатываются за один запрос, и результат появляется за полсекунды. Если используется локальная модель Qwen3 4B через MLX, приложение использует кэширование префиксов: контекст (фраза) вычисляется один раз, а затем 16 эмодзи обрабатываются за один проход. На M4 Max это занимает около 0.45 секунды на группу. Полный перебор всех 343 эмодзи занимает около 10 секунд, но результаты появляются по мере готовности, обеспечивая плавный пользовательский опыт.
05Точность и производительность: Что говорят цифры?
Команда провела тестирование на Mac Studio M4 Max с macOS 27.0.1. Вот результаты Word Error Rate (WER, ошибка распознавания слов) на датасете LibriSpeech:
| Транскрибер | test-clean | test-other |
|---|---|---|
| Parakeet v3 (файл) | 1.55% | 2.78% |
| Parakeet v3 (live) | 4.73% | 4.29% |
| Parakeet Ultra (файл) | 1.66% | 2.55% |
| Apple Transcriber (файл) | 2.12% | 3.97% |
Parakeet показывает отличные результаты, особенно в режиме файла. Однако важно отметить, что в сложных условиях, таких как запись встреч AMI, где люди перебивают друг друга, ошибка распознавания возрастает более чем до 23% для всех движков. Это напоминание о том, что текущие технологии все еще имеют ограничения в шумных или многоголосых средах.
По скорости: Parakeet транскрибирует час аудио из файла за 20-40 секунд, а в реальном времени — за 1.5-2.5 минуты. Потребление памяти составляет около 100 МБ после компиляции модели Core ML. Qwen3-ASR значительно медленнее и требует нескольких гигабайт памяти.
rotationDebiasing для устранения смещения порядка вариантов ответа, усредняя вероятности при разных перестановках списка.06Что это значит на практике
Появление AnySpeechRecognizer и AnyDecisionModel знаменует собой переход от «генерации текста» к «структурированному машинному обучению» в приложениях Apple. Разработчики больше не обязаны полагаться на черные ящики LLM для простых задач классификации или распознавания. Они получают:
- Контроль: Возможность выбирать модель под задачу (Parakeet для Европы, Qwen для Азии, Clef для сложных решений).
- Экономию: Локальный запуск снижает затраты на API-вызовы и задержки сети.
- Конфиденциальность: Данные остаются на устройстве пользователя.
- Точность: Специализированные модели часто превосходят универсальные LLM в узких задачах.
Для разработчиков это означает необходимость обновления до Swift 6.2+ и macOS 26/iOS 26+. Однако награда стоит усилий: вы получаете доступ к передовым открытым моделям через простой и знакомый Swift API. Это открывает путь к созданию более умных, быстрых и приватных приложений, которые работают автономно и эффективно.
Оба пакета доступны на Hugging Face Hub. Модели Core ML уже конвертированы и опубликованы, что позволяет начать работу практически сразу. Если вы разрабатываете приложения для Apple платформ, стоит внимательно присмотреться к этим инструментам — они могут стать стандартом для локального AI в ближайшие годы.
Источник: Hugging Face ↗