openvinotoolkit/openvino

OpenVINO — это набор инструментов с открытым исходным кодом для оптимизации и развертывания AI inference

Инференс⭐ 10 884C++последний релиз: 2026.4.0

Что это за инструмент

OpenVINO — это набор инструментов с открытым исходным кодом для оптимизации и развертывания моделей глубокого обучения (deep learning) на различных аппаратных платформах.

Зачем нужен

Инструмент ускоряет инференс (выполнение вычислений) моделей, преобразуя их из популярных фреймворков (PyTorch, TensorFlow, ONNX и др.) в формат OpenVINO. Это позволяет эффективно запускать AI-задачи на CPU, GPU и NPU, снижая требования к ресурсам оборудования.

Что можно реализовать

Оптимизация и запуск моделей компьютерного зрения, таких как YOLOv11.
Развертывание генеративного AI, включая LLM-чатботы и текстовые модели (Text-to-Image).
Обработка естественного языка и распознавание речи с использованием моделей вроде Whisper.
Создание мультимодальных ассистентов (например, на базе LLaVa).
Инференс моделей на устройствах с ограниченными ресурсами (edge devices) и в облаке.

Ключевые возможности

Поддержка широкого спектра устройств: CPU (x86, ARM), GPU (Intel integrated & discrete) и AI-акселераторов (Intel NPU).
Прямая интеграция с Hugging Face Hub через Optimum Intel для загрузки моделей transformers и diffusers.
Простой API для конвертации моделей из PyTorch и TensorFlow в формат OpenVINO без необходимости использования оригинальных фреймворков при инференсе.
Наличие готовых примеров и ноутбуков для быстрого старта (Quickstart, LLM, Computer Vision).
Активное сообщество и обширная документация с туториалами.

👤 Кому подойдёт: Разработчики AI, инженеры по машинному обучению (MLOps), исследователи, работающие с оптимизацией инференса, и компании, внедряющие AI на разнородном оборудовании (от edge до cloud).

Релизы

2026.4.0majorbreaking

🕐 4 дн назад · релиз на GitHub ↗

OpenVINO 2026.4.0: расширена поддержка GenAI-моделей, добавлено MTP-декодирование и профилирование NPU, удалена устаревшая функциональность.

Added: Добавлена поддержка множества новых моделей GenAI для CPU, GPU и NPU, включая Gemma-3n, Qwen3-VL-4B, FLUX.2-Klein 4B и Kokoro-82M.
Added: Внедрено многопоточное предсказание (MTP) для Gemma 4 и Qwen3.5/3.6, а также Tree Drafting для EAGLE-3, что повышает пропускную способность.
Added: Расширены возможности профилирования: теперь Intel VTune Profiler поддерживает анализ выполнения на NPU наряду с CPU и GPU.
Added: Node.js получил поддержку ASRPipeline для распознавания речи, а Model Server — управление моделями в режиме ожидания.
Breaking: Удален устаревший неймспейс openvino.runtime, тип Type.undefined, поддержка Debian 10, SSE и TensorFlow Serving API.
Deprecated: Методы NNCF для TensorFlow и экспериментальные функции (NAS, Structural Pruning) удалены; требуется использовать PyTorch аналоги.

2026.3.1major

🕐 26 дн назад · релиз на GitHub ↗

Добавлена поддержка Muse-Glimmer-30B и Qwen3.8-27B, исправлены ошибки точности Gemma 4 и lfm2 на NPU, улучшена работа с Xeon 6+.

Added: Добавлена функциональная поддержка модели Muse-Glimmer-30B с оптимизацией int4.
Added: Добавлена функциональная поддержка модели Qwen3.8-27B с оптимизацией int4.
Fixed: Исправлена проблема с точностью Gemma 4 26B A4B при длинных входных промптах.
Fixed: Исправлена проблема с точностью Gemma 4 31B при наличии изображения во входных данных.
Fixed: Устранена ошибка точности для моделей lfm2-1.2b и lfm2.5-1.2b-instruct на устройстве NPU.
Added: Добавлена поддержка свойства ENABLE_CPU_PINNING для двухсокетных процессоров Intel Xeon 6+ на Windows.

2026.3.0majorbreaking

🕐 1 мес назад · релиз на GitHub ↗

OpenVINO 2026.3: поддержка новых GenAI-моделей, EAGLE-3, MoE, Xeon 6+ и отключение устаревших API.

Added: Добавлена поддержка новых моделей: SmolLM3, LFM2, Qwen3, FLUX.2-klein, YOLO26 и других.
Added: Расширен EAGLE-3 для LLM/VLM, внедрен GroupedMatMul для MoE и lazy weight loading.
Added: Поддержка процессоров Intel Xeon 6+, отложенной загрузки MoE на диск и NNCF FP8 для ONNX.
Added: Model Server: унификация REST API, поддержка аудио (Kokoro, Qwen3-ASR) и стабильность LLM.
Breaking: Удалены устаревшие API: namespace openvino.runtime, поддержка Debian 10, SSE, TFS API и методы NNCF.

2026.2.1patch

🕐 3 мес назад · релиз на GitHub ↗

Исправлена ошибка компиляции YOLO26 на GPU и устранено нарушение приоритетов вывода в плагине NPU.

Fixed: Исправлена ошибка, из-за которой модель YOLO26 не компилировалась для GPU.
Fixed: Устранена проблема в плагине NPU, связанная с общей очередью команд L0 и нарушением приоритетов приложения.