AIKraft Agents
ВойтиТарифы и покупка

openvinotoolkit/openvino

OpenVINO — это набор инструментов с открытым исходным кодом для оптимизации и развертывания AI inference

Инференс⭐ 11 116C++последний релиз: 2026.4.1
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

OpenVINO — это набор инструментов с открытым исходным кодом для оптимизации и развертывания моделей глубокого обучения (deep learning) на различных аппаратных платформах.

Зачем нужен

Инструмент ускоряет инференс (выполнение вычислений) моделей, преобразуя их из популярных фреймворков (PyTorch, TensorFlow, ONNX и др.) в формат OpenVINO. Это позволяет эффективно запускать AI-задачи на CPU, GPU и NPU, снижая требования к ресурсам оборудования.

Что можно реализовать

  • Оптимизация и запуск моделей компьютерного зрения, таких как YOLOv11.
  • Развертывание генеративного AI, включая LLM-чатботы и текстовые модели (Text-to-Image).
  • Обработка естественного языка и распознавание речи с использованием моделей вроде Whisper.
  • Создание мультимодальных ассистентов (например, на базе LLaVa).
  • Инференс моделей на устройствах с ограниченными ресурсами (edge devices) и в облаке.

Ключевые возможности

  • Поддержка широкого спектра устройств: CPU (x86, ARM), GPU (Intel integrated & discrete) и AI-акселераторов (Intel NPU).
  • Прямая интеграция с Hugging Face Hub через Optimum Intel для загрузки моделей transformers и diffusers.
  • Простой API для конвертации моделей из PyTorch и TensorFlow в формат OpenVINO без необходимости использования оригинальных фреймворков при инференсе.
  • Наличие готовых примеров и ноутбуков для быстрого старта (Quickstart, LLM, Computer Vision).
  • Активное сообщество и обширная документация с туториалами.

👤 Кому подойдёт: Разработчики AI, инженеры по машинному обучению (MLOps), исследователи, работающие с оптимизацией инференса, и компании, внедряющие AI на разнородном оборудовании (от edge до cloud).

Релизы

2026.4.1patch
🕐 1 мес назад · релиз на GitHub ↗

Исправлены критические ошибки GPU/NPU, улучшена поддержка GQA и MatMulNBits для LLM, усилена безопасность.

  • Fixed: Устранены сбои NPU на Intel Core Ultra Series 3 и加固лена защита от поддельных blob-файлов.
  • Fixed: Исправлены ошибки вычислений GPU при динамических формах, транспонировании и GRU-моделях.
  • Added: Расширена поддержка GQA для LLM: добавлены causal-attention и partial rotary-embedding.
  • Added: MatMulNBits получил поддержку bfloat16 и улучшенную раскладку весов для квантованных моделей.
  • Fixed: Исправлена корректность sliding-window KV-cache и добавлена защита от некорректных входных данных.
2026.4.0majorbreaking
🕐 1 мес назад · релиз на GitHub ↗

OpenVINO 2026.4.0: расширена поддержка GenAI-моделей, добавлено MTP-декодирование и профилирование NPU, удалена устаревшая функциональность.

  • Added: Добавлена поддержка множества новых моделей GenAI для CPU, GPU и NPU, включая Gemma-3n, Qwen3-VL-4B, FLUX.2-Klein 4B и Kokoro-82M.
  • Added: Внедрено многопоточное предсказание (MTP) для Gemma 4 и Qwen3.5/3.6, а также Tree Drafting для EAGLE-3, что повышает пропускную способность.
  • Added: Расширены возможности профилирования: теперь Intel VTune Profiler поддерживает анализ выполнения на NPU наряду с CPU и GPU.
  • Added: Node.js получил поддержку ASRPipeline для распознавания речи, а Model Server — управление моделями в режиме ожидания.
  • Breaking: Удален устаревший неймспейс openvino.runtime, тип Type.undefined, поддержка Debian 10, SSE и TensorFlow Serving API.
  • Deprecated: Методы NNCF для TensorFlow и экспериментальные функции (NAS, Structural Pruning) удалены; требуется использовать PyTorch аналоги.
2026.3.1major
🕐 2 мес назад · релиз на GitHub ↗

Добавлена поддержка Muse-Glimmer-30B и Qwen3.8-27B, исправлены ошибки точности Gemma 4 и lfm2 на NPU, улучшена работа с Xeon 6+.

  • Added: Добавлена функциональная поддержка модели Muse-Glimmer-30B с оптимизацией int4.
  • Added: Добавлена функциональная поддержка модели Qwen3.8-27B с оптимизацией int4.
  • Fixed: Исправлена проблема с точностью Gemma 4 26B A4B при длинных входных промптах.
  • Fixed: Исправлена проблема с точностью Gemma 4 31B при наличии изображения во входных данных.
  • Fixed: Устранена ошибка точности для моделей lfm2-1.2b и lfm2.5-1.2b-instruct на устройстве NPU.
  • Added: Добавлена поддержка свойства ENABLE_CPU_PINNING для двухсокетных процессоров Intel Xeon 6+ на Windows.
2026.3.0majorbreaking
🕐 3 мес назад · релиз на GitHub ↗

OpenVINO 2026.3: поддержка новых GenAI-моделей, EAGLE-3, MoE, Xeon 6+ и отключение устаревших API.

  • Added: Добавлена поддержка новых моделей: SmolLM3, LFM2, Qwen3, FLUX.2-klein, YOLO26 и других.
  • Added: Расширен EAGLE-3 для LLM/VLM, внедрен GroupedMatMul для MoE и lazy weight loading.
  • Added: Поддержка процессоров Intel Xeon 6+, отложенной загрузки MoE на диск и NNCF FP8 для ONNX.
  • Added: Model Server: унификация REST API, поддержка аудио (Kokoro, Qwen3-ASR) и стабильность LLM.
  • Breaking: Удалены устаревшие API: namespace openvino.runtime, поддержка Debian 10, SSE, TFS API и методы NNCF.
2026.2.1patch
🕐 4 мес назад · релиз на GitHub ↗

Исправлена ошибка компиляции YOLO26 на GPU и устранено нарушение приоритетов вывода в плагине NPU.

  • Fixed: Исправлена ошибка, из-за которой модель YOLO26 не компилировалась для GPU.
  • Fixed: Устранена проблема в плагине NPU, связанная с общей очередью команд L0 и нарушением приоритетов приложения.