Colima 0.10+: Запуск AI-моделей на Mac через GPU и Krunkit

Обновление Colima до версии 0.10.0 добавило нативную поддержку GPU-ускоренных контейнеров для AI-задач на Apple Silicon. Теперь разработчики могут запускать LLM локально с минимальной настройкой, используя новые бэкенды Docker Model Runner и Ramalama

AIРедакция AIKraftавто-обзор источников

2 мин чтения·источник: Github

Революция локального AI на macOS

Проект Colima, позволяющий запускать контейнерные среды (Docker, Containerd, Incus) на macOS и Linux с минимальными усилиями, выпустил значимое обновление версии 0.10.0. Главная новинка — поддержка GPU-ускоренных контейнеров для AI-нагрузок. Это стало возможным благодаря интеграции с krunkit (тип виртуальной машины), что позволяет использовать графические процессоры Apple Silicon (M1/M2/M3) для инференса моделей прямо в локальном окружении.

Для работы этой функции требуются: macOS 13+ (Ventura или новее), чип Apple Silicon и предварительно установленный krunkit. Команда запуска выглядит так:

colima start --runtime docker --vm-type krunkit

Два бэкенда для работы с моделями

Colima теперь предлагает два способа запуска AI-моделей через команду colima model run. Выбор бэкенда зависит от предпочтений в реестрах и совместимости:

Docker Model Runner (по умолчанию): Поддерживает Docker AI Registry и HuggingFace. Позволяет запускать модели просто по имени (например, gemma3 или llama3.2).
Ramalama: Альтернативный бэкенд, поддерживающий реестры HuggingFace и Ollama. Требует явного указания флага --runner ramalama.

Сравнение возможностей AI-запуска

Ниже приведена таблица, демонстриющая различия в поддержке реестров и синтаксисе команд для новых возможностей Colima 0.10.0:

Бэкенд	Поддерживаемые реестры	Пример команды запуска	Требования
Docker Model Runner (Default)	Docker AI Registry, HuggingFace	`colima model run gemma3`	Colima 0.10.0+, krunkit
Ramalama	HuggingFace, Ollama	`colima model run ollama://gemma3 --runner ramalama`	Colima 0.10.0+, krunkit, Ramalama
Incus (Runtime)	Контейнеры и VM (не AI)	`incus launch images:alpine/edge`	Colima 0.7.0+, Apple Silicon M3+

Гибкая настройка ресурсов VM

По умолчанию Colima создает виртуальную машину с конфигурацией: 2 CPU, 2 GiB RAM, 100 GiB Storage. Однако разработчики могут легко кастомизировать эти параметры как при старте, так и для уже существующих инстансов. Например, для создания VM с эмуляцией Rosetta 2 (требуется macOS 13+ на Apple Silicon) используется флаг --vz-rosetta.

Пример изменения ресурсов для AI-задач, требующих больше памяти:

colima start --cpu 4 --memory 8 — изменение существующей VM.
colima start --cpu 1 --memory 2 --disk 10 — создание новой VM с ограниченными ресурсами.

Почему это важно?

Ранее запуск локальных LLM на Mac требовал сложных настроек Docker, проброса GPU и ручного управления образами. Colima абстрагирует эту сложность, предоставляя единый CLI-интерфейс. Интеграция с krunkit открывает путь к высокопроизводительному локальному AI без необходимости использования облачных сервисов или тяжелых фреймворков вроде Ollama в изолированном режиме. Это делает Colima ключевым инструментом для разработчиков, работающих с AI-инференсом в среде macOS.

Источник: Github ↗