В мире генеративного искусственного интеллекта постоянный поиск баланса между мощностью модели и вычислительными ресурсами является ключевой задачей. NVIDIA Nemotron Labs представила решение, которое переосмысливает этот подход: модель Dory 1.0 4B. Это не просто еще одна маленькая языковая модель (Small Language Model, SLM), а архитектура, использующая уникальную рекуррентную структуру. В отличие от традиционных трансформеров, где каждый слой обрабатывает токен один раз, в Dory средние слои образуют общий блок, который может применяться к каждому токену несколько раз. Это позволяет менять вычислительный бюджет модели «на лету», не переобучая её и не добавляя новых параметров.
В этой статье мы подробно разберем, как работает эта архитектура, как правильно собрать и запустить её с помощью оптимизированной ветки llama.cpp, и какие компромиссы приходится делать между скоростью генерации, потреблением памяти и точностью ответов. Мы пройдем путь от скачивания GGUF-файла до запуска сервера и оценки производительности на бенчмарке GSM8K. Это руководство для тех, кто хочет понять внутреннюю механику современных оптимизаций LLM и применить их в своих проектах.
01Архитектура Dory: Рекуррентные слои и экономия ресурсов
Основная инновация Dory 1.0 кроется в её структуре слоев. Модель состоит из множества слоев, которые разделены на три группы: входные (input), рекуррентные (recurrent) и выходные (output). Входная и выходная группы содержат определенное количество слоев, а центральная, самая большая часть — рекуррентный блок, включающий основную массу параметров. Эти слои чередуют механизмы внимания (attention) и многослойные перцептроны (MLP). Важно отметить, что в рекуррентном блоке слои полного внимания (full attention) сочетаются со слоями скользящего окна (sliding window), что обеспечивает эффективное использование контекста.
Ключевой особенностью является то, что рекуррентный блок является «общим». Это означает, что один и тот же набор весов может применяться к одному и тому же токену несколько раз. Количество таких применений называется «циклами» (loops). Если модель запускается с 1 циклом, она работает как стандартный трансформер. Если с максимальным количеством циклов, токен проходит через рекуррентный блок несколько раз. При этом количество параметров модели не меняется — мы просто увеличиваем вычислительную нагрузку на каждый токен, получая более «глубокое» осмысление контекста без увеличения размера модели.

Такой подход дает гибкость: один чекпоинт (checkpoint) модели может работать с несколькими разными вычислительными бюджетами. Это критически важно для развертывания в условиях ограниченных ресурсов, где нужно адаптировать модель под доступную видеопамять или процессорное время.
02Подготовка окружения: Сборка llama.cpp с поддержкой Dory
Поскольку поддержка Dory в основной ветке llama.cpp все еще находится в стадии разработки (draft pull request), для работы с этой моделью необходимо использовать специфическую ветку, указанную в документации NVIDIA. Мы будем использовать форк от Brian Chmiel, зафиксированный на коммите 98a74c97ea09ac72f6ceda1559808fc0a2f447ce. Использование именно этого коммита гарантирует, что все оптимизации и исправления, необходимые для корректной работы архитектуры Dory, будут применены.
Процесс сборки требует внимания к деталям, особенно при выборе бэкенда. На macOS (Apple Silicon) следует использовать Metal, а на Linux/Windows с NVIDIA GPU — CUDA. Важно отметить, что для GPU NVIDIA не нужно включать ядра Flash Attention, так как в данном случае они не используются, что упрощает сборку и экономит время.

Ниже приведен пример кода для автоматизации сборки. Он определяет переменные окружения, клонирует репозиторий, фиксирует нужную версию и запускает процесс компиляции с помощью CMake. Обратите внимание на флаги, которые зависят от операционной системы и типа GPU.
import subprocess
import platform
import os
# Переменные для сборки
FORK = "https://github.com/brianchmielNV/llama.cpp.git"
FORK_COMMIT = "98a74c97ea09ac72f6ceda1559808fc0a2f447ce"
SRC = "llama.cpp-dory"
# Определение бэкенда
SYSTEM = platform.system()
BACKEND = "metal" if SYSTEM == "Darwin" else "cuda" # или "cpu"
# Команда сборки (пример для Linux/CUDA)
flags = [
"-DCMAKE_BUILD_TYPE=Release",
"-DLLAMA_BUILD_SERVER=ON",
"-DLLAMA_BUILD_TESTS=OFF",
"-DLLAMA_BUILD_EXAMPLES=OFF",
"-DLLAMA_BUILD_APP=OFF",
"-DLLAMA_BUILD_UI=OFF",
"-DLLAMA_USE_PREBUILT_UI=ON",
"-DLLAMA_OPENSSL=OFF",
"-DGGML_CUDA=ON",
"-DCMAKE_CUDA_ARCHITECTURES=75", # Пример для T4 (Compute Capability 7.5)
"-DGGML_CUDA_FA=OFF",
"-DGGML_NATIVE=OFF"
]
if BACKEND == "metal":
flags.extend([
"-DCMAKE_OSX_ARCHITECTURES=arm64",
"-DGGML_METAL=ON",
"-DGGML_METAL_EMBED_LIBRARY=ON",
"-DGGML_BLAS=ON",
"-DGGML_BLAS_VENDOR=Apple"
])
# Запуск сборки
subprocess.run(["cmake", "-S", SRC, "-B", f"{SRC}/build"] + flags, check=True)
subprocess.run(["cmake", "--build", f"{SRC}/build", "--parallel", str(os.cpu_count()), "--target", "llama-server"], check=True)03Загрузка и верификация GGUF-модели
Модель Dory 1.0 4B доступна в формате GGUF на Hugging Face. Для этого руководства мы используем квантованную версию Q5_K_M, которая обеспечивает хороший баланс между качеством и размером. Файл весит около 3.7 ГБ. Критически важно загрузить модель с фиксированной ревизии репозитория, чтобы избежать проблем с несовместимостью.
Мы используем хеш SHA-256 для проверки целостности файла. Это защищает от скачивания поврежденных данных или неверной
Источник: MarkTechPost ↗
