Аппаратная конфигурация и экономия
Энтузиаст с Reddit (u/IndividualSurvival) собрал систему для инференса на базе 40-ядерного процессора Intel Xeon Scalable 3-го поколения. Ключевое отличие — использование памяти Intel Optane Persistent Memory 200 Series (PMem 200) вместо дорогой DRAM. Это позволило набрать необходимый объем для модели, так как минимальная квантованная версия Kimi K3 требует 610 ГБ оперативной памяти. Стоимость Optane составляет лишь «долю» от цены эквивалентного объема серверной DRAM, цены на которую в последнее время резко выросли.
Производительность и метрики
Запуск происходил исключительно на CPU. Скорость генерации текста оказалась крайне низкой: 0.85 токенов в секунду при 1-битной квантовании. При использовании 3-битной квантования скорость упала до 0.75 токенов/с. Для сравнения: задача на 50 000 токенов займет около 13 часов. Это значительно медленнее предыдущего эксперимента с моделью K2.5 (1 трлн параметров), где использовалась RTX 3060 и достигалось 4 токена/с.
Термальные проблемы и охлаждение
Модули Optane PMem 200 выделяют от 12 до 15 Вт тепла на каждый стик, независимо от объема. При использовании четырех планок это до 60 Вт тепла, выделяемого вплотную к системной памяти. Intel требует принудительного воздушного потока 2.4–2.7 м/с. Без специального охлаждения (в проекте использовались два 12-Вт вентилятора-吹风机, направленных на планки) температура достигает порога троттлинга в 83°C и аварийного отключения в 85°C. Обычная DDR4 серверная память выдерживает до 95°C, поэтому перегрев Optane может повредить соседние модули DRAM.
Режимы работы и перспективы
В проекте использовался режим App Direct, где Optane выступает как отдельное постоянное хранилище, позволяющее точнее контролировать размещение тензоров. Режим Memory Mode (с кэшированием DRAM) не применялся, хотя автор планирует его тестирование. Текущие цифры — это «сырые» результаты без настройки NUMA-аффинности и потоков, поэтому производительность может быть улучшена. Автор также планирует добавить GPU и гибридное размещение моделей в DRAM и Optane.
| Параметр | Значение / Описание |
|---|---|
| Модель | Moonshot AI Kimi K3 (2.8 трлн параметров) |
| Процессор | Intel Xeon Scalable 3-го поколения (40 ядер) |
| Память | Intel Optane PMem 200 Series (без GPU) |
| Скорость (1-bit) | 0.85 токенов/с |
| Скорость (3-bit) | 0.75 токенов/с |
| Порог троттлинга | 83°C (аварийное отключение при 85°C) |
| Потребление тепла | 12–15 Вт на модуль |
Почему это важно
Проект доказывает, что запуск мультитриллионных моделей возможен на домашнем оборудовании без дорогостоящих GPU, за счет использования утилизированных серверных технологий. Однако он также ярко иллюстрирует физические ограничения: Optane PMem не предназначена для пассивного охлаждения в домашних условиях, и успешная эксплуатация требует инженерных решений по терморегуляции, сопоставимых с серверными стойками.
Источник: Tom's Hardware ↗