Методология: от ватт к доллару
В эпоху, когда локальные LLM кажутся бесплатной альтернативой облачным API, реальные счета за электричество могут стать неприятным сюрпризом. Автор исследования решил измерить не абстрактную эффективность, а конкретную стоимость генерации текста, используя мультиметр для снятия показаний с розетки. Ключевые параметры эксперимента:
- Платформа: Apple Silicon (MacBook Pro / Mac Studio).
- Тариф на электроэнергию: $0.31 за кВт·ч (высокий коммерческий/бытовой тариф, характерный для многих регионов США и Европы).
- Режим работы: Sustained generation (непрерывная генерация токенов), а не единичные запросы.
- Модели: Пять различных локальных LLM (конкретные версии не указаны в анонсе, но подразумевается сравнение архитектур).
Главный инсайт: разрыв между ожиданиями и реальностью
Самым неожиданным результатом стало то, что затраты на запуск моделей на Apple Silicon оказались значительно выше, чем прогнозировали данные, полученные на NVIDIA RTX 3090. Хотя Mac Silicon известен своей энергоэффективностью, при высоких нагрузках на генерацию токенов (inference) совокупное потребление энергии и стоимость за кВт·ч нивелируют преимущества в виде отсутствия затрат на облачные API.
Почему это важно для разработчиков
Многие энтузиасты и компании рассматривают локальный деплой как способ экономии. Однако при тарифе $0.31/кВт·ч стоимость «в wall-socket» (на розетке) может быстро превысить стоимость использования оптимизированных облачных решений для небольших объемов данных. Это исследование служит важным напоминанием о необходимости учитывать TCO (Total Cost of Ownership), включая электроэнергию, при выборе инфраструктуры для LLM.
Вывод
Перед развертыванием локальных моделей на Mac необходимо проводить точный расчет энергопотребления под реальной нагрузкой. То, что выглядит как «бесплатное» решение, может оказаться дорогим удовольствием при интенсивном использовании, особенно в регионах с высокими тарифами на электроэнергию.
Источник: Towards Data Science ↗