Проблема «зеленого» ИИ и ниша Apple Silicon
Быстрое распространение больших языковых моделей (LLM) обострило вопрос их экологического следа. Традиционные исследования Green AI фокусировались на энергопотреблении дата-центров (GPU) или встроенных системах. Однако архитектура с единой памятью (Unified Memory) в чипах Apple Silicon остается малоизученной в контексте инференса. Авторы работы представили GreenBench — фреймворк для оценки энергоэффективности, пропускной способности и углеродного следа при запуске открытых LLM на Apple M4 Pro с 48 ГБ памяти.
Ключевые метрики энергоэффективности
Исследование использовало утилиту powermetrics для точного измерения мощности и тайминги Ollama с наносекундной точностью. Результаты показали аномально низкое энергопотребление:
- Пакетная мощность (CPU+GPU): всего 0.47 Вт во время устойчивого инференса.
- Общее потребление системы: 8–12 Вт.
- Сравнение с дата-центрами: M4 Pro демонстрирует в 30–40 раз лучшую энергоэффективность на один токен по сравнению с серверными GPU в сценарии использования одним пользователем.
Сравнение моделей и производительности
Тестировались модели от 3 до 9 миллиардов параметров. Меньшие модели (3–3.8B) показали значительно лучшие результаты по скорости и экономии энергии по сравнению с крупными (7–9B). Ниже приведены ключевые показатели оптимальных моделей:
| Модель | Параметры | Скорость (токенов/с) | Точность (MMLU) | Рекомендация |
|---|---|---|---|---|
| Qwen 2.5 | 7B | 59 | 57% | Оптимальный баланс точности и эффективности |
| Llama 3.2 | 3B | 175 | — | Для приложений, критичных к задержкам (latency) |
Меньшие модели (3-3.8B) обеспечивают в 2.6–4.2 раза более высокую пропускную способность и экономят до 62% энергии на токен по сравнению с моделями размером 7-9B.
Углеродный след и выводы
Авторы предоставили данные по энергопотреблению на токен (на уровне пакета и всей системы) и оценки выбросов CO2 для энергосетей Индии и США. Работа принята к публикации на конференции IEEE ICCUBEA 2026 и доказывает, что локальный инференс на Apple Silicon может быть экологически устойчивой альтернативой облачным решениям для индивидуальных пользователей.
Источник: arXiv cs.CL ↗
