Проблема энергопотребления на edge-устройствах
Развертывание больших языковых моделей (LLM) на мобильных и встроенных устройствах становится стандартом для обеспечения конфиденциальности и снижения задержек сети. Однако основной барьер — высокое энергопотребление при работе от батареи. Пока индустрия фокусируется на сжатии моделей и ускорении рантайма, влияние дизайна промптов на эффективность оставалось малоизученным.
Методология: реальные замеры мощности
Авторы работы (Ruiyi Tao, Xiaolong Tu, Haoxin Wang) провели эмпирическое исследование, используя реальные измерения мощности на смартфоне. Цель — количественно оценить, как лингвистические особенности, особенно императивные ключевые слова и структура инструкции, влияют на длину декодирования и общее потребление энергии.
Ключевые выводы: сила глаголов
Исследование выявило устойчивые различия в энергопотреблении в зависимости от используемых глаголов и задач. Это означает, что промпт-инжиниринг — это не просто вопрос качества ответа, но и мощный рычаг для экономии заряда батареи. Правильно подобранные инструкции сокращают длину вывода модели, что напрямую снижает время работы процессора и, следовательно, расход энергии.
Практическая значимость
Результаты показывают, что оптимизация промптов является легковесным инструментом (lightweight lever) для повышения энергоэффективности. Разработчикам не нужно пересобирать модели или менять железо: достаточно изменить формулировки запросов, чтобы добиться заметного прироста времени автономной работы на устройствах с LLM.
Источник: arXiv cs.AI ↗