Проблема углеродного следа агентов ИИ
Современные агентные системы на базе больших языковых моделей (LLM) все чаще используют функцию Function Calling для взаимодействия с внешними инструментами. Однако стандартная практика маршрутизации таких запросов исключительно в мощные облачные модели приводит к колоссальному энергопотреблению. Авторы исследования из IEEE 33rd International Conference on Electronics, Circuits and Systems (ICECS) предлагают решение этой экологической проблемы через архитектуру «Edge-Cloud».
Трехуровневая архитектура и k-NN предиктор
Предложенная система распределяет запросы по трехуровневой иерархии, объединяя модели на периферии (edge) и в облаке (cloud) на разнородном оборудовании. В основе системы лежит легкий предиктор на базе k-NN (k-Nearest Neighbors), работающий в едином семантическом и лексическом пространстве эмбеддингов. Этот модуль оценивает для каждого конкретного запроса три ключевые метрики:
- Точность выполнения (accuracy);
- Задержку (delay);
- Потребление энергии (power consumption).
Интеграция с углеродной интенсивностью сети
Ключевое отличие подхода — интеграция данных о реальной углеродной интенсивности энергосети (grid carbon intensity) в процесс принятия решений. Система маршрутизирует каждый запрос на тот уровень (tier), который способен выполнить его успешно, но при этом генерирует минимальное количество выбросов CO2. Это позволяет динамически переключаться между локальными устройствами и облачными серверами в зависимости от «чистоты» энергии в сети в данный момент.
Результаты бенчмарков
Фреймворк был протестирован на современных бенчмарках для Function Calling и семействах LLM. Результаты демонстрируют, что система не идет на компромисс в качестве: точность выполнения задач сопоставима с использованием самых мощных облачных моделей, при этом операционные выбросы углерода сокращаются в среднем в 4 раза.
| Метрика | Значение / Характеристика |
|---|---|
| Основной эффект | Снижение выбросов CO2 в 4 раза |
| Точность (Accuracy) | Соответствует уровню облачных моделей |
| Архитектура | Трехуровневая Edge-Cloud (гетерогенное железо) |
| Ядро системы | Легкий k-NN предиктор в семантическом пространстве |
| Критерий маршрутизации | Минимальные выбросы при успешном выполнении |
Почему это важно
По мере роста числа агентов ИИ, масштабируемых на периферийных устройствах, вопрос устойчивости становится критическим. Предложенный метод позволяет компаниям и разработчикам внедрять сложные агентные сценарии без непропорционального роста углеродного следа, делая ИИ-инфраструктуру экологически более чистой без потери производительности.
Источник: arXiv cs.AI ↗