Проблема агрегации целей
Современные LLM для генерации RTL-кода (Register Transfer Level) часто используют Reinforcement Learning with Verifiable Rewards (RLVR). Однако существующие подходы сводят три ключевых параметра — Power (потребление), Performance (производительность/задержка) и Area (площадь кристалла) — к одной скалярной награде. Это лишает дизайнеров возможности получить разнообразный набор решений, так как модель «застревает» в одном локальном оптимуме, игнорируя альтернативные компромиссы.
Решение: Оптимизация множества решений
Команда во главе с Коки Тадэсита (Koki Takeshita) предложила метод, который оптимизирует качество и разнообразие всего набора сгенерированных схем в пространстве PPA. Ключевые инновации:
- Генеративный пайплайн: задача переформулирована как последовательная генерация, цель которой — максимизация покрытия Парето-фронта.
- Функция награды HVC: используется Hypervolume Contribution. Награда начисляется не за качество отдельной схемы, а за вклад новой схемы в расширение объема, занимаемого Парето-оптимальным множеством.
Результаты на бенчмарке RTLLM v2
Метод демонстрирует статистически значимое превосходство над базовыми моделями. Ниже приведены ключевые метрики улучшения относительного гипертонуса (Hypervolume) — показателя, отражающего как качество, так и разнообразие решений:
| Метрика сравнения | Улучшение (отн. гипертонус) | Примечание |
|---|---|---|
| Базовая модель без PPA-оптимизации | +13.3 п.п. | Значительный скачок в качестве фронта |
| Single-Objective RL (одна цель) | +14.4 п.п. | Превосходство в разнообразии и охвате |
Значение для индустрии
Работа принята к публикации на конференции COLM 2026. Подход позволяет инженерам получать пул готовых архитектур с разными балансами PPA, выбирая оптимальный вариант уже после генерации, в зависимости от конкретных требований продукта (например, упор на энергоэффективность для IoT или на скорость для серверов).
Источник: arXiv cs.AI ↗