Принцип работы: Git как среда выполнения
HORIZON (Hardware-Oriented Repository-Level Iterative Optimization) решает проблему «одноразовой» генерации кода, которая часто приводит к неработоспособному Verilog. Вместо этого система рассматривает проектирование как эволюцию репозитория. Единственный входной сигнал — структурированный Markdown-хаус, содержащий цель, доменные знания, спецификацию оценщика и предикат принятия.
Агент работает в изолированном git worktree. Каждая итерация включает планирование, редактирование файлов, запуск симуляторов и проверку покрытия. Результат фиксируется в коммите только если проходит «исполняемый шлюз» (acceptance gate). История Git становится буфером опыта: успешные коммиты — положительные примеры, провалы — отрицательные. Это позволяет агенту учиться на своих ошибках без внешнего хранилища данных.
Результаты: 100% завершение бенчмарков
Использование модели GPT-5.3 (фиксированная версия для всех экспериментов) на сервере AMD EPYC 9334 позволило достичь 100% успешности во всех оцененных наборах данных. Важно отметить, что система не обучает новую RL-политку, а использует фиксированный бэкбон, полагаясь на итеративное исправление ошибок через симуляцию.
| Бенчмарк / Категория | Фокус задачи | Успех (Iter. 0) | Итераций до 100% |
|---|---|---|---|
| ChipBench | Смешанная генерация RTL | 20.0% | 100.0 |
| RTLLM-2.0 | NL-спецификация в RTL | 78.0% | 100.0 |
| Verilog-Eval-v2 | Verilog в стиле HDLBits | 86.2% | 100.0 |
| CVDP CID 002 | Дозаполнение кода | 3.2% | 82 |
| CVDP CID 013 | Генерация чекеров | 3.8% | 19 |
| CVDP CID 016 | Отладка и исправление багов | 25.7% | 13 |
Экономика токенов и кэширование
Хотя точность достигла максимума, стоимость вычислений остается вызовом. Наборы CVDP потребляют 203.9 млн токенов (97.1% от общего объема), при этом категория CID 002 (дозаполнение) одна потребляет 56 млн токенов. Однако 91% всех токенов являются кэшированным вводом (harness, проект, стабильные источники), что значительно снижает стоимость API. Исследователи отмечают, что будущее оптимизации лежит не в повышении точности (которая уже 100%), а в эффективности токенов.
Контекст и сравнение
HORIZON вписывается в линейку систем самоэволюции, но фокусируется на артефактах, создаваемых инженерами (RTL), а не на софте, который они используют. В отличие от AlphaEvolve (алгоритмические ядра) или SATLUTION (SAT-решатели), HORIZON использует симуляцию и проверку покрытий как главный сигнал корректности, что делает его уникальным инструментом для EDA-индустрии.
Источник: MarkTechPost ↗