Проблема надежности в EDA-агентах
Автоматизация проектирования микросхем с помощью AI-агентов сталкивается с серьезной проблемой: модели часто генерируют правдоподобные, но ошибочные результаты. В многоэтапных рабочих процессах, таких как характеристика стандартных ячеек (standard-cell characterization), ошибка на раннем этапе незаметно распространяется на все последующие стадии, приводя к некорректным файлам Liberty (.lib). Традиционные промежуточные проверки не всегда выявляют эти скрытые сбои.
Решение: NeMo Gym и доменный верификатор
Команда Siemens Fuse EDA AI Agent применила NVIDIA NeMo Gym — открытую библиотеку для оценки и улучшения моделей и агентов. Ключевым элементом стал специализированный верификатор, который анализирует не отдельные вызовы инструментов, а конечный артефакт (файл Liberty). Верификатор оценивает пять метрик: покрытие (coverage), валидность (validity), относительную проверку (relative validation), точность (accuracy) и целостность (integrity). Если хотя бы один логический вентиль не проходит проверку, награда (reward) обнуляется.
Результаты оптимизации
Используя NeMo Gym, инженеры смогли отследить траектории агента, выявить неоднозначные инструкции и улучшить описания инструментов через Model Context Protocol (MCP). Это позволило значительно повысить эффективность агента. Сравнение показателей до и после оптимизации приведено в таблице ниже:
| Метрика | До оптимизации | После оптимизации | Изменение |
|---|---|---|---|
| Композитный балл верификации | ~55% | ~95% | +40 п.п. |
| Количество ходов агента (agent turns) | 155 | 53 | -66% |
| Количество выходных токенов | ~81 000 | ~29 000 | -64% |
Значение для индустрии
Этот кейс демонстрирует, что оценка AI-агентов должна проводиться на основе конечных инженерных артефактов, а не изолированных шагов. Методология, примененная Siemens с использованием стека NVIDIA AI, может быть масштабирована на другие домены, такие как CAE (computer-aided engineering), где требуется высокая надежность автоматизации сложных многоэтапных процессов.
Бенчмарки
| Бенчмарк | Siemens Fuse EDA AI Agent (Baseline) | Siemens Fuse EDA AI Agent (Optimized) |
|---|---|---|
| Composite Verification Score | 55% | 95% |
| Agent Turns | 155count | 53count |
| Output Tokens | 81K | 29K |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: NVIDIA dev blog ↗