Нейросети в проектировании чипов: как NeMo Gym повысил надежность AI-агентов Siemens

Внедрение искусственного интеллекта в сложные инженерные процессы, такие как проектирование полупроводниковых чипов, обещает революцию в скорости разработки. Однако на пути к массовому внедрению агентов (AI agents) стоит серьезное препятствие: надежность. Нейросети склонны генерировать правдоподобные, но ошибочные результаты, что в контексте создания микросхем может привести к катастрофическим последствиям. Ошибка, допущенная на раннем этапе многоэтапного рабочего процесса, может незаметно распространиться на последующие стадии, исказив финальный артефакт. Именно поэтому оценка и улучшение надежности агентов на основе проверенных конечных результатов, а не изолированных промежуточных шагов, становится критически важным условием для перехода от экспериментов к промышленному использованию.

В этой статье мы подробно разберем практический кейс сотрудничества NVIDIA и Siemens EDA, где был применен фреймворк NVIDIA NeMo Gym для оптимизации работы AI-агента Siemens Fuse. Этот инструмент позволил не только диагностировать причины сбоев, но и существенно повысить эффективность взаимодействия агента с инструментами проектирования. Результат превзошел ожидания: команда смогла сократить количество «ходов» (agent turns) агента на 66% и повысить итоговый балл проверки с 55% до 95%. Мы подробно рассмотрим архитектуру решения, методологию верификации и конкретные шаги, которые привели к такому значительному улучшению.

01Автоматизация характеристики стандартных ячеек: сложная задача

Чтобы понять масштаб проблемы, необходимо заглянуть в суть процесса, который автоматизирует AI. Характеристика стандартных ячеек (standard-cell characterization) — это фундаментальный этап проектирования чипов. В ходе этого процесса генерируются точные модели задержек, энергопотребления и шумов для логических ячеек при различных условиях эксплуатации. Этот процесс становится обязательным каждый раз, когда полупроводниковая фабрика (foundry) выпускает новый набор инструментов проектирования (PDK — Process Design Kit).

Каждый новый PDK содержит модели транзисторов SPICE, правила проектирования, а также определения процессов, напряжений и температур (PVT). Когда фабрика обновляет PDK, старые наборы данных характеристики могут перестать быть точными. Это требует регенерации и валидации моделей задержек и энергопотребления для каждой затронутой ячейки во всех комбинациях условий PVT, входных перепадов (slew) и выходных нагрузок. Ручное выполнение этой задачи занимает недели, если не месяцы, что делает автоматизацию жизненно необходимой.

Для решения этой задачи команда Siemens разработала агента в рамках Suite Solido Characterization. Этот агент координирует работу множества инструментов через серверы MCP (Model Context Protocol) и навыки (skills), предоставляя доступ к ним через популярные среды разработки, такие как Claude Code, Codex и Cursor. Однако задача агента не ограничивается простым вызовом функций. Он должен выполнить полный цикл: настройку инструментов, запуск масштабных симуляций SPICE, распределенные вычисления, генерацию файлов Liberty (.lib), отладку и финальную валидацию.

Сложность заключается в том, что ошибки часто приводят к «правдоподобным» выводам, а не к явным сбоям. Например, агент может выдать файл с неверными порогами переключения, пропущенными углами PVT или неполными данными по ячейкам. Поскольку этапы зависят друг от друга, ошибка в настройке на первом шаге может привести к накоплению ошибок на всех последующих этапах. Именно поэтому традиционные методы тестирования, проверяющие только успешность отдельных вызовов инструментов, оказываются недостаточными.

02NeMo Gym: среда для диагностики и оптимизации

Здесь на сцену выходит NVIDIA NeMo Gym — открытая библиотека для оценки и улучшения моделей и агентов. NeMo Gym предоставляет контролируемую среду, в которой можно запускать агентов, фиксировать их действия и проверять результаты с помощью специализированных верификаторов. Ключевая особенность NeMo Gym заключается в том, что она позволяет отслеживать распространение ошибок через многоэтапные рабочие процессы.

Процесс оптимизации с использованием NeMo Gym строится по следующему циклу:

1. Базовые запуски (Rollouts): Агент запускается в версии задачи с фиксированным верификатором.
2. Анализ траекторий: Инженеры изучают логи работы агента, неудачные вызовы инструментов и диагностику верификатора.
3. Выявление проблем: Определяются неоднозначные инструкции, непродуктивные действия или неверный выбор инструментов.
4. Улучшение: Обновляются навыки (skills) агента и описания инструментов MCP.
5. Повторение: Запуск тех же задач в тех же условиях для сравнения результатов.

Этот итеративный подход позволяет инженерам не гадать, почему агент ошибся, а точно видеть, на каком этапе и почему произошел сбой. NeMo Gym фиксирует «мыслительные трассы» (thinking traces), входные и выходные сообщения, а также действия инструментов, что дает полную картину поведения агента.

03Архитектура оценки и система вознаграждений

Центральным элементом системы является верификатор, который оценивает не промежуточные шаги, а конечный артефакт — файл Liberty. Команда Siemens разработала специализированный верификатор, который проверяет покрытие, валидность, относительную точность, точность значений и целостность данных. Если хотя бы один из этих параметров не проходит проверку, награда (reward) за весь запуск обнуляется. Это жесткое требование заставляет агента стремиться к абсолютной точности, а не к «достаточно хорошему» результату.

Верификатор использует пять ключевых метрик:

• Покрытие (Coverage): Проверка того, что агент сгенерировал все ожидаемые ячейки и углы PVT. Пропуск даже одной ячейки считается ошибкой.
• Валидность (Validity): Проверка того, что сгенерированные файлы Liberty имеют корректную структуру и могут быть использованы инструментами валидации.
• Относительная валидация (Relative validation): Сравнение с эталоном. Агент не должен вносить новые ошибки в те части данных, которые уже были верны в референсном файле.
• Точность (Accuracy): Доля значений задержек и энергопотребления, которые попадают в заданный допуск. Это количественная мера качества.
• Целостность (Integrity): Проверка того, что рабочий процесс сгенерировал полный результат, а не скопировал, усек или переформатировал существующие значения без необходимости.

Формула вознаграждения (reward) строится на основе этих метрик. Если все «ворота» (gates) проходят успешно, агент получает максимальную оценку. Если хотя бы одно условие нарушено, награда равна нулю. Такая система стимулирует агента к поиску корневых причин ошибок, а не к попыткам «обмануть» систему, выдавая частично верные, но неполные данные.

04Практическая оптимизация: от 55% к 95%

Для тестирования команда использовала открытый PDK GF180MCU. Базовый набор данных включал 229 стандартных ячеек и 36 углов PVT. Однако для отладки агента был выбран уменьшенный подмножество: две ячейки и 36 углов PVT. Это позволило ускорить цикл обратной связи, так как каждый запуск занимал от 1,5 до 2 часов. Команда провела около 25 запусков (rollouts), используя модель Claude Opus 4.8 в среде Claude Code.

На начальном этапе composite verification score (суммарный балл проверки) составлял около 55%. Это означало, что в половине случаев агент либо не справлялся с задачей, либо выдавал результаты с критическими ошибками. Анализ траекторий показал, что основные проблемы кроются в неоднозначности инструкций и сложности взаимодействия с инструментами через MCP.

Команда предприняла несколько ключевых улучшений:

1. Упрощение интерфейсов: Были устранены перекрытия между файловыми и shell-интерфейсами инструментов. Это снизило когнитивную нагрузку на агента при выборе правильного инструмента.
2. Четкие схемы JSON: Входы инструментов были описаны с помощью строгих JSON-схем. Это помогло агенту точнее формировать запросы и избегать ошибок синтаксиса.
3. Уточнение навыков (Skills): Описания навыков были переписаны так, чтобы они явно указывали, когда и как использовать каждый инструмент, исключая двусмысленность.

После этих изменений результаты превзошли ожидания. Средний балл проверки вырос до 95%. Но самое важное изменение произошло в эффективности. Количество «ходов» (agent turns) — то есть шагов, которые агент делает для достижения цели — сократилось с 155 до 53. Это снижение на 66%. Количество выходных токенов упало с 81 000 до 29 000, что также составляет снижение на 64%.

Эти цифры демонстрируют, что оптимизация не только повысила точность, но и сделала процесс значительно более быстрым и дешевым. Меньше токенов означает меньшие затраты на вычисления и более быстрое получение результата. Это критически важно для промышленного внедрения, где время и стоимость вычислений являются ключевыми факторами.

05Применимость в других областях

Методология, описанная в этом кейсе, не ограничивается только проектированием чипов. Она применима к любым инженерным агентам в областях EDA (Electronic Design Automation), CAE (Computer-Aided Engineering) и других сложных рабочих процессах. Основные принципы остаются неизменными:

• Оценивайте конечные инженерные артефакты, а не успешность отдельных вызовов инструментов.
• Разрабатывайте специализированные верификаторы, которые могут обнаруживать пропущенные, усеченные или переформатированные результаты, предотвращая «обман» агента.
• Собирайте большие объемы данных о запусках (rollouts), чтобы целенаправленно улучшать надежность через оптимизацию навыков и интерфейсов MCP.

Этот подход позволяет превратить AI-агентов из «черных ящиков», выдающих правдоподобные, но ненадежные результаты, в предсказуемые и эффективные инструменты, способные решать сложные инженерные задачи.

06Что это значит на практике

Для инженеров и архитекторов AI, работающих в области полупроводников и сложных вычислений, этот кейс служит четким руководством к действию. Во-первых, он демонстрирует, что надежность агента можно измерить и улучшить системно. Во-вторых, он показывает, что улучшение качества описаний инструментов (MCP) и навыков (skills) часто дает больший эффект, чем просто использование более мощной модели.

Если вы планируете внедрять AI-агенты в свои рабочие процессы, начните с создания специализированного верификатора. Определите, что считается «успешным» результатом, и убедитесь, что ваш верификатор может точно оценить этот результат. Затем используйте NeMo Gym или аналогичные инструменты для итеративного улучшения агента. Фокусируйтесь на упрощении интерфейсов и устранении неоднозначностей в инструкциях.

Результаты Siemens и NVIDIA доказывают, что даже в самых сложных и критичных к ошибках областях, таких как проектирование чипов, AI-агенты могут стать надежными и эффективными партнерами. Ключ к этому — строгая оценка, постоянная оптимизация и глубокое понимание домена.

Для тех, кто хочет начать работу с NeMo Gym, NVIDIA предлагает NeMo Gym Quickstart — руководство, которое поможет запустить первую оценку. Также доступна демонстрация Self-Verifying, Long-Running Agentic Characterization Workflow, где подробно показан подход Solido Fuse. Сотрудничество NVIDIA и Siemens продолжает развиваться, и мы ожидаем появления новых инструментов и методов, которые сделают AI еще более полезным для инженеров по всему миру.

Источник: NVIDIA Developer ↗