Новый подход к разработке на edge
Команда NVIDIA (Wenqi Li, Tom Birdsong, Julien Jomier) опубликовала кейс разработки приложения для медицинской визуализации с использованием NVIDIA Holoscan и репозитория HoloHub. Ключевая идея — использование AI-кодинг-агента (в тесте применялся Codex с моделью GPT-5.6 sol max), который работает в связке с инженером. Агент не пишет код «вслепую», а опирается на документацию, примеры из HoloHub и специальные skills (навыки), такие как holohub-app-lifecycle и holohub-debug-build-run.
Разработка велась итерационно: инженер ставил цель и ограничения, агент реализовывал код через CLI, инженер проверял результат и задавал следующую задачу. Это позволяет контролировать качество и избегать регрессий.
Итерация 1: Минимально жизнеспособное приложение (MVP)
Первый шаг заключался в создании базового графа приложения. Агенту было поручено использовать существующую модель MONAI endoscopic tool segmentation и сэмплы видео, не изменяя веса модели. Задача включала:
- Подключение видеопотока, препроцессинга и TensorRT-инференса.
- Добавление постпроцессинга сегментации через SDK Holoscan.
- Интеграцию визуализации через HoloViz для отображения масок и метрик в реальном времени.
Агент проанализировал референсные приложения (monai_endoscopic_tool_seg, endoscopy_tool_tracking), сгенерировал скелет проекта и реализовал граф. На это ушло 40 минут. Инженер запустил приложение через команду ./holohub run и подтвердил корректность работы.
Итерация 2: Бенчмаркинг и повторяемость тестов
Вторая итерация была направлена на превращение визуальной демонстрации в инженерный артефакт. Агент добавил режимы запуска, которые позволяют измерять производительность и стабильность:
| Режим запуска | Описание и контракт |
|---|---|
| visual | Запуск полной выборки в интерактивном окне с визуализацией в реальном времени. |
| smoke | Быстрая запись 60 кадров в headless-режиме для быстрой проверки работоспособности. |
| benchmark | Обработка 300 кадров оффскрин с экспортом метрик (FPS, латентность, IoU) и графиков в папку сборки. |
В этом режиме агент добавил расчет таких метрик, как временное пересечение (temporal IoU) для оценки стабильности маски, энтропия краев и позиция bounding box. Все графики экспортировались автоматически.
Почему это важно
Исследование показало, что комбинированное использование CLI, документации и специализированных навыков (skills) дает наиболее эффективный результат по сравнению с использованием только документации или только CLI. Такой подход снижает порог входа для разработчиков, позволяя им фокусироваться на архитектуре и валидации, а не на рутинном написании boilerplate-кода. Workflow является агент-агностичным, что означает возможность замены AI-модели без изменения процесса разработки.
Источник: NVIDIA dev blog ↗