От скетча к симуляции: как работает система
Команда исследователей во главе с Мохаммадом Каусаром (Mohammad Kawsar) представила Sketch2Sim — модульную систему с конца в конца (end-to-end), которая решает проблему оцифровки аналоговых схем. Система принимает на вход фотографию рукописной схемы, распознает компоненты и текст, а затем автоматически генерирует совместимый с SPICE нетлист (netlist) для последующего моделирования.
Архитектура решения построена на трех ключевых этапах:
- Детекция: использование двух моделей YOLO для обнаружения электронных компонентов и текстовых областей.
- Распознавание значений: применение сверточно-рекуррентной нейронной сети (CRNN) с классификатором CTC и OCR для извлечения номиналов компонентов с учетом контекста.
- Построение топологии: алгоритмы обработки изображений (пороговая обработка, скелетонизация) и кластеризация DBSCAN для автоматического определения узлов и их связи с компонентами.
Данные и метрики качества
Для обучения и тестирования модели авторы создали специализированный датасет, содержащий 1 000 рукописных схем резисторно-индуктивно-емкостных (RLC) цепей. Каждая схема была аннотирована с выделением компонентов, текстовых регионов и символов.
Система демонстрирует устойчивость к различным стилям почерка, условиям освещения и качеству исходных фотографий. Качественные и количественные исследования (ablation studies) подтверждают эффективность каждого модуля в отдельности и всей системы в целом.
Практическое применение
Sketch2Sim позиционируется не только как инструмент для инженеров, но и как интерактивное учебное пособие. Система позволяет студентам и преподавателям мгновенно переводить наброски на бумаге в цифровую среду для проверки расчетов, ускорения проектирования и отладки прототипов. Наличие пользовательского интерфейса (UI) делает процесс интуитивно понятным для непрофессионалов.
| Этап обработки | Используемые технологии | Результат |
|---|---|---|
| Детекция объектов | Двойной детектор на базе YOLO | Выделение компонентов и текста |
| Распознавание значений | CRNN + CTC + OCR | Извлечение номиналов (домен-специфичное) |
| Построение графа | DBSCAN + скелетонизация | Идентификация узлов и связей |
| Итог | SPICE-симулятор | Расчет напряжений и токов |
Работа опубликована в arXiv (cs.AI) 20 октября 2026 года и открывает новые возможности для интеграции компьютерного зрения в инженерный дизайн.
Источник: arXiv cs.AI ↗