AIKraft Agents
ВойтиТарифы и покупка

rerun-io/rerun

Визуализируй, запрашивай и стрими данные для обучения мультимодальных роботов.

Инструменты⭐ 11 706Rustпоследний релиз: 0.42.0
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

Rerun — это слой данных для физического ИИ, позволяющий логировать, визуализировать и запрашивать многомодальные данные (изображения, облака точек, видео) в реальном времени.

Зачем нужен

Инструмент решает проблему разрозненности данных при разработке робототехники и CV-пайплайнов, объединяя логи с разных источников в единое хранилище. Он полезен для синхронной отладки сенсоров и алгоритмов, а также для прямой передачи данных в тренировку моделей без экспорта.

Что можно реализовать

  • Сбор и анализ логов робототехники, симуляций и данных с камер (egocentric/UMI rigs)
  • Визуализация и отладка CV-пайплайнов (SLAM, трекинг рук) в реальном времени
  • Запрос сырых и промежуточных данных с помощью SQL или DataFrames
  • Прямая потоковая передача датасетов в тренировку (training) без создания копий

Ключевые возможности

  • Поддержка многомодальных данных с разной частотой (images, point clouds, time series, video)
  • Встроенный viewer для синхронной визуализации и сравнения сенсоров
  • Возможность запроса данных через SQL или dataframe API
  • SDK на Python, Rust и C++ с открытым исходным кодом (MIT/Apache)

👤 Кому подойдёт: Разработчики робототехники, исследователи в области Computer Vision и AI, инженеры по данным, работающие с физическим ИИ

Релизы

0.42.0minorbreaking
🕐 вчера · релиз на GitHub ↗

Релиз Rerun 0.42.0: новый Raw Data View, таблица схем для датасетов, улучшенный Tensor View и API каталога.

  • Added: Добавлен Raw Data View для детального просмотра компонентов сущностей, включая вложенные поля и отдельные экземпляры.
  • Added: Появилась вкладка Schema для датасетов, отображающая объединенную схему всех слоев в виде дерева сущностей.
  • Added: В Tensor View добавлен предпросмотр при наведении: показывается увеличенный фрагмент и значение элемента под курсором.
  • Added: Расширено Python API каталога: добавлены методы layer.schema(), selection.info() и поддержка семантических полей таблиц.
  • Breaking: DatasetSelection.schema() теперь возвращает схему только для выбранных сегментов, а не для всего датасета.
  • Fixed: Исправлены падения headless-режима при некорректных символах, ошибки разрыва соединения и порядок отрисовки 2D-точек.
0.41.0majorbreaking
🕐 8 дн назад · релиз на GitHub ↗

Релиз Rerun 0.41.0: автоматическая визуализация ROS, новый пайплайн запросов и ломющие изменения в API.

  • Added: Автоматическая визуализация сырых сообщений ROS 2 без предварительной конвертации.
  • Added: Включен по умолчанию новый конвейер запросов к датасетам с ограничением памяти и надежной отменой.
  • Added: Ленивая загрузка текстового лога и сжатие WASM-просмотрщика через Brotli для ускорения загрузки.
  • Added: Возможность копирования ячеек, строк и выделенных диапазонов из контекстного меню таблицы.
  • Added: Расширенные возможности Python ViewerClient: чтение схем, управление блендбуками и снимками экрана.
  • Breaking: Цепочечные вызовы filter_contents() теперь пересекаются, а не объединяются.
0.40.0majorbreaking
🕐 15 дн назад · релиз на GitHub ↗

Релиз Rerun 0.40.0: обновлён интерфейс, добавлена работа с MCP и каталогом, Python 3.11 обязателен.

  • Added: Обновлён дизайн Viewer: новый главный экран, палитра команд и единый стиль.
  • Added: Agents могут анализировать графы трансформаций через MCP с помощью rerun_get_transform_graph.
  • Added: Улучшено Catalog API: добавлены хендлы Segment и Layer, методы schema() и info().
  • Added: В Viewer можно редактировать покрытие активов (asset coverage), а меши без нормалей теперь корректно затеняются.
  • Breaking: Минимальная версия Python повышена до 3.11, DatasetView переименован в DatasetSelection.
0.39.0majorbreaking
🕐 24 дн назад · релиз на GitHub ↗

Rerun 0.39.0: поддержка маримо, PLY, аудио, 3D-объемов, улучшенные таблицы и ломающие изменения в API.

  • Added: Добавлена поддержка ноутбуков Marimo и вывод аудио через новый архетип AssetAudio.
  • Added: Появилась поддержка сырых Bayer-изображений, загрузки PLY-сеток и 2D-точек.
  • Added: Экспериментальная функция: рендеринг 3D-объемов методом raymarching.
  • Added: Улучшены настройки таблиц: добавлен поиск, массовое скрытие/показ и новые блендпринты.
  • Breaking: Удален WriteChunks, изменены правила для кастомных Rust-представлений и структура пакета rerun-sdk.
0.38.1majorbreaking
🕐 1 мес назад · релиз на GitHub ↗

Релиз Rerun 0.38.1: новый архетип измерений, локальные файлы .rrd, управление временем из Python и ломющие изменения в API.

  • Added: Добавлен архетип Measurements для работы с данными измерений.
  • Added: Локальные файлы .rrd теперь по умолчанию загружаются через каталог Viewer.
  • Added: Появилась возможность управлять курсором времени и состоянием запущенного Viewer из Python.
  • Added: Добавлена поддержка TIFF для EncodedDepthImage и новый LeRobotReader для потоковой загрузки датасетов.
  • Breaking: API чанков и стабильные ридеры перенесены из rerun.experimental в rerun.chunk.
  • Deprecated: Python 3.10 больше не поддерживается.
0.37.2patch
🕐 1 мес назад · релиз на GitHub ↗

Исправление отображения пустых URL и включение импортеров для WASM.

  • Fixed: Устранено отображение параметра ?url= при пустом значении URL.
  • Fixed: Включены импортеры данных для среды WASM.
0.37.1minor
🕐 2 мес назад · релиз на GitHub ↗

В Rerun 0.37.1 добавлена поддержка VideoFrameReference для VideoStream и улучшена производительность загрузки чанков.

  • Added: Добавлена поддержка VideoFrameReference для работы с VideoStream.
  • Fixed: Исправлена производительность: теперь чанки всегда загружаются по HTTP/1.
0.37.0majorbreaking
🕐 2 мес назад · релиз на GitHub ↗

Релиз Rerun 0.37.0: каталоги активов, оптимизация видео, новые API Rust и мажорные изменения в Python/C++.

  • Breaking: Модуль datatypes переименован в encodings; Rust SDK требует версии 1.96+.
  • Added: Введены каталоги активов с общим доступом к данным для всех сегментов.
  • Added: Ускорено декодирование видео и генерация манифестов для датасетов.
  • Added: Добавлена команда rerun rrd stats для проверки необходимости оптимизации записей.
  • Added: Пользователи Python могут экспортировать записи и чертежи из веб-просмотрщика.
  • Fixed: Исправлено восстановление сообщений MCAP со срезанным индексом.
0.36.3minor
🕐 2 мес назад · релиз на GitHub ↗

В релизе Rerun 0.36.3 появилась возможность оптимизации записей из Rust через API rrd::optimize.

  • Added: Добавлен API rrd::optimize_file для оптимизации файлов записей из Rust.
  • Added: Появилась возможность оптимизировать записи напрямую из Rust-кода.
0.36.2patch
🕐 2 мес назад · релиз на GitHub ↗

Выпущена версия 0.36.2 с исправлением ошибки открытия внешних ссылок.

  • Fixed: Исправлена ошибка открытия внешних ссылок.
0.36.1patch
🕐 2 мес назад · релиз на GitHub ↗

Релиз Rerun 0.36.1: исправления ошибок при работе с MCAP, рендерингом 3D и интерфейсом.

  • Fixed: Исправлено восстановление сообщений MCAP со срезанным индексом.
  • Fixed: Решена проблема отклонения не-nullable полей списков в DataFrame API для MCAP-записей.
  • Fixed: Исправлено скрытие 3D-вида при наличии нераспознаваемой системы координат TransformAxes3D.
  • Fixed: Устранена ошибка выбора сущности при клике на полосах состояния (state lanes).
  • Fixed: Контейнеры теперь корректно перестраиваются при скрытии представлений.
  • Fixed: Загрузка моделей теперь пропускает недоступные меши вместо падения импорта.
0.36.0majorbreaking
🕐 2 мес назад · релиз на GitHub ↗

Rerun 0.36.0: экспериментальная поддержка 3D Gaussian Splatting, каталог для больших файлов и ломачащие изменения в ID приложений.

  • Added: Экспериментальная поддержка 3D Gaussian Splatting с загрузкой PLY-файлов.
  • Added: Экспериментальный каталог просмотрщика для работы с файлами, превышающими объем RAM.
  • Breaking: Введены строгие ограничения на Application ID: до 180 символов, только ASCII.
  • Added: GrpcServerSink теперь поддерживает мульти-синк и доступен в C++ и Python.
  • Added: Улучшена навигация по таймлайну и добавлена настраиваемость осей для 3D-представлений.
  • Fixed: Исправлены ошибки компиляции C++ в новых toolchains и улучшены сообщения об ошибках.
0.35.0majorbreaking
🕐 3 мес назад · релиз на GitHub ↗

Релиз Rerun 0.35.0: экспериментальный каталог, импорт HDF5/MCAP, улучшенные видеочитатели и ROS 2.

  • Added: Экспериментальный встроенный каталог для работы с локальными записями без отдельного сервера.
  • Added: Hdf5Reader для ленивого чтения HDF5 в виде стримов чанков с маппингом групп в сущности.
  • Added: Улучшенный Mp4Reader: транскодирование через FFmpeg, поддержка GPU-кодеков и исправление B-кадров.
  • Added: Конвертация MCAP с разбивкой на временные окна для экономии памяти и восстановление поврежденных файлов.
  • Added: ROS 2 таймстампы теперь отображаются на timeline ros2_timestamp для любых сообщений с заголовком.
  • Breaking: Rust SDK: StateChange::with_state теперь принимает итератор; CLI: удален режим --follow для .rrd.
0.34.1patch
🕐 4 мес назад · релиз на GitHub ↗

Исправлены ошибки автообновления записей, переполнения стека при стриминге и улучшена обработка ошибок кодеков MP4.

  • Fixed: Исправлено автообновление коллекций при открытии записи.
  • Fixed: Устранено переполнение стека при приёме данных в реальном времени.
  • Fixed: Улучшено сообщение об ошибке для неподдерживаемых кодеков MP4.
  • Обновлена зависимость tonic-web-wasm-client.