Проблема существующих датасетов
Большинство современных бенчмарков для распознавания языка жестов (Sign Language Recognition, SLR) создаются в контролируемых студийных условиях с использованием фиксированных камер. Это создает разрыв между лабораторными результатами и реальным использованием, особенно в мобильных сценариях. Для арабского языка жестов (ArSL) эта проблема стоит остро из-за нехватки данных, отражающих повседневное общение.
Характеристики датасета Isharah-Selfie
Команда авторов (Ahmed Abul Hasanaath, Murtadha Aljubran и др.) собрала набор данных, полностью записанный с фронтальных камер смартфонов в условиях «селфи». Датасет включает:
- 8 997 видеоклипов;
- 16 жестеровов (signers);
- 1 493 уникальных предложения;
- Охват доменов: здравоохранение, образование, транспорт.
Ключевые отличия и аннотации
В отличие от традиционных наборов, ориентированных на двухручное письмо, Isharah-Selfie фокусируется на одноручном жестовом общении. Видео содержат реалистичные артефакты: движение камеры, частичную видимость тела, разные разрешения устройств и неконтролируемые среды. Каждое видео аннотировано двумя способами:
- Последовательности глосс (gloss sequences) для непрерывного распознавания языка жестов (CSLR);
- Переводы на арабский язык для задачи перевода языка жестов (SLT).
Результаты бенчмарков
Авторы провели обширное тестирование существующих методов CSLR и SLT на RGB-данных и данных на основе позы (pose-based). Выявлено, что текущие модели плохо справляются с условиями «селфи», особенно в сценариях с невидимыми предложениями (unseen-sentence evaluation), где наблюдается слабая композиционная обобщающая способность (compositional generalization).
| Параметр | Значение / Характеристика |
|---|---|
| Язык | Арабский язык жестов (ArSL) |
| Количество видео | 8 997 клипов |
| Количество жестеровов | 16 |
| Количество предложений | 1 493 уникальных |
| Тип съемки | Фронтальная камера смартфона (selfie), одноручное письмо |
| Задачи | CSLR (распознавание), SLT (перевод) |
Значение для индустрии
Публикация Isharah-Selfie направлена на стимулирование разработки более устойчивых и ориентированных на пользователя технологий. Это шаг к созданию приложений, которые работают надежно в реальных условиях использования смартфонов, а не только в лабораторных тестах.
Источник: arXiv cs.AI ↗