Система виртуальной реальности, управляемая жестами и голосом, для иммерсивного домашнего проектирования: системный дизайн и анализ пользовательского опыта

Краткое содержание

В данной статье представлена система виртуальной реальности, управляемая жестами и голосом, для погружения в домашний дизайн, которая повышает точность, удобство использования и доступность благодаря мультимодальному слиянию жестов и речи. Экспериментальные результаты показывают сокращение времени выполнения задач, повышенную точность размещения и повышение удовлетворённости пользователей по сравнению с традиционной практикой.

Аннотация

Взаимодействие на основе жестов и голоса в VR показало перспективы в различных приложениях; Однако существующие системы страдают из-за акцента на навигационных задачах, зависимости от двуручных жестов, отсутствия детализированной точности и тестирования на небольших, однородных популяциях. Эти ограничения ограничивают применимость к сложным, ориентированным на дизайн рабочим процессам. Чтобы преодолеть эти ограничения, мы вводим систему виртуальной реальности с управлением жестами и голосом для погружения в дизайн дома, которая сочетает в себе мультимодальное сочетание вручную отслеживаемого жеста и инструкций на естественном языке для точного размещения мебели, выбора материалов и пространственной корректировки. Три аспекта новизны в системе: (i) адаптивные режимы взаимодействия для поддержки одноручного использования, числовые голосовые команды и корректировка точности от грубой к точной; (ii) мультимодальная архитектура слияния, объединяющая информацию о жестах, речи и контексте для субсантиметровой точности; и (iii) структура оценки пользовательского опыта, ориентированная на задачи, адаптированная к процессам домашнего проектирования. Процесс разработки проходит по систематическому конвейеру: от анализа требований и проектирования жестовых и голосовых лексиконов до мультимодального распознавания намерений, сборки VR-сцен с помощью snapping и выравнивания, а также итеративного тестирования. Экспериментальные результаты на широком спектре групп участников показывают снижение ошибок размещения на 30% и значительное улучшение удобства использования и оценки нагрузки по сравнению с взаимодействием с контроллерами. Результаты свидетельствуют о потенциале мультимодального VR для создания доступных и увлекательных домашних дизайнерских впечатлений.

Введение

Виртуальная реальность (VR) — это интерактивная компьютерная среда, создающая трёхмерный опыт, в котором пользователи могут видеть, взаимодействовать и общаться с технологиями так, будто они действительно присутствуют. В контексте данного исследования виртуальная реальность рассматривается как мультимодальная среда взаимодействия, а не просто как визуальная техника отображения. Новейшие VR-системы интегрируют визуальное взаимодействие с распознаванием жестов, пространственными ощущениями и естественным голосовым вводом, позволяя пользователям управлять симулированными объектами с высокой точностью. Это понимание соответствует современ....

Протокол

Это исследование было одобрено Комитетом по этике исследований Университета Тейлора, Субанг-Джая, Малайзия. Все процедуры соответствовали этическим нормам, установленным институциональным исследовательским комитетом, и соответствовали Хельсинкской декларации. До сбора данных от каждого участника получалось информированное согласие. Им были четко проинформированы о целях исследования, заверили, что участие добровольное, что их ответы останутся конфиденциальными и что они могут отказаться в любой момент без каких-либо последствий. Письменное информированное согласие также было получено для использования анонимных данных взаимодействия и опросов в академических публикаци....

Результаты

Разработанная мультимодальная система домашнего проектирования VR была проверена тремя базовыми наборами данных: EgoGesture (динамические жесты), IPN Hand (постоянные жесты руки) и Fluent Speech Commands (голосовые команды с метками слотов намерений). В совокупности три набора данных предоставляли комплексную базу обучения и оценки, охватывающую как распознавание жестов, так и голосовое семантическое понимание. Валидация показывает, что интеграция жестов и голоса значительно повышает точность выполнения задач и снижает н.......

Обсуждение

Результаты этого исследования продвигают технологию базового документа, который в основном демонстрировал преимущества иммерсивной VR-навигации для доступности путём сочетания жестов и голосовых модальностей для задач дизайна. Мультимодальная система показала лучшие результаты по всем объективным и субъективным показателям производительности, с более коротким сроком выполнения задач, более высокой точностью размещения и более низким уровнем ошибок по сравнению с контроллерами и гибридным.......

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
Набор данных EgoGesture	Технологический университет Наньян	DOI: 10.1109/TMM.2018.2808769	Крупномасштабный набор данных по эгоцентричным жестам рук для обучения динамическому распознаванию жестов.
Набор данных команд беглой речи	Fluent.ai / Университет Альберты	DOI: 10.48550/arXiv.1804.04363	Набор данных для голосового намерения и семантического понимания слотов для обучения ASR/NLU.
Набор данных HaGRID (опционально)	Sber AI / Открытый исходный код	v1.1	Опциональный набор данных, используемый для предварительного обучения детектора статических жестов рук.
Анкета присутствия igroup (IPQ)	igroup.org	Н/Д	Используется для измерения погружения и присутствия в VR-среде.
Ручной набор данных IPN	Университет Веракрусаны	DOI: 10.1109/CVPRW50498.2020.00241	Набор данных для непрерывных, естественных задач распознавания и сегментации жестов руками.
Матплотлиб / Сиборн	Открытый исходный код	Последняя конюшня	Используется для визуализации показателей эффективности и результатов оценки.
MediaPipe Hands	Google Research	Открытый исходный код (GitHub)	Используется для отслеживания рук и жестов в реальном времени, чтобы распознавать ввод жестов.
Mozilla Common Voice (опционально)	Mozilla Foundation	Версия 17	Необязательный набор данных для предварительного обучения модели ASR на общих речевых данных.
Мультимодальный слой слияния	Пользовательский алгоритм	Н/Д	Объединяет потоки жестов и голосового ввода на основе арбитража с доверительным весом.
Оценка нагрузки NASA-TLX	Человеческий фактор NASA	Н/Д	Используется для анализа когнитивной нагрузки участников.
Модуль понимания естественного языка (NLU)	Custom (на основе BERT / RoBERTa)	Н/Д	Используется для извлечения семантических намерений и слотов (действие, объект, параметр) из транскрибированного голосового входа.
NumPy / Pandas / OpenCV	Открытый исходный код	Последняя конюшня	Используется для численных операций, предварительной обработки данных и обработки видеокадров.
Язык программирования Python	Фонд программного обеспечения Python	Версия 3.10+	Используется для реализации моделей машинного обучения (TCN, ASR, NLU, FUSION).
Фреймворк глубокого обучения PyTorch	Meta AI	Версия 2.0+	Используется для построения и обучения распознавания жестов (TCN) и моделей NLU.
RGB-камера	Logitech / RealSense	Logitech C920 или Intel RealSense D435	Используется для захвата жестов руками и распознавания движений.
Анкета по шкале удобства использования системы (SUS)	Инструмент оценки стандартов	Н/Д	Используется для оценки субъективной удобности VR-системы.
Временная сверточная сеть (TCN)	Пользовательская реализация (PyTorch / TensorFlow)	Н/Д	Используется для динамического распознавания жестов на основе скелетных данных временных рядов.
Unity 3D-движок	Unity Technologies	Версия 2022.3 LTS	Используется для создания погружающей VR-среды с интерактивной мебелью, редактирования материалов и рендеринга в реальном времени.
VR-гарнитура	Oculus (Meta) / HTC Vive	Oculus Quest 2 или HTC Vive Pro	Используется для иммерсивной визуализации и пространственного отслеживания во время VR-взаимодействия.
Модель Whisper ASR	OpenAI	Whisper (базовая модель)	Автоматический движок распознавания речи для преобразования речи в текст.
Рабочая станция	Кастомный ПК	Intel Core i7 / NVIDIA RTX 3070 / 32 ГБ оперативной памяти	Используется для обработки в реальном времени, обучения и вывода жестовых и голосовых моделей.