System wirtualnej rzeczywistości sterowany gestami i głosem do immersyjnego projektowania domów: projektowanie systemu i analiza doświadczeń użytkownika

Podsumowanie

Niniejszy artykuł przedstawia system rzeczywistości wirtualnej sterowany gestami i głosem do immersyjnego projektowania domów, który poprawia dokładność, użyteczność i dostępność dzięki multimodalnemu połączeniu gestów i wejść mowy. Wyniki eksperymentów wskazują na krótsze czasy pracy, lepszą dokładność rozmieszczania oraz lepsze zadowolenie użytkownika w porównaniu z tradycyjną praktyką.

Streszczenie

Interakcja oparta na gestach i głosie w VR wykazuje obiecujące zastosowania; Jednak istniejące systemy są ograniczone przez nacisk na zadania nawigacyjne, zależność od gestów dwuręcznych, brak precyzyjnej precyzji oraz testy na małych, jednorodnych populacjach. Te ograniczenia ograniczają zastosowanie do skomplikowanych, projektowych procesów pracy. Aby złagodzić te ograniczenia, wprowadzamy system wirtualnej rzeczywistości sterowanej gestami i głosem do immersyjnego projektowania domów, który łączy multimodalne połączenie ręcznie śledzonego wprowadzania gestów oraz instrukcji w języku naturalnym do precyzyjnego rozmieszczenia mebli, wyboru materiałów i dostosowania przestrzennego. Trzy aspekty nowości w systemie to: (i) adaptacyjne tryby interakcji wspierające użycie jedną ręką, numeryczne polecenia głosowe oraz gruba do precyzyjnej korekty precyzji; (ii) wielomodalna architektura fuzji łącząca gesty, mowy i informacje kontekstowe dla precyzji poniżej centymetra; oraz (iii) ramy oceny doświadczeń użytkownika uwzględniające zadania, dostosowane do procesów projektowania domów. Proces tworzenia przebiega systematycznie, od analizy wymagań i projektowania leksykonów gestów oraz głosu, przez multimodalne rozpoznawanie intencji, montaż scen VR z utrzymywaniem i wyrównaniem, aż po testy iteracyjne. Wyniki eksperymentalne dotyczące szerokiej gamy grup uczestników wykazują 30% zmniejszenie błędu przydzielania oraz znaczną poprawę użyteczności i obciążenia w porównaniu z interakcją opartą na kontrolerze. Wyniki sugerują potencjał multimodalnej VR do tworzenia przystępnych i angażujących doświadczeń projektowania domów.

Wprowadzenie

Wirtualna rzeczywistość (VR) to interaktywne środowisko generowane komputerowo, które tworzy trójwymiarowe doświadczenie, w którym użytkownicy mogą widzieć, wchodzić w interakcje i komunikować się z technologią, jakby faktycznie byli obecni. W kontekście tego badania rzeczywistość wirtualna jest postrzegana jako środowisko interakcji multimodalnej, a nie jedynie jako technika wizualnego wyświetlania. Najnowsze systemy VR integrują interakcję wizualną z rozpoznawaniem gestów, zmysłami przestrzennymi i naturalnym wejściem głosowym, pozwalając użytkownikom na precyzyjne obsługiwanie symulowanych przedmiotów. To zrozumienie jest zgodne z aktualnymi badaniami VR, które stawiają na immersję, zaangażowanie i naturalne doświadczenia użytkowników. Obszary jego zastosowań obejmują pracę, nauczanie², leczenie^{medyczne 3} oraz podróż⁴. VR pozwala ludziom na interakcję i łączenie się ze światami, które w rzeczywistości nie byłyby osiągalne, poprzez symulowanie realnych środowisk. W procesach projektowania domów, gdzie użytkownicy muszą postrzegać układy przestrzenne, kontrolować obiekty i otrzymywać informacje zwrotne w czasie rzeczywistym bez konieczności fizycznego ruchu, takie funkcje immersyjne są szczególnie pomocne. Te funkcje mogą oferować nowe możliwości, szczególnie dla użytkowników z niepełnym ruchomością fizycznym. Członkowie nieformalnie upośledzonych grup, zwłaszcza osoby starsze oraz osoby z minimalną alfanumeryczną znajomością alfanumeryczną, będą mieli ograniczone aktywności na świeżym powietrzu z powodu różnych czynników, takich jak ograniczenia fizyczne, problemy z mobilnością oraz trudności w dostępie do technologii cyfrowej z powodu ograniczeń wiekowych. Dlatego konieczne jest stałe skupianie się na badaniach, które pośrednio udostępnią świat zewnętrzny tym osobom dzięki ekspertyzie VR. Ta potrzeba ciągłego zainteresowania badaniami nie tylko wspiera tworzenie doświadczeń VR zorientowanych na dostępność, ale także napędza rozwój systemów wykraczających poza podstawowe zadania nawigacyjne. Rzeczywiście, immersyjne środowiska projektowania domów — kontrolowane za pomocą naturalnych gestów i głosu — mogą oferować starszym użytkownikom, osobom z niepełnosprawnościami motorycznymi oraz cyfrowo wrażliwym grupom intuicyjne możliwości interakcji ze złożonymi środowiskami przestrzennymi. Umożliwiając pośredni dostęp do przestrzeni zewnętrznych i zadań twórczych, takie systemy przyczyniają się zarówno do funkcjonalnej niezależności, jak i dobrostanu emocjonalnego. Na tych podstawach badanie wprowadzi multimodalny system projektowania domów VR. W związku z tym to właśnie pragnienie ciągłej uwagi poświęconej badaniom pomoże uczynić świat zewnętrzny pośrednio dostępnym dla tych osób korzystających z wiedzy VR. Badania wykazały, że interwencje oparte na VR stworzone dla osób starszych mogą mieć wiele korzyści, takich jak zmniejszenie ryzyka upadków poprzez poprawę kontroli postawy i elastyczności6, a także poprawa ogólnej regulacji postawy i twardości^{ciała 7}. Dodatkowo, coraz częściej pojawia się materiały VR dostosowane specjalnie do starszej populacji^{dorosłych 8,9}. Mimo że interakcja z VR się rozwinęła, większość obecnych systemów opiera się głównie na kontrolerach i gestach dwuręcznych, co ogranicza dostępność i dokładność w zadaniach wymagających projektowania. Rozwijając te funkcje mobilności, nasza praca rozszerza VR poza zwykłą obserwację, umożliwiając aktywne, precyzyjne i realistyczne zarządzanie elementami wnętrza za pomocą metod gestów i mowy

VR ma trzy powiązane właściwości: komunikację, zaangażowanie i myśli¹⁰. Poziom zaangażowania i siła interakcji z symulowanymi obiektami bezpośrednio wpływają na wyobraźnię użytkowników w wirtualnej atmosferze. W zależności od etapów immersji, schematy VR dzielą się na VR nieimmersyjne, półimmersyjne VR oraz w pełni immersyjne VR, z których każdy wykorzystuje różne kombinacje metod komunikacji, strategii i granic. 11 Nieimmersyjna VR umożliwia komunikację z wirtualnym otoczeniem na pulpicie lub ekranach dotykowych na urządzeniach przenośnych za pomocą myszy i znaków 12,13,14. Półimmersyjne VR zazwyczaj składa się z dużego ekranu, organizacji i ekranów, zapewniając doświadczenie kino, ale często brakuje mu śledzenia pozycji w grupach. Połączenia oparte na gestach były badane od początku VR¹⁵, aby uczynić korzystanie z technologii VR komfortowym i znajomym. W interfejsie opartym na gestach fizyczne znaki ciała, takie jak ruchy rąk, służą do komunikacji z systemem komputerowym.

Ramka gestu to powszechne zrealizowanie bardziej ogólnej zasady naturalnego interfejsu użytkownika (NUI), które można zastosować do osiągnięcia przejrzystości interfejsu w VR opartym na HMD. Aspekty sprzyjające występowaniu w VR zostały zbadane wcześniej ^16,17; niemniej jednak istnieje niewiele badań nad występowaniem w tle interfejsu opartego na gestach. Zrozumienie wpływów, które mogą wpływać na pojawienie się VR za pomocą interfejsu opartego na gestach, może być pomocne podczas projektowania nadchodzących technologii immersyjnych. Dlatego z perspektywy komunikacji zdarzeń i gestów badaliśmy doświadczenie użytkownika immersyjnego zaangażowania VR opartego na interfejsie opartym na gestach. Dla osób społecznie wrażliwych materiały do oceny autostrady 360°, będące częścią wirtualnej rzeczywistości (VR), mogą być skutecznym narzędziem. Dzięki takiej technologii użytkownicy mogą wirtualnie eksplorować świat bez fizycznego ruchu, podróżować do różnych miejsc oraz prowadzić komunikację społeczną z innymi użytkownikami, wraz z funkcją wieloosobową. Dla osób z niepełnosprawnościami fizycznymi i środowiskowymi takie zaangażowanie może być cennym uzupełnieniem aktywności na świeżym powietrzu. Poza prostą nawigacją, możliwości edukacyjne zapewnione dzięki technologii opinii 360° obejmują wiele obszarów edukacji.

Systematyczny przegląd literatury obejmujący 64 sesje szkoleniowe podkreślił informacyjne zastosowania, korzyści i właściwości komunikacyjne filmów 360° VR oraz rzeczywistej VR. Wyniki wskazują, że 360° VR może poprawić prezentację, motywację i zapamiętywanie informacji uczniów, sprzyjając większemu zanurzeniu. Badacz²¹ połączył dwa interfejsy jednoręczne i dwuręczne w teleportacyjnym systemie ruchowym. Wyniki pokazują, że sygnały jednoręczne były postrzegane jako szybsze do rozpoczęcia przez tych, którzy je preferowali, podczas gdy znaki dwuręczne uważano za bardziej niezawodne, mimo że przedmiot omawia, że teleportacja jest samodzielna, a nie ciągły ruch, jak w tej pracy.

Założenie wyższej spójności dla znaków dwuręcznych oraz wyższej początkowej szybkości znaków jednoręcznych zostało ustanowione i wykorzystane jako podstawa tego badania. Wymagana jest również bardziej szczegółowa specyfikacja ograniczeń oceny technologii, wykraczającej poza prezentację i dostępność serwisową, dotycząca szkolenia operatorów do realizacji obowiązków w VR²². W tej sytuacji szkoleniowej panele szkolą operatorów poprzez działania, przy czym ocena technologii jest kluczowym elementem. Ponadto podstawową zasadą jest to, że technologia HT, jeśli zostanie właściwie zastosowana, może przynieść postępy również w dziedzinie technologii^23,24. Najnowsze badania wykazały, że środowiska wirtualne są nie tylko przydatne do oceny usług sterowania wózkami inwalidzkimi, ale także mają korzystne zastosowania, w tym szkolenia w zakresie elastycznych usług, których odtworzenie w rzeczywistości byłoby trudne lub kosztowne. Na przykład autor²⁵ wskazuje, że symulatory VR mogą ułatwić uogólnienie usług sterowania na środowiska fizyczne, zapewniając profesjonalne i bezpieczne środowisko technologiczne.

Badacz podkreśla również zastosowanie umiejętności wirtualnych jako programu interwencyjnego w szkoleniach z obsługi wózka inwalidzkiego, podkreślając ich użyteczność i korzystną wartość w indywidualizacji ćwiczeń oraz zwiększaniu elastyczności. Niemniej jednak, ze względów bezpieczeństwa użytkownicy są wcześniej weryfikowani i sprawdzani, szczególnie w środowisku wirtualnej rzeczywistości^26,27. Takie wdrożenie pozwala osobom z niepełnosprawnościami fizycznymi ćwiczyć i doskonalić umiejętności prowadzenia na wózku inwalidzkim w bezpiecznym i kontrolowanym środowisku²⁸. Mogą przechodzić przez różne wirtualne testy i scenariusze, w tym pokonywanie trudnych problemów, poruszanie się po ciasnych przestrzeniach czy wykonywanie skomplikowanych manewrów. Tymczasem użytkownicy mogą otrzymywać natychmiastowe informacje zwrotne o swojej wydajności i zdobywać nowe strategie ruchu²⁹. Poza tym, że służy jako pomoc treningowa, wirtualna rzeczywistość ma zastosowania terapeutyczne³⁰. Oferowanie immersyjnej technologii obrazowej może przyczynić się do zwiększenia pewności siebie, organizacji i fizycznej reintegracji. Ludzie mogą rozwijać swoje umiejętności motoryczne oraz poprawiać stabilność i stabilność. Środowiska wirtualnej rzeczywistości to komputerowo generowane reprezentacje, które pozwalają użytkownikom poczuć się częścią^{31 lat}.

Sytuację tę wizualizuje się za pomocą słuchawek wirtualnej rzeczywistości lub innych strategii. Makiety mogą symulować okoliczności ryzyka lub trudne sytuacje przed ich wdrożeniem, takie jak zdarzenia medyczne czy działanie określonych strategii 32,33,34. Dodatkową korzyścią jest możliwość montażu urządzeń do urządzeń, takich jak sterowanie, ozdoby wykrywające ruch, mikrofony czy kamizelki, co pozwala na efektywną komunikację między pracodawcą a mechanizmem³⁵ w nieszkodliwym i starannie odtworzonym otoczeniu przed jego użyciem w rzeczywistych warunkach. Substancje wirtualne mogą być obsługiwane w różnych trybach, takich jak joysticki, instrukcje mowy lub nagrane ścieżki, jak w badaniu Kinect³⁶. Wszystkie alternatywy wymagają uczenia się dla użytkowników, więc doświadczenie użytkownika jest kluczowym czynnikiem przy wyborze podejścia kontrolnego³⁷.

Chociaż gesty i interakcje głosowe w przestrzeniach wirtualnych były badane do zadań nawigacyjnych, w tym systemu widoku ulicy omawianego w artykule bazowym, istnieje istotna luka w zastosowaniu tych metod w precyzyjnych i kreatywnych obszarach pracy, takich jak immersyjne projektowanie domów. Podstawowe badanie udowodniło, że wielomodalne dane wejściowe są wykonalne dla dostępności, ale obejmowały jedynie nawigację i analizę scen, wykorzystując gesty dwuręczne, proste wydawanie poleceń oraz niewielką liczbę uczestników. Nie obejmował trudności związanych z manipulacją wysokiej wierności, precyzyjnym pozycjonowaniem przestrzennym, edycją materiałów czy współpracą, które definiują działania związane z projektowaniem wnętrz i architekturą. Ponadto testy były skierowane do wąskiej, jednorodnej grupy użytkowników, co ograniczyło obserwacje dotyczące użyteczności dla szerszych populacji i różnych potrzeb dostępności. Obecne narzędzia VR opierają się głównie na kontrolerach, które ograniczają naturalną interakcję i wykluczają użytkowników z niepełnosprawnością motoryczną lub uczenia się. W rezultacie brakuje projektowania i testowania systemu, który integrowałby gesty i mowę do grubej i precyzyjnej manipulacji obiektami, zapewniał zmiany numeryczne sterowane głosem, dostosowywał do jednoręcznych i przystępnych stylów interakcji oraz był testowany poprzez szeroką analizę doświadczeń użytkownika w rzeczywistych zadaniach^{projektowych 38,39}. Zamknięcie tej luki może stworzyć nowe, skoncentrowane na użytkowniku podejście do immersyjnego projektowania domów, które opiera się na wcześniejszych badaniach w zakresie multimodalnej nawigacji VR.

Najnowsze osiągnięcia w zakresie multimodalnych interfejsów człowiek-maszyna badały zaawansowane mechanizmy detekcji i interakcji, aby zwiększyć użyteczność i immersję VR⁴⁰. Autor⁴¹ przedstawił tryboelektryczny sensor na bazie nanowłókien elektrycznych do bezkontaktowego rozpoznawania gestów 3D, demonstrując, że interpretacja gestów w wysokiej wierności można osiągnąć bez tradycyjnego śledzenia wzrokowego, umożliwiając bardziej naturalną, bezdotykową kontrolę VR. Z kolei badacz⁴² przedstawił solidną procedurę treningu behawioralnego dla systemów VR z głową u myszy. Badanie wykazało, jak kontrolowane środowiska VR mogą wspierać precyzyjne pomiary zachowań i stabilne protokoły interakcji, a także podkreśliło znaczenie powtarzalności i systematycznego projektowania w procesach VR. Równocześnie autor⁴³ zaproponował rozciąganą i adhezyjną elektrodę jonowoprzewodzącą o ultra-niskiej impedancji skóry dla lepszego odbioru sygnału elektrofizjologicznego; otwiera to drogę do biozintegrowanego sensoryzmu, który może jeszcze bardziej zwiększyć wierność interakcji XR i VR. W rzeczywistości wszystkie te badania pokazują, jak szybko ewoluują technologie sensorów, protokoły treningowe i interfejsy fizjologiczne – wszystko dlatego, że istnieje potrzeba bardziej elastycznych, multimodalnych ram interakcji, takich jak proponowany system gest-głos w tym badaniu.

Protokół ten oferuje multimodalną ścieżkę gest-głos, która umożliwia jednoręczne dostępne gesty, głosowe ulepszenia numeryczne oraz precyzyjne projektowanie domów, w przeciwieństwie do obecnych modeli interakcji VR, które przede wszystkim obsługują nawigację lub manipulację kontrolerem. Z naszej wiedzy jest to pierwszy protokół łączący fuzję gestów i głosu, specjalnie dostosowaną do precyzji przestrzennej, modyfikacji materiałów oraz inkluzywnych procesów projektowych.

Głównymi celami tych prac jest stworzenie systemu wirtualnej rzeczywistości (VR) z pomocą gestów i głosu, dostosowanego do angażujących działań związanych z projektowaniem domów, oraz rozszerzenie możliwości multimodalnego wprowadzania mebli, aby wspierać precyzyjne rozmieszczanie, rotację, skalowanie oraz edycję materiałów lub oświetlenia, oprócz typowych funkcji nawigacyjnych. Głównym celem jest opracowanie multimodalnego silnika fuzyjnego, który integruje gesty, głos i kontekstowe wejścia, aby osiągnąć zarówno grubą, jak i precyzyjną kontrolę podczas zadań związanych z projektowaniem wnętrz. System wprowadza także adaptacyjne tryby interakcji, takie jak gesty jedną ręką, funkcje skupione na dostępności oraz precyzyjne polecenia głosowe, aby wspierać szeroki zakres grup użytkowników.

Prace te mają również na celu przeprowadzenie kompleksowej oceny doświadczenia użytkownika (UX), która łączy miary ilościowe, w tym czas ukończenia zadań, dokładność umieszczenia i wskaźnik błędów, z jakościowymi ocenami użyteczności, obciążenia pracą i satysfakcją użytkowników. Znaczący postęp w porównaniu z wcześniejszymi badaniami osiągnięto poprzez przejście od systemów nawigacji opartych na widoku ulicy na ramy projektowania wnętrz nastawione na zadania i precyzję. Kluczowym wkładem jest opracowanie środowiska VR sterowanego gestami i głosem do immersyjnego projektowania domów, rozszerzającego zakres wcześniejszych badań koncentrujących się głównie na integracji gestów i głosu dla nawigacji w widoku ulicy.

Co ważne, żaden wcześniejszy system nie łączył skutecznie multimodalnej komunikacji gestów i głosu specjalnie do precyzyjnych operacji projektowania domu, takich jak pozycjonowanie obiektów, skalowanie, rotacja czy edycja materiałów. Istniejące podejścia również nie mają alternatyw dla interakcji adaptacyjnej, takich jak jednoręczne gesty lub udoskonalanie numeryczne oparte na głosie. Proponowany system wprowadza kompleksowy paradygmat interakcji multimodalnej, łączący rozpoznawanie gestów — osiągnięte za pomocą MediaPipe Hands lub monitorowania rąk opartych na goglach VR — z klasyfikatorami sieci Temporal Convolucional, a także rozpoznawaniem mowy i interpretacją języka naturalnego, opartą na Whisper ASR i modelach klasyfikacji intencji opartych na transformatorach.

Aby zapewnić solidne działanie, implementowany jest mechanizm fuzji wielomodalnej na poziomie decyzyjnym z arbitrażem opartym na zaufaniu, mapujący gesty na zadania wyboru przestrzennego oraz polecenia głosowe do precyzyjnych udoskonaleń. Ten projekt umożliwia dokładne rozmieszczenie, skalowanie, obrót i zmiany materiałów obiektów w wirtualnych środowiskach projektowania domów. Workflow przebiega według uporządkowanego procesu, który zaczyna się od określenia wymagań systemowych, projektowania leksykonów gestów i głosu, opracowania technik fuzji multimodalnej oraz stworzenia immersyjnego środowiska VR w Unity 3D, wyposażonego w narzędzia do snapowania, nakładki pomiarowe i podglądy materiałów. Następnie następuje integracja systemów, testy pilotażowe oraz ocena doświadczeń użytkownika poprzez badania porównawcze.

System oferuje niskie opóźnienia multimodalne interakcje (poniżej 200 ms), adaptacyjne wsparcie dla dostępności oraz lepszą użyteczność w porównaniu z tradycyjnymi systemami VR opartymi na kontrolerze. Ocena eksperymentalna pozwoli na ilościowe określenie czasu ukończenia zadania, dokładności umieszczania, wskaźników błędów, wyników SUS, metryk obciążenia pracą NASA-TLX oraz ocen obecności IPQ. Oczekiwane wyniki pokazują, że interakcja multimodalna znacząco zwiększa precyzję, efektywność i satysfakcję użytkownika w projektowaniu domów opartych na VR.

Protokół

Badanie to zostało zatwierdzone przez Komitet ds. Etyki Badań Uniwersytetu Taylora w Subang Jaya, Malezja. Wszystkie procedury były zgodne z wytycznymi etycznymi ustanowionymi przez instytucjonalny komitet badawczy i zgodne z Deklaracją Helsińską. Przed zebraniem danych uzyskiwano świadomą zgodę każdego uczestnika. Zostali wyraźnie poinformowani o celach badania, zapewnieni, że udział jest dobrowolny, ich odpowiedzi pozostaną poufne i że mogą się wycofać w dowolnym momencie bez żadnych konsekwencji. Uzyskano również pisemną świadomą zgodę na wykorzystanie anonimowych danych interakcji i ankiet w publikacjach naukowych. W rękopisie nie uwzględniono żadnych danych osobowych umożliwiających identyfikację, zdjęć ani wrażliwych danych osobowych.

Proponowane prace tworzą system wirtualnej rzeczywistości (VR) oparty na gestach i głosie, zaprojektowany z myślą o immersyjnym projektowaniu domów, przewyższając obecne metody skierowane do zadań nawigacyjnych. Podejście zaczyna się od identyfikacji potrzeb użytkowników i działań projektowych, w tym rozmieszczenia mebli, skalowania i rotacji obiektów, edycji materiałów oraz precyzyjnych pomiarów pomieszczenia. Następnie rozwijany jest system interakcji gestów, w którym niekontrolowane gesty dłoni (takie jak szczypanie, chwytanie i obróc) są wykrywane za pomocą śledzenia opartego na zestawach słuchawkowych lub MediaPipe Hands i identyfikowane przez lekkie modele uczenia maszynowego, w tym Temporal Convolucional Networks (TCN). Aby uzupełnić gesty, tworzona jest zorganizowana gramatyka poleceń głosowych, połączona z automatycznym rozpoznawaniem mowy (ASR) opartym na szeptach oraz rozumieniem języka naturalnego (NLU), aby wyprowadzić intencje i parametry do wysokiego poziomu kontroli semantycznej. Obie modalności są połączone w strategii multimodalnej fuzji, gdzie gesty służą do zarządzania wyborem i manipulacją przestrzenną, a polecenia głosowe do precyzyjnych udoskonaleń, wzbogaconych o mechanizm arbitrażu opartego na zaufaniu oraz odzyskiwanie błędów za pomocą poleceń cofania.

Immersyjne środowisko projektowe jest wdrożone w Unity 3D, oferując snapping, reakcję na kolizje, nakładki pomiarowe oraz interaktywną bibliotekę mebli i materiałów umożliwiającą realistyczne procesy projektowania. Testy pilotażowe przeprowadzane są w celu zapewnienia naturalności interakcji, stabilności oraz niskiego opóźnienia (<200 ms) przed formalną oceną.

Uczestnicy i strategia próbowania
Łącznie do badania użytkownika zrekrutowano 48 uczestników, aby zapewnić różnorodność i uogólnialność wyników. Wiek uczestników wahał się od 19 do 62 lat (M = 32,4, SD = 10,7), a 26 mężczyzn i 22 kobiety. Aby oddać różnorodność znajomości technologii immersyjnych, uczestnicy zostali podzieleni na trzy grupy doświadczeń VR: początkujących użytkowników (n = 18) z niewielkim lub żadnym wcześniejszym kontaktem z VR, użytkowników średniozaawansowanych (n = 17) z rzadkim korzystaniem z VR oraz doświadczonych użytkowników (n = 13), którzy regularnie korzystali z VR, głównie zawodowo. Aby zapewnić dostępność i inkluzywność próby, objęło to także 6 uczestników z łagodnymi ograniczeniami mobilnymi oraz 4 osoby, które preferowały interakcję jedną ręką ze względu na ograniczenia motoryczne. Wszyscy uczestnicy mieli wzrok prawidłowy lub skorygowany do normy, a żaden z nich nie zgłaszał schorzeń przedsionkowych lub neurologicznych, które mogłyby zakłócać korzystanie z VR.

Uczestnicy zostali losowo przypisani do trzech warunków interakcji przy użyciu zrównoważonej strategii alokacji: Gest+Głos (n = 16), Tylko Kontroler (n = 16) oraz Hybrydowy (n = 16). Poziom doświadczenia został równomiernie rozłożony między trzy grupy, aby uniknąć uprzedzeń i zapewnić porównywalną trudność zadań w różnych warunkach. Wszyscy uczestnicy wyrazili pisemną świadomą zgodę przed rozpoczęciem eksperymentu.

Następnie przeprowadzane jest badanie użytkownika w trzech warunkach interakcji, takich jak Gesture Voice, Only Controller oraz Hybrid, aby ocenić precyzję, efektywność i doświadczenie użytkownika. Ilościowe metryki obejmują precyzję zatrudnienia, czas trwania zadania oraz wskaźniki błędów, natomiast ocena subiektywna wykorzystuje SUS, NASA-TLX i IPQ, wspierane przez wywiady jakościowe. System ten, przedstawiony tutaj, oferuje trzy główne nowości: wykorzystanie multimodalnej fuzji gestów i głosu do precyzyjnej manipulacji obiektami w VR, adaptacyjne i dostępne tryby interakcji, takie jak gesty pojedynczej ręki i głos backback, oraz udostępnienie powtarzalnego korpusu komentowanych poleceń gest-głos. W połączeniu te kroki zapewniają większą dokładność, skuteczność i doświadczenie użytkownika, bezpośrednio odpowiadając na niedociągnięcia artykułu bazowego i rozwijając badania nad immersyjną interakcją VR w kontekście projektowania. Rysunek 1 przedstawia architekturę proponowanej metody.

Architektura systemowa proponowanej metody, jak pokazano na Rysunku 1, zaczyna się od modalności wprowadzania, gdzie gesty są rejestrowane przy użyciu zbiorów danych takich jak EgoGesture i IPN Hand oraz instrukcji głosowych z zestawu Fluent Speech Commands. Te wejścia są przetwarzane niezależnie za pomocą modułów rozpoznawania gestów i głosu, aby uzyskać dane przestrzenne i semantyczne. Oba strumienie są fuzjonowane w warstwie multimodalnej fuzji, która dostosowuje sygnały i sygnały głosowe, aby generować spójne polecenia. Te połączone dane są wykorzystywane w warstwie interakcji VR, aby ułatwić użytkownikom manipulowanie obiektami poprzez umieszczanie, rotację, skalowanie i modyfikację materiałów w czasie rzeczywistym. Na koniec, przetworzone interakcje są dostępne w warstwie wyjściowej, tworząc immersyjną przestrzeń projektowania domu, skupioną na dostępności, dokładności i naturalnej interakcji.

Wymagania systemowe i definicja zadań
Planowany system ulepsza modele nawigacyjne VR o orientację dostępności, aby ułatwić precyzyjne planowanie domu. Identyfikujemy domenę użytkownika jako , gdzie są właścicielami domów, profesjonalistami w projektowaniu oraz użytkownikami dostępu (w wieku wiekowym lub z ograniczeniami mobilności). Każdy użytkownik wykonuje zestaw podstawowych zadań T = {umieszczaj, obracaj, skaluj, materiał, światło, mierz}. Zadanie t ∈ T wykonywane jest za pomocą wejść multimodalnych: strumienia gestów G_t (manipulacja przestrzenna) oraz polecenia głosowego V_t (parametry semantyczne). System odnosi je do działania poprzez politykę fuzji:

    (1)

gdzie π to funkcja wielofunkcyjna na poziomie decyzyjnym.

Potrzeby systemu wymagają interakcji o niskim opóźnieniu: na przykład rozpoznawania gestów, rozumienia mowy i czasów fuzji.

    (2)

Suma odpowiedzi zapewnia responsywność w czasie rzeczywistym zgodnie z progami immersyjnej użyteczności VR.

Aby uzyskać dokładność zadania, niech stan obiektu o podstawowej rzeczywistości będzie (x, R, s, M, L) (pozycja, obrót, skala, materiał, długość), a stan zrealizowany systemu to . Metryki błędu są następujące:

   (3)

    (4)

    (5)

    (6)

Ze względu na niedopasowanie materiałowe.

Obie modalności generują wyniki pewności c_g (gest) i c_v (głos), znormalizowane tak, że c_g + c_v = 1. Arbitraż fuzji minimalizuje błąd ważony:

   (7)

Gdzie l_g, l_v to straty specyficzne dla modalności. Jeśli , system żąda promptu wyjaśnienia, co sprawia, że jest odporny na niejasne polecenia.

Na koniec, metryki ewaluacyjne obejmują czas ukończenia zadania T_t, wskaźniki błędów E_t oraz wyniki obciążenia pracą z NASA-TLX, SUS i IPQ. Wprowadzamy złożony indeks wydajności zadań:

    (8)

do minimalizacji wśród użytkowników, z progami wymagającymi wyniku SUS na poziomie ≥70 oraz redukcją NASA-TLX w porównaniu do bazowego VR opartego na kontrolerze.

Zbieranie i wstępne przetwarzanie zbiorów danych
Proponowany system opiera się zarówno na danych gestów (do rozpoznawania TCN), jak i danych poleceń głosowych (dla NLU/ASR). W tym celu wykorzystujemy trzy główne zbiory danych: EgoGesture do dynamicznych, ciągłych gestów w środowiskach podobnych do VR, IPN Hand do uzupełniania naturalnych gestów krótkich zasięgów oraz Fluent Speech Commands⁴⁴ do trenowania semantycznego rozumienia wypowiedzi projektowych prowadzonych przez głos. Opcjonalne zbiory danych to HaGRID do wstępnego treningu statycznego detektora gestów oraz Mozilla Common Voice do ogólnego wstępnego treningu ASR, ale żaden z tych zestawów nie jest konieczny. Taki wybór pozwala na objęcie obu modalności, jednocześnie utrzymując zakres zbiorów danych jak najbardziej rozsądny i powtarzalny. Tabela 1 przedstawia szczegóły zbioru danych dotyczące proponowanych prac.

Wybór zbioru danych w tym artykule jest kluczowy, ponieważ każdy zbiór danych został zaprojektowany tak, aby odpowiadać na specyficzny scenariusz multimodalnej interakcji VR. Zbiór danych EgoGesture zapewnia wielkoskalową, naturalistyczną kolekcję gestów dłoni, zapewniającą wysoką wydajność rozpoznawalności mimo zmiennych warunków oświetleniowych i środowiskowych. Ponieważ zbiór danych IPN Hand został zaprojektowany do nieograniczonych, ciągłych ruchów dłoni, byłby szczególnie dobrze przystosowany do precyzyjnych operacji sterowania oraz segmentacji gestów w czasie rzeczywistym. Dodatkowo, zbiór danych Fluent Speech Commands oferuje oznaczone polecenia głosowe z annotacjami semantycznymi do wykrywania intencji, co jest kluczowe dla dokładnego i naturalnego wykonywania poleceń w VR. Łącznie te zbiory danych zapewniają uzupełniające pokrycie zarówno gestów, jak i mowy modalności, zapewniając różnorodność, odporność i codzienne funkcjonowanie, które poprawiają ocenę proponowanego systemu. Oprócz publicznych zbiorów danych, zweryfikowaliśmy protokół za pomocą niezależnego, wewnętrznego zestawu danych zawierającego 312 próbek gestów i 128 poleceń głosowych od 10 nowych uczestników. Ta niezależna walidacja potwierdziła powtarzalność i odporność protokołu.

Wstępne przetwarzanie danych
Zebrane informacje są systematycznie normalizowane, próbkowane i rozszerzane przed trenowaniem modelu:

Normalizacja sekwencji gestów
Sekwencja wideo z gestem jest reprezentowana jako wielowymiarowy ciąg czasowy cech stawów szkieletowych:

    (9)

Gdzie T_i to długość i-tego gestu, a d to wymiar cech (np. położenie stawów dłoni). Ponieważ różne gesty mogą mieć różną długość Ti, próbujemy je ponownie do stałej długości sekwencji T:

     (10)

Dzięki temu wszystkie próbki gestów, niezależnie od długości nagrania, są porównywalne ze standardową długością czasową, którą można wykorzystać do treningu TCN.

Standaryzacja cech
Aby wyeliminować różnice skalowe między użytkownikami i warunki nagrywania, każda przestrzeń cech jest standaryzowana:

     (11)

Gdzie jest średnią cechy j, a σ_j to jej odchylenie standardowe. Normalizacja w ten sposób zapewnia, że cechy są wyśrodkowane z wariancją jednostkową, a indywidualne różnice w wykonaniu gestów są minimalizowane.

Augmentacja danych
Uwzględnienie syntetycznych zaburzeń zwiększa odporność na zmienność. Chwilowe drganie najpierw losowo przesuwa wyrównanie sekwencji:

    (12)

gdzie δ to maksymalny drgania w klatkach. Zastrzyk szumu dodaje zaburzenia gaussowskie do cech:

   (13)

Te ulepszenia pozwalają modelu być odpornym na nieprawidłowości w czasie i szumy sensorów podczas rzeczywistych interakcji VR.

Wstępne przetwarzanie głosu
Każde wypowiedzenie jest początkowo mapowane na spektrogram log-Mel:

   (14)

Gdzie F to liczba pasm częstotliwości, a T′ liczba ram czasowych. Aby zrekompensować zmienność zapisu, cechy spektrogramu są normalizowane jako:

    (15)

Gdzie μ_V, σ_V to globalna średnia i odchylenie standardowe w całym korpusie. Zapewnia to stabilną przestrzeń akustyczną dla modeli ASR i NLU.

Kodowanie z intencyjnym slotem
Oprócz funkcji akustycznych, każde polecenie głosowe jest oznaczone ustrukturyzowanymi slotami semantycznymi:

 (16)

gdzie na przykład "rotate chair 15 degrees" odpowiada (akcja = rotacja, obiekt = fotel, lokalizacja = null). To systematyczne kodowanie pozwala systemowi wyprowadzać parametry specyficzne dla projektu i przekształcać je w wykonywalne operacje VR.

Projektowanie interakcji gestów z Temporal Convolucional Network (TCN)
Gesture Interaction Design określa, jak użytkownicy wchodzą w interakcje z wirtualnymi obiektami w systemie projektowania VR za pomocą naturalnych gestów dłoni. Projektowanie zaczyna się od opracowania leksykonu gestów – powiązania gestów dłoni z funkcjami systemu. Na przykład gest chwytający mógłby kontrolować rozmieszczenie obiektów, gest szczypania mógł kontrolować skalowanie, a gest rotacji mógł obracać obiekty wokół wybranej osi.

W rozważanym systemie EgoGesture i IPN Hand służą jako podstawowe zbiory danych gestów do trenowania Temporal Convolucional Network (TCN), natomiast Fluent Speech Commands uzupełniają projekt możliwościami interakcji z głosem. Razem zapewniają multimodalną interakcję VR.

Reprezentacje gestów z tego zbioru danych
Ciąg gestów z EgoGesture lub IPN Hand to wielowymiarowy ciąg czasowy:

     (17)

     (18)

Tutaj T to ustalona liczba klatek (po ponownym próbkaniu), a d to liczba wymiarów cech szkieletowych (np. położenie stawów 3D). Zbiór danych posiada etykiety y⁽ⁱ⁾ ∈ y wskazujące jedną z klas gestów C (C).

Kodowanie splotowe temporalne
Wykorzystujemy Temporal Convolucional Network (TCN) do klasyfikacji gestów w czasie rzeczywistym. TCN rejestruje krótkoterminowe i długoterminowe zależności w sekwencjach gestów. TCN, w przeciwieństwie do RNN, wykorzystują zwięzane zwięzanie przyczynowe o dylatacji, co umożliwia efektywne obliczenia równoległe.

TCN stosuje te sekwencje poprzez przyczynowe sploty rozszerzane, aby nauczyć się zależności krótkoterminowych i długoterminowych:

    (19)

gdzie d_L to współczynnik dylatacji warstwy l, K to rozmiar jądra, a σ to nieliniowa aktywacja (ReLU). Pole recepcyjne zależy od:

   (20)

wymagając od TCN obejmowania gestów o różnych długościach czasowych.

Klasyfikacja gestów
Ostatni stan ukryty jest przekazywany przez klasyfikator Softmax:

 (21)

z celem treningowym zdefiniowanym przez entropię krzyżową:

 (22)

Integracja z poleceniami głosowymi
Podczas gdy operacje przestrzenne (ruch, obrót, skalowanie) są obsługiwane przez rozpoznawanie gestów w EgoGesture i IPN Hand, dla poleceń semantycznych stosuje się zestaw danych Fluent Speech Commands. Każda wypowiedź jest tłumaczona na ustrukturyzowaną reprezentację slotu: która wzbogaca wejście gestu poprzez podanie parametrów (np. "obróć krzesło o 15°").

Wtedy oba wyjścia są łączone:

   (23)

Gdzie o⁽ⁱ⁾ to prymityw sterowania VR (rozmieszczenie, skalowanie, rotacja).

Temporal Convolucional Network (TCN) jest skuteczny w obsłudze danych sekwencyjnych, stosując rozszerzane sploty 1D na sekwencjach wejściowych, takich jak gesty lub sygnały mowy, jak pokazano na Rysunku 2. W przeciwieństwie do modeli rekurencyjnych, TCN wykorzystują filtry splotowe do nauki zarówno krótkoterminowych, jak i długoterminowych relacji czasowych. Bloki rezydualne z połączeniami pomijającymi są wykorzystywane do zapewnienia stabilności podczas treningu i zapobiegania zanikającym gradientom, natomiast użycie warstw TCN pozwala sieci uczyć się wieloskalowych wzorców czasowych. Ostatecznie w pełni połączona warstwa klasyfikacyjna projektuje wyuczone cechy czasowe na etykiety wyjściowe, takie jak klasy gestów czy intencje mówione. Ten projekt jest szczególnie dobrze przystosowany do ciągłego rozpoznawania gestów i rozumienia poleceń głosowych, łącząc efektywność obliczeniową z silnymi możliwościami modelowania czasowego.

Tabela 2 podsumowuje ogólny projekt architektoniczny i konfigurację treningową Temporal Convolucional Network używanej w proponowanym systemie rozpoznawania gestów. Model składa się z czterech bloków TCN rezydualnych, z których każdy opiera się na zdylatowanych splotach przyczynowych, co pozwala sieci modelować zarówno krótko- jak i długodystansowe zależności czasowe. Te zależności są kluczowe do rozróżniania gestów dynamicznych, takich jak chwytanie, obracanie i szczypanie. Przy rozmiarze jądra 3 i współczynnikach dylatacji, współczynniki dylatacji [1,2,4,8] efektywnie rozszerzają pole czasowe recepcyjne bez zwiększania kosztów obliczeniowych. Aby poprawić uogólnienie między użytkownikami i warunki zapisu, w każdym bloku zastosowano normalizację warstw oraz wskaźnik wypadków 0,25. Do treningu stosuje się optymalizator Adama o szybkości uczenia 1 × ^10-3, wielkości partii 32 i długości sekwencji 64 klatek, co optymalnie równoważy dokładność i responsywność w czasie rzeczywistym. Podczas wnioskowania strategia okna przesuwającego umożliwia przewidywanie gestów co 20-25 ms, przy jednoczesnym zachowaniu opóźnienia end-to-end poniżej 120 ms. To połączenie architektury i hiperparametrów zapewnia wysoką dokładność klasyfikacji gestów (∼94% dokładności umieszczania), jednocześnie zachowując interakcję w czasie rzeczywistym, umożliwiając TCN wykonywanie immersyjnych zadań manipulacji VR.

Projektowanie interakcji głosowej (ASR+NLU)
Komponent interakcji głosowej uzupełnia sterowanie przestrzenne oparte na gestach poprzez semantyczne i parametryzowane polecenia głosowe dla systemu VR do projektowania domu. Sygnał mówiony a⁽ⁱ⁾ jest najpierw rejestrowany jako surowy dźwięk i przekształcany w spektrogram log-Mel:

 (24)

Gdzie F to liczba częstotliwości, T to biny długości przedziałów czasowych. Reprezentacja zachowuje zarówno wzorce spektralne, jak i temporalne i jest znormalizowana tak, by była niezmienna względem zmienności mówiącej i środowiskowej:

  (25)

Znormalizowany spektrogram jest wprowadzany do modelu Automatycznego Rozpoznawania Mowy (ASR), takiego jak Whisper, który przekształca cechy akustyczne w sekwencję tokenową:

 (26)

gdzie każdy jest tokenem dla słowa lub jednostki podwyrazowej. Taka transkrypcja jest wprowadzana do modelu Natural Language Understanding (NLU), który uchwyca uporządkowane znaczenie. Dokładniej, NLU przewiduje kategorie intencji i sloty semantyczne:

 (27)

gdzie na przykład zdanie "rotate chair fifteen degrees" odwzorowuje się na (akcja = rotate, obiekt = chair, location/parameter = 15°).

Zidentyfikowany ramowy slot intencji-jest następnie tłumaczony na polecenie matematyczne, które można zaimplementować w systemie VR:

    (28)

Gdzie u⁽ⁱ⁾ może być transformacją numeryczną (np. obrót o 15°) lub zmianą kategoryczną (np. wymianą materiałów).

Odporność osiąga się ostatecznie dzięki mechanizmowi arbitrażu opartego na zaufaniu. Jeśli wskaźnik zaufania ASR p(z) lub NLU p(s) jest mniejszy niż próg τ, system albo żąda wyjaśnienia, albo domyślnie stosuje sterowanie gestami. Zapewnia to, że polecenia głosowe są precyzyjne i wyraźne, poprawiając użyteczność przy zadaniach projektowych wymagających precyzji.

Projektowanie fuzji wielomodalnej
Zaletą multimodalnej fuzji w proponowanym systemie VR jest to, że rozumienie głosu i detekcja gestów są zintegrowane w jednym procesie decyzyjnym, a nie obsługiwane oddzielnie. Moduł gestów dostarcza wyjście klasyfikacyjne z TCN, natomiast moduł głosowy dostarcza reprezentację w szczelinie intencji, s^(i). Aby je połączyć, system implementuje fuzję na poziomie decyzji z arbitrażem opartym na zaufaniu.

Niech klasyfikator gestów dostarcza rozkład prawdopodobieństwa po klasach gestów:

 (29)

i niech model NLU daje prawdopodobieństwa slotu intencyjnego:

 (30)

Gdzie a, o i p odnoszą się do slotów akcji, obiektu i parametrów pochodzących z wejścia mowy. Etap fuzji oblicza wspólną decyzję poprzez połączenie obu modalności według ich wskaźników pewności:

 (31)

Gdzie α∈[0,1] jest ustalany dynamicznie na podstawie pewności systemu (np. wyższy, gdy gesty są bardziej pewne, niższy, gdy mowa jest wyraźna).

Algorytm 1: Multimodal_Fusion (X, a):

Input:

X = wstępnie przetworzona sekwencja gestów, a = polecenie audio

Efekt:

O = polecenie akcji VR

Krok 1: Rozpoznawanie gestów

 

Krok 2: Rozumienie głosu

 

 

Krok 3: Decyzja o fuzji

 

 

 

 

 

Else:

 

Krok 4: Obsługa błędów

 ):

Prośba o wyjaśnienie użytkownika

Else:

Wyślij O do systemu VR

return O

Ten Algorytm 1 przełącza się między wejściem gestem a głosem, tworząc potężne polecenie do projektowania VR. Moduł gestów (TCN) najpierw interpretuje ruchy rąk, takie jak obrót czy skalowanie, i przypisuje wskaźnik pewności na podstawie pewności modelu. Równolegle moduł głosowy wykonuje konwersję mowy na tekst za pomocą ASR (np. Whisper) i stosuje NLU do identyfikacji intencji semantycznej, np. "obróć krzesło o 15°". Oba moduły zwracają swoje prognozy wraz z wynikami pewności. Etap kombinacji następnie równoważy oba wyjścia. Jeśli oba dane wejściowe są określone, system łączy je proporcjonalnie do ich poziomów pewności. Jeśli jedno wejście jest niejednoznaczne (np. szum w głosie lub niepewny gest), system bardziej priorytetowo traktuje drugie. Na koniec, jeśli żadne z tych rozwiązań nie jest pewne, system prosi o wyjaśnienie, aby zapobiec błędom. Dzięki temu fuzja jest adaptacyjna (wagi zmieniają się w zależności od jakości wejścia), solidna (uwzględniająca szumy lub brakujące dane) oraz dokładna (wykorzystująca najlepsze mocne strony zarówno gestów, jak i głosu).

Uczestnicy
W tym badaniu wzięła udział grupa wolontariuszy wybranych zarówno spośród studentów uniwersytetów, jak i specjalistów związanych z projektowaniem, aby zebrać różnorodne opinie na temat użyteczności VR. Wiek uczestników wahał się od wczesnej dorosłości do wieku średniego, reprezentując mieszankę wcześniejszych poziomów doświadczenia VR, w tym początkujących, okazjonalnych użytkowników oraz zaawansowanych. Wszyscy uczestnicy mieli prawidłowy lub skorygowany wzrok i nie zgłaszali zaburzeń ruchowych, które mogłyby znacząco zakłócać interakcje oparte na gestach. Poważne zaburzenia mowy, poważne ograniczenia mobilności ramion lub wcześniejsza historia choroby lokomocyjnej wywołanej przez VR wykluczały osoby ze względów bezpieczeństwa i konsekwencji w udziale w udziałach. Wszyscy uczestnicy wyrazili świadomą zgodę, a procedury oceny zostały zatwierdzone przez instytucjonalną komisję rewizyjną. Ta podsekcja jasno określa, kto uczestniczył w ocenie, co pozwala na powtarzalność badania.

Układ eksperymentalny
Proponowany eksperymentalny zestaw wykorzystuje opracowany multimodalny system VR, który jest wdrażany na konsumenckim gogle VR wyposażonym w zintegrowane śledzenie rąk oraz kamerę RGB do rejestrowania gestów. Posiada wysokowydajny pulpit, umożliwiający przetwarzanie w czasie rzeczywistym rozpoznawania gestów, ASR oraz technik fuzji multimodalnej. Środowisko VR jest zbudowane w Unity 3D i zawiera pomieszczenie do projektowania domu, które można skonfigurować za pomocą mebli, materiałów i elementów oświetleniowych. Konfiguracja obejmuje ASR oparte na szeptach do transkrypcji mowy, a także moduł NLU oparty na transformatorze do wykrywania zamiaru. Ten opis został przeniesiony z sekcji Wyniki, aby zapewnić odpowiedni przegląd środowiska technicznego przed omówieniem wyników.

Subiektywne scenariusze testowania
Uczestnicy mieli okazję zetknąć się z symulowanym środowiskiem aranżacji domu, składającym się z umeblowanego salonu, sypialni oraz niewielkiej przestrzeni roboczej. W każdym scenariuszu użytkownicy byli proszeni o zmianę obiektów wirtualnych i zmiennych środowiskowych w otoczeniu zgodnie z realistycznymi warunkami projektowymi. Na przykład uczestnicy mieli ustawić sofę względem punktu odniesienia, obrócić krzesło w określonym kierunku, zmienić rozmiar stołu do docelowego wymiaru lub zmodyfikować materiał ściany/profil światła. Scenariusze te zostały wybrane, ponieważ reprezentują typowe zadania związane z projektowaniem wnętrz, które kwestionują zarówno sterowanie gestami (pod względem precyzji przestrzennej), jak i sterowanie głosowe (w zakresie poleceń semantycznych). Ten podrozdział bezpośrednio odpowiada na pytanie recenzenta dotyczące subiektywnych warunków testowania, w jakich użytkownicy oceniali system.

Projektowanie zadań
Uczestnicy przeprowadzili uporządkowany zestaw ćwiczeń dotyczących różnych obszarów manipulacji przedmiotami i interakcji projektowej. Główne zadania były następujące: 1) Rozmieszczenie mebli: Uczestnicy ustawiali obiekty na współrzędnych docelowych. 2) Zadanie obrotu: W tym zadaniu użytkownicy musieli zmienić orientację, aby odpowiadała kątowi odniesienia. 3) Zadanie skalowania: Polegało to na dostosowywaniu mebli do ustalonych rozmiarów. Ponadto 4) Edycja materiałów/kolorów: Uczestnicy używali poleceń głosowych, aby zmieniać tekstury lub modyfikować oświetlenie. Opcjonalne zadania nawigacyjne umożliwiały uchwycenie zdolności świadomości przestrzennej w wirtualnym pomieszczeniu. Każda praca została opracowana z jasnymi celami, mierzalnymi wynikami i określonym limitem czasowym, co zapewniało prawidłową ocenę zarówno dokładności, jak i efektywności.

Procedura
Aby zapewnić jednolitość uczestników, ocena przeprowadzono w zaplanowanej kolejności. Użytkownicy najpierw zostali zapoznani z systemem i otrzymali krótką demonstrację metod interakcji gestów i mowy. Faza początkowej kalibracji umożliwiła adaptację indywidualnej postawy rąk i cech mowy. Następnie użytkownicy mieli krótką sesję ćwiczeń, aby przyzwyczaić się do obu metod. Rzeczywista ocena wymagała wykonania wszystkich zadań w trzech warunkach interakcji: używając wyłącznie kontrolera, używając wyłącznie gestów oraz używając gestów i głosu jako multimodalnego wejścia. Kolejność warunków została zrównoważona, aby zmniejszyć efekty uczenia się. Na zakończenie uczestnicy wypełnili standaryzowane narzędzia ewaluacyjne, takie jak SUS, NASA-TLX i IPQ, oraz wzięli udział w krótkiej jakościowej wywiadzie zwrotnej.

Metryki oceny
Ta uporządkowana procedura ustanawia przejrzystość metodologiczną, umożliwiając badania replikacyjne. Obiektywne i subiektywne metryki zostały połączone, aby kompleksowo ocenić wydajność systemu. Do celów należały czas ukończenia zadania, miara efektywności; dokładność umieszczania, określana jako odchylenie od pozycji celu lub obrotu; oraz wskaźnik błędów, definiowany jako liczba błędnych klasyfikacji danych wejściowych lub niezamierzonych działań wykonanych przez system. Subiektywne metryki zostały uchwycone za pomocą zwalidowanych kwestionariuszy: Skali Użyteczności Systemowej do pomiaru postrzeganej użyteczności, skali NASA-TLX do oceny obciążenia psychicznego i fizycznego oraz Kwestionariuszem Obecności grupy I do pomiaru immersji i obecności w VR. Zostały one odpowiednio przeniesione z sekcji Wyniki, aby opisać sposób pomiaru wyników przed prezentacją jakichkolwiek wyników.

Środowisko VR, integracja systemów i ocena
Główną platformą do wykonywania poleceń mowy i gestów jest interaktywne środowisko wirtualnej rzeczywistości, w którym system jest wdrażany. Zintegrowane biblioteki mebli, tekstur i elementów oświetleniowych są wykorzystywane do tworzenia wirtualnych pomieszczeń w Unity 3D. Umożliwia użytkownikom organizowanie, dostosowywanie i edytowanie elementów w czasie rzeczywistym. Dokładność jest zwiększana dzięki możliwości zatrzaskania, wykrywaniu kolizji oraz nakładkom pomiarowym, co pozwala na naturalne ustawianie się obiektów. Renderowanie oświetlenia i materiałów w czasie rzeczywistym wzbogaca doświadczenie projektowe, zapewniając natychmiastową informację zwrotną o każdej interakcji.

Po weryfikacji poszczególnych modułów pod kątem rozpoznawania gestów, rozumienia głosu i fuzji multimodalnej, są one łączone w jednolity potok. System został zaprojektowany z myślą o niskich opóźnieniach, więc polecenia użytkownika pojawiają się niemal natychmiast w środowisku VR. Testy pilotażowe prowadzone są z udziałem niewielkiej liczby członków, aby dopracować przepływ interakcji. Iteracja obejmuje słownictwo gestów, weryfikację gramatyki poleceń głosowych oraz zapewnienie, że system jest naturalny i niezawodny podczas ciągłego użytkowania.

Kompleksowe badanie porównujące trzy modalności interakcji, takie jak multimodalna fuzja gestów i głosu, wejście tylko z kontrolera oraz tryb hybrydowy, zostanie wykorzystane do oceny doświadczenia użytkownika. Od uczestników wymagane są zadania, takie jak zmiana materiału, rotacja i umieszczanie obiektów. Aby ocenić wyniki, zbierane są obiektywne metryki, takie jak czas osiągnięcia pracy, poprawność zatrudnienia oraz wskaźniki błędów. Subiektywne oceny są pozyskiwane od uczestników za pomocą standaryzowanych kwestionariuszy, takich jak System Usability Scale (SUS), NASA-TLX cognitive workload oraz IPQ questionnaire for immersion, przy czym wywiady z uczestnikami zapewniają dodatkowe wsparcie. Ta podwójna ocena obejmuje zarówno mierzalne miary wydajności, jak i subiektywne doświadczenie użytkownika.

Postęp tego systemu polega na zastosowaniu fuzji multimodalnej do precyzyjnych zadań projektowych wykraczających poza podstawową nawigację czy interakcję. Technika ta oferuje bardziej organiczny, dokładny i przystępny sposób interakcji, łącząc wartość semantyczną instrukcji głosowych z przestrzennymi zaletami gestów. Dzięki adaptacyjnym funkcjom dostępności, takim jak system awaryjny wyłącznie głosem czy rozpoznawanie gestów jedną ręką, system zwiększa także inkluzywność. Wreszcie, badanie oferuje metodyczny, adnotowany multimodalny zbiór danych interakcji głos-gest, promując przyszłe badania nad projektowaniem interfejsów immersyjnych i wzmacniając powtarzalność.

Rysunek 3 przedstawia typowe zrzuty ekranu zaimplementowanego programu, oferując bardziej wyrazistą reprezentację zbudowanego systemu projektowania wnętrz VR. Immersyjne środowisko wirtualnej rzeczywistości, w którym użytkownicy mogą eksplorować i oglądać układ pomieszczenia, zostało przedstawione na Rysunku 3A. Rysunek 3B pokazuje, jak naturalne interakcje rąk mogą być wykorzystywane do wyboru, przesuwania i obracania wirtualnych mebli w procesie manipulacji obiektami opartym na gestach. Rysunek 3C ilustruje zintegrowany interfejs głosowy, gdzie symbole mikrofonu i sprzężenia zwrotnego weryfikują polecenia głosowe wydawane przez użytkownika w celu modyfikacji przestrzennych lub rozmieszczenia obiektów. Razem te zrzuty ekranu proponowanego multimodalnego systemu VR pokazują, że został w pełni wdrożony, umożliwiając interakcję gestów i głosu w czasie rzeczywistym.

Wyniki

Zaprojektowany wielomodalny system projektowania VR został zweryfikowany za pomocą trzech podstawowych zbiorów danych: EgoGesture (gesty dynamiczne), IPN Hand (ciągłe gesty ręką) oraz Fluent Speech Commands (polecenia głosowe z etykietami slotów intencyjnych). Łącznie trzy zbiory danych oferowały kompleksową bazę szkoleniową i ewaluacyjną, obejmującą zarówno rozpoznawanie gestów, jak i semantyczne rozumienie głosowe. Weryfikacja potwierdza, że integracja gestów i głosu znacząco zwiększa dokładność zadań i zmniejsza obcią...

Dyskusja

Wyniki tych badań rozwijają technologię artykułu bazowego, który głównie pokazał zalety immersyjnej nawigacji VR dla dostępności poprzez łączenie modalności gestów i głosu do zadań projektowych. System multimodalny osiągał lepsze wyniki we wszystkich obiektywnych i subiektywnych miarach wydajności, dzięki krótszym czasom realizacji zadań, wyższej dokładności umieszczania i niższym wskaźnikom błędów niż podejścia oparte na kontrolerze i hybrydowe. Ponadto wskaźniki użyteczności takie jak SUS, NASA-TLX i IPQ odnotowały wię...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Zbiór danych EgoGesture	Uniwersytet Technologiczny Nanyang	DOI: 10.1109/TMM.2018.2808769	Duży, egocentryczny zbiór danych o gestach dłoni do treningu dynamicznego rozpoznawania gestów.
Zestaw danych poleceń płynnej mowy	Fluent.ai / Uniwersytet Alberty	DOI: 10.48550/arXiv.1804.04363	Zbiór danych do intencji głosu i semantycznego rozumienia opartego na slotach do treningu ASR/NLU.
Zbiór danych HaGRID (opcjonalnie)	Sber AI / Open Source	v1.1	Opcjonalny zbiór danych używany do statycznego wstępnego treningu detektora gestów dłoni.
Kwestionariusz obecności Igroup (IPQ)	igroup.org	Nie ma	Używany do pomiaru immersji i obecności w środowisku VR.
Zestaw danych ręcznych IPN	Universidad Veracruzana	DOI: 10.1109/CVPRW50498.2020.00241	Zbiór danych do ciągłego, naturalnego rozpoznawania gestów dłoni i zadań segmentacji.
Matplotlib / Seaborn	Open Source	Najnowsza stabilność	Wykorzystywane do wizualizacji metryk wydajności i wyników oceny.
MediaPipe Hands	Google Research	Open-source (GitHub)	Wykorzystywane do śledzenia rąk i gestów w czasie rzeczywistym, aby rozpoznać dane wejściowe gestów.
Mozilla Common Voice (opcjonalnie)	Mozilla Foundation	Wersja 17	Opcjonalny zbiór danych do pretrenowania modelu ASR na ogólnych danych mowy.
Warstwa fuzji multimodalnej	Algorytm niestandardowy	Nie ma	Łączy strumienie gestów i głosu oparte na arbitrażu ważonym zaufaniem.
Ocena obciążenia NASA-TLX	Czynniki ludzkie NASA	Nie ma	Wykorzystywane do analizy obciążenia poznawczego uczestników.
Moduł Natural Language Understanding (NLU)	Custom (oparty na BERT / RoBERTa)	Nie ma	Używany do wyodrębniania semantycznych intencji i slotów (akcja, obiekt, parametr) z transkrypcji wejścia głosowego.
NumPy / Pandas / OpenCV	Open Source	Najnowsza stabilność	Wykorzystywane do operacji numerycznych, wstępnego przetwarzania danych oraz manipulacji klatkami wideo.
Język programowania Python	Python Software Foundation	Wersja 3.10+	Wykorzystywane do implementacji modeli ML (TCN, ASR, NLU, fuzja).
Ramy Głębokiego Uczenia PyTorch	Meta AI	Wersja 2.0+	Wykorzystywane do budowania i trenowania modeli rozpoznawania gestów (TCN) oraz NLU.
Kamera RGB	Logitech / RealSense	Logitech C920 lub Intel RealSense D435	Wykorzystywane do rejestrowania gestów dłonią i rozpoznawania ruchu.
Kwestionariusz dotyczący skali użyteczności systemu (SUS)	Standardowe narzędzie ewaluacyjne	Nie ma	Używany do oceny subiektywnej użyteczności systemu VR.
Temporal Convolucional Network (TCN)	Niestandardowa implementacja (PyTorch / TensorFlow)	Nie ma	Wykorzystywane do dynamicznego rozpoznawania gestów na podstawie szkieletowych danych szeregów czasowych.
Unity 3D Engine	Unity Technologies	Wersja 2022.3 LTS	Wykorzystywany do tworzenia immersyjnego środowiska VR z interaktywnymi meblami, edycją materiałów i renderowaniem w czasie rzeczywistym.
Zestaw VR	Oculus (Meta) / HTC Vive	Oculus Quest 2 lub HTC Vive Pro	Wykorzystywane do immersyjnej wizualizacji i śledzenia przestrzennego podczas interakcji VR.
Whisper ASR Model	OpenAI	Whisper (model bazowy)	Automatyczny silnik rozpoznawania mowy do konwersji mowy na tekst.
Stacja robocza	Komputer zbudowany na zamówienie	Intel Core i7 / NVIDIA RTX 3070 / 32 GB RAM	Wykorzystywane do przetwarzania w czasie rzeczywistym, treningu oraz wnioskowania modeli gestów i głosu.