Een gebaar- en stemgestuurd virtual reality-systeem voor immersief woningontwerp: systeemontwerp en gebruikerservaringsanalyse

Samenvatting

Dit artikel presenteert een virtual reality-systeem dat wordt aangestuurd door gebaren en stem voor een meeslepend woningontwerp, dat de nauwkeurigheid, bruikbaarheid en toegankelijkheid verbetert door de multimodale fusie van gebaren en spraakinvoer. Experimentele resultaten wijzen op kortere taaktijden, verbeterde plaatsingsnauwkeurigheid en een betere gebruikerstevredenheid vergeleken met traditionele praktijken.

Samenvatting

Gebaar- en steminteractie in VR heeft veelbelovend getoond in verschillende toepassingen; bestaande systemen worden echter gehinderd door hun nadruk op navigatietaken, afhankelijkheid van tweehandige gebaren, gebrek aan fijnmazige precisie en testen op kleine, homogene populaties. Deze beperkingen beperken de toepasbaarheid op ingewikkelde, ontwerpgerichte workflows. Om deze beperkingen aan te pakken, introduceren we een Gebaar- en Stemgestuurd Virtual Reality System voor immersief woningontwerp, dat de multimodale combinatie van handmatig gevolgde gebareninvoer en natuurlijke taalinstructies voor precieze meubelplaatsing, materiaalkeuze en ruimtelijke aanpassing combineert. Drie aspecten van nieuwigheid in het systeem zijn (i) adaptieve interactiemodi ter ondersteuning van eenhandig gebruik, numerieke spraakcommando's en grove tot fijne nauwkeurigheidsaanpassing; (ii) multimodale fusiearchitectuur die gebaar-, spraak- en contextinformatie samenvoegt voor precisie van sub-centimeters; en (iii) een taakbewust beoordelingsraamwerk voor gebruikerservaring, afgestemd op woningontwerpprocessen. Het ontwikkelingsproces volgt een systematische pijplijn, van eisenanalyse en ontwerp van gebaren- en stemlexicons, tot multimodale intentieherkenning, VR-scenenassemblage met snapping en uitlijning, en iteratief testen. Experimentele resultaten van een grote verscheidenheid aan deelnemerspopulaties tonen een afname van 30% in plaatsingsfout en aanzienlijke verbeteringen in bruikbaarheid en werklastbeoordelingen ten opzichte van interactie met controllers. De resultaten suggereren het potentieel van multimodale VR om toegankelijke en boeiende woningontwerpervaringen te creëren.

Inleiding

Virtual Reality (VR) is een interactieve computergegenereerde omgeving die een driedimensionale ervaring creëert waarin gebruikers technologie kunnen zien, ermee kunnen interageren en communiceren alsof ze daadwerkelijk aanwezig zijn. In de context van deze studie wordt virtual reality beschouwd als een multimodale interactieomgeving, en niet slechts als een visuele weergavetechniek. De nieuwste VR-systemen integreren visuele betrokkenheid met gebarenherkenning, ruimtelijke gevoelen en natuurlijke spraakinvoer, waardoor gebruikers gesimuleerde items met hoge precisie kunnen bedienen. Dit begrip is consistent met huidig VR-onderzoek dat onderdompeling, betrokkenheid en natuurlijke gebruikerservaringen prioriteert. De toepassingsgebieden omvatten uitvoeren, lesgeven², medische behandeling³ en reizen⁴. VR stelt mensen in staat om te interageren en verbinding te maken met werelden die in het echte leven niet haalbaar zouden zijn door het simuleren van echte werelden. Voor woningontwerpprocessen, waarbij gebruikers ruimtelijke indelingen moeten waarnemen, objecten moeten bedienen en realtime feedback moeten ontvangen zonder fysieke beweging, zijn dergelijke immersiefuncties bijzonder nuttig. Deze functies kunnen nieuwe mogelijkheden bieden, vooral voor gebruikers met onvolledige fysieke beweging. Leden van informeel achtergestelde groepen, vooral ouderen en mensen met minimale alfanumerieke geletterdheid, zullen hun buitenactiviteiten beperkt krijgen door verschillende factoren, zoals fysieke beperkingen, mobiliteitsproblemen en moeilijkheden bij het verkrijgen van digitale technologie door leeftijdsbeperkingen. Het is daarom noodzakelijk om voortdurend aandacht te besteden aan onderzoek dat indirect de buitenwereld toegankelijk maakt voor deze mensen via VR-expertise. Deze behoefte aan voortdurende onderzoeksaandacht ondersteunt niet alleen de creatie van toegankelijkheidsgerichte VR-ervaringen, maar stimuleert ook de ontwikkeling van systemen die verder gaan dan de basisnavigatietaken. Immersieve woningontwerpomgevingen – wanneer ze worden bestuurd via natuurlijke gebaren en stem – kunnen inderdaad oudere gebruikers, mensen met motorische beperkingen en digitaal kwetsbare populaties intuïtieve manieren bieden om te interageren met complexe ruimtelijke omgevingen. Door indirecte toegang tot externe ruimtes en creatieve taken mogelijk te maken, dragen dergelijke systemen bij aan zowel functionele onafhankelijkheid als emotioneel welzijn. Op deze gronden zal deze studie een multimodaal VR-ontwerp ontwerp systeem introduceren. Daarom is het de wens voor constante aandacht voor onderzoek die helpt om de buitenwereld indirect toegankelijk te maken voor deze mensen met VR-expertise. Onderzoeken hebben aangetoond dat VR-gebaseerde interventies die voor ouderen zijn ontwikkeld verschillende voordelen kunnen hebben, zoals het verminderen van het risico op vallen door het verbeteren van houdingscontrole en flexibiliteit6, evenals het verbeteren van de algemene houdingsregulatie en stevigheid⁷. Daarnaast is er een toenemende beschikbaarheid van VR-materiaal dat specifiek is aangepast voor de oudere volwassenen ^8,9. Hoewel VR-interactie is gevorderd, vertrouwen de meeste huidige systemen voornamelijk op controllers en tweehandige gebaren, die de toegankelijkheid en nauwkeurigheid beperken voor taken die ontwerp vereisen. Door deze mobiliteitsfuncties voort te bouwen, breidt ons werk VR uit voorbij alleen observeren door actief, precieze en realistische beheersing van interieurelementen mogelijk te maken met behulp van gebaren en spraakmethoden

VR heeft drie gerelateerde eigenschappen: communicatie, betrokkenheid en gedachten¹⁰. Het niveau van betrokkenheid en de sterkte van interactie met gesimuleerde objecten beïnvloeden direct de verbeelding van de gebruikers in de virtuele omgeving. Afhankelijk van de onderdompelingsfasen worden VR-schema's ingedeeld in niet-immersieve VR, semi-immersieve VR en volledig immersieve VR, die elk gebruikmaken van verschillende combinaties van communicatiemethoden, strategieën en grenzen. 11 Niet-immersieve VR maakt communicatie met virtuele omgevingen op desktop of touchscreens op handhelds mogelijk via een muis, en tekent 12,13,14. Semi-immersieve VR bestaat vaak uit een groot scherm, organisatie en schermen, wat een filmische ervaring biedt, maar mist vaak positionele tracking wanneer het in groepen wordt gebruikt. Gebaargebaseerde verbindingen zijn sinds het begin van VR¹⁵ onderzocht om het gebruik van VR-technologie comfortabel en vertrouwd te maken. In een op gebaren gebaseerde interface worden fysieke lichaamstekens zoals handbewegingen gebruikt om met een computersysteem te communiceren.

Een gebaarrand is een veelvoorkomende realisatie van het meer algemene principe van een natuurlijke gebruikersinterface (NUI), dat kan worden toegepast om interfacetransparantie te bereiken in HMD-gebaseerde VR. De aspecten die het voorkomen in VR bevorderen, werden eerder onderzocht ^16,17; toch zijn er weinig studies over het voorkomen op de achtergrond van gebaargebaseerde gebruikersinterfaces. Het begrijpen van de invloeden die het optreden van VR kunnen beïnvloeden met behulp van een gebaargebaseerde UI kan nuttig zijn bij het ontwerpen van aankomende meeslepende technologieën. Daarom onderzochten we vanuit het perspectief van occurrence- en gebarengebaseerde communicatie de gebruikerservaring van een immersive VR-betrokkenheid gebaseerd op een gebaargebaseerde UI. Voor sociaal kwetsbaren kan 360° snelwegbeoordelingsmateriaal een subsectie van virtual reality (VR) een effectief hulpmiddel zijn. Met deze technologie kunnen gebruikers virtueel de wereld verkennen zonder fysieke beweging, naar verschillende locaties reizen en sociale communicatie voeren met andere gebruikers, compleet met multi-party functionaliteit. Voor mensen met een lichamelijke en milieuvriendelijke beperking kan deze betrokkenheid een nuttige aanvulling zijn op buitenactiviteiten. Naast eenvoudige navigatie reiken de onderwijsmogelijkheden die door 360° opinietechnologie mogelijk worden gemaakt zich uit tot meerdere onderwijsgebieden.

Een systematische literatuuroverzicht van 64 trainingssessies benadrukte de informatieve toepassingen, voordelen en communicatieve eigenschappen van 360° VR-video's en echte VR. De resultaten geven aan dat 360° VR de presentatie, motivatie en het vasthouden van informatie van leerlingen kan verbeteren, wat de immersie verder bevordert. De onderzoeker²¹ koppelde twee eenhandige en tweehandige UI's aan een op teleportatie gebaseerde bewegingsschema. De resultaten tonen aan dat eenhandige signalen als sneller werden ervaren door degenen die ze prefereerden, terwijl tweehandige signalen als betrouwbaarder werden beschouwd, hoewel het item alleen teleporteren bespreekt en niet constante beweging, zoals in dit werk wordt gebruikt.

De aanname van een hogere consistentie voor de tweehandige tekens en de hogere initiële snelheid voor de eenhandige tekens werd vastgesteld en gebruikt als uitgangspunt voor deze studie. Een meer gedetailleerde specificatie van de technologische beoordelingsbeperkingen, naast presentatie en gebruiksvriendelijkheid, met betrekking tot het trainen van operators om verantwoordelijkheden in VR²² te vervullen, is ook vereist. Voor deze trainingssituatie geven de panels instructies aan de exploitanten via activiteiten, waarbij technologische beoordeling een cruciaal onderdeel is. Bovendien is het fundamentele uitgangspunt dat HT-technologie, mits correct toegepast, ook vooruitgang kan bieden op het gebied van technologie^23,24. Recent onderzoek is aangetoond dat virtuele omgevingen niet alleen nuttig zijn voor het evalueren van rolstoelstuurservices, maar ook nuttige toepassingen hebben, waaronder training in flexibele diensten die in het echte leven uitdagend of duur zouden zijn om te recreëren. Zo wijst de auteur^{er 25} op dat VR-simulators de generalisatie van stuurdiensten naar fysieke omgevingen kunnen vergemakkelijken door een vaardige en onschuldige technologische omgeving te bieden.

De onderzoeker benadrukt ook de toepassing van virtuele vaardigheden als interventieprogramma voor rolstoeldiensttraining, waarbij het nut en de waarde ervan wordt benadrukt bij het individualiseren van beweging en het verbeteren van flexibiliteitsdiensten. Desalniettemin worden gebruikers om veiligheidsredenen vooraf getest en gescreend, vooral in virtual reality-omgevingen^26,27. Zo'n implementatie stelt mensen met een lichamelijke beperking in staat hun rolstoelrijvaardigheden te oefenen en te verfijnen in een veilige en gecontroleerde omgeving²⁸. Ze kunnen verschillende virtuele tests en scenario's ervaren, waaronder het overwinnen van uitdagende problemen, het navigeren door krappe ruimtes of het uitvoeren van ingewikkelde manoeuvres. Ondertussen kunnen gebruikers direct feedback krijgen op hun prestaties en nieuwe bewegingsstrategieën^aanschaffen. Naast het dienen als trainingshulpmiddel heeft virtual reality therapeutische toepassingen³⁰. Het aanbieden van een meeslepende beeldtechnologie kan bijdragen aan het vergroten van zelfvertrouwen, organisatie en fysieke reintegratie. Individuen kunnen hun motorische vaardigheden ontwikkelen en hun stabiliteit en stabiliteit verbeteren. Virtual reality-omgevingen zijn computergegenereerde representaties die gebruikers het gevoel geven deel uit te maken^{van hen.}

Deze situatie wordt gevisualiseerd met virtual reality-koptelefoons of andere strategieën. Mockups kunnen risicovolle omstandigheden of uitdagende situaties simuleren vóór hun implementatie, zoals medische gebeurtenissen of het uitvoeren van bepaalde strategieën 32,33,34. Een extra voordeel is echter de mogelijkheid om apparaatapparatuur, zoals bedieningselementen, bewegingsdetecterende ornamenten, microfoons of vesten, te bevestigen om efficiënte communicatie tussen de werkgever en mechanisme³⁵ te bereiken in een onschadelijke en zorgvuldig gerepliceerde omgeving voordat het daadwerkelijk wordt gebruikt. Virtuele stoffen kunnen in verschillende modi worden bediend, zoals joysticks, spraakinstructies of gefilmde sporen, zoals in een Kinect-studie³⁶. Alle alternatieven vereisen leren voor gebruikers, dus de ervaring van de gebruiker is een cruciale overweging bij het kiezen van de controlemethode³⁷.

Hoewel gebaren en spraakinteractie in virtuele ruimtes zijn onderzocht voor navigatietaken, waaronder het street-view-systeem dat in het basisartikel wordt besproken, is er een aanzienlijke kloof in de toepassing van deze modaliteiten op precisiegedreven en creatieve werkgebieden, zoals immersief woningontwerp. De fundamentele studie bewees dat multimodale input haalbaar was voor toegankelijkheid, maar het omvatte alleen navigatie en scèneonderzoek, met tweehandige gebaren, eenvoudige commando-uitvaardiging en een kleine deelnemerspopulatie. Het omvatte geen moeilijkheden van high-fidelity manipulatie, precieze ruimtelijke positionering, materiaalbewerking of samenwerkingsworkflows, die interieur- en architectonische ontwerpactiviteiten definiëren. Daarnaast richtte de test zich op een smalle, homogene groep gebruikers, wat de observaties over bruikbaarheid voor bredere populaties en verschillende toegankelijkheidsbehoeften beperkte. Huidige VR-ontwerptools zijn voornamelijk gebaseerd op controllers, die natuurlijke interactie beperken en gebruikers met motorische of leerstoornissen uitsluiten. Als gevolg hiervan ontbreekt het ontwerpen en testen van een systeem dat gebaren en spraak integreert voor grove en fijne objectmanipulatie, spraakgestuurde numerieke wijzigingen biedt, eenhandige en toegankelijkheidsbevorderende interactiestijlen mogelijk maakt, en wordt getest met uitgebreide gebruikerservaringsanalyses in daadwerkelijke ontwerptaken^38,39. Het dichten van deze kloof kan een nieuwe, gebruikersgerichte benadering van immersief woningontwerp creëren die voortbouwt op eerder onderzoek naar multimodale VR-navigatie.

Recente ontwikkelingen in multimodale mens-machine interfaces hebben geavanceerde sensor- en interactiemechanismen onderzocht om de bruikbaarheid en immersie van VR⁴⁰ te verbeteren. De auteur⁴¹ presenteerde een tribo-elektrische sensor op basis van elektret-nanovezels voor niet-contact 3D-gebarenherkenning, waarmee werd aangetoond dat hoogwaardige interpretatie van gebaren kan worden bereikt zonder traditionele visuele tracking en meer natuurlijke, aanraakloze VR-besturing mogelijk maakt. Aan de andere kant presenteerde onderzoeker⁴² een robuuste gedragstrainingsprocedure voor hoofdvastgestelde VR-systemen bij muizen. De studie toonde aan hoe gecontroleerde VR-omgevingen precieze gedragsmetingen en stabiele interactieprotocollen kunnen ondersteunen, en schetste het belang van herhaalbaarheid en systematisch ontwerp in VR-workflows. Tegelijkertijd stelde auteur⁴³ een rekbare en adhesiefe ionisch-geleidende elektrode voor met ultralage huidimpedantie voor verbeterde elektrofysiologische signaalacquisitie; dit opent de weg naar biogeïntegreerde detectie die de interactienauwkeurigheid van XR en VR verder kan verhogen. Al deze studies tonen zelfs aan hoe snel sensortechnologie, trainingsprotocollen en fysiologische interfaces evolueren—allemaal omdat er behoefte is aan flexibelere, multimodale interactiekaders, zoals het voorgestelde gebaren-stemsysteem in deze studie.

Dit protocol biedt een multimodale gebaren-stemroute die eenhandige toegankelijke gebaren mogelijk maakt, spraakgebaseerde numerieke verbeteringen en precisiegericht huisontwerp mogelijk maakt, in tegenstelling tot huidige VR-interactiemodellen die voornamelijk navigatie of controller-gebaseerde manipulatie ondersteunen. Voor zover wij begrijpen is dit het eerste protocol dat gebaren-stemfusie combineert, specifiek afgestemd op ruimtelijke precisie, materiaalmodificatie en inclusieve ontwerpprocessen.

De primaire doelstellingen van dit werk zijn het creëren van een gebaar- en spraakgestuurd virtual reality (VR)-systeem, speciaal voor boeiende woningontwerpactiviteiten, en het uitbreiden van de multimodale invoermogelijkheden om nauwkeurige meubelplaatsing, rotatie, schaalverdeling en materiaal- of lichtbewerking te ondersteunen, naast de gebruikelijke navigatiefuncties. Een centraal doel is het ontwikkelen van een multimodale fusie-engine die gebaren, stem en contextuele input integreert om zowel grove als fijnmazige controle te bereiken tijdens interieurontwerptaken. Het systeem introduceert bovendien adaptieve interactiemodi, zoals eenhandige gebaren, toegankelijkheidsgerichte functies en spraakgestuurde precisiecommando's, om een breed scala aan gebruikersgroepen te ondersteunen.

Dit werk streeft er ook naar een uitgebreide gebruikerservaring (UX) beoordeling uit te voeren die kwantitatieve metingen, waaronder taakvoltooiingstijd, plaatsingsnauwkeurigheid en foutpercentage, combineert met kwalitatieve evaluaties van bruikbaarheid, werkdruk en gebruikerstevredenheid. Een belangrijke vooruitgang ten opzichte van eerdere studies wordt bereikt door de overstap van op straatzicht gebaseerde navigatiesystemen naar een taakgericht en precisiegericht interieurontwerpkader. De belangrijkste bijdrage ligt in de ontwikkeling van een gebaren- en stemgestuurde VR-omgeving voor immersief woningontwerp, waarmee het bereik van eerder onderzoek dat zich vooral richtte op gebaar-stem integratie voor navigatie op straatzicht uitbreidt.

Belangrijk is dat geen enkel eerder systeem effectief multimodale communicatie tussen gebaren en stem heeft gecombineerd specifiek voor precisie-afhankelijke ontwerpoperaties, zoals objectpositionering, schaalvergroting, rotatie en materiaalbewerking. Bestaande benaderingen missen ook alternatieven voor adaptieve interactie, waaronder eenhandige gebaarinvoer of spraakgebaseerde numerieke verfijning. Het voorgestelde systeem introduceert een uitgebreid multimodale interactieparadigma dat gebarenherkenning – bereikt via MediaPipe Hands of VR-headset-gebaseerde handtracking – combineert met Temporal Convolutional Network-classifiers, evenals spraakherkenning en natuurlijke taalinterpretatie die worden aangestuurd door Whisper ASR en transformator-gebaseerde intentieclassificatiemodellen.

Om een robuuste werking te garanderen, wordt een multimodale fusiemechanisme op beslissingsniveau geïmplementeerd met betrouwbaarheidsgebaseerde arbitrage, waarbij gebaren worden gekoppeld aan ruimtelijke selectietaken en spraakcommando's aan precisieverfijningen. Dit ontwerp maakt nauwkeurige plaatsing, schaalvergroting, rotatie en materiaalwisselingen van objecten in virtuele huisontwerpomgevingen mogelijk. De workflow volgt een gestructureerde pijplijn die begint met het definiëren van systeemvereisten, het ontwerpen van gebaren- en spraaklexicons, het ontwikkelen van multimodale fusietechnieken en het bouwen van een meeslepende VR-omgeving in Unity 3D, uitgerust met snapping-tools, meetoverlays en materiaalpreviews. Hierop volgen systeemintegratie, pilottests en evaluatie van gebruikerservaring via vergelijkende studies.

Het systeem biedt multimodale interactie met lage latentie (onder 200 ms), ondersteuning voor adaptieve toegankelijkheid en verbeterde gebruiksvriendelijkheid ten opzichte van conventionele controller-gebaseerde VR-systemen. Experimentele evaluatie zal de voltooiingstijd van taken, plaatsingsnauwkeurigheid, foutpercentages, SUS-scores, NASA-TLX workload-metrics en IPQ-aanwezigheidsbeoordelingen kwantificeren. De verwachte resultaten tonen aan dat multimodale interactie de precisie, efficiëntie en gebruikerstevredenheid in VR-gebaseerd woningontwerp aanzienlijk verbetert.

Protocol

Deze studie werd goedgekeurd door de Research Ethics Committee van Taylor's University, Subang Jaya, Maleisië. Alle procedures volgden de ethische richtlijnen van de institutionele onderzoekscommissie en waren in overeenstemming met de Verklaring van Helsinki. Voorafgaand aan gegevensverzameling werd geïnformeerde toestemming van elke deelnemer verkregen. Zij werden duidelijk geïnformeerd over de doelstellingen van het onderzoek, verzekerd dat deelname vrijwillig was, dat hun antwoorden vertrouwelijk zouden blijven en dat zij zich op elk moment zonder gevolgen konden terugtrekken. Schriftelijke geïnformeerde toestemming werd ook verkregen voor het gebruik van geanonimiseerde interactie- en enquêtegegevens in academische publicaties. In dit manuscript zijn geen persoonlijk identificeerbare informatie, afbeeldingen of gevoelige persoonlijke gegevens opgenomen.

Het voorgestelde werk formuleert een gebaar- en spraakgebaseerd virtual reality (VR)-systeem ontworpen voor immersief woningontwerp, waarmee het huidige methoden voor navigatietaken overtreft. De aanpak begint met het identificeren van gebruikersbehoeften en ontwerpactiviteiten, waaronder het inzetten van meubels, objectschaling en -rotatie, materiaalbewerking en nauwkeurige ruimtemetingen. Vervolgens wordt een gebaarinteractiesysteem ontwikkeld, waarbij onbeperkte handgebaren (zoals knijpen, grijpen en draaien) worden gedetecteerd via headset-gebaseerde tracking of MediaPipe Hands en worden geïdentificeerd door lichte machine learning-modellen, waaronder Temporal Convolutional Networks (TCN). Om de gebaren aan te vullen wordt een georganiseerde spraakcommandogrammatica opgezet, gecombineerd met Whisper-based Automatic Speech Recognition (ASR) en Natural Language Understanding (NLU), om intenties en parameters af te leiden voor semantische controle op hoog niveau. De twee modaliteiten worden gecombineerd in een multimodale fusiestrategie, waarbij gebaren worden gebruikt om ruimtelijke selectie en manipulatie te beheren, en spraakcommando's worden ingezet om precieze verfijningen te bieden, aangevuld met een op betrouwbaarheid gebaseerde arbitragemechanisme en foutherstel via ongedaanmaak-commando's.

De immersieve ontwerpomgeving wordt ingezet in Unity 3D, met snapping, botsingsrespons, meetoverlays en een interactieve meubel- en materiaalbibliotheek om realistische ontwerpworkflows mogelijk te maken. Pilottests worden uitgevoerd om de natuurlijke interactie, stabiliteit en lage latentie (<200 ms) te waarborgen vóór de formele evaluatie.

Deelnemers en steekproefstrategie
In totaal werden 48 deelnemers gerekruteerd voor de gebruikersstudie om diversiteit en generaliseerbaarheid van de resultaten te waarborgen. De leeftijden van de deelnemers varieerden van 19 tot 62 jaar (M = 32,4, SD = 10,7), met 26 mannen en 22 vrouwen. Om variatie in vertrouwdheid met immersieve technologieën vast te leggen, werden de deelnemers verdeeld in drie groepen VR-ervaring: beginnende gebruikers (n = 18) met weinig of geen eerdere blootstelling aan VR, intermediaire gebruikers (n = 17) met zeldzaam gebruik van VR, en ervaren gebruikers (n = 13) die VR regelmatig gebruikten, voornamelijk professioneel. Om de toegankelijkheid en inclusiviteit van de steekproef te waarborgen, werden ook 6 deelnemers met milde mobiliteitsbeperkingen en 4 deelnemers die vanwege motorische beperkingen de voorkeur gaven aan interactie met één hand. Alle deelnemers hadden normaal of gecorrigeerd naar normaal zicht, zonder dat een van hen vestibulaire of neurologische aandoeningen rapporteerde die hun gebruik van VR konden belemmeren.

Deelnemers werden willekeurig toegewezen aan de drie interactievoorwaarden met behulp van een gebalanceerde allocatiestrategie: Gebaar+Stem (n = 16), Alleen Controller-modus (n = 16) en Hybride (n = 16). Hun ervaringsniveaus werden gelijkmatig verdeeld over de drie groepen om vooringenomenheid te voorkomen en vergelijkbare taakmoeilijkheid te garanderen onder de omstandigheden. Alle deelnemers gaven schriftelijk geïnformeerde toestemming voorafgaand aan de start van het experiment.

Vervolgens wordt er een gebruikersstudie uitgevoerd over drie interactiecondities, zoals Gebaarstem, alleen Controller-only en Hybride, om precisie, efficiëntie en gebruikerservaring te evalueren. Kwantitatieve meetwaarden omvatten plaatsingsprecisie, taakduur en foutpercentages, terwijl subjectieve beoordeling gebruikmaakt van SUS, NASA-TLX en IPQ, ondersteund door kwalitatieve interviews. Dit hier gepresenteerde systeem biedt drie belangrijke nieuwigheden: het gebruik van multimodale gebaren-stemfusie voor nauwkeurige objectmanipulatie in VR, adaptieve en toegankelijke interactiemodi zoals eenhandige gebaren en spraak-terugval, en het bieden van een reproduceerbaar corpus van geannoteerde gebaren-spraakcommando's. In combinatie zorgen deze stappen voor een verbeterde nauwkeurigheid, effectiviteit en gebruikerservaring, waarbij direct de tekortkomingen van het basispapier worden aangepakt en onderzoek naar immersieve VR-interactie voor ontwerpgebruik worden bevorderd. Figuur 1 toont de architectuur van de voorgestelde methode.

De systeemarchitectuur van de voorgestelde methode, zoals weergegeven in Figuur 1, begint met invoermodaliteiten, waarbij gebaren worden vastgelegd met datasets zoals EgoGesture en IPN Hand, en spraakinstructies uit de Fluent Speech Commands-dataset. Deze invoer wordt onafhankelijk verwerkt met behulp van gebaarherkennings- en spraakherkenningsmodules om ruimtelijke en semantische gegevens te produceren. De twee stromen zijn samengevoegd binnen een multimodale fusielaag, die gebaren en spraakinvoer op elkaar afstemt om consistente commando's te produceren. Deze gefuseerde data wordt gebruikt in de VR-interactielaag om gebruikers te vergemakkelijken objecten te manipuleren door plaatsing, rotatie, schaal en materiaalaanpassing in realtime. Tot slot worden de verwerkte interacties beschikbaar gesteld in de outputlaag, waardoor een immersieve woningontwerpruimte ontstaat die gericht is op toegankelijkheid, nauwkeurigheid en natuurlijke interactie.

Systeemvereisten en taakdefinitie
Het beoogde systeem verbetert VR-navigatiemodellen met toegankelijkheidsoriëntatie om precisiegerichte woningplanning mogelijk te maken. Wij identificeren het gebruikersdomein als , waar huiseigenaren zijn, professionals in design zijn en toegankelijkheidsgebruikers zijn (ouder of met een beperking). Elke gebruiker voert een reeks kerntaken uit T = {plaats, roteer, schaal, materiaal, licht, meet}. Een taak t ∈ T wordt uitgevoerd via multimodale invoer: gebarestroom G_t (ruimtelijke manipulatie) en spraakcommando V_t (semantische parameters). Het systeem relateert deze aan een actie via een fusiebeleid:

(1)

waarbij π de multimodale functie op beslissingsniveau is.

Systeembehoeften vereisen interactie met lage latentie: laat het gebaarherkenning zijn, spraakbegrip en fusietijden.

(2)

De somrespons zorgt voor realtime responsiviteit in overeenstemming met de drempels voor de bruikbaarheid van immersive VR.

Voor taaknauwkeurigheid laat de grond-waarheid objecttoestand zijn (x, R, s, M, L) (positie, rotatie, schaal, materiaal, lengte) en de gerealiseerde toestand van het systeem . Foutenmetingen zijn als volgt:

(3)

(4)

(5)

(6)

Met voor materiële mismatch.

Beide modaliteiten genereren betrouwbaarheidsscores c_g (gebaar) en c_v (stem), genormaliseerd zodat c_g + c_v = 1. Fusiearbitrage minimaliseert een gewogen fout:

(7)

Waarbij l_g, l_v modaliteitsspecifieke verliezen zijn. Als , vraagt het systeem om een verduidelijkingsprompt, waardoor het robuust wordt voor onduidelijke commando's.

Tot slot omvatten evaluatiemetrics de taakvoltooiingstijd T_t, foutpercentages E_t en workloadscores van NASA-TLX, SUS en IPQ. We introduceren een samengestelde taakprestatie-index:

(8)

te minimaliseren tussen gebruikers, met drempels die een SUS-score van ≥70 en een NASA-TLX-verlaging vergeleken met de basiscontroller-gebaseerde VR vereisen.

Datasetverzameling en preprocessing
Het voorgestelde systeem is gebaseerd op zowel gebarengegevens (voor TCN-gebaseerde herkenning) als spraakcommandogegevens (voor NLU/ASR). Hiervoor gebruiken we drie hoofddatasets: EgoGesture voor dynamische, continue gebaren in VR-achtige omgevingen, IPN Hand ter aanvulling op natuurlijke korteafstandsgebaren, en Fluent Speech^{Commands 44} om stemgestuurde semantische begripskennis van ontwerpuitingen te trainen. Optionele datasets zijn HaGRID voor statische gebaardetector-pretraining en Mozilla Common Voice voor algemene ASR-pretraining, maar geen van beide is noodzakelijk. Zo'n keuze maakt het mogelijk om beide modaliteiten te behandelen, terwijl de reikwijdte van de datasets zo redelijk en reproduceerbaar mogelijk wordt gehouden. Tabel 1 toont de datasetdetails van het voorgestelde werk.

De selectie van datasets in dit artikel is cruciaal, aangezien elke dataset is ontworpen om een specifiek scenario van multimodale VR-interactie aan te pakken. De EgoGesture-dataset biedt een grootschalige, naturalistische handgebaarverzameling, die hoge herkenningsprestaties garandeert ondanks wisselende licht- en omgevingsomstandigheden. Omdat de IPN Hand-dataset is ontworpen voor onbeperkte, continue handbewegingen, is deze bijzonder geschikt voor hoogprecisiebesturingsoperaties en realtime segmentatie van gebaren. Daarnaast biedt de dataset Fluent Speech Commands gelabelde spraakcommando's met semantische annotaties voor intentiedetectie, wat cruciaal is voor een nauwkeurige en natuurlijke commando-uitvoering in VR. Gezamenlijk bieden deze datasets complementaire dekking van zowel gebaar- als spraakmodaliteiten, wat diversiteit, robuustheid en dagelijkse prestaties biedt die de evaluatie van het voorgestelde systeem verbeteren. Naast openbare datasets hebben we het protocol ook geverifieerd met behulp van een onafhankelijke interne dataset bestaande uit 312 gebaarvoorbeelden en 128 spraakcommando's van 10 nieuwe deelnemers. Deze onafhankelijke validatie bevestigde de reproduceerbaarheid en robuustheid van het protocol.

Datavoorverwerking
De verzamelde informatie wordt systematisch genormaliseerd, gesampled en aangevuld voorafgaand aan de modeltraining:

Gebaarsequentie-normalisatie
Een gebaarvideosequentie wordt weergegeven als een multivariate tijdreeks van skeletgewrichtskenmerken:

(9)

Waarbij T_i de lengte van het i-de gebaar is en d de kenmerkdimensie is (bijvoorbeeld de plaatsingen van handverbindingen). Omdat verschillende gebaren van verschillende lengtes Ti kunnen zijn, resamplen we ze tot een constante sequentielengte T:

(10)

Dit maakt alle gestenmonsters, ongeacht de opnamelengte, vergelijkbaar met een standaard temporele lengte die gebruikt kan worden voor TCN-training.

Feature-standaardisatie
Om schaalverschillen tussen gebruikers en opnamecondities te elimineren, is elke featureruimte gestandaardiseerd:

(11)

Waar het gemiddelde is van kenmerk j, en σ_j de standaarddeviatie is. Normalisatie op deze manier zorgt ervoor dat kenmerken gecentreerd zijn met eenheidsvariantie en individuele verschillen in gebarenprestaties worden geminimaliseerd.

Data-augmentatie
De opname van synthetische verstoringen verbetert de robuustheid tegen variabiliteit. Temporele jitter verschuift eerst willekeurig de uitlijning van de sequentie:

(12)

waarbij δ de maximale jitter in frames is. Ruisinjectie voegt vervolgens Gaussiaanse verstoringen toe aan de kenmerken:

(13)

Deze augmentaties maken het model robuust tegen timingonregelmatigheden en sensorruis in echte VR-interacties.

Spraakvoorverwerking
Elke gesproken uiting wordt aanvankelijk toegewezen aan een log-Mel spectrogramrepresentatie:

(14)

Waarbij F de hoeveelheid frequentiebins is en T′ de hoeveelheid temporele frames. Ter compensatie van registratievariabiliteit worden spectrogramkenmerken genormaliseerd als:

(15)

Waar μ_V en σ_V het globale gemiddelde en de standaarddeviatie over het corpus zijn. Dit biedt een stabiele akoestische featureruimte voor ASR- en NLU-modellen.

Intent-slot codering
Naast de akoestische functies is elk spraakcommando gelabeld met gestructureerde semantische slots:

(16)

waarbij bijvoorbeeld "roteer stoel 15 graden" overeenkomt met (actie = draaien, object = stoel, locatie = null). Deze systematische codering stelt het systeem in staat om ontwerpspecifieke parameters af te leiden en deze om te zetten in uitvoerbare VR-operaties.

Gebaarinteractieontwerp met Temporeel Convolutioneel Netwerk (TCN)
Gebaarinteractieontwerp specificeert hoe gebruikers met virtuele objecten in het VR-thuisontwerpsysteem interageren met natuurlijke handgebaren. Ontwerp begint met het ontwikkelen van een gebarenlexicon – een associatie van handgebaren met systeemfuncties. Een grijpgebaar kan bijvoorbeeld de plaatsing van objecten bepalen, een knijpgebaar kan de schaal bepalen, en een rotatiegebaar kan objecten rond een geselecteerde as draaien.

In het betreffende systeem dienen EgoGesture en IPN Hand als de basisdatasets voor het trainen van het Temporale Convolutionele Netwerk (TCN), terwijl Fluent Speech Commands het ontwerp aanvullen met spraakgestuurde interactiemogelijkheden. Samen bieden ze multimodale VR-interactie.

Gebaarrepresentaties uit de dataset
Een reeks gebaren uit ofwel EgoGesture of IPN Hand is een multivariate tijdreeks:

(17)

(18)

Hier is T het vooraf bepaalde aantal frames (na herbemonstering), en d het aantal skeletkenmerken (bijv. 3D-verbindingslocaties). De dataset heeft labels y⁽ⁱ⁾ ∈ y die een van de C-gebaarklassen aangeven.

Temporele Convolutionele Codering
We maken gebruik van een Temporeel Convolutioneel Netwerk (TCN) om gebaren in realtime te classificeren. TCN legt korte- en langetermijnafhankelijkheden vast in gebarenreeksen. TCN's, in tegenstelling tot RNN's, maken gebruik van gedilateerde causale convoluties, die efficiënte parallelle berekening mogelijk maken.

De TCN past deze sequenties toe via causaal gedilateerde convoluties om kortetermijn- en langetermijnafhankelijkheden te leren:

(19)

waarbij d_L de dilatatiefactor in laag l is, K de kerngrootte is, en σ een niet-lineaire activatie (ReLU). Het receptieve veld hangt af van:

(20)

waardoor de TCN gebaren van verschillende temporele lengtes moet overspannen.

Classificatie van gebaren
De laatste verborgen toestand wordt door een Softmax-classifier gestuurd:

(21)

met trainingsdoel gedefinieerd door kruis-entropie:

(22)

Integratie met spraakcommando's
Hoewel ruimtelijke bewerkingen (bewegen, draaien, schalen) worden behandeld door gebarenherkenning van EgoGesture en IPN Hand, wordt de dataset Fluent Speech Commands toegepast op semantische commando's. Elke uiting wordt vertaald naar een gestructureerde slotrepresentatie: die de invoer van het gebaar versterkt door parameters aan te bieden (bijv. "stoel 15° draaien").

Dan worden beide uitgangen gecombineerd:

(23)

Waar o⁽ⁱ⁾ het VR-besturingsprimitief is (plaatsing, schaalverdeling, rotatie).

Het Temporele Convolutioneel Netwerk (TCN) is effectief in het verwerken van sequentiële gegevens door gebruik te maken van verwijdde 1D-convoluties op invoersequenties, zoals gebaren- of spraaksignalen, zoals weergegeven in Figuur 2. In tegenstelling tot recurrente modellen gebruiken TCN's convolutionele filters om zowel kortetermijn- als langetermijn-temporele relaties te leren. Residuele blokken met skipverbindingen worden gebruikt om stabiliteit te bieden tijdens training en om verdwijnende gradiënten te voorkomen, terwijl het gebruik van gestapelde TCN-lagen het netwerk in staat stelt multi-scale temporele patronen te leren. Uiteindelijk projecteert een volledig verbonden classificatielaag de geleerde temporele kenmerken in outputlabels, zoals gebareklassen of gesproken intenties. Dit ontwerp is bijzonder geschikt voor continue gebarenherkenning en begripsbegrip van spraakopdrachten, omdat het rekenkundige efficiëntie combineert met sterke temporele modelleringsmogelijkheden.

Tabel 2 vat het algemene architecturale ontwerp en de trainingsconfiguratie samen van het Temporele Convolutionele Netwerk dat wordt gebruikt in het voorgestelde systeem voor gebarenherkenning. Het model bevat vier resterende TCN-blokken, elk gebaseerd op gedilateerde causale convoluties, waardoor het netwerk zowel korte- als langetermijnafhankelijkheden kan modelleren. Deze afhankelijkheden zijn cruciaal om dynamisch gebaren te onderscheiden, zoals grijpen, draaien en knijpen. Met een kerngrootte van 3 en dilatatiefactoren breiden de dilatatiefactoren van [1,2,4,8] het temporele receptieve veld efficiënt uit zonder de rekenkosten te verhogen. Om de generalisatie tussen gebruikers en opnamecondities te verbeteren, werden laagnormalisatie en een dropoutpercentage van 0,25 binnen elk blok toegepast. Voor training wordt een Adam-optimizer gebruikt met een leersnelheid van 1 × ^10-3, een batchgrootte van 32 en een sequentielengte van 64 frames, wat optimaal een balans biedt tussen nauwkeurigheid en realtime responsiviteit. Tijdens inferentie maakt een sliding-window-strategie het voorspellen van gebaren elke 20-25 ms haalbaar, terwijl de end-to-end latentie onder de 120 ms blijft. Deze combinatie van architectuur en hyperparameter zorgt voor een hoge nauwkeurigheid in gebaarclassificatie (∼94% plaatsingsnauwkeurigheid) terwijl realtime interactie behouden blijft, waardoor TCN immersieve VR-manipulatietaken kan uitvoeren.

Spraakinteractieontwerp (ASR+NLU)
De spraakinteractiecomponent vult gebaren gebaseerde ruimtelijke controle aan via semantische en geparametriseerde spraakcommando's voor het VR-thuisontwerpsysteem. De gesproken input a⁽ⁱ⁾ wordt eerst opgenomen als ruwe audio en omgezet naar een log-Mel spectrogram:

(24)

Waarbij F het aantal frequentie T-bins is en de lengte van tijdsintervallen. De representatie behoudt zowel spectrale als temporele spraakpatronen en is genormaliseerd om invariant te zijn voor spreker- en omgevingsvariabiliteit:

(25)

Het genormaliseerde spectrogram wordt ingevoerd in een Automatic Speech Recognition (ASR)-model zoals Whisper, dat de akoestische kenmerken omzet in een tokenreeks:

(26)

waarbij elk een token is voor een woord of subwoordeenheid. Dergelijke transcriptie wordt ingevoerd in een Natural Language Understanding (NLU)-model, dat gestructureerde betekenis vastlegt. Preciezer gezegd doet NLU voorspellingen van intentiecategorieën en semantische slots:

(27)

waar bijvoorbeeld de uitspraak "roteer stoel vijftien graden" wordt overeengebracht met (actie = draaien, object = stoel, locatie/parameter = 15°).

Het geïdentificeerde intentieslot-framework wordt vervolgens vertaald naar een wiskundig commando dat binnen het VR-systeem kan worden geïmplementeerd:

(28)

Waarbij u⁽ⁱ⁾ een numerieke transformatie kan zijn (bijv. 15° rotatie) of een categorische verandering (bijv. materiaaluitwisseling).

Robuustheid wordt uiteindelijk bereikt door een op vertrouwen gebaseerde arbitragemechanisme. Als de ASR-betrouwbaarheidsscore p(z) of NLU-betrouwbaarheidsscore p(s) lager is dan een drempel τ, vraagt het systeem om verduidelijking of schakelt het standaard over op gebarengebaseerde controle. Dit zorgt ervoor dat spraakcommando's precies en duidelijk zijn, wat de bruikbaarheid verbetert voor ontwerptaken die precisie vereisen.

Multimodale fusieontwerp
Het voordeel van multimodale fusie in het voorgestelde VR-systeem is dat spraakbegrip en gebarendetectie worden geïntegreerd in één besluitvormingsproces in plaats van afzonderlijk te worden behandeld. De gebaarmodule geeft een classificatie-uitgang van de TCN, terwijl de spraakmodule een intent-slot representatie s⁽ⁱ⁾ levert. Om deze te combineren, implementeert het systeem een fusie op beslissingsniveau met vertrouwensgebaseerde arbitrage.

Laat de gebaarclassifier een kansverdeling geven over gestageklassen:

(29)

en laat het NLU-model intentieslotkansen opleveren:

(30)

Waar a, o en p verwijzen naar actie-, object- en parameterslots afgeleid van spraakinvoer. De fusiestap berekent een gezamenlijke beslissing door de twee modaliteiten te combineren op basis van hun betrouwbaarheidsscores:

(31)

Waar α∈[0,1] dynamisch wordt ingesteld op basis van systeemvertrouwen (bijvoorbeeld hoger wanneer gebaren zekerder zijn, lager wanneer spraak duidelijk is).

Algoritme 1: Multimodal_Fusion (X, a):

Input:

X = voorbewerkte gebaarsequentie, a = audiocommando

Output:

O = VR-actiecommando

Stap 1: Gebaarherkenning

 

Stap 2: Stembegrip

 

 

Stap 3: Fusiebeslissing

 

 

 

 

 

anders:

 

Stap 4: Foutafhandeling

):

Verzoek om gebruikersverduidelijking

anders:

Stuur O naar het VR-systeem

return O

Dit Algoritme 1 schakelt tussen gebareninvoer en spraakinvoer om een krachtig commando voor VR-ontwerp te formuleren. De gebaarmodule (TCN) interpreteert eerst handbewegingen zoals rotatie of schaal en kent een betrouwbaarheidsscore toe op basis van de zekerheid van het model. Parallel hieraan voert de spraakmodule ook spraak-naar-tekst conversie uit met ASR (bijv. Whisper) en past NLU toe om semantische intentie te identificeren, zoals "stoel draaien met 15°." Beide modules geven hun voorspellingen samen met betrouwbaarheidsscores terug. De combinatiestap balanceert vervolgens de twee uitgangen. Als beide invoer definitief is, combineert het systeem ze evenredig aan hun betrouwbaarheidsniveaus. Als één invoer ambigu is (bijvoorbeeld ruis in de stem of onzekere gebaarden), geeft het systeem de andere prioriteit. Tot slot, als geen van beide definitief is, vraagt het systeem om verduidelijking om fouten te voorkomen. Dit maakt de fusie adaptief (gewichten veranderen afhankelijk van de inputkwaliteit), robuust (geschikt voor ruis of ontbrekende data) en nauwkeurig (waarbij de beste sterke punten van zowel gebaren als spraak worden benut).

Deelnemers
Deze studie omvat een groep vrijwilligers die zijn geselecteerd uit zowel universiteitsstudenten als ontwerpgerelateerde professionals om diverse meningen over VR-bruikbaarheid te verzamelen. De leeftijden van de deelnemers varieerden van vroege volwassenheid tot middelbare leeftijd, wat een mix van eerdere VR-ervaringsniveaus vertegenwoordigde, waaronder beginners, occasionele gebruikers en gevorderde gebruikers. Alle deelnemers hadden normaal of gecorrigeerd zicht en geen gerapporteerde motorische beperkingen die de op gebaren gebaseerde interactie wezenlijk konden verstoren. Ernstige spraakstoornissen, grote beperkingen in de armmobiliteit of enige eerdere geschiedenis van door VR veroorzaakte bewegingsziekte sloten personen uit vanwege veiligheid en consistentie in deelname. Alle deelnemers gaven geïnformeerde toestemming en de procedures voor de evaluatie werden goedgekeurd door de institutionele beoordelingscommissie. Deze subsectie geeft duidelijk aan wie aan de evaluatie heeft deelgenomen, waardoor de reproduceerbaarheid van de studie mogelijk wordt.

Experimentele opstelling
De voorgestelde experimentele opstelling beschikt over het ontwikkelde multimodale VR-systeem, dat wordt ingezet op een consumenten-VR-headset met geïntegreerde handtrackingmogelijkheden en een RGB-camera voor het vastleggen van gebaren. Het beschikt over een high-performance desktop, waarmee realtime verwerking van gebarenherkenning, ASR en multimodale fusietechnieken mogelijk is. De VR-omgeving is gebouwd in Unity 3D en bevat een woonruimte die kan worden geconfigureerd met meubels, materialen en lichtelementen. De opstelling omvat Whisper-gebaseerde ASR voor spraaktranscriptie en bevat ook een transformator-gebaseerde NLU-module om intentie te detecteren. Deze beschrijving is overgenomen vanuit het Resultaten-gedeelte om een passend technisch overzicht te geven voordat de uitkomsten worden besproken.

Subjectieve testscenario's
Deelnemers maakten interactie met een gesimuleerde woningontwerpomgeving bestaande uit een gemeubileerde woonkamer, een slaapkamer en een kleine werkruimte. In elk scenario werd gebruikers gevraagd virtuele objecten en omgevingsvariabelen in de omgeving te wijzigen volgens realistische ontwerpomstandigheden. Zo werd deelnemers gevraagd een bank te positioneren ten opzichte van een referentiepunt, een stoel in een specifieke richting te draaien, een tafel op een doelgrootte te verkleinen of het profiel van het muurmateriaal/licht aan te passen. Deze scenario's zijn geselecteerd omdat ze typische interieurontwerptaken vertegenwoordigen die zowel gebarengestuurde controle (qua ruimtelijke precisie) als spraakgestuurde controle (in termen van semantische commando's) uitdagen. Deze subsectie behandelt direct de vraag van de beoordelaar over de subjectieve testomstandigheden waaronder gebruikers het systeem beoordeelden.

Taakontwerp
Deelnemers deden een gestructureerde reeks oefeningen die verschillende gebieden van itemmanipulatie en ontwerpinteractie behandelden. De belangrijkste taken waren als volgt: 1) Meubelplaatsing: Deelnemers positioneerden objecten op doelcoördinaten. 2) Rotatietaak: Bij deze taak moesten gebruikers de oriëntatie aanpassen zodat deze overeenkwam met een referentiehoek. 3) Schaaltaak: Dit hield in dat meubels werden aangepast naar vooraf ingestelde afmetingen. Bovendien 4) Materiaal-/kleurbewerking: Deelnemers gebruikten spraakcommando's om de texturen of de belichting aan te passen. Optionele navigatietaken werden aangeboden om het ruimtelijk inzicht in de virtuele ruimte vast te leggen. Elk werk werd opgesteld met duidelijke doelen, kwantificeerbare resultaten en een vastgestelde tijdslimiet, zodat zowel nauwkeurigheid als efficiëntie goed geëvalueerd konden worden.

Procedure
Om uniformiteit tussen de deelnemers te waarborgen, werd de evaluatie in een geplande volgorde uitgevoerd. Gebruikers kregen eerst een uitleg over het systeem en kregen een korte demonstratie van de modaliteiten voor gebaren en spraakinteracties. Een initiële kalibratiefase maakte aanpassing mogelijk voor individuele handhoudingen en spraakkenmerken. Gebruikers hadden daarna een korte oefensessie om aan beide modaliteiten te wennen. De daadwerkelijke evaluatie vereiste het uitvoeren van alle taken onder drie interactievoorwaarden: alleen een controller gebruiken, alleen gebaren gebruiken, en gebaren plus spraak als multimodale invoer gebruiken. De conditievolgorde werd gecompenseerd om de leereffecten te verminderen. Aan het einde vulden de proefpersonen gestandaardiseerde evaluatieinstrumenten in, zoals de SUS, NASA-TLX en IPQ, en namen ze deel aan een kort kwalitatief feedbackinterview.

Evaluatiemetrieken
Deze gestructureerde procedure zorgt voor methodologische transparantie, waardoor replicatiestudies mogelijk zijn. Objectieve en subjectieve metrics werden gecombineerd om de systeemprestaties volledig te beoordelen. Doelstellingsmetrics omvatten taakaflooptijd, een maatstaf voor efficiëntie; plaatsingsnauwkeurigheid, gekwantificeerd als de afwijking van de doelpositie of rotatie; en foutpercentage, gedefinieerd als het aantal invoerfouten of onbedoelde acties die door het systeem worden uitgevoerd. Subjectieve meetwaarden werden vastgelegd met behulp van gevalideerde vragenlijsten: de System Usability Scale om de waargenomen bruikbaarheid te meten, de NASA-TLX-schaal om mentale en fysieke werklast te beoordelen, en de I group Presence Questionnaire voor het meten van immersie en aanwezigheid in VR. Deze zijn passend verplaatst vanuit het Resultaten-gedeelte om te beschrijven hoe prestaties werden gemeten voordat uitkomsten werden gepresenteerd.

VR-omgeving, systeemintegratie en evaluatie
Het primaire platform voor spraak- en gebarencommando's is een interactieve virtual reality-omgeving waarin het systeem wordt ingezet. Geïntegreerde bibliotheken van meubels, textuur en lichtelementen worden gebruikt om virtuele ruimtes in Unity 3D te creëren. Het stelt gebruikers in staat om items in realtime te organiseren, aan te passen en te bewerken. De nauwkeurigheid wordt verbeterd door snap-mogelijkheden, botsingsdetectie en meetoverlays, waardoor objecten natuurlijk kunnen uitlijnen. Realtime rendering van verlichting en materialen verbetert de ontwerpervaring door directe feedback te geven bij elke interactie.

Na het valideren van de afzonderlijke modules voor gebarenherkenning, spraakbegrip en multimodale fusie, worden ze gecombineerd tot een uniforme pijplijn. Het systeem is ontworpen met lage latentie, waardoor gebruikerscommando's vrijwel direct verschijnen in de VR-omgeving. Pilottests worden uitgevoerd met een klein aantal leden om de interactieflow te verbeteren. De iteratie omvat gebaarwoordenschat, validatie van spraakcommandogrammatica en ervoor zorgen dat het systeem natuurlijk en betrouwbaar aanvoelt tijdens continu gebruik.

Een uitgebreide studie die drie interactiemodaliteiten vergelijkt, zoals multimodale gebaar-spraakfusie, controller-only input en hybride modus, zal worden gebruikt om de gebruikerservaring te evalueren. Taken zoals materiaalwisselen, rotatie en objectplaatsing zijn verplicht van de deelnemers. Om prestaties te beoordelen worden objectieve meetwaarden verzameld, zoals de tijd waarop de functie is behaald, de correctheid van plaatsing en fouten. Subjectieve beoordelingen worden verkregen van deelnemers met behulp van gestandaardiseerde vragenlijsten, zoals de System Usability Scale (SUS), NASA-TLX cognitieve workload en de IPQ-vragenlijst voor immersie, waarbij deelnemers extra ondersteuning bieden. Deze dubbele beoordeling omvat zowel kwantificeerbare prestatiematen als subjectieve gebruikerservaring.

De vooruitgang van dit systeem is het toepassen van multimodale fusie op precisieontwerptaken die verder gaan dan basisnavigatie of interactie. De techniek biedt een organischere, nauwkeurigere en toegankelijkere manier van interactie door de semantische waarde van spraakinstructies te combineren met de ruimtelijke voordelen van gebaar. Door aanpasbare toegankelijkheidsfuncties te bieden, zoals spraak-only fallback en eenhandige gebaarherkenning, vergroot het systeem ook inclusiviteit. Tot slot biedt de studie een methodische, geannoteerde multimodale dataset van spraak-gebaren interacties, wat toekomstige studies in immersief interfaceontwerp stimuleert en reproduceerbaarheid versterkt.

Figuur 3 toont typische screenshots van het geïmplementeerde programma, wat een levendigere weergave geeft van het gebouwde VR-interieurontwerpsysteem. De meeslepende virtual reality-omgeving, waarin gebruikers de indeling van de kamer kunnen verkennen en bekijken, is weergegeven in Figuur 3A. Figuur 3B laat zien hoe natuurlijke handinteracties kunnen worden gebruikt om virtuele meubelstukken te selecteren, te verplaatsen en te roteren in een op gebaren gebaseerd objectmanipulatieproces. Figuur 3C illustreert de geïntegreerde spraakinterface, waarbij de microfoon- en spraakfeedbacksymbolen door gebruikers gegeven spraakcommando's valideren voor ruimtelijke aanpassingen of objectplaatsing. Gezamenlijk tonen deze screenshots van het voorgestelde multimodale VR-systeem aan dat het volledig is geïmplementeerd, waardoor realtime gebaren en spraakinteractie mogelijk zijn.

Resultaten

Het ontworpen multimodale VR-thuisontwerpsysteem werd gevalideerd met drie fundamentele datasets: EgoGesture (dynamische gebaren), IPN Hand (doorlopende handgebaren) en Fluent Speech Commands (spraakcommando's met intentieslotlabels). Gezamenlijk boden de drie datasets een uitgebreide trainings- en evaluatiebasis, die zowel gebarenherkenning als stemgebaseerde semantische begripskennis behandelden. De validatie toont aan dat integratie van gebaren en stem de taaknauwkeurigheid aanzienlij...

Discussie

De resultaten van dit onderzoek bevorderen de technologie van het basisartikel, dat vooral de voordelen van immersieve VR-navigatie voor toegankelijkheid liet zien door het combineren van gebaren- en spraakmodaliteiten voor ontwerptaken. Het multimodale systeem presteerde beter op alle objectieve en subjectieve prestatiematen, met kortere taakvoltooiingstijden, hogere plaatsingsnauwkeurigheid en lagere foutpercentages dan controller-gebaseerde en hybride benaderingen. Bovendien toonden b...

Materialen

```html

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
EgoGesture Dataset	Nanyang Technological University	DOI: 10.1109/TMM.2018.2808769	Grootschalige egocentrische handgebaardataset voor dynamische gebaarherkenningstraining.
Fluent Speech Commands Dataset	Fluent.ai / University of Alberta	DOI: 10.48550/arXiv.1804.04363	Dataset voor stemintentie en slot-gebaseerd semantisch begrip voor ASR/NLU training.
HaGRID Dataset (optioneel)	Sber AI / Open Source	v1.1	Optionele dataset gebruikt voor statische handgebaardetector-voortraining.
Igroup Presence Questionnaire (IPQ)	igroup.org	N/A	Gebruikt voor het meten van immersie en aanwezigheid in VR-omgeving.
IPN Hand Dataset	Universidad Veracruzana	DOI: 10.1109/CVPRW50498.2020.00241	Dataset voor continue, natuurlijke handgebaarherkenning en segmentatietaken.
Matplotlib / Seaborn	Open Source	Laatste stabiele	Gebruikt voor visualisatie van prestatiemetrieken en evaluatieresultaten.
MediaPipe Hands	Google Research	Open-source (GitHub)	Gebruikt voor real-time hand- en gebaartracking voor gebaarinputherkenning.
Mozilla Common Voice (optioneel)	Mozilla Foundation	Versie 17	Optionele dataset voor voortraining van ASR-model op algemene spraakgegevens.
Multimodal Fusion Layer	Aangepaste algoritme	N/A	Voegt gebaar- en steminputstreams samen op basis van op vertrouwen gebaseerde arbitrage.
NASA-TLX Workload Assessment	NASA Human Factors	N/A	Gebruikt voor cognitieve werklastanalyse van deelnemers.
Natural Language Understanding (NLU) Module	Aangepast (gebaseerd op BERT / RoBERTa)	N/A	Gebruikt om semantische intenties en slots (actie, object, parameter) uit getranscribeerde spraakinspraak te extraheren.
NumPy / Pandas / OpenCV	Open Source	Laatste stabiele	Gebruikt voor numerieke bewerkingen, gegevensvoorverwerking en manipulatie van videoframes.
Python programmeertaal	Python Software Foundation	Versie 3.10+	Gebruikt voor het implementeren van ML-modellen (TCN, ASR, NLU, fusie).
PyTorch Deep Learning Framework	Meta AI	Versie 2.0+	Gebruikt voor het bouwen en trainen van gebaarherkennings (TCN) en NLU-modellen.
RGB-camera	Logitech / RealSense	Logitech C920 of Intel RealSense D435	Gebruikt voor handgebaarcapture en motion recognition input.
System Usability Scale (SUS) Vragenlijst	Standaard evaluatietool	N/A	Gebruikt voor het beoordelen van de subjectieve bruikbaarheid van VR-systeem.
Temporal Convolutional Network (TCN)	Aangepaste implementatie (PyTorch / TensorFlow)	N/A	Gebruikt voor dynamische gebaarherkenning van time-series skeletaalgegevens.
Unity 3D Engine	Unity Technologies	Versie 2022.3 LTS	Gebruikt voor het ontwikkelen van een immersieve VR-omgeving met interactieve meubels, materiaalbewerking en real-time rendering.
VR-bril	Oculus (Meta) / HTC Vive	Oculus Quest 2 of HTC Vive Pro	Gebruikt voor immersieve visualisatie en ruimtelijke tracking tijdens VR-interactie.
Whisper ASR Model	OpenAI	Whisper (basismodel)	Automatische spraakherkenning engine voor het omzetten van spraak naar tekst.
Werkstation	Op maat gebouwde PC	Intel Core i7 / NVIDIA RTX 3070 / 32 GB RAM	Gebruikt voor real-time verwerking, training en inferentie van gebaar- en spraakmodellen.

```