Ontwerp van adaptieve multimodale interactiekaders om de samenwerking tussen mens en AI te verbeteren

Samenvatting

Dit werk stelt een hiërarchisch uitlijningsmechanisme gebaseerd op Dynamic Time Warping (DTW) voor, met online adaptatie en aandachtgedreven multimodale fusie, waardoor betrouwbare voorspelling van lange-horizonintentie en taaktracking mogelijk wordt. Een lichtgewicht uitlegmodule verbetert de interpreteerbaarheid en bevordert het vertrouwen in samenwerking tussen mens en AI. De benadering generaliseert zich naar zowel robot- als virtuele interactieve systemen.

Samenvatting

Het bereiken van effectieve en natuurlijke samenwerking tussen mens en AI blijft een grote uitdaging, vooral in dynamische, realistische omgevingen. De bestaande frameworks worden vaak beperkt door de rigide single-modale inputs of regelgebaseerde multimodale fusie, wat hun robuustheid, personalisatie en aanpassingsvermogen beperkt. Deze studie introduceert een adaptief multimodal interactiekader dat visie-gebaseerde houdingsschatting en spraakgebaseerd commandobegrip integreert binnen een hiërarchisch model voor menselijke intentievoorspelling. Het framework maakt gebruik van Transformer-gebaseerde sequentiemodellen voor actievoorspelling en Dynamic Time Warping om menselijk gedrag af te stemmen op de gestructureerde taakgrafieken voor langetermijnplanning. In tegenstelling tot eerdere benaderingen die vertrouwen op statische modaliteitsschakeling, past onze architectuur een aandacht-gebaseerd fusiemechanisme toe om de meest informatieve inputs dynamisch te wegen. Bovendien maakt een online adaptatiemodule realtime aanpassing van gebruikersgedrag mogelijk, aangevuld met een lichtgewicht uitlegbaarheid laag om het vertrouwen van gebruikers te bevorderen. De experimentele evaluatie in een collaboratieve assemblytaak toont aanzienlijke verbeteringen in taakprestaties (tot 24%), nauwkeurigheid van intentievoorspelling (tot 18%) en gebruikerstevredenheid. Deze resultaten benadrukken de effectiviteit en veelzijdigheid van adaptieve multimodale interactiekaders, wat hun potentieel ondersteunt om samenwerkingsgerichte intelligentie te bevorderen richting meer betrouwbare, transparante en mensgerichte AI-systemen.

Inleiding

Mens-robot samenwerking (HRC) is een van de belangrijke onderzoeksgebieden, vooral omdat robots steeds vaker worden ingezet in mensgerichte omgevingen. Hoewel de kaders en technologieën voor kortetermijn-HRC aanzienlijk zijn verbeterd ^1,2, is langetermijn-HRC nog niet zo volwassen³. In industriële toepassingen kan het gebruik van langdurige HRC leiden tot een prominente stijging van productiviteit en aanpassingsvermogen in complexe productieprocessen⁴. Huishoudelijke omgevingen, robots als gezelschap of ouderenzorgmedewerkers hebben het potentieel om de kwaliteit van leven te verbeteren door langdurige HRC⁵. Medisch plaatst gemeenschapsmachines als vervanging voor huishouden en verzorgers, en dekt zorg voor de getroffen rol met dementie, autisme en aanvullende fysieke of psychische aandoeningen⁶. Tegelijkertijd maken de reis- en vriendelijkheidsdomeinen gebruik van industriële robots om^{gebruikerskennis te} vergroten. In intelligente engineering is het doel om AI op een mensgerichte manier te gebruiken om competenties te herstellen en gepersonaliseerde gewassen te maken, een fase die bekend staat als Industrie 5.0. Mens-AI en mens-robot samenwerkingssystemen zijn onderzocht in diverse toepassingsdomeinen ^8,9,10; Recente onderzoeken richten zich echter steeds meer op samenwerkende robotomgevingen die betrouwbare intentievoorspelling en begrip van taken op lange termijn vereisen.

AI is al diep verankerd in het dagelijks leven, en de zelfbesturende of semi-autonome toepassingen ervan komen steeds vaker voor in veel bedrijfsgebieden. Hierin staat simpelweg dat goed functionerende bedrijfsfuncties momenteel systemen vereisen die zich kunnen aanpassen aan technologische veranderingen en reageren op organisatorische uitdagingen¹¹. Daarom helpt de noodzaak om menselijk handelen te verbeteren door hybridisatie, tijdens het proces van AI-adoptie en -implementatie, om enkele barrières te overwinnen. Daarom combineren hybride systemen kunstmatige en menselijke intelligentie om complexe taken samen uit te voeren, verbeterde resultaten te leveren en hun vaardigheden te verbeteren door te leren van collega's. Daarom vormen uitgebreide concepten die hybride intelligente systemen¹², samenwerking en versterkte intelligentie omvatten informeel onderzoek en begrip van het stimuleren van samenwerking door het integreren van diverse AI-modaliteiten.

De term "Vertrouwen" is afgeleid van studies over interpersoonlijke relaties, waarmee een emotionele band in menselijke relaties wordt gedefinieerd. Zo identificeerde de auteur¹³ dat het niveau van vertrouwen technisch gezien bepaalde aspecten van gevoelens, veronderstelde aantrekkingskracht en ethiek van de samenwerkende partijen. Sociologisch gezien hebben verschillen in interpersoonlijk vertrouwen diepgaande effecten op het welzijn van gescheiden mensen, gemeenschapscontact, sociaaleconomische groei en praktisch gedrag 14,15,16. HRI is in wezen een poging om procedurele gesprekken tussen maatschappelijk werkers en slimme automaten te overbruggen voorbij de conventionele taalkundige obstakels van automaten¹⁷. Dergelijke interactie combineert de computationele krachten van autonome systemen met menselijke intuïtie, waardoor effectieve samenwerking mogelijk wordt gemaakt in diverse toepassingsomgevingen. Het gebruik van automaten brengt echte voordelen met zich mee: aanzienlijke verminderingen van de financiële kosten, een verminderde ecologische voetafdruk en aanzienlijk minder menselijk^risico. Maar te midden van prestaties is het vertrouwen van mensen in robots een pijler, vooral bij het beoordelen van de algemene kwaliteit van de interactie^18,19.

Het niveau van menselijk vertrouwen dat aan robots wordt toegekend, weerspiegelt hun belang en centrale rol op veel gebieden. In de gezondheidszorg beïnvloedt robotvertrouwen de verdeling van medische middelen volgens HRI en de efficiëntie van onderdrukking van overdraagbare ziekten 20,21,22^. In soldatische toepassingen bepaalt het niveau van sociaal vertrouwen in automaten het niveau van operationele competentie van soldatische onderzoeksapparaatstrategieën en het nauwkeurigheidsniveau van vechttransporten^23,24. Daarnaast beïnvloedt het geloof in machines de onderwerping en het gebruik van AI-actieve geloofsstandaardisatiemechanismen in speculatief soldatenbeleid²⁵. Zelfs binnen milieuonderzoek, bijvoorbeeld hoog-niveau onderzoek naar lichamelijke bewegingen, hangt de rationaliteit van resultaten af van de mate van geloof in de HRI²⁶. Een belangrijke waarschuwing is echter dat toenemende besluitvormingsproblemen dit vertrouwen kunnen aantasten^{en de} interactie in gevaar brengen. Tabel 1 beschrijft het vergelijkende overzicht van verschillende studies.

Paper (Jaar, Bron)	Belangrijkste Doelstellingen	Belangrijkste Methoden & Modaliteiten	Inzichten
Xie & Park (2021, arXiv) [28]	Pas robotinteracties aan met emotionele sociale robots	Beleid voor versterkend leren gebaseerd op zowel verbale als non-verbale aanwijzingen (lichaamshouding, spraak en gezichtsuitdrukkingen)	Het gedrag van een in het echte leven getrainde robot verandert in reactie op menselijke emoties, waardoor eenvoud en betrokkenheid toeneemt.
Li et al. (2022, IEEE T-IE) [29]	Proactieve ondersteuning voor productie-assemblage faciliteren	Intentievoorspelling, overdrachtsleren en multimodaal leren (visueel + skelettaal)	Verbeterde robotproactiviteit ten opzichte van de basislijnen; Snellere, preciezere actievoorspelling tijdens assemblage
Abdelrahman et al. (2022, IEEE Access) [30]	Inmenging in realtime schatten in groeps-HRI	Regelgebaseerde classificatie gecombineerd met deep learning en visie-gebaseerde blik/hoofdhouding	≥90% F-score; beheert meerdere gebruikers tegelijk in fysieke configuraties
Chiossi et al. (2025, arXiv) [31]	Structuur voor multimodale, dynamische intentietransmissie in productieomgevingen	Theoretische veelzijdige lay-out: SAT-transparantielagen; haptische, auditieve en visuele modi	Stelt het conceptuele kader vast en legt het medium, de planning en de intentie van de ontwerpomgeving uit.
McGrath et al. (2024, arXiv) [32]	Modelleer de ontwikkeling van vertrouwen in mens-AI-relaties die aanpasbaar zijn.	Teamfasen plus vertrouwensantecedenten; Een dynamisch vertrouwensmodel dat niet afhankelijk is van specifieke modaliteiten	Biedt vertrouwensbewuste ontwerpprincipes voor alle fasen van interactie en tijd.
Fragiadakis et al. (2024, arXiv) [33]	Standaardiseer de beoordeling van samenwerking tussen mensen en AI.	Metrieken geselecteerd door een beslissingsboom volgens de HAIC-modus; Gemengde-methode-metrics	Het kader helpt bij het selecteren van relevante meetwaarden voor AI/mensgerichte, symbiotische interactiemodaliteiten.
Younis et al. (2023, MDPI) [34]	HRI die zich aanpast aan de context door demografische inferentie	Leeftijd en geslacht worden geschat met behulp van beeld- en audiomodellen, en het gedrag van robots wordt passend aangepast.	De enquête vat benaderingen samen en benadrukt het belang van aangepaste aanpassing in HRI.

Tabel 1: Een vergelijkend overzicht van recent onderzoek in Mens-AI Samenwerking dat de belangrijkste doelen, methodologieën en bevindingen van elke studie benadrukt. Datasets die in de studie worden gebruikt, hun specificaties, grootte, modaliteiten en de verspreiding van de deelnemers.

Hoewel het huidige hiërarchische en multimodale mens-robot samenwerkingskader (HRC) indrukwekkende vooruitgang laat zien in het gebruik van visuele en audiomodaliteiten voor langdurige samenwerking, bestaan er nog steeds een aantal onderzoekslacaten, wat de toepasbaarheid op meer algemene mens-AI samenwerkingsomgevingen belemmert. Ten eerste is het huidige kader vooral toepasbaar op fysieke robotica (bijv. KINOVA GEN3 arm) en niet overdraagbaar naar niet-belichaamde of virtuele AI-agenten die bestaan in diverse digitale omgevingen²⁸. Ten tweede, hoewel multimodaliteit wordt aangepakt door zicht en spraak, implementeert het systeem een vooraf gedefinieerde modaliteitswisselstrategie in plaats van dynamische, contextafhankelijke fusie volgens gebruikerstoestand of taakmoeilijkheid²⁹. Ten derde legt de aanpak de nadruk op taakefficiëntie en veerkracht, maar modelleert niet specifiek het vertrouwen van gebruikers, cognitieve last of affectieve toestand, die essentieel zijn voor langdurige samenwerking en systeemverklaring. Daarnaast zijn menselijke interpreteerbaarheid en vertrouwen in het adaptieve gedrag van het systeem beperkt wanneer verklaringsprocessen ontbreken bij besluitvorming. Last but not least is de beoordeling beperkt tot één domein (speelgoedauto-assemblage) zonder multi-domeinvalidatie, wat variabiliteit in de echte wereld^{van 30} vertegenwoordigt. Dergelijke hiaten vereisen de ontwikkeling van een gegeneraliseerd, adaptief en mensgericht multimodal interactiekader dat heterogene inputkanalen dynamisch combineert en menselijke intentie, vertrouwen en context in realtime modelleert om de samenwerking tussen mens en AI te versterken.

Het belangrijkste doel van deze studie is het maximaliseren van de samenwerking tussen mens en AI door het ontwerpen van een adaptief multimodaal interactiesysteem dat visie- en spraakmodaliteiten verenigt met realtime gebruikersmodellering. Voortbouwend op de solide basis van robuuste langdurige samenwerking tussen mens en robot, zal dit werk de multimodale architectuur generaliseren naar algemene AI-systemen buiten de robotica, zoals virtuele agenten en intelligente interfaces. De nadruk ligt vooral op dynamische intentievoorspelling via hiërarchische planningsmechanismen, die low-level action understanding en high-level taakvoortgang volgen. In tegenstelling tot regelgebaseerde systemen zal het hier gepresenteerde kader adaptieve leermethoden gebruiken, waaronder gebruikersspecifieke modelupdates en contextbewuste modaliteitsfusie, om het interactiegedrag dynamisch aan te passen aan de voorkeuren van de gebruiker, cognitieve status en omgevingsdynamiek. Bovendien streeft het kader ook naar meer transparantie en vertrouwen met uitlegbare interactieredenering, waardoor gebruikers AI-keuzes kunnen begrijpen en feedback kunnen geven. Tot slot hoopt dit onderzoek de vloeiendheid van interactie, taakeffectiviteit en langdurige gebruikerstevredenheid in verschillende samenwerkingscontexten te verbeteren.

Dit artikel introduceert een nieuw Adaptief Multimodal Interactiekader dat bedoeld is om samenwerking tussen mens en AI te bevorderen door visuele en audiomodaliteiten dynamisch te combineren. Het 'unimodale' systeem verwijst naar een model dat slechts één invoermodaliteit gebruikt (bijvoorbeeld visueel of spraak) voor taakuitvoering en intentievoorspelling, zonder informatie over meerdere kanalen te integreren. Het 'niet-adaptieve' systeem verwijst naar een regelgebaseerd of vaste-strategie systeem dat zijn gedrag niet aanpast op basis van gebruikersacties of context, zoals de Rule-Based Switching baseline. Deze baselines bieden referentiepunten om de voordelen van multimodale waarneming en adaptieve interactiestrategieën te evalueren, geïmplementeerd in ons voorgestelde Transformer with Attention-guided fusion-model. Gebaseerd op eerdere hiërarchische HRC-paradigma's³¹, brengt onze methode verschillende belangrijke innovaties met zich mee:

Dit werk presenteert een op Dynamic Time Warping (DTW)-gebaseerd uitlijningsmechanisme dat verwachte laag-niveau menselijke acties koppelt aan knooppunten in een hiërarchische taakgrafiek, in tegenstelling tot eerdere multimodale interactiesystemen die zich voornamelijk richtten op kortetermijnactieherkenning³². In het licht van temporele onvoorspelbaarheid en ruisachtige multimodale inputs maakt dit betrouwbare voorspelling van lange-horizon intenties en het volgen van de voortgang van taken mogelijk.

Een online adaptatiemodule die continu intentie-inferentie- en actievoorspellingsmodellen bijwerkt tijdens interactie is opgenomen in het voorgestelde systeem. Dit overwint de nadelen van statische of offline getrainde multimodale modellen door het systeem dynamisch in staat te stellen zich aan te passen aan unieke gebruikersgedragingen, voorkeuren en contextuele veranderingen.

Visuele en auditieve modaliteiten worden dynamisch gewogen op basis van hun contextuele belang bij elke tijdstap, waarbij een unieke op aandacht gebaseerde fusietechniek wordt gebruikt. Deze datagedreven fusiebenadering verbetert de robuustheid in diverse interactieomgevingen en vervangt regelgebaseerde modaliteitswisselingen.

Deze studie bevat een lichtgewicht uitlegmodule die hiërarchische plannings- en fusiebeslissingen omzet in begrijpelijke rechtvaardigingen om zo de interpreteerbaarheidskloof in adaptieve mens-AI-systemen te dichten. Dit verbetert de kwaliteit van langdurige samenwerking en stimuleert een juiste vertrouwensafstemming.

De voorgestelde aanpak is bedoeld om te generaliseren voorbij belichaamde robots naar virtuele agenten en intelligente interfaces, waardoor de bruikbaarheid wordt uitgebreid over veel domeinen van samenwerking tussen mens en AI, hoewel dit is bewezen in een echte collaboratieve assemblageactiviteit met een robotplatform.

Protocol

De voorgestelde architectuur voor het versterken van de samenwerking tussen mens en AI maakt gebruik van een adaptieve multimodale interactiepijplijn die visie- en spraakmodaliteiten combineert in een dynamisch, hiërarchisch redeneerkader. Deze studie maakte gebruik van openbaar beschikbare gegevens uit eerder gepubliceerde experimenten. Er waren geen nieuwe menselijke proefpersonen betrokken en er was geen extra ethische goedkeuring vereist.

Voorgestelde adaptieve multimodale interactiearchitectuur

In de kern begint het systeem met perceptiemodules, zoals dat de visuele stroom de houding en beweging van de gebruiker vastlegt met behulp van RGB-D-sensoren, en een audiostroom de spraakinvoer analyseert met een lichtgewicht ASR (Automatic Speech Recognition) engine. Dergelijke ruwe input wordt ingevoerd in de op Transformer gebaseerde actievoorspellingsmodule, die temporele afhankelijkheden codeert in pose- en commando-reeksen om te redeneren over menselijke handelingen op laag niveau. Vervolgens brengt een Dynamic Time Warping (DTW)-mechanisme de gedetecteerde acties op één lijn met knooppunten van een vooraf gedefinieerde taakgrafiek om gebruikersdoelen en volgende acties te voorspellen. Een nieuwe aandachtgebaseerde fusiemodule bepaalt bij elke tijdstap welke modaliteit (audio of beeld) de meest contextueel belangrijke informatie geeft en past de inputgewichten dynamisch aan. Om interactie te individualiseren, bevat het systeem online modelaanpassing, waarbij actievoorspellers in realtime worden aangepast aan veranderend gebruikersgedrag. Een lichtgewicht uitlegmodule maakt ook gebruiksvriendelijke samenvattingen van voorspelde intenties en AI-beslissingen om transparantie en vertrouwen te verbeteren. Het hele systeem wordt getest in een gesimuleerde maar realistische coöperatieve assemblageomgeving, waardoor vergelijking mogelijk is tussen unimodale en adaptief-multimodale omgevingen. Zo'n aanpak maakt een flexibelere, meer intuïtieve en betrouwbaardere samenwerking met AI-agenten op alle gebieden mogelijk.

Figuur 1 toont de architectuur van het beschreven Adaptive Multimodal Interaction Framework dat gericht is op het verbeteren van de samenwerking tussen mens en AI. Het begint met de Input Acquisition-fase, die gebaseerd is op twee hoofdsensoren: een RGB-D-camera voor het observeren van diepteversterkte visuele informatie (bijv. menselijke houding en beweging) en een richtmicrofoon voor het verzamelen van spraakcommando's. Ruwe signalen worden vervolgens door de Pre-Processing-module gehaald, die de audiovisuele data verwerkt voor verdere analyse door de invoerstromen te reinigen, normaliseren en formatteren. Daarna gaat de pijplijn door naar de Feature Extractie-fase, waar de data wordt opgesplitst in twee stromen: de Visual Stream, die pose- en bewegingskenmerken isoleert via pose estimation algorithms, en de Audio Stream, die spraak transscribeert in interpreteerbare commando-embeddings. Een multimodale Transformer-encoder, die multi-head self-attention en temporele positionele codering gebruikt om langeafstandsafhankelijkheid tussen interactiesequenties uit te drukken, verwerkt vervolgens de gefuseerde representatie. De huidige doelstatus van de gebruiker wordt geschat door een long-horizon intentie en taakvoortgangsvoorspeller, en laag-niveau acties worden gekoppeld aan knooppunten in een hiërarchische taakgrafiek voor betrouwbare taaktracking door een DTW-gebaseerde uitlijningsmodule. Fusiegewichten en voorspellingsparameters worden continu bijgewerkt via een online modeladaptatie-lus als reactie op interactiefeedback, en een uitlegbaarheidsmodule biedt duidelijke uitleg om openheid en vertrouwen te bevorderen. De hele pijplijn stelt het systeem in staat om adaptief en efficiënt samen te werken met gebruikers aan dynamische taken en omgevingen.

Figuur 1: Een overzicht van het voorgestelde multimodale interactiekader gebaseerd op transformatoren. Er wordt een aandachtgerichte techniek gebruikt om visuele en auditieve gegevens te coderen en dynamisch te integreren. Een Transformer-module, die hiërarchische taakmodellering en online aanpassing integreert, verwerkt de gefuseerde representatie voor de voorspelling van lange-horizon intentie en het schatten van taakvoortgang. . Klik hier om een grotere versie van deze figuur te bekijken.

Het voorgestelde systeem bevat een lichtgewicht uitlegmodule die samenwerkt met de multimodale fusie- en hiërarchische planningscomponenten om transparantie en gebruikersvertrouwen te verbeteren. De module haalt interpreteerbare aanwijzingen af uit de DTW-gebaseerde taakgrafiekuitlijning (bijv. huidige taakvoortgang en verwachte volgende actie) en de aandachtgebaseerde fusielaag (bijv. modaliteitsgewichten). Deze signalen worden voor mensen omgezet in begrijpelijke verklaringen, zoals of gesproken commando's of visuele gebaren de systeemkeuze voornamelijk beïnvloedden en hoe de verwachte actie past in het bredere werkplan. Gebruikers ontvangen uitleg in de vorm van beknopte geschreven of visuele feedback, die hen helpt het systeemgedrag te begrijpen, te voorspellen en, indien nodig, te corrigeren. Verbeterde gebruikerstevredenheid, soepele interactie en vertrouwensgerelateerde metrics die in de evaluatie worden aangegeven, zijn indirecte indicatoren van de perceptie van verklarbaarheid door gebruikers. De bevindingen suggereren dat bij langdurige mens-AI-interactie transparant redeneren voor AI-beslissingen het vertrouwen van gebruikers verhoogt, samenwerking bevordert en de acceptatie van adaptief systeemgedrag verhoogt.

Invoergegevens

Inputverwerving in het beoogde kader voor mens-AI-samenwerking wordt uitgevoerd via een gestructureerd multimodaal sensormechanisme dat zowel zicht- als gehoormodaliteiten combineert om menselijke handelingen en intenties effectief te realiseren. Visuele input wordt verkregen met een RGB-D-camera, die realtime pose-informatie van mensen, ruimtelijke locatie en context van de omgeving vastlegt. Visuele data wordt verwerkt via vooraf getrainde modellen zoals BlazePose om belangrijke sleutelpunten van het bovenlichaam te vinden voor interactietaken. Tegelijkertijd wordt auditieve informatie verkregen van een directionele microfoon en geïnterpreteerd via een vooraf getraind DeepSpeech-model om spraakcommando's te identificeren die onduidelijke aanwijzingen verduidelijken of aanvullende onzekere signalen geven. In coöperatieve omgevingen biedt het dual-inputsysteem dynamische aanpassing en contextbewuste waarneming. De trainings- en evaluatiedataset omvat meer dan 5.000 multimodale menselijke bewegingstrajecten¹ voor een reeks interactieactiviteiten, zoals assemblage- en overdrachtsgedrag, verzameld van vier gebruikers in gecontroleerde en semi-gestructureerde omgevingen. Om de generalisatie te verbeteren, maakt het systeem online modeladaptatie mogelijk tijdens de implementatie, waardoor het model zijn voorspellingen in realtime kan bijwerken als functie van veranderend gebruikersgedrag en omgevingsdynamiek.

Datasetbeschrijving

De trainings- en evaluatiedataset voor het voorgestelde framework is verkregen uit echte mens-robot samenwerkingsexperimenten onder een speelgoedautoassemblagetaak met de KINOVA GEN3 robot¹. De experimentele omgeving was bedoeld om langdurige samenwerkingsactiviteiten na te bootsen die multimodale interactie omvatten, waaronder zowel visuele als auditieve modaliteiten. In het bijzonder bestaat de trainingsdataset uit 3.003 reeksen trajecten van twee gebruikers, en bevat de testdataset 2.088 sequenties, inclusief gegevens van twee nieuwe gebruikers voor het beoordelen van modelgeneralisatie. Elke traject registreert een 5-staps reeks van sleutelpunten in de bovenlichaamhouding die met BlazePose zijn opgehaald, samen met bijbehorende spraakcommando's die zijn getranscribeerd door DeepSpeech³³. De verzamelde gegevens tonen natuurlijke menselijke variatie in gebaren en commando-expressie bij activiteiten zoals objectlevering, het gebruik van gereedschap en samenwerkingsacties. De multimodale dataset vormt de basis voor het begeleid leren van de DLinear actie- en trajectprognosemodellen en vormt de centrale benchmark in de gebruikersstudies die worden uitgevoerd onder alleen visie-, audio- en multimodale omstandigheden. Het integreren van verschillende soorten gebruikers en realistische ruiscondities garandeert robuustheids- en aanpasbaarheidstesten voor permanente HRC-systemen. Tabel 2 toont de gedetailleerde beschrijving van de dataset.

Eigenschappen	Details
Datasetnaam	Speelgoedautoassemblagedataset (intern verzameld)
Verzamelomgeving	Echte HRC-experiment met KINOVA GEN3-arm
Aantal gebruikers (Training)	2 gebruikers
Aantal gebruikers (Testen)	4 gebruikers (2 uit de trainingsset, 2 onzichtbaar)
Totale trajecten (training)	3.003 trajecten
Totale trajectorieën (testen)	2.088 trajecten
Vastgelegde modaliteiten	Visueel (RGB-D voor pose), Audio (spraakcommando's)
Dataformaat	Pose keypoints (van BlazePose), spraak-naar-tekst commando's
Temporele Resolutie	Elke traject bevat stappen van 5 tijden
Behandelde taken	3 hoofdtaken: Pick-and-place, objectrotatie, gezamenlijke assemblage
Gebruik	Geleide training van actie-/trajectvoorspellingsmodellen; Gebruikersstudie

Tabel 2: Datasetbeschrijving. Informatie over de simulatieomgeving, inclusief programmeerframework, hardware-instellingen en evaluatieomgeving.

Dataset-preprocessing

Om adaptieve multimodale interactie in mens-AI-samenwerking mogelijk te maken, wordt de ruwe dataset, zoals visuele (RGB- en dieptebeelden), auditieve (spraakcommando's) en temporeel gedragsdata (pose keypoints), onderworpen aan gestructureerde voorverwerking. Visuele gegevens worden eerst extraherd door een pose estimation model f_pose, meestal afgeleid van BlazePose of OpenPose. Voor frame t wordt de menselijke houdingsvector gedefinieerd als:

(1)

Waarbij k het aantal sleutelpunten is en elk sleutelpunt 2D-coördinaten bevat. De sequenties worden genormaliseerd op romplengte en in de loop van de tijd gladgemaakt met een Savitzky-Golay-filter:

(2)

waarbij w de grootte van het filtervenster is. Ten tweede worden ruwe audiostreams At in segmenten verdeeld met behulp van een Voice Activity Detector (VAD). Geloofwaardige segmenten worden ingevoerd in een spraakherkenningsmodel van_spraak (bijv. DeepSpeech) om commandotokens te halen:

(3)

waarbij V de woordenschat van erkende commando's is. Voor integratie worden commandotokens voor alle tijdsuitgelijnd met visuele pose-tijdstempels met behulp van een interpolatie-gebaseerde aligneringsfunctie τ:

(4)

Ten derde, om de temporele intentie-trainingssequenties te vormen, definiëren we trajectreeksen , samen met bijbehorende spraakcommando's . Deze zijn gevensterd in segmenten van vaste lengte met behulp van schuifvensters van grootte l:

(5)

(6)

Ten slotte worden de invoer genormaliseerd tot nul gemiddelde en eenheidsvariantie per sleutelpuntdimensie voor convergentie in trajectgebaseerde voorspellingsmodellen:

(7)

waarbij μ_j, σ_j het gemiddelde en de standaarddeviatie zijn van keypoint j die de trainingsset voltooid hebben.

Feature-extractie

In het uiteengezette adaptieve multimodale interactieparadigma wordt sterke en realtime samenwerking mogelijk gemaakt door visuele, audio- en contextuele taakkenmerken te combineren. De pijplijn van feature-extractie begint met gelijktijdige data-acquisitie uit twee hoofdmodaliteiten: visuele signalen en audiosignalen , geindexeerd op tijdstap t. Deze waarnemingen worden door de bijbehorende waarnemingsmodules gestuurd om semantische kenmerken op hoog niveau te verkrijgen met betrekking tot menselijk gedrag, intentie en spraakcommando.

Visuele kenmerken extraheren

De ruwe visuele data van RGB-D-camera's wordt via een menselijke poseschatter (bijv. BlazePose) gevoerd, waarbij een ruimtelijke sleutelpuntvector wordt geleverd, waarbij k het gedetecteerde aantal sleutelpunten vertegenwoordigt en elk 3D-coördinaten bevat:

(8)

Deze sleutelpunten zijn tijdsgebonden in een houdingstraject , waaruit bewegingsdynamiek wordt afgeleid via trend-seizoensdecompositie:

(9)

waarbij ∈_t de restruis vertegenwoordigt.

Audiokenmerken extraheren

Audio-invoer wordt verwerkt via een vooraf getraind spraakherkenningsmodel (bijv. DeepSpeech) en produceert een getokeniseerde commandorepresentatie , waarbij n de tokenlengte is:

(10)

Multimodale fusie

Om een uniforme interactiecontext te construeren, combineren we de kenmerken door een vertrouwensgerichte aandacht gebaseerd op vertrouwen en wederzijdse informatie:

(11)

waarbij φ_V en φ_A de projectiefuncties zijn voor visuele en auditieve kenmerken in een gedeelde latente ruimte, en α_t∈[0,1] een dynamische modaliteitswegingsterm is berekend op basis van entropie:

(12)

Hier zijn en wederzijdse informatie tussen de doeltoestand g en de waargenomen modaliteiten.

Planning met behulp van contextuele embedding

De laatste multimodale featurevector F_t wordt verrijkt met taakcontext en voortgang P_t en wordt de toestandsinvoer voor de adaptieve planningsmodule:

(13)

Deze geëxtraheerde functie x_t wordt gebruikt als input voor de downstream intentievoorspellings- en bewegingsplanningsmodellen, wat adaptieve en robuuste samenwerking tussen mens en AI ondersteunt in dynamische en onzekere omgevingen.

Voorspelling van acties en plannen via Task Graph Alignment

Het volgen van het multimodale feature-extractieproces, waarbij spraakintentie (audio), posetraject (visueel) en contextuele (bijv. taaklogs of emotie) data worden geïntegreerd, omvat de daaropvolgende verwerking adaptieve voorspelling van menselijke acties en planinferentie met behulp van hiërarchische taakgrafiekuitlijning.

Laat de geïntegreerde multimodale kenmerkvector op tijdstap t worden weergegeven als:

(14)

Het systeem voorspelt aanvankelijk de menselijke handeling op laag niveau via een functie f_act, die vaak wordt weergegeven als een recurrente encoder-decoder of transformator:

(15)

waarbij F_(t-k:t) de fusiereeks van de kenmerken in de laatste k tijdstappen aanduidt, en de voorspelde actie is uit de actieverzameling A. De module is online fijn afgesteld door adaptief verlies:

(16)

Hier is CE de actieclassificatie kruis-entropieverlies, waarna de tweede term een goede toekomstige trajectvoorspelling aanstuurt.

Voor het voorspellen van het plan op hoog niveau kaderen we de taak als een voortgang langs een Hiërarchische Taakgrafiek G = (N, E), waarbij elke knoop_{n i} ∈N een subtaak of tussendoel aanduidt. Het doel is om de waargenomen actiesequentie te matchen met een referentietaakpad R*∈G door de afstand te verkleinen:

(17)

Waarbij P_t de huidige voortgangstrace aanduidt en d(⋅) de Dynamic Time Warping (DTW) afstand of zachte uitlijningsmetriek.

De uiteindelijke intentie op planniveau wordt vervolgens afgeleid door de voorspelde actie a ̂_t te projecteren op de meest waarschijnlijke volgende stap in het uitgelijnde pad :

(18)

Deze hiërarchische decodering garandeert dat zelfs bij onduidelijke of ruisachtige sensorische input, het systeem de meest contextueel relevante intentie op hoog niveau kiest die consistent is met de huidige taakvolgorde. Deze voorspellende planning verhoogt niet alleen de efficiëntie van samenwerking, maar verhoogt ook de anticipatie en aanpassingsvermogen binnen meervoudige mens-AI-interactie.

Multimodale fusie (aandachtgebonden) mechanisme

In adaptieve mens-AI-samenwerking is multimodale integratie van verschillende zintuiglijke modaliteiten (bijv. visueel: menselijke houding, traject; auditiv: spraakcommando's) noodzakelijk voor de juiste interpretatie van de intentie van de gebruiker. Een regelgebaseerde of statische fusie-benadering kan niet omgaan met dynamische menselijke interacties in de echte wereld. Hiervoor wordt hier een fusiemechanisme gepresenteerd dat gebaseerd is op aandacht om elke modaliteit dynamisch te wegen op basis van zijn contextuele belang bij elke tijdstap.

Laten we de geëxtraheerde featurevectoren uit de visuele en audiomodaliteiten respectievelijk aanduiden als en , respectievelijk. Deze vectoren coderen semantische informatie verkregen via eerdere verwerkingspijplijnen, bijvoorbeeld visuele kenmerken kunnen voortkomen uit poseschatting en actievoorspelling, terwijl audiokenmerken kunnen worden afgeleid van spraak-embeddings met modellen als DeepSpeech of wav2vec.

Het doel van aandachtgebaseerde fusie is het berekenen van modaliteitsspecifieke aandachtgewichten die de relatieve betekenis van elke modaliteit vastleggen. Dit gebeurt met een zachte aandachtmechanisme.

Aandacht-gewicht berekening

In een eerste stap worden beide vectoren omgezet in een gedeelde aandachtsruimte door een leerbare transformatie. Dat wil zeggen, voor elke modaliteit i∈{V,A} wordt de intermediaire aandachtsscore berekend als:

(19)

waarbij en aandachtsnetwerk-leerbare parameters zijn, en tanh een niet-lineaire activatiefunctie is. Deze conversie stelt het model in staat om hoge correlaties en contextuele saliency van elke modaliteit te extraheren.

Deze niet-genormaliseerde aandachtsscores e_V en α_A worden vervolgens genormaliseerd met een softmaxfunctie zodat ze optellen tot 1

(20)

Hier zijn α_V en α_A respectievelijk de aandachtsgewichten over de visuele en audiomodaliteit. De gewichten zijn adaptief en worden vervolgens in de loop van de tijd bijgewerkt, afhankelijk van de bestaande taakcontext, signaalkwaliteit en gebruikersactiviteit.

(21)

De resulterende gefuseerde representatie wordt verkregen als een gewogen combinatie van de invoermodaliteitsvectoren:

Deze gecombineerde vector codeert de gemeenschappelijke semantiek van de visuele en auditieve informatie op een manier die actief de meest informatieve stroom benadrukt. Vervolgens wordt het ingevoerd in downstreammodules zoals de taakgrafiekmatching, intentievoorspelling of de robot motion planning engine.

Algoritme 1: Fusie gebaseerd op multimodale aandacht

Invoer: Visuele featurevector is h_V∈R^d, Vector van audiokenmerken is h_A∈R^d

Leerbare parameters: W∈R^k*d,w∈R^k en b∈R^k

Output: gefuseerde representatie h_fused∈R^d.

Stap 1: Bepaal tussenrepresentaties door te berekenen met Vergelijking 19

Stap 2: Gebruik Softmax om aandachtsscores te normaliseren met behulp van Vergelijking 20

Stap 3: Bereken de fused vector met behulp van Vergelijking 21

Stap 4: Keer terug_{met een fused}

Het Attention-Based Multimodal Fusion-algoritme biedt een middel voor slimme fusie van kenmerken van verschillende invoermodaliteiten, zoals visuele en audiostromen, op een contextbewuste manier. Fusie is essentieel in systemen waarin elke modaliteit complementaire maar wisselende informatie presenteert, zoals in mens-AI samenwerkingsomgevingen waar het zicht gebaren of lichaamshouding vastlegt en audio spraakcommando's of spraaksignalen vastlegt.

Het Algoritme 1 begint met het bepalen van tussenrepresentaties voor elke modaliteit. Om beide modellen te berekenen, e_V voor de visuele flow en e_A voor de audiostroom, voert een gedeelde neurale netwerklaag eerst een niet-lineaire transformatie uit op de bijbehorende featurevectoren. Vervolgens worden de aandachtsgewichten α_V en α_A berekend door een softmaxfunctie uit te voeren over de tussenliggende scores. Dit helpt de gewichten positief te zijn en samen te tellen tot 1, waardoor de bijdragen van elke modaliteit worden genormaliseerd. Hoe informatiever een modaliteit is, zoals gemodelleerd, hoe groter het aandachtsgewicht ervan.

Uiteindelijk berekent het algoritme de gefuseerde weergave h_gefuseerd door een gewogen combinatie van de grafische en audio-featurevectoren, genormaliseerd met hun respectievelijke aandachtsgewichten. Deze gefuseerde vector combineert beide modaliteiten op een data-gedreven, contextgevoelige manier en dient voor downstream taken zoals intentieherkenning, besluitvorming of robotbewegingsplanning. In totaal stelt dit algoritme het systeem in staat om zich dynamisch te richten op de meest relevante modaliteit of modaliteitscombinatie op een specifiek moment, in plaats van vaste of regelgebaseerde fusiebenaderingen te gebruiken. Dit maakt het framework sterker, flexibeler en responsiever in dynamische mens-AI-interactiesituaties.

Figuur 2 illustreert de workflow van het Attention-Based Multimodal Fusion-mechanisme dat werkt in de contextgevoelige integratie van visuele en auditieve inputs. Visual Feature Extraction, de eerste stap in de workflow, omvat het extraheren van ruimtelijke of pose-gerelateerde kenmerken uit invoerbeelden of video (zoals RGB-D-camera's). Deze worden vervolgens ingevoerd in een module Visuele Aandacht die leert de meest informatieve inhoud van de visuele informatie te benadrukken. Parallel verwerken Audio Attention-modules spraak-embeddings of audiotokens van gesproken commando's, waarbij ze contextuele betekenis toekennen aan verschillende auditieve signalen. De resulterende aandachtsgewogen kenmerken worden geïntegreerd via een aandacht-gebaseerde fusielaag en doorgegeven aan een positiegewijze feedforward-netwerk met residuele verbindingen en laagnormalisatie, waardoor een standaard transformatorencoderblok ontstaat. De output is een uniforme multimodale embedding die robuuste voorspelling van lange-horizon intentie en adaptieve besluitvorming onder wisselende interactieomstandigheden ondersteunt. Dit ontwerp stelt het systeem in staat zich selectief te concentreren op de robuustere modaliteit op elk moment, wat de robuustheid en interpreteerbaarheid in realtime mens-AI-interactie verbetert.

Figuur 2: De gedetailleerde constructie van de aandachtgestuurde multimodale fusiemodule. Om bij elke tijdstap een contextbewuste fused representatie te genereren, verzamelen modaliteitsspecifieke encoders kenmerken uit visuele en auditieve stromen. Deze kenmerken worden vervolgens dynamisch gewogen met behulp van een datagedreven aandachtmechanisme. Klik hier om een grotere versie van deze figuur te bekijken.

Online modeladaptatie

Om hoogwaardige samenwerking tussen mens en AI te waarborgen onder verschillende gebruikersgedragingen en contexten, bevat ons kader een online modeladaptatiemechanisme dat gebruikersspecifieke modellen tijdens interactie geleidelijk optimaliseert. De module volgt realtime gedragssignalen (bijv. houding, gebarentrajecten, spraaktoon) en werkt de onderliggende voorspellende modellen bij met incrementele leeralgoritmen. In het bijzonder worden modellen voor trajectvoorspelling en intentieherkenning, met recente input verfijnd via gradient-based fine-tuning of low-rank adaptation (LoRA), zodat het systeem zich kan aanpassen aan veranderend gebruikersgedrag of taakspecifieke eisen zonder volledig opnieuw getraind te worden.

De feedbacklaag werkt harmonieus samen met adaptatie via zowel impliciete feedback (bijv. correcties, aarzelingen, vertragingen) als expliciete commando's (bijv. spraak of GUI). Het heeft twee doelen: het adaptief kalibreren van de opvallendheid van multimodale cues, en het doorgeven van vertrouwens-/betrouwbaarheidsmaatregelen naar de beslissings- en controlemodules.

De feedbackcyclus maakt soepelere takenprestaties en gebruikersgerichte reacties mogelijk. Om vertrouwen en transparantie te bevorderen, integreert het framework een uitlegbaarheidsmodule die beslissingen van laag-niveau modelbeslissingen vertaalt naar voor mensen begrijpelijke rechtvaardigingen. Het gebruikt rationale kaarten van een multimodale fusietransformator, aangevuld met logisch traceren door de taakgrafiek. Het kan deze redenering optioneel presenteren via een GUI of auditieve hulp, zodat gebruikers systeemgedrag kunnen begrijpen en mogelijk zelfs corrigeren.

Resultaten

Het hier voorgestelde adaptieve multimodale interactiemodel pakt deze zorgen aan en versterkt de samenwerking tussen mens en AI aanzienlijk door naadloos visuele en spraakmodaliteiten te combineren met realtime gebruikersadaptatieprocessen. In tegenstelling tot het basishiërarchische multimodale systeem omvat onze aanpak een gepersonaliseerde feedbacklus en cognitieve belastingbewuste aanpassing die meer intuïtieve, contextbewuste interactie biedt. Bij experimentele tests in gesimuleerde...

Discussie

De bevindingen tonen overtuigend de efficiëntie aan van de voorgestelde adaptieve multimodale interactie om de samenwerking tussen mens en AI te verbeteren.

Naast de standaard beoordelingsscores zoals Task Completion Time (TCT), Human Intention Prediction Accuracy (HIPA), Multimodal Fusion Efficiency (MFE), Error Recovery Rate (ERR), User Satisfaction Score (USS) en Interaction Smoothness Index (ISI), kunnen extra gebruikersgerichte metrics worden toegevoegd v...

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
RGB-D Camera (Intel RealSense D435)	Intel Corporation	D435	Depth resolutie 1280×720 px @ 30 fps; RGB resolutie 1920×1080 px @ 30 fps; gebruikt voor het vastleggen van gebruikershouding, lichaamsbewegingen en ruimtelijke context
Directioneel Microfoon	Generiek / Meerdere leveranciers	N/A	Wideband, ruisonderdrukkende microfoon (16 kHz–44.1 kHz); gebruikt voor het verzamelen van gesproken commando's
BlazePose (vooraf getraind model)	Google	https://developers.google.com/mediapipe/solutions/vision/pose	Pose-schattingsmodel met 33 sleutelpunten; real-time extractie van menselijke houding
OpenPose (vooraf getraind model)	CMU Perceptual Computing Lab	https://github.com/CMU-Perceptual-Computing-Lab/openpose	Multi-persoon pose-schattingsframework gebruikt voor het extraheren van bewegingstrajecten
DeepSpeech ASR Engine	Mozilla	v0.9.3	Vooraf getraind automatisch spraakherkenningsmodel voor spraak-naar-tekst transcriptie
wav2vec 2.0 ASR Engine	Meta AI	https://github.com/facebookresearch/fairseq	Zelf-toezichthoudende spraakrepresentatiemodel voor real-time spraakverwerking
Transformer-gebaseerd Actievoorspellingsmodel (DLinear / Seq2Seq)	Aangepaste implementatie	N/A	Tijdelijke encoder-decoder architectuur met aandacht voor kortetermijn actievoorspelling
Dynamic Time Warping (DTW) Module	Aangepast / SciPy-gebaseerd	https://docs.scipy.org/doc/scipy/reference/generated/scipy.spatial.distance.cdist.html	Zachte uitlijningsalgoritme voor het matchen van gebruikersacties met vooraf gedefinieerde taakgrafieken
Op aandacht gebaseerd Multimodaal Fusienetwerk	Aangepaste implementatie	N/A	Op vertrouwen gebaseerd aandachtsmechanisme voor het samenvoegen van zicht en spraakinvoer
Online Aanpassingsmodule (LoRA / Gradient-gebaseerd)	Aangepaste implementatie	https://github.com/microsoft/LoRA	Lichtgewicht, parameter-efficiënte fijnafstemming voor aanpassing aan gebruikersgedrag
Verklaarbaarheidsmodule (Regel-gebaseerd + Aandachtskaarten)	Aangepaste implementatie	N/A	Biedt interpreteerbare beslissingsredenering met behulp van regels en aandachtsvisualisaties
KINOVA Gen3 Robotarm	KINOVA Robotics	Gen3	7-DOF robotmanipulator met geïntegreerde koppelsensoren; gebruikt voor collaboratieve speelgoedautomontage
Coöperatieve Montage Simulatieomgeving	Aangepaste omgeving	N/A	Realistische speelgoedautomontageopstelling gebruikt voor benchmarken van multimodale samenwerking
Evaluatiemetrieken (TCT, HIPA, MFE, Latency, ERR, USS, ISI)	Aangepaste definities	N/A	Kwantitatieve en gebruikersgerichte metrieken voor het evalueren van samenwerkingsefficiëntie, nauwkeurigheid en vertrouwen