Progettare Framework di Interazione Multimodale Adattiva per Migliorare la Collaborazione Uomo-IA

Sommario

Questo lavoro propone un meccanismo di allineamento gerarchico basato su Dynamic Time Warping (DTW) con adattamento online e fusione multimodale guidata dall'attenzione, consentendo una previsione affidabile dell'intenzione a lungo orizzonte e un tracciamento dei compiti. Un modulo di spiegabilità leggera migliora l'interpretabilità, favorendo la fiducia nella collaborazione umano-IA. L'approccio si generalizza sia ai sistemi robotici che virtuali interattivi.

Abstract

Raggiungere una collaborazione efficace e naturale tra uomo-IA rimane una sfida importante, soprattutto in ambienti dinamici e reali. I framework esistenti sono spesso limitati dagli input monomodali rigidi o dalla fusione multimodale basata su regole, limitandone robustezza, personalizzazione e adattabilità. Questo studio introduce un quadro di interazione multimodale adattivo che integra la stima della posa basata sulla visione e la comprensione dei comandi basati sul parlato all'interno di un modello gerarchico di previsione dell'intenzione umana. Il framework impiega modelli di sequenza basati su Transformer per la previsione delle azioni e la Dynamic Time Warping per allineare il comportamento umano con i grafi di task strutturati per la pianificazione a lungo termine. A differenza degli approcci precedenti che si basano sul cambio statico di modalità, la nostra architettura applica un meccanismo di fusione basato sull'attenzione per pesare dinamicamente gli input più informativi. Inoltre, un modulo di adattamento online consente un adattamento in tempo reale al comportamento dell'utente, integrato da un leggero livello di spiegabilità per favorire la fiducia degli utenti. La valutazione sperimentale in un compito di assemblaggio collaborativo dimostra significativi miglioramenti nelle prestazioni del compito (fino al 24%), nell'accuratezza della previsione dell'intenzione (fino al 18%) e nella soddisfazione dell'utente. Questi risultati evidenziano l'efficacia e la versatilità dei framework di interazione multimodale adattiva, supportando il loro potenziale di promuovere l'intelligenza collaborativa verso sistemi di IA più affidabili, trasparenti e orientati all'uomo.

Introduzione

La collaborazione uomo-robot (HRC) è stata una delle aree di ricerca più importanti, soprattutto da quando i robot vengono sempre più impiegati in ambienti incentrati sull'uomo. Sebbene i framework e le tecnologie per la HRC a breve termine siano migliorati^{significativamente 1,2}, la HRC a lungo termine non è ancora così^{matura 3}. Nelle applicazioni industriali, lo sfruttamento dell'HRC a lungo termine può portare a un aumento significativo della produttività e dell'adattabilità nei processi produttivi^{complessi 4}. Gli ambienti domestici, i robot come compagni o gli operatori di assistenza agli anziani hanno il potenziale di migliorare la qualità della vita attraverso un HRC⁵ a lungo termine. Il settore medico posiziona le macchine comunitarie come sostituto per la famiglia e i caregiver, coprendo l'assistenza fino al ruolo colpito da demenza, autismo e altre malattie fisiche o^{mentali 6}. Allo stesso tempo, i settori del viaggio e della convivialità utilizzano robot industriali per far avanzare la conoscenza^{dell'utente 7}. Nell'ingegneria intelligente, lo scopo è partecipare all'IA in modo centrato sull'uomo per recuperare competenze e realizzare colture personalizzate, una fase nota come Industria 5.0. I sistemi di collaborazione umano-IA e uomo-robot sono stati esplorati in diversi domini^{applicativi 8, 9, 10}; Tuttavia, ricerche recenti si sono sempre più concentrate su contesti robotici collaborativi che richiedono una previsione affidabile dell'intenzione e una comprensione dei compiti a lungo orizzonte.

L'IA è già profondamente radicata nella vita quotidiana e le sue applicazioni autogovernate o semi-autonome si manifestano sempre più in molti ambiti del business. Questo afferma semplicemente che le funzioni aziendali ben funzionanti attualmente richiedono sistemi capaci di adattarsi ai cambiamenti tecnologici e di reattività alle sfide^{organizzative 11}. Pertanto, la necessità di migliorare l'azione umana attraverso l'ibridazione, nel processo di adozione e implementazione dell'IA, facilita il superamento di alcune barriere. Di conseguenza, i sistemi ibridi combinano intelligenza artificiale e umana per svolgere insieme compiti complessi, ottenere risultati migliori e migliorare le proprie competenze imparando dai colleghi. Pertanto, concetti estesi che includono sistemi intelligenti^{ibridi 12}, collaborazione e intelligenza amplificata stanno influenzando informalmente la ricerca e la comprensione per promuovere la collaborazione integrando diverse modalità di IA.

Il termine "Trust" deriva da studi sulle relazioni interpersonali, definendo un legame emotivo nelle relazioni umane. Ad esempio,^{l'autore 13} ha identificato che il livello di fiducia determina tecnicamente aspetti dei sentimenti, del presunto appello e dell'etica delle parti collaboranti. Dal punto di vista sociologico, le variazioni della fiducia interpersonale hanno impatti profondi sul benessere separato, sull'interazione comunitaria, sulla crescita socio-economica e sul comportamento^pratico 14,15,16. L'HRI, in sostanza, è un tentativo di collegare le conversazioni procedurali tra assistenti sociali e automi intelligenti oltre i tradizionali ostacoli linguistici^{degli automi 17}. Tale interazione combina i punti di forza computazionali dei sistemi autonomi con l'intuizione umana, permettendo una collaborazione efficace tra contesti applicativi diversificati. L'uso degli automi porta con sé reali vantaggi: significative diminuzioni delle spese finanziarie, riduzione dell'impronta ecologica e notevolmente meno rischio^{umano 10}. Ma in mezzo ai risultati, la fiducia umana nei robot è un pilastro, soprattutto quando si valuta la qualità generale dell'interazione^18,19.

Il livello di fiducia umana accordato ai robot riflette la loro importanza e il loro ruolo centrale in molti ambiti. Nel campo sanitario, la fiducia dei robot influenza la distribuzione delle risorse mediche secondo l'HRI così come l'efficacia della soppressione delle malattie^{trasmissibili} 20,21,22^. Nelle applicazioni militari, il livello di fiducia sociale negli automi controlla il livello di competenza operativa delle strategie di strumenti di ricerca militare e il livello di accuratezza dei mezzi di combattimento^23,24. Inoltre, la fede nelle macchine influisce sulla sottomissione e sull'uso dei meccanismi di standardizzazione attiva della credenza dell'IA nelle politiche militari^{speculative 25}. Anche all'interno dell'indagine ambientale, ad esempio la ricerca di alto livello sui movimenti corporei, la razionalità dei risultati dipende dal grado di credenza^{nell'HRI 26}. Un avvertimento significativo, però, è che crescenti difficoltà decisionali potrebbero degradare questa fiducia, mettendo a rischio l'interazione²⁷. La Tabella 1 descrive la panoramica comparativa di diversi studi.

Carta (Anno, Fonte)	Obiettivi principali	Metodi e Modalità Chiave	Intuizioni
Xie & Park (2021, arXiv) [28]	Personalizza le interazioni dei robot con robot sociali emotivi	Politica per l'apprendimento per rinforzo basata sia su indizi verbali che non verbali (posizione del corpo, linguaggio ed espressioni facciali)	Il comportamento di un robot addestrato nella vita reale cambia in risposta alle emozioni umane, aumentando la semplicità e il coinvolgimento.
Li et al. (2022, IEEE T-IE) [29]	Facilitare un supporto proattivo per l'assemblaggio produttivo	Previsione dell'intenzione, apprendimento tramite trasferimento e apprendimento multimodale (visivo + scheletrico)	Proattività robotica migliorata rispetto ai valori di base; Previsione dell'azione più rapida e precisa durante l'assemblaggio
Abdelrahman et al. (2022, IEEE Access) [30]	Stima del coinvolgimento in tempo reale nell'HRI di gruppo	Classificazione basata su regole combinata con deep learning e postura dello sguardo/testa basata sulla vista	≥90% punteggio F; gestisce diversi utenti contemporaneamente in configurazioni fisiche
Chiossi et al. (2025, arXiv) [31]	Struttura per la trasmissione multimodale e dinamica dell'intento negli ambienti manifatturieri	Schema teorico multifaccettato: strati di trasparenza SAT; modalità aptiche, uditive e visive	Stabilisce il quadro concettuale e spiega il mezzo, la pianificazione e l'intento dell'ambiente progettuale.
McGrath et al. (2024, arXiv) [32]	Modella lo sviluppo della fiducia in associazioni umano-IA che siano adattabili.	Fasi di squadra più precedenti di trust; un modello di fiducia dinamico che non dipende da particolari modalità	Fornisce principi di progettazione consapevoli della fiducia per tutte le fasi dell'interazione e del tempo.
Fragiadakis et al. (2024, arXiv) [33]	Standardizzare la valutazione della cooperazione tra esseri umani e IA.	Metriche selezionate da un albero decisionale secondo la modalità HAIC; Metriche a metodi misti	Il framework aiuta nella selezione delle metriche pertinenti per le modalità di interazione simbiotica centrate sull'IA/umano.
Younis et al. (2023, MDPI) [34]	HRI che si adatta al contesto usando inferenza demografica	Età e genere vengono stimate utilizzando modelli di visione e audio, e il comportamento dei robot viene adeguatamente adeguato.	Il sondaggio riassume gli approcci e sottolinea l'importanza dell'adattamento personalizzato nell'HRI.

Tabella 1: Una panoramica comparativa delle ricerche recenti sulla collaborazione Umano-IA che enfatizza gli obiettivi, le metodologie e i risultati chiave di ciascuno studio. Dataset utilizzati nello studio, le loro specifiche, dimensioni, modalità e distribuzione dei partecipanti.

Sebbene l'attuale framework gerarchico e multimodale di collaborazione uomo-robot (HRC) mostri progressi notevoli nell'uso delle modalità visive e audio per la collaborazione a lungo termine, persistono numerose lacune nella ricerca, il che ne limita l'applicabilità a contesti più generali di collaborazione umano-IA. Per esempio, il presente quadro è applicabile principalmente alla robotica fisica (ad esempio, il braccio KINOVA GEN3) e non trasferibile ad agenti AI non incorporati o virtuali che esistono in diversi ambienti^{digitali 28}. In secondo luogo, mentre la multimodalità viene affrontata tramite visione e parlato, il sistema implementa una strategia predefinita di cambio di modalità invece di una fusione dinamica dipendente dal contesto, in base allo stato dell'utente o alla difficoltà^{del compito 29}. In terzo luogo, l'approccio enfatizza l'efficienza e la resilienza del compito, ma non modella specificamente la fiducia degli utenti, il carico cognitivo o lo stato affettivo, che sono essenziali per la collaborazione a lungo termine e la spiegazione del sistema. Inoltre, l'interpretabilità umana e la fiducia nel comportamento adattivo del sistema sono limitate quando i processi di spiegabilità sono assenti nel processo decisionale. Infine, la valutazione è limitata a un singolo dominio (assemblaggio di macchinette giocattolo) senza validazione multidominio, rappresentando la variabilità nel^{mondo reale 30}. Tali lacune richiedono lo sviluppo di un quadro di interazione multimodale generalizzato, adattivo e centrato sull'uomo che combini dinamicamente canali di input eterogenei e modelli in tempo reale l'intenzione, la fiducia e il contesto umano per potenziare la collaborazione umano-IA.

L'obiettivo principale di questo studio è massimizzare la collaborazione umano-IA attraverso la progettazione di un sistema di interazione multimodale adattiva che unifici le modalità di visione e parlato con la modellazione utente in tempo reale. Basandosi su solide basi di una solida collaborazione umano-robot a lungo termine, questo lavoro generalizzerà l'architettura multimodale ai sistemi di IA generali al di fuori della robotica, come agenti virtuali e interfacce intelligenti. L'enfasi principale è sulla previsione dinamica dell'intenzione tramite meccanismi di pianificazione gerarchica, che integrano la comprensione delle azioni a basso livello e il monitoraggio dei progressi dei compiti ad alto livello. A differenza dei sistemi basati su regole, il quadro presentato qui utilizzerà metodi di apprendimento adattivo, inclusi aggiornamenti specifici del modello utente e fusione di modalità consapevole del contesto, per adattare dinamicamente il comportamento di interazione in base alle preferenze dell'utente, allo stato cognitivo e alle dinamiche ambientali. Inoltre, il framework mira anche a una maggiore trasparenza e fiducia con un ragionamento di interazione spiegabile, che permette agli utenti di comprendere le scelte dell'IA e fornire feedback. Infine, questa ricerca mira a migliorare la fluidità dell'interazione, l'efficacia dei compiti e la soddisfazione a lungo termine degli utenti in diversi contesti collaborativi.

Questo articolo introduce un nuovo Adaptive Multimodal Interaction Framework volto a promuovere la collaborazione umano-IA fondendo dinamicamente le modalità visive e audio. Il sistema 'unimodale' si riferisce a un modello che utilizza una sola modalità di input (ad esempio, visiva o vocale) per l'esecuzione del compito e la previsione dell'intento, senza integrare informazioni su più canali. Il sistema 'non adattivo' si riferisce a un sistema basato su regole o a strategia fissa che non adatta il proprio comportamento in base alle azioni dell'utente o al contesto, come la base del Cambio Basato sulle Regole. Queste basi forniscono punti di riferimento per valutare i vantaggi della percezione multimodale e delle strategie di interazione adattiva implementate nel nostro proposto modello di fusione guidata da Transformer con attenzione. Basandosi sui precedenti paradigmi gerarchici^{HRC 31}, il nostro metodo porta diverse innovazioni importanti:

Questo lavoro presenta un meccanismo di allineamento basato su Dynamic Time Warping (DTW) che mappa le azioni umane di basso livello attese ai nodi di un grafo di compito gerarchico, in contrasto con i precedenti sistemi di interazione multimodali che si concentrano principalmente sul riconoscimento di azioni a breve^{termine 32}. Di fronte all'imprevedibilità temporale e agli input multimodali rumorosi, ciò consente una previsione affidabile dell'intenzione a lungo orizzonte e un monitoraggio dei progressi del compito.

Un modulo di adattamento online che aggiorna continuamente i modelli di inferenza dell'intenzione e di previsione dell'azione durante l'interazione è incorporato nel sistema suggerito. Questo supera gli svantaggi dei modelli multimodali statici o addestrati offline, permettendo al sistema di adattarsi dinamicamente a comportamenti unici dell'utente, preferenze e cambiamenti contestuali.

Le modalità visive e uditive sono ponderate dinamicamente in base alla loro importanza contestuale in ogni passo temporale, utilizzando una tecnica unica di fusione basata sull'attenzione. Questo approccio di fusione guidato dai dati migliora la robustezza in diversi contesti di interazione e sostituisce il cambio di modalità basato su regole.

Questo studio incorpora un modulo di spiegabilità leggero che trasforma la pianificazione gerarchica e le decisioni di fusione in giustificazioni comprensibili per colmare il divario di interpretabilità nei sistemi umano-IA adattive. Questo migliora la qualità della collaborazione a lungo termine e incoraggia una corretta calibrazione della fiducia.

L'approccio suggerito è inteso a generalizzare oltre i robot incarnati ad agenti virtuali e interfacce intelligenti, ampliandone l'utilità in molti ambiti di cooperazione umano-IA, anche se è stato dimostrato in un'attività di assemblaggio collaborativo reale che utilizza una piattaforma robotica.

Protocollo

L'architettura proposta per aumentare la cooperazione umano-IA utilizza una pipeline di interazione multimodale adattativa che combina modalità di visione e parlato in un quadro di ragionamento dinamico e gerarchico. Questo studio ha utilizzato dati pubblicamente disponibili provenienti da esperimenti precedentemente pubblicati. Non furono coinvolti nuovi soggetti umani e non fu necessaria un'ulteriore approvazione etica.

Proposta di architettura di interazione multimodale adattiva

Fondamentalmente, il sistema inizia con moduli di percezione, come il flusso visivo che cattura la posa e il movimento dell'utente usando sensori RGB-D, e un flusso audio analizza gli input vocali tramite un motore ASR (Riconoscimento Automatico della Voce) leggero. Tali input grezzi vengono inseriti nel modulo di previsione delle azioni basato su Transformer, che codifica dipendenze temporali in sequenze di posa e comando per ragionare sulle azioni umane di basso livello. Successivamente, per consentire una pianificazione collaborativa ad alto livello, un meccanismo di Dynamic Time Warping (DTW) allinea le azioni rilevate con i nodi di un grafo di compito predefinito per prevedere gli obiettivi dell'utente e le azioni successive. Un nuovo modulo di fusione basato sull'attenzione decide, ad ogni passo temporale, quale modalità (audio o visione) fornisce le informazioni più importanti dal punto di vista contestuale e regola dinamicamente i pesi degli input. Per personalizzare l'interazione, il sistema include l'adattamento online del modello, adattando i predittori d'azione in tempo reale al cambiamento del comportamento degli utenti. Un modulo di spiegazione leggero crea anche riassunti facili da usare delle intenzioni previste e delle decisioni IA per migliorare trasparenza e fiducia. L'intero sistema viene testato in un ambiente di assemblaggio cooperativo simulato ma reale, permettendo il confronto tra ambienti unimodali e adattivo-multimodali. Un tale approccio facilita una collaborazione più adattabile, intuitiva e affidabile con gli agenti IA in tutti i settori.

La Figura 1 mostra l'architettura del descritto Adaptive Multimodal Interaction Framework, volto a migliorare la collaborazione umano-IA. Inizia con la fase di acquisizione dell'input, che si basa su due principali dispositivi di rilevamento: una telecamera RGB-D per osservare informazioni visive con profondità avanzata (ad esempio, postura e movimento umano) e un microfono direzionale per raccogliere comandi vocali. I segnali grezzi vengono successivamente eseguiti attraverso il modulo Pre-Processing, che elabora i dati audiovisivi per analisi successive pulendo, normalizzando e formattando i flussi di ingresso. Successivamente, la pipeline procede alla fase di Estrazione delle Caratteristiche, dove i dati vengono suddivisi in due flusso: il Flusso Visivo, che isola le caratteristiche di posa e movimento tramite algoritmi di stima della pose, e lo Flusso Audio, che trascrive il discorso in embedding di comandi interpretabili. Un codificatore Transformer multimodale, che utilizza auto-attenzione multi-testa e codifica posizionale temporale per esprimere l'interdipendenza a lungo raggio tra sequenze di interazione, poi elabora la rappresentazione fusa. Lo stato attuale dell'obiettivo dell'utente è stimato da un predittore di intenzione a lungo orizzonte e progresso del compito, mentre le azioni di basso livello sono mappate ai nodi in un grafo di task gerarchico per un tracciamento affidabile del compito tramite un modulo di allineamento basato su DTW. I pesi di fusione e i parametri di previsione vengono aggiornati continuamente tramite un ciclo di adattamento del modello online in risposta al feedback di interazione, e un modulo di spiegabilità fornisce spiegazioni chiare per promuovere apertura e fiducia. L'intera pipeline permette al sistema di lavorare in modo adattivo ed efficiente insieme agli utenti su compiti e ambienti dinamici.

Figura 1: Una panoramica del quadro di interazione multimodale suggerito basato sui transformer. Viene impiegata una tecnica guidata dall'attenzione per codificare e integrare dinamicamente i dati visivi e uditivi. Un modulo Transformer, che integra modellazione gerarchica dei compiti e adattamento online, elabora la rappresentazione fusa per la previsione dell'intenzione a lungo orizzonte e la stima del progresso del compito. . Clicca qui per visualizzare una versione più grande di questa figura.

Il sistema suggerito incorpora un modulo leggero di spiegabilità che lavora in sinergia con i componenti di fusione multimodale e pianificazione gerarchica per migliorare la trasparenza e la fiducia degli utenti. Il modulo deriva indizi interpretabili dall'allineamento del grafo di task basato su DTW (ad esempio, progresso attuale del compito e azione successiva prevista) e dal livello di fusione basato sull'attenzione (ad esempio, pesi di importanza della modalità). Questi segnali vengono trasformati in spiegazioni comprensibili per gli esseri umani, come ad esempio se i comandi pronunciati o i gesti visivi abbiano influenzato principalmente una scelta del sistema e come l'azione prevista si inserisce nel piano di lavoro più ampio. Gli utenti ricevono spiegazioni sotto forma di feedback scritti o visivi concisi, che li aiutano a comprendere, prevedere e, se necessario, correggere il comportamento del sistema. Il miglioramento della felicità degli utenti, la fluidità dell'interazione e le metriche legate alla fiducia indicate nella valutazione sono indicatori indiretti della percezione dell'utente della spiegabilità. I risultati suggeriscono che nell'interazione a lungo termine tra uomo e IA, il ragionamento trasparente delle decisioni sull'IA aumenta la fiducia degli utenti, facilita la collaborazione e aumenta l'accettazione del comportamento adattiva del sistema.

Dati di ingresso

L'acquisizione di input nel quadro previsto per la collaborazione Umano-IA avviene attraverso un meccanismo strutturato di sensore multimodale che combina sia la visione che l'udito per realizzare efficacemente le azioni e le intenzioni umane. L'input visivo viene acquisito con una telecamera RGB-D, che cattura in tempo reale informazioni sulle pose degli esseri umani, la posizione spaziale e il contesto dell'ambiente circostante. I dati visivi vengono elaborati tramite modelli preaddestrati come BlazePose per ottenere i punti chiave di interesse per la parte superiore del corpo per compiti di interazione. Allo stesso tempo, le informazioni uditive vengono ottenute da un microfono direzionale e interpretate tramite un modello DeepSpeech pre-addestrato per identificare comandi vocali che disambiguano o forniscono segnali visivi incerti supplementari. In contesti cooperativi, il sistema a doppio input offre adattamento dinamico e percezione consapevole del contesto. Il dataset di addestramento e valutazione comprende più di 5.000 traiettorie multimodali del movimento^{umano per} una gamma di attività di interazione, come comportamenti di assemblaggio e consegna, raccolte da quattro utenti in contesti controllati e semi-strutturati. Per migliorare la generalizzazione, il sistema consente l'adattamento online del modello durante la distribuzione, il che consente al modello di aggiornare le proprie previsioni in tempo reale in funzione del cambiamento del comportamento dell'utente e delle dinamiche ambientali.

Descrizione del dataset

Il dataset di addestramento e valutazione per il framework suggerito è stato ottenuto da esperimenti reali di collaborazione uomo-robot nell'ambito di un compito di assemblaggio di auto giocattolo utilizzando il robot^{KINOVA GEN3 1}. L'ambiente sperimentale mirava a imitare attività collaborative a lungo termine che comprendevano interazioni multimodali, che includevano sia modalità visive che uditive. In particolare, il dataset di addestramento è composto da 3.003 sequenze di traiettorie di due utenti, e il dataset di test contiene 2.088 sequenze, inclusi dati di due nuovi utenti per valutare la generalizzazione del modello. Ogni traiettoria registra una sequenza di 5 passi di keypoint della posa della parte superiore del corpo recuperata con BlazePose, insieme ai corrispondenti comandi vocali trascritti da DeepSpeech³³. I dati raccolti mostrano la naturale variazione umana nell'espressione dei gesti e dei comandi in attività come la consegna di oggetti, l'uso degli strumenti e le azioni cooperative. Il dataset multimodale è la base per l'apprendimento supervisionato dei modelli di previsione dell'azione e della traiettoria DLinear, ed è il punto di riferimento centrale negli studi con gli utenti condotti in condizioni solo visiva, solo audio e multimodali. Incorporare diversi tipi di utenti e condizioni di rumore realistiche garantisce test di robustezza e adattabilità per i sistemi HRC permanenti. La Tabella 2 mostra la descrizione dettagliata del dataset.

Attributi	Dettagli
Nome del dataset	Dataset di assemblaggio di auto giocattolo (raccolto internamente)
Ambiente della collezione	Esperimento HRC reale con il braccio KINOVA GEN3
Numero di utenti (formazione)	2 utenti
Numero di utenti (Test)	4 utenti (2 dal set di addestramento, 2 invisibili)
Traiettorie totali (Addestramento)	3.003 traiettorie
Traiettorie totali (Test)	2.088 traiettorie
Modalità catturate	Visivo (RGB-D per posa), Audio (comandi vocali)
Formato dei dati	Punti chiave di posa (da BlazePose), comandi di rinominazione vocale
Risoluzione temporale	Ogni traiettoria include passi di 5 tempi
Compiti svolti	3 compiti principali: Pick-and-place, rotazione degli oggetti, assemblaggio collaborativo
Utilizzo	Addestramento supervisionato di modelli di previsione di azione/traiettoria; Studio degli utenti

Tabella 2: Descrizione del dataset. Informazioni sull'ambiente di simulazione, inclusi il framework di programmazione, le impostazioni hardware e l'ambiente di valutazione.

Pre-elaborazione del dataset

Per consentire un'interazione multimodale adattiva nella collaborazione umano-IA, il dataset grezzo, come i dati visivi (RGB e immagini di profondità), uditivi (comandi vocali) e comportamentali temporali (punti chiave di pose), viene sottoposto a pre-elaborazione strutturata. I dati visivi vengono inizialmente estratti da un modello di stima della_{posa f} pose, comunemente derivato da BlazePose o OpenPose. Per il frame t, il vettore pose umano è definito come:

(1)

Dove k è il numero di punti chiave e ogni punto chiave contiene coordinate 2D. Le sequenze vengono normalizzate per lunghezza del torso e smussate nel tempo con un filtro Savitzky-Golay:

(2)

dove w è la dimensione della finestra di filtraggio. In secondo luogo, i flussi audio grezzi At vengono suddivisi in segmenti utilizzando un Rilevatore di Attività Vocale (VAD). Segmenti credibili vengono inseriti in un modello di riconoscimento vocale per_{la voce} (ad esempio, DeepSpeech) per estrarre i token di comando:

(3)

dove V è il vocabolario dei comandi riconosciuti. Per l'integrazione, i token di comando per tutti sono allineati temporalmente ai timestamp visivi della posa utilizzando una funzione di allineamento basata sull'interpolazione τ:

(4)

Terzo, per formare le sequenze di addestramento dell'intenzione temporale , definiamo sequenze di traiettoria , insieme ai comandi vocali associati . Questi sono sistemati in segmenti di lunghezza fissa utilizzando finestre scorrevoli di dimensione l:

(5)

(6)

Infine, gli input sono normalizzati a media zero e varianza unitaria per ogni dimensione dei punti chiave per la convergenza nei modelli di previsione basati su traiettorie:

(7)

dove μ_j, σ_j sono la media e la deviazione standard del punto chiave j completato l'insieme di addestramento.

Estrazione delle caratteristiche

Nel paradigma dell'interazione multimodale adattiva delineato, una cooperazione forte e in tempo reale è abilitata combinando caratteristiche visive, audio e contestuali del compito. La pipeline di estrazione delle caratteristiche inizia con l'acquisizione simultanea di dati da due modalità principali: segnali visivi e segnali audio, indicizzati al passo temporale t. Queste osservazioni vengono trasmesse attraverso i corrispondenti moduli di percezione per ottenere caratteristiche semantiche di alto livello relative al comportamento umano, all'intenzione e al comando del linguaggio.

Estrazione delle caratteristiche visive

I dati visivi grezzi delle telecamere RGB-D vengono inviati tramite uno stimatore di pose umana (ad esempio, BlazePose), fornendo un vettore di punti chiave spaziali , dove k rappresenta il numero rilevato di punti chiave e ciascuno contiene coordinate 3D:

(8)

Questi punti chiave sono inseriti nel tempo in una traiettoria di posa, dalla quale la dinamica del movimento viene estratta tramite la decomposizione tendenza-stagionale:

(9)

dove ∈_t rappresenta il rumore residuo.

Estrazione delle caratteristiche audio

L'ingresso audio viene elaborato tramite un modello di riconoscimento vocale pre-addestrato (ad esempio, DeepSpeech) e produce una rappresentazione tokenizzata di comando, dove n è la lunghezza del token:

(10)

Fusione multimodale

Per costruire un contesto di interazione unificato, combiniamo le caratteristiche con un'attenzione ponderata dalla fiducia basata sulla fiducia e sulle informazioni reciproche:

(11)

dove φ_V e φ_A sono le funzioni di proiezione per le caratteristiche visive e uditive in uno spazio latente condiviso, e α_t∈[0,1] è un termine dinamico di pesatura della modalità calcolato sulla base dell'entropia:

(12)

Qui, e sono informazioni reciproche tra lo stato obiettivo g e le modalità osservate.

Pianificazione tramite Inserzione Contestuale

L'ultimo vettore di caratteristica multimodale F_t è arricchito dal contesto del compito e dal progresso P_t e diventa l'input di stato al modulo di pianificazione adattativa:

(13)

Questa caratteristica estratta x_t viene utilizzata come input per i modelli di previsione dell'intenzione a valle e pianificazione del movimento, supportando una collaborazione umana-IA adattativa e robusta in contesti dinamici e incerti.

Previsione di azioni e piani tramite allineamento del grafo del compito

Seguendo il processo di estrazione delle caratteristiche multimodali, in cui l'intento del discorso (audio), la traiettoria della posa (visiva) e i dati contestuali (ad esempio, task log o emozioni) sono integrati nell'elaborazione successiva, include la previsione adattativa delle azioni umane e l'inferenza del piano utilizzando l'allineamento gerarchico dei grafi di task.

Sia rappresentato il vettore di caratteristiche multimodali integrato al passo temporale t come:

(14)

Il sistema inizialmente prevede l'azione umana di basso livello tramite una funzione_{f act}, spesso rappresentata come un codificatore-decodificatore o trasformatore ricorrente:

(15)

dove F_(t-k:t) indica la sequenza di fusione delle caratteristiche negli ultimi k passi temporali, ed è l'azione prevista dall'insieme di azioni A. Il modulo è online finemente calibrato tramite perdita adattiva:

(16)

Qui, CE è la classificazione d'azione della perdita di entropia incrociata, poi il secondo termine spinge una buona previsione della traiettoria futura.

Per la previsione di piani di alto livello, inquadriamo il compito come una progressione lungo un Grafo Gerarchico del Compito G = (N, E), in cui ogni nodo_{n i} ∈N indica un sotto-compito o un obiettivo intermedio. L'obiettivo è confrontare la sequenza d'azione osservata con un percorso di riferimento R*∈G riducendo la distanza:

(17)

Dove P_t indica la traccia di progresso corrente e d(⋅) indica la distanza o metrica di allineamento morbido del Dynamic Time Warping (DTW).

L'intento ultimo a livello di piano viene quindi derivato proiettando l'azione prevista a ̂_t sul passo successivo più probabile nel percorso allineato:

(18)

Questa decodifica gerarchica garantisce che, anche con input sensoriali poco chiari o rumorosi, il sistema scelga l'intento di alto livello più rilevante dal punto di vista contestuale, coerente con la sequenza di compiti attuale. Questa pianificazione predittiva non solo migliora l'efficienza della collaborazione, ma aumenta anche l'anticipazione e l'adattabilità nell'interazione umano-IA su più turni.

Meccanismo di fusione multimodale (basato sull'attenzione)

Nella collaborazione adattiva umano-IA, l'integrazione multimodale di diverse modalità sensoriali (ad esempio, visiva: posa umana, traiettoria; uditiva: comandi vocali) è necessaria per una corretta interpretazione dell'intenzione dell'utente. Un approccio basato su regole o fusione statica non può gestire interazioni umane dinamiche nel mondo reale. Per questo, qui viene presentato un meccanismo di fusione basato sull'attenzione per pesare dinamicamente ogni modalità in base alla sua importanza contestuale in ogni passo temporale.

Indichiamo i vettori di caratteristiche estratti dalle modalità visiva e audio rispettivamente come e , . Questi vettori codificano informazioni semantiche ottenute tramite pipeline di elaborazione precedenti, ad esempio, le caratteristiche visive possono derivare dalla stima della posa e dalla previsione dell'azione, mentre le caratteristiche audio possono derivare da embedding vocali usando modelli come DeepSpeech o wav2vec.

L'obiettivo della fusione basata sull'attenzione è calcolare i pesi di attenzione specifici per modalità che catturano il significato relativo di ogni modalità. Questo avviene usando un meccanismo di attenzione morbida.

Calcolo a peso di attenzione

In un primo passo, entrambi i vettori vengono trasformati in uno spazio di attenzione condiviso attraverso una trasformazione imparabile. Cioè, per ogni modalità i∈{V,A}, il punteggio intermedio di attenzione viene calcolato come:

(19)

dove e sono parametri apprendibili della rete di attenzione, e TANH è una funzione di attivazione non lineare. Questa conversione permette al modello di estrarre correlazioni ad alto livello e salienza contestuale di ciascuna modalità.

Questi punteggi di attenzione non normalizzati e_V e α_A vengono poi normalizzati con una funzione softmax in modo che si sommino a 1

(20)

Qui, α_V e α_A sono i pesi di attenzione sulle modalità visive e audio, rispettivamente. I pesi sono adattivi e poi vengono aggiornati nel tempo a seconda del contesto del compito esistente, della qualità del segnale e dell'attività dell'utente.

(21)

La rappresentazione risultante in fuso si ottiene come una combinazione pesata dei vettori di modalità di input:

Questo vettore combinato codifica la semantica comune delle informazioni visive e uditive in modo da evidenziare attivamente il flusso più informativo. Viene poi inserito in moduli a valle come il task graph matching, la previsione delle intenzioni o il motore di pianificazione del movimento robotico.

Algoritmo 1 : Fusione basata sull'attenzione multimodale

Input: Il vettore delle caratteristiche visive è h_V∈^{R d}, il vettore delle caratteristiche audio è h_A∈^{R d}

Parametri imparabili: W∈R^k*d, w∈^{R k} e b∈^{R k}

Uscita: rappresentazione fusa h_fusa∈R^d.

Passo 1: Determinare le rappresentazioni intermedie calcolando l'Equazione 19

Passo 2: Usa Softmax per normalizzare i punteggi di attenzione usando l'Equazione 20

Passo 3: Calcola il vettore fuso usando l'Equazione 21

Passo 4: Restituire h_fuso

L'algoritmo di Fusione Multimodale Basata sull'Attenzione fornisce un mezzo per la fusione intelligente di funzionalità di varie modalità di input, come flussi visivi e audio, in modo consapevole del contesto. La fusione è essenziale nei sistemi in cui ogni modalità presenta informazioni complementari ma variabili, come negli ambienti collaborativi umano-IA dove la visione cattura gesti o la posizione del corpo e l'audio cattura comandi vocali o segnali vocali.

L'Algoritmo 1 inizia determinando rappresentazioni intermedie per ogni modalità. Per calcolare entrambi questi modelli, e_V per il flusso visivo e_{e A} per il flusso audio, uno strato condiviso di rete neurale esegue prima una trasformazione non lineare sui corrispondenti vettori di caratteristiche. Successivamente, i pesi di attenzione α_V e α_A vengono calcolati eseguendo una funzione softmax sui punteggi intermedi. Questo aiuta i pesi a essere positivi e a sommarsi a 1, rendendo essenzialmente i contributi di ogni modalità da normalizzare. Più una modalità è informativa, come modellato, maggiore è il suo peso di attenzione.

Infine, l'algoritmo calcola la raffigurazione_fusa h fusa attraverso una combinazione ponderata dei vettori di caratteristiche grafiche e audio, normalizzate con i rispettivi pesi di attenzione. Questo vettore fuso combina entrambe le modalità in modo guidato dai dati e sensibile al contesto e serve per compiti a valle come il riconoscimento dell'intenzione, il processo decisionale o la pianificazione del movimento robotico. In totale, questo algoritmo consente al sistema di concentrarsi dinamicamente sulla modalità o sulla combinazione di modalità più pertinente in un momento specifico, invece di utilizzare approcci di fusione fissi o basati su regole. Questo rende il framework più forte, flessibile e reattivo in situazioni dinamiche di interazione umano-IA.

La Figura 2 illustra il flusso di lavoro del meccanismo di Fusione Multimodale Basata sull'Attenzione che opera nell'integrazione contestuale di input visivi e uditivi. L'estrazione delle caratteristiche visive, il primo passo del flusso di lavoro, consiste nell'estrazione di caratteristiche spaziali o legate alla posa da immagini o video in input (come le telecamere RGB-D). Questi vengono successivamente inseriti in un modulo di Attenzione Visiva che impara a evidenziare il contenuto più informativo delle informazioni visive. In parallelo, i moduli Audio Attention elaborano embedding vocali o token audio da comandi pronunciati, attribuendo un significato contestuale a diversi segnali uditivi. Le caratteristiche risultanti ponderate per l'attenzione vengono integrate attraverso uno strato di fusione basato sull'attenzione e passate a una rete feedforward posizione per posizione con connessioni residue e normalizzazione dello strato, formando un blocco standard di codificatore Transformer. L'output è un embedding multimodale unificato che supporta una robusta previsione dell'intenzione a lungo orizzonte e decisioni adattive in condizioni di interazione variabili. Questo design consente al sistema di concentrarsi selettivamente sulla modalità più robusta in qualsiasi momento, migliorando la robustezza e l'interpretabilità nell'interazione in tempo reale tra uomo-IA.

Figura 2: La costruzione dettagliata del modulo di fusione multimodale guidata dall'attenzione. Per generare una rappresentazione fusa consapettiva del contesto a ogni passo temporale, gli encoder specifici per modalità raccolgono caratteristiche da flussi visivi e uditivi. Queste caratteristiche vengono poi ponderate dinamicamente utilizzando un meccanismo di attenzione guidato dai dati. Clicca qui per visualizzare una versione più grande di questa figura.

Adattamento online del modello

Per garantire una collaborazione umano-IA di alta qualità sotto diversi comportamenti e contesti degli utenti, il nostro framework incorpora un meccanismo di adattamento online del modello che ottimizza progressivamente i modelli specifici per l'utente durante l'interazione. Il modulo monitora segnali comportamentali in tempo reale (ad esempio, posa, traiettorie dei gesti, tono del parlato) e aggiorna i modelli predittivi sottostanti con algoritmi di apprendimento incrementale. In particolare, i modelli di previsione della traiettoria e riconoscimento dell'intento sono ottimizzati con input recenti tramite una fine tuning basata su gradiente o un adattamento a basso rango (LoRA), in modo che il sistema sia in grado di adattarsi al comportamento mutevole dell'utente o ai requisiti specifici del compito senza dover essere completamente riaddestrato.

Il livello di feedback agisce armoniosamente con l'adattamento sia tramite feedback implicito (ad esempio, correzioni, esitazioni, ritardi) sia tramite comandi espliciti (ad esempio, voce o interfaccia grafica). Ha due scopi: calibrare in modo adattivo la rilevanza dei segnali multimodali e trasmettere misure di fiducia/fiducia ai moduli decisionali e di controllo.

Il ciclo di feedback consente prestazioni dei compiti più fluide e risposte orientate all'utente. Per favorire fiducia e trasparenza, il framework integra un modulo di spiegabilità che traduce le decisioni di basso livello del modello in giustificazioni comprensibili per l'uomo. Utilizza mappe di razionalità provenienti da un trasformatore di fusione multimodale, integrate con tracciamento logico attraverso il grafo di attività. Può opzionalmente presentare questa motivazione tramite una GUI o un supporto uditivo per permettere agli utenti di comprendere e forse persino correggere il comportamento del sistema.

Risultati

Il modello di interazione multimodale adattiva qui proposto affronta queste preoccupazioni e migliora notevolmente la collaborazione tra uomo-IA combinando senza soluzione di continuità le modalità di visione e parlato con i processi di adattamento in tempo reale degli utenti. A differenza del sistema multimodale gerarchico di base, il nostro approccio include un ciclo di feedback personalizzato e un adattamento cognitivo consapevole del carico che offre un'interazione più intuitiva e co...

Discussione

I risultati dimostrano in modo conclusivo l'efficienza della base di interazione multimodale adattiva suggerita per migliorare la collaborazione umano-IA.

Oltre ai punteggi standard di valutazione come Task Completion Time (TCT), Human Intention Prediction Accuracy (HIPA), Multimodal Fusion Efficiency (MFE), Error Recovery Rate (ERR), User Satisfaction Score (USS) e Interaction Smoothness Index (ISI), ulteriori metriche focalizzate sull'utente possono essere a...

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Fotocamera RGB-D (Intel RealSense D435)	Intel Corporation	D435	Risoluzione di profondità 1280 e volte; 720 px @ 30 fps; Risoluzione RGB 1920 e volte; 1080 px @ 30 fps; Usata per catturare la posa dell'utente, i movimenti del corpo e il contesto spaziale
Microfono direzionale	Generici / Più fornitori	N/A	Microfono a banda larga con cancellazione del rumore (16 kHz– 44,1 kHz); Usata per raccogliere comandi pronunciati
BlazePose (modello preaddestrato)	Google	https://developers.google.com/mediapipe/solutions/vision/pose	modello di stima delle posi con 33 punti chiave; Estrazione in tempo reale della posa umana
OpenPose (modello preaddestrato)	Laboratorio di Calcolo Percettivo CMU	https://github.com/CMU-Perceptual-Computing-Lab/openpose	Framework di stima della posa multi-persona utilizzato per estrarre traiettorie di movimento
Motore ASR DeepSpeech	Mozilla	v0.9.3	Modello automatico di riconoscimento vocale pre-addestrato per la trascrizione vocale a testo
Motore ASR wav2vec 2.0	Meta AI	https://github.com/facebookresearch/fairseq	Modello di rappresentazione del parlato auto-supervisionato per l'elaborazione del parlato in tempo reale
Modello di Previsione dell'Azione basato su Trasformatori (DLinear / Seq2Seq)	Implementazione personalizzata	N/A	Architettura temporale encoder-decoder con attenzione alla previsione dell'azione a breve termine
Modulo di Distorsione Temporale Dinamica (DTW)	Personalizzato / basato su SciPy	https://docs.scipy.org/doc/scipy/reference/generated/scipy.spatial.distance.cdist.html	Algoritmo di allineamento morbido per abbinare le azioni dell'utente con grafi di compito predefiniti
Rete di Fusione Multimodale basata sull'attenzione	Implementazione personalizzata	N/A	Meccanismo di attenzione ponderato in fiducia per fondere input di vista e parlato
Modulo di Adattamento Online (LoRA / Basato su gradienti)	Implementazione personalizzata	https://github.com/microsoft/LoRA	Una regolazione fine leggera e parametrica efficiente per adattarsi al comportamento dell'utente
Modulo di Spiegazione (Basato su regole + mappe dell'attenzione)	Implementazione personalizzata	N/A	Fornisce una motivazione decisionale interpretabile utilizzando regole e visualizzazioni dell'attenzione
Braccio robotico KINOVA Gen3	KINOVA Robotics	Gen3	Manipolatore robotico a 7 DOF con sensori di coppia integrati; Utilizzato per l'assemblaggio collaborativo di auto giocattolo
Ambiente di simulazione di assemblaggio cooperativo	Ambiente personalizzato	N/A	Configurazione reale di assemblaggio di macchinette giocattolo utilizzata per benchmarking collaborativo multimodale
Metriche di valutazione (TCT, HIPA, MFE, Latency, ERR, USS, ISI)	Definizioni personalizzate	N/A	Metriche quantitative e user-centric per valutare l'efficienza, l'accuratezza e la fiducia della collaborazione