Comunicazione Multimodale Uomo-Robot senza soluzione di continuità: tecniche di integrazione nell'interazione uomo-computer

Weiqing Zheng; Yifang Gao

doi:10.3791/70218

Review Article

Comunicazione Multimodale Uomo-Robot senza soluzione di continuità: tecniche di integrazione nell'interazione uomo-computer

DOI:

10.3791/70218

⸱

June 9th, 2026

Weiqing Zheng¹ , Yifang Gao²

¹Automation Engineering Department, Meizhouwan Vocational Technology College, ²School of Electrical and Electronic Engineering, Universiti Sains Malaysia

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questa revisione sintetizza i recenti progressi nell'apprendimento profondo, nel sensore multimodale e nelle strategie di integrazione che consentono una comunicazione fluida, adattiva e centrata sull'uomo tra umani e robot.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La comunicazione multimodale umano-robot senza soluzione di continuità è diventata essenziale man mano che i robot sociali, assistivi ed educativi si spostano in ambienti quotidiani come case, strutture sanitarie e aule, dove devono integrare parlata, gesti, sguardo, espressioni facciali e segnali tattili con alta precisione, bassa latenza e robustezza reale. Questa revisione esamina sistematicamente come le tecniche attuali raggiungano l'interazione multimodale reciproca uomo-robot (HRI) in tempo reale, concentrandosi su strategie di fusione, architetture di sistema e applicazioni in ambiti specifici. Abbiamo cercato nella Web of Science Core Collection studi empirici in lingua inglese dal 2015 al 2025, selezionando 148 articoli che trattano l'integrazione comunicativa. Le intuizioni più importanti includono un chiaro passaggio verso la fusione ibrida e basata sull'attenzione dal 2022 (circa il 43% degli approcci), che gestisce meglio l'asincronia temporale e le interazioni incarnate rispetto ai metodi precedenti; diffusa incoerenza nelle metriche di valutazione che ostacola i confronti tra i confronti tra gli studi; e un divario persistente tra forti prestazioni di laboratorio e una maggiore robustezza nel mondo reale sotto rumore, occlusione o variabilità dell'utente. Le principali sfide includono l'elaborazione in tempo reale, l'allineamento semantico, l'efficienza dei dati, la robustezza del deployment e l'integrazione poco esplorata dei segnali tattili con l'affetto. Guardando al futuro, la revisione suggerisce di dare priorità alle politiche di fusione adattiva, benchmark standardizzati per sincronizzazione e fluidità, e apprendimento continuo per consentire l'adattamento personalizzato dall'utente. In definitiva, mira a guidare lo sviluppo di agenti robotici più centrati sull'essere umano, in grado di collaborare in modo collaborativo, significativo e socialmente accettato nella vita quotidiana.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

I robot si sono evoluti da strumenti industriali in contesti strutturati ad agenti socialmente integrati in case, ospedali e aule. Ora assistono nell'educazione, nella terapia e nella compagnia, riflettendo un passaggio dall'automazione orientata al compito a un'interazione adattiva e centrata sull'utente. Al centro di questa transizione c'è la comunicazione multimodale, che permette ai robot di percepire e rispondere ai segnali umani—parole, sguardo, gesti, espressioni facciali e tatto—con la precisione temporale necessaria per scambi naturali in ambienti dinamici. Questa enfasi sulla coordinazione e la reattività è in linea con le preoccupazioni centrali dell'interazione uomo-computer e delle scienze cognitive. In questa revisione, la comunicazione multimodale senza soluzione di continuità si riferisce a interazioni che risultano fluide e intuitive per gli utenti, caratterizzate da tempi di risposta inferiori al secondo (tipicamente inferiori a 300 ms), ritardi o disallineamenti percepibili minimi e un adattamento robusto alla variabilità del mondo reale. Questo lo distingue dai sistemi tradizionali basati su comandi o unimodali, dove errori di tempistica, fallimenti di modalità o risposte rigide interrompono il flusso naturale.

All'interno dell'interazione uomo-robot (HRI), questa revisione si concentra sulla comunicazione uomo-robot, definita come lo scambio reciproco e in tempo reale di segnali multimodali tra umani e robot. Sebbene l'HRI comprenda anche pianificazione, controllo e sicurezza, la comunicazione riguarda la sincronizzazione tra percezione e azione attraverso i canali sensoriali. I primi sistemi basati su comandi davano priorità all'efficienza rispetto all'ingaggio, spesso producendo comportamenti rigidi o ritardati. Il lavoro contemporaneo persegue modelli adattivi e consapevoli del contesto che accolgono lo stato e l'emozione dell'utente ^1,2. Questa evoluzione sottolinea la necessità di quadri di interazione precisi, intuitivi e personalizzati.

I robot sociali e assistivi iniziali si affidavano comunemente a routine scriptate o input monomodali come voce o tatto, limitando la^{flessibilità 3}. La logica basata sulle regole e l'elaborazione lenta portavano spesso a disallineamenti temporali tra gesti e parlata, o a una scarsa adattamento al comportamento dell'utente. Per affrontare questi problemi, i ricercatori impiegano la fusione a bassa latenza, l'integrazione sensoriale multimodale e l'apprendimento adattivo per^l'utente ^4,5. Queste strategie possono essere comprese attraverso tre principi fondamentali della comunicazione ampiamente riconosciuti nell'HRI: complementarità (le modalità si compensano a vicenda), ridondanza (la sovrapposizione migliora la robustezza) e sinergia (la convergenza aumenta la naturalità).

I progressi nel sensore e nell'apprendimento hanno prodotto robot socialmente reattivi che integrano input visivi, uditivi, tattili e fisiologici in^{tempo reale} ^5,6. Invece di script fissi, questi sistemi si adattano continuamente ai segnali dell'utente. Interfacce di programmazione accessibili e metodi di apprendimento dimostrativo permettono a educatori e terapeuti di personalizzare i comportamenti per la cura e l'insegnamento, dove precisione, reattività e adattabilità sono essenziali.

I modelli di comunicazione nell'HRI sociale possono essere raggruppati in modalità parallele, complementari e interattive (Figura 1). In interazione parallela, umani e robot agiscono indipendentemente con uno scambio minimo. L'interazione complementare introduce prompt strutturati o supporto basato su eventi. La modalità interattiva più avanzata prevede un aggiustamento bidirezionale continuo tra canali come parlata, movimento e^{sguardo 7}.

Selezione e analisi della letteratura

Metodologia della revisione sistematica: Abbiamo condotto una ricerca sistematica nella letteratura Web of Science Core Collection, rivolgendoci ad articoli di riviste peer-reviewed e agli atti completi delle conferenze dei principali editori (IEEE, ACM, Springer, Elsevier, Wiley, Taylor & Francis). La query booleana era: (("interazione uomo-robot" O HRI) E (multimodale O "fusione sensore" O gesto O sguardo O parlato O tattile) E ("in tempo reale" O "bassa latenza" O adattivo O robusto)). I criteri di inclusione erano: pubblicazioni in lingua inglese da gennaio 2015 al 2025—un periodo che ha catturato il passaggio da sistemi monomodali basati su regole a architetture di deep learning che enfatizzano interazioni a bassa latenza, adattive e robuste—con un focus sulle tecniche di integrazione multimodale per HRI comunicativa e validazione empirica (quantitativa o qualitativa). Abbiamo escluso studi limitati all'interazione unimodale, quelli che affrontano il controllo robotico senza intento comunicativo e lavori non empirici (ad esempio, puramente teorici o solo di simulazione). La ricerca iniziale ha restituito un corpus sostanziale. Dopo aver rimosso i duplicati, abbiamo esaminato titoli e abstract rispetto ai criteri di inclusione, quindi abbiamo condotto revisioni a testo completo per valutare la rilevanza e il contributo alla fusione multimodale affidabile. Questo processo a più fasi, riassunto nel diagramma di flusso in stile PRISMA (Figura 2), ha prodotto un corpus finale di 148 articoli che costituiscono la base empirica di questa revisione.

Panoramica della letteratura selezionata: la Figura 3 mostra le tendenze di pubblicazione e la distribuzione disciplinare, con Informatica e Automazione & Robotica che dominano, insieme a crescenti contributi delle Scienze Comportamentali e delle Neuroscienze, che sottolineano la traiettoria interdisciplinare del campo. Abbiamo raggruppato tematicamente la letteratura in base al contributo tecnico all'integrazione multimodale (Tabella 1). Questa sintesi ha coperto modalità, metodi di fusione, gestione della latenza, strategie di robustezza, adattabilità e metriche. Gli studi dal 2019 al 2021 hanno utilizzato prevalentemente fusione precoce o tardiva, spesso enfatizzando gesti e input tattili. Dal 2022, le architetture ibride e basate sull'attenzione hanno guadagnato popolarità, in particolare per l'interazione affettiva e incarnata. In questo corpus, la fusione ibrida rappresenta circa il 43% degli approcci, la fusione precoce il 29% e la fusione tardiva il 28%—una distribuzione che suggerisce una maggiore tolleranza all'asincronia temporale.

Sebbene la capacità in tempo reale sia comunemente dichiarata nella letteratura più ampia esaminata inizialmente, solo un numero limitato di studi dettaglia strategie specifiche di mitigazione (ad esempio, elaborazione bufferizzata, modelli predittivi o ottimizzazione a livello di sensore). La robustezza si basa tipicamente su filtraggio, ridondanza o soluzioni di riserva basate su regole, mentre l'adattamento anticipatorio rimane raro. Le pratiche di valutazione sono incoerenti e le valutazioni standardizzate della sincronizzazione temporale o della fluidità delle interazioni rimangono rare. Le metriche variano così tanto tra gli studi che spesso è difficile fare confronti diretti. Accuratezza, punteggi F1 e dati di latenza sono comuni, ma derivano da diversi dataset, compiti e condizioni ambientali; Pochi articoli adottano benchmark condivisi per l'allineamento temporale o la robustezza del rumore. Di conseguenza, le prestazioni elevate in ambientazioni di laboratorio pulite spesso sovrastimano quali metodi possano ottenere ambienti controllati esterni. Sviluppare quadri di valutazione coerenti—magari includendo test di latenza standardizzati sotto variabilità realistica—renderebbe molto più facile giudicare quali approcci fanno davvero avanzare il settore.

Rimangono lacune chiave nell'integrazione tattile-affettiva (solo sei studi 8,9,10,11,12,13 affrontano questo aspetto) e nell'aggiustamento dinamico della latenza sotto incertezza temporale guidata dall'utente. Dalla letteratura emergono diverse tensioni interessanti. La fusione ibrida è spesso lodata per la gestione efficace del disallineamento^{temporale 14}, eppure comportamenti veramente anticipatori o adattivi rimangono rari, mettendo in discussione quanto sia effettivamente fluida quella presunta performance in tempo reale. Allo stesso tempo, i progressi impressionanti nella vista e nel riconoscimento dell'affetto basato sul linguaggio si contrappongono nettamente al lavoro minimo che integra i segnali tattili con la comprensione delle emozioni. L'elevata accuratezza negli esperimenti controllati tende anche a degradarsi in condizioni reali, sottolineando le sfide continue nella generalizzazione su ambienti e utenti. La Tabella 2 riassume le tendenze architettoniche rappresentative e gli approcci di valutazione, informando le sfide discusse nelle sezioni successive.

Questa revisione offre un contributo distinto alla letteratura HRI multimodale. Indagini recenti, come Zhao et ^al.14, offrono ampie panoramiche del processo decisionale guidato dalla percezione, mentre Wang et ^al.15 si concentrano sulla trasmissione visivo-tattile abilitata al 5G. Entrambi enfatizzano i framework generali o i protocolli di comunicazione, con una discussione limitata su compromessi di fusione in tempo reale, comparabilità delle metriche o sfide di implementazione. Al contrario, offriamo un'analisi più mirata: confrontando strategie di fusione sotto vincoli specifici, criticando le incoerenze delle metriche tra gli studi incrociati e evidenziando lacune pratiche—in particolare la divisione tra performance laboratorio e campo che i sondaggi precedenti avevano in gran parte trascurato.

Access restricted. Please log in or start a trial to view this content.

Review and Perspective

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Man mano che i robot diventano elementi fissi nelle case, nelle aule e negli ambienti sanitari, la comunicazione naturale e adattativa è fondamentale per il loro successo. Sempre più visti non come strumenti ma come partner sociali, devono percepire, interpretare e rispondere ai segnali umani attraverso le modalità. I sistemi che catturano accuratamente l'intento dell'utente e forniscono feedback tempestivi migliorano le prestazioni del compito, la fiducia e il comfort emotivo—soprattutto quando coinvolgono bambini, anziani o persone con disabilità. Raggiungere questo obiettivo richiede un'interazione continua e intuitiva che allinei le risposte dei robot al comportamento umano in corso invece di interromperlo. Tale fluidità richiede input multimodali—voce, sguardo, gesto, espressione facciale—integrati attraverso meccanismi che rispecchiano la comunicazione umana stessa^14,16.

Percezione e canali di comunicazione
La visione rimane la base dell'interazione multimodale uomo-robot. Segnali visivi come espressione facciale, sguardo, postura e gesti sono alla base del riconoscimento dell'intento, dell'inferenza emotiva e del monitoraggio dell'engagement 17,18,19,20,21. I primi metodi artigianali che utilizzavano la rilevazione di^{Haar 22} o la sottrazione^{di fondo 23} spesso fallivano sotto occlusione o cambiamenti di illuminazione^16,21. Ora dominano i sistemi di deep learning, utilizzando CNN e modelli ricorrenti con input multi-camera. La Figura 4 illustra la pipeline di tracciamento HI-ROS, che riduce l'errore di movimento del 27% nel monitoraggio dei gesti in tempo reale.

L'integrazione di segnali di sguardo, braccio e testa migliora la previsione delle azioni dell'utente¹⁷, mentre la fusione propriocettiva e di profondità migliora^{la precisione 24,25}. Il Mutual Gaze¹⁹ e il design biomimetico degli occhi¹⁸ dimostrano ulteriormente il ruolo dei segnali sottili nella fiducia e nel coordinamento. La Figura 5 mostra l'architettura del ²⁶, dove i doppi Leap Motion Controller catturano il movimento della mano, fusi tramite LSTM-RNN per una teleoperazione chirurgica robusta. Sistemi multi-camera recenti, come Hi-ROS²⁰ e RPF ^21,27, migliorano il follow-watching delle persone in contesti non strutturati. La Figura 6 mostra il ciclo di vita adattivo del ReID che mantiene il tracciamento sotto occlusione tramite raffinamento continuo del classificatore. Il lavoro complementare sull'etichettatura^{attiva 28} e il SLAM^{semantico 26} migliora la consapevolezza contestuale, estendendo la percezione dal riconoscimento degli oggetti alla comprensione comportamentale.

Il linguaggio fornisce un canale comunicativo parallelo. I primi sistemi di dialogo basati su regole hanno avuto difficoltà con l'ambiguità, portando all'adozione di modelli basati su dati e^{trasformatori 29}. La reattività emotiva e sociale è ora fondamentale: i sistemi multimodali allineano segnali facciali e vocali per un dialogo^adattivo ^2,30. L'apprendimento per rinforzo migliora la coordinazione tra segnali affettivi e^acustici ^5,31,32. Grandi modelli linguistici come GPT-3³³ e ChatGPT³⁴ consentono il ragionamento contestuale e il seguito delle istruzioni tra i compiti³⁵^, ³⁶^, ³⁷. La loro integrazione con la visione e la modellazione della^ricompensa 38,39,40,41,42,43,44 supporta un'interazione socialmente consapevole e generalizzata.

La percezione uditiva integra la vista e il linguaggio. Prosodia, intonazione e ritmo comunicano l'intento quando i segnali visivi non sono affidabili. L'estrazione delle caratteristiche basata sul rinforzo migliora la sincronizzazione tra voce ed espressione. Dataset come AVA^{ActiveSpeaker 45},^{AFFECT-HRI 5}, SAVEn-Vid⁴⁶, HumorHRI⁴⁷ e CHiME-5 arricchiscono la robustezza del modello in ambienti rumorosi e affettivi. Pan et ^al.32 avanzano la sincronizzazione vocale–labbra per scene multi-altoparlante, mentre la fusione multimodale con input tattili o fisiologici informa il comportamento adattivo.

Sensazione incarnata e fisiologica
La percezione tattile e fisiologica migliora la consapevolezza sociale e fisica. Forza, pressione e biosegnali permettono di dedurre intento, stress e coinvolgimento. Simulatori tattili basati sulla visione come TACTO⁴ e mappatori neurali come FOTS⁴⁸ generano dati di contatto ad alta risoluzione a 300 fps, supportando il controllo a bassa latenza. FOTS modella illuminazione e deformazione tramite una funzione di riflettanza appresa, R:

Equazione 1

e proiezione d'ombre:

Equazione 2

dove M_s codifica la geometria della proiezione. Pelli tattili ad alta risoluzione sono state realizzate utilizzando elastomeri magnetorheologici⁴⁹, array di sensori EtherCAT⁵⁰ e materiali a effetto Hall^{auxetici 51}. Sistemi come DiGeTac¹³ unificano segnali di gesto, tattili e di distanza tramite pipeline modulari. Il filtraggio dei dati di distanza temporale di volo è modellato come:

Equazione 3

seguita dalla classificazione dei gesti neurali e dalla localizzazione dei contatti basata su CNN. Il controllo di sicurezza viene applicato scalando la velocità del robot con separazione d. Questi moduli permettono una collaborazione robusta tra uomo-robot. I trasformatori multimodali integrano ulteriormente segnali tattili, visivi e testuali. Il TVT-Transformer⁶ allinea rappresentazioni specifiche per modalità (q_i, k_i, v_i) in matrici giuntate:

Equazione 4

permettendo l'autoattenzione cross-modale per una comprensione unificata (Figura 7).

Il sensore fisiologico promuove l'allineamento emotivo. Heinisch et ^al.5 sincronizzano segnali fisiologici e audiovisivi per la modellazione dell'affetto. I sistemi basati su^{elettromiografia} ^52,53 decodificano gesti e voce silenziosa, mentre MetaSonic⁵⁴ migliora la percezione spaziale tramite localizzazione acustica. Dataset su larga scala come AgiBot World Colosseo⁵⁵ supportano l'addestramento multimodale con oltre un milione di traiettorie tattili-visive. Insieme, questi progressi segnano una transizione dalla percezione unimodale a una comprensione integrata degli stati sociali, fisici e interni. La migliore fedeltà del sensore consente ai robot non solo di misurare il contatto, ma anche di interpretare esitazioni, tensioni o disagio, rispondendo con sensibilità e controllo adattivo, che sono fondamentali per i framework multimodali senza soluzione di continuità discussi nelle sezioni successive.

Fusione multimodale e apprendimento della rappresentazione
La fusione consente la trasformazione di flussi sensoriali distribuiti in un controllo coerente e consapevole del contesto. Gli approcci sono tipicamente raggruppati come fusione precoce, tardiva o ibrida. La fusione iniziale integra caratteristiche nello stadio di input, supportando segnali sincronizzati come parlata-gesto o allineamento facciale-prosodico. Il Multimodal Transformer di Tsai et ^al.14 esemplifica l'integrazione precoce basata sull'attenzione di segnali visivi, acustici e testuali. Xue et ^al.56 hanno esteso questo approccio con un accoppiamento residuo di punti di riferimento facciali e caratteristiche del linguaggio, migliorando la robustezza sotto variazioni di illuminazione, mentre Hu et al. Proposto MMSERNet⁵⁷, una rete di fusione multiscala che utilizza convoluzione dilatata e fusione residua per fondere MFCC, spettrogramma e caratteristiche lessicali per il riconoscimento delle emozioni. L'uscita fusibile è espressa come:

Equazione 5

La fusione tardiva, al contrario, combina le decisioni dopo l'elaborazione indipendente, offrendo una maggiore tolleranza agli input asincroni o rumorosi. Esempi includono la combinazione a livello decisionale di segnali di sguardo, inerziali e moto nell'HRI^{subacqueo 58,59}. La fusione ibrida integra entrambi gli approcci—mappando modalità eterogenee in spazi di embedding condivisi preservando la specificità temporale. La Multimodal Brain–Computer Fusion^{Network 60} allinea EEG e caratteristiche visive prima della classificazione, mentre i progetti cross-modali per la stima della posa 3D fondono dati inerziali e^{monoculari 61}. I framework recenti combinano strati convoluzionali, ricorrenti e trasformatori con allineamento dell'attenzione^62,63, pesando dinamicamente le modalità in base al contesto o alla rilevanza del^compito 64,65,66. La scelta tra fusione precoce, tardiva e ibrida non è una questione di soluzione universale. La fusione precoce tende a funzionare bene quando le modalità sono strettamente sincronizzate e i livelli di rumore sono bassi, permettendo al modello di catturare ricche relazioni intermodali fin dall'inizio. La fusione tardiva, al contrario, è generalmente più robusta in condizioni reali disordinate e asincrone perché ogni modalità può essere elaborata indipendentemente prima che le decisioni vengano combinate. Gli approcci ibridi, che ora compaiono in circa il 43% degli studi recenti, trovano un utile punto intermedio, specialmente per interazioni affettive e incarnate, utilizzando l'attenzione agli input dinamicamente bilanciati, anche se comportano ulteriori richieste computazionali. In definitiva, la strategia migliore dipende dal compito specifico, dal profilo di rumore e dai vincoli hardware, suggerendo che i sistemi futuri potrebbero beneficiare del cambio di modalità di fusione al volo.

La complementarità tra le modalità varia molto a seconda del contesto. La vista abbinata all'aptica è particolarmente efficace in compiti fisici a ravvicinata, come la presa o il passaggio di oggetti, dove il feedback tattile compensa l'occlusione visiva, i cambiamenti di illuminazione o le limitazioni di distanza e fornisce informazioni precise di forza e contatto che l'audio non può fornire. Al contrario, la visione combinata con l'audio funziona meglio in contesti distanti o sociali, come il riconoscimento delle emozioni o i dialoghi in ambienti rumorosi, dove la prosodia e il tono portano intenzione e influenzano quando i segnali visivi non sono disponibili o inaffidabili.

Oltre al classico framework precoce, tardivo e ibrido, il deep learning ha permesso categorizzazioni più dettagliate. La fusione basata sull'attenzione permette ai modelli di apprendere l'importanza dinamica della modalità per ogni input, creando efficacemente percorsi di integrazione specifici per compito e contesto senza confini di stadio rigidi. Le strategie di fusione apprese vanno oltre trattando l'intero processo di fusione come un modulo differenziabile end-to-end, permettendo alla rete di scoprire i pattern di combinazione ottimali direttamente dai dati. Questi sviluppi fanno passare il paradigma da regole predefinite a architetture adattiva completamente basate sui dati, che affrontano meglio la complessità dell'HRI multimodale in tempo reale.

Radicamento visione-linguaggio
La rapida crescita dei grandi modelli linguistici ha ampliato la portata del ragionamento multimodale, in particolare attraverso i modelli visione-linguaggio (VLM). Queste architetture allineano informazioni linguistiche e visive per permettere ai robot di interpretare comandi, percepire scene e generare azioni contestuali. Framework fondamentali come LXMERT⁶⁴ e CLIP⁶⁶ stabilirono embedding congiunti per l'allineamento immagine–testo. Flamingo⁶⁵ introdusse il ragionamento multimodale a pochi colpi, mentre il Clio³⁹ di Maggio collega dinamicamente le istruzioni ai grafici di scena tramite semantica CLIP. Gao et ^al.41 svilupparono LAMARS per la pianificazione anticipatoria basata sulla previsione multimodale, e Xie et ^al.67 applicarono modelli convoluzionali spaziotemporali per una comprensione efficiente dei gesti. Arenas et al. hanno introdotto la personalizzazione basata su prompt per stili di interazione^{personalizzati 68}. Questi sistemi permettono di collegare direttamente a terra comandi come pick up the red cup nella semantica della scena.

L'integrazione con il ragionamento spaziale migliora ulteriormente la navigazione e l'interpretazione robotica. Il LatentBKI³⁸ di Wilson basa le istruzioni su mappe spaziali basate su vox, mentre Nwankwo et ^al.40 fondono grandi modelli linguistici con il ragionamento VLM per interpretare gli atti di dialogo in caso di incertezza visiva. La segmentazione basata su eventi e i metodi di percezione asincrona aggiungono efficienza ai compiti dinamici. Collettivamente, i VLM agiscono come ponti tra l'istruzione simbolica e la comprensione incarnata, fornendo il substrato cognitivo per un'interazione flessibile.

Applicazioni specifiche per dominio
Nel settore sanitario e nell'assistenza agli anziani, la comunicazione multimodale consente un supporto sicuro, intuitivo ed empatico. Le funzioni fondamentali—rilevamento delle cadute, monitoraggio delle attività giornaliere, risposta alle emergenze—si basano su postura, voce e segnali^{facciali 3}. I modelli di controllo gerarchici migliorano la precisione del movimento nei robot assistiti al^{braccio 1}, mentre il feedback propriocettivo guida gli assistenti cooperativi di^{vestimento 69}. Il passaggio di oggetti (object handover), raffigurato nella Figura 8, esemplifica la percezione sincronizzata e la coordinazione^{motoria 70}. La reattività emotiva, studiata tramite sistemi come LOVOT, favorisce la fiducia degli utenti ma solleva preoccupazioni etiche riguardo alla dipendenza eccessiva.

I robot sociali richiedono una reattività multimodale fluida per mantenere empatia e fiducia in contesti domestici e pubblici. La Figura 9 delinea un'architettura tipica che integra i livelli di sensazione, pianificazione e ragionamento socio-emotivo. I grandi modelli linguistici integrati con la percezione permettono dialoghi aperti modulati da sguardo e^{tono 40}. Studi pediatrici mostrano che il movimento espressivo e la prosodia riducono l'ansia nei^{bambini 71} anni, mentre i sondaggi evidenziano i comportamenti non verbali come determinanti del^{coinvolgimento 8}. Modelli proattivi come RoboAgent³⁷ e Sub-Prior-guided Ant Colony^{Optimization 72} permettono l'esplorazione congiunta di obiettivi condivisi. I sistemi capaci di esprimere stati interni (pronti, confusi⁾⁷³ migliorano trasparenza e coordinazione, mentre gli agenti sociali adattivi mediano la collaborazione di^{gruppo 74,75}.

Robot educativi: nell'istruzione, l'HRI multimodale promuove motivazione e apprendimento sfruttando l'incarnazione e la segnalazione^{sociale 76}. Combinare gesti, segnali facciali e verbali migliora l'accessibilità e il^{coinvolgimento} 6,9,77,78. L'adattività emotiva supporta gli studenti più giovani: i sistemi che percepiscono lo stato affettivo e modulano il parlato e il movimento aumentano l'attenzione e il^vocabolario ^7,79. L'integrazione con la realtà virtuale migliora l'immersione ma sfida la scalabilità⁸⁰. Collettivamente, questi sistemi spostano il ruolo del robot da istruttore a collaboratore emotivamente sintonizzato.

La personalizzazione garantisce rilevanza e fiducia nei sistemi^multimodali 71,81,82. La personalizzazione etica bilancia autonomia ed empatia, adattando le risposte attraverso un feedback partecipativo. Maaz et ^al.83 hanno dimostrato un tutoraggio affettivo guidato da segnali facciali e cognitivi, mentre Gomez-Izquierdo et ^al.84 hanno modellato le preferenze degli utenti per il comportamento sincronizzato. L'adattamento personalizzato può essere formalizzato come:

Equazione 6

dove w_i sono i pesi di preferenza apprese. Implementazioni come RFIS permettono la riidentificazione in tempo reale delle persone e il riconoscimento dei gesti al bordo⁸⁵, mentre le interfacce touch^{propriocettive 10} consentono una comunicazione fisica intuitiva. Gli effetti della percezione sociale modulano ulteriormente i risultati di personalizzazione, dove l'identità del narratore modifica il tempo di risposta dell'utente e la lunghezza^{dell'enunciato 86}. La personalizzazione trasforma così gli utenti da destinatari passivi a co-designer, modellando l'interazione attraverso l'adattamento reciproco.

Sebbene gran parte del lavoro revisionato rimanga in prototipi di ricerca, diverse tecniche multimodali di HRI sono passate da prototipi di ricerca ad applicazioni commerciali o industriali. Il robot Pepper di SoftBank, ad esempio, integra il riconoscimento del parlato, dei gesti e delle espressioni facciali per il servizio clienti e l'educazione in ambiti retail e^{educativi 87}. Il Human Support Robot di Toyota utilizza la fusione visiva-gestuale per compiti di assistenza nelle case e nelle strutture^sanitarie. Queste implementazioni commerciali spesso semplificano le strategie di fusione, utilizzando tipicamente approcci tardi o ibridi con soluzioni di riserva basate su regole per garantire affidabilità e basso costo, sottolineando il persistente divario tra modelli accademici avanzati e soluzioni industriali scalabili. Colmare questo divario richiederà maggiore enfasi sul dispiegamento dei bordi e una validazione rigorosa nel mondo reale.

Sfide per una comunicazione fluida nell'HRI
Nonostante i progressi nel sensore multimodale e nella fusione, mantenere una comunicazione umano-robot senza soluzione di continuità al di fuori degli ambienti controllati rimane difficile. I modelli che eccellano nei laboratori spesso si declassano in mezzo a rumore, ritardo, occlusione, intenti mutevoli o limiti di risorse. La letteratura converge su sei barriere intrecciate: integrazione visione–linguaggio, sincronizzazione in tempo reale, robustezza multimodale, precisione semantica, copertura del dataset e vincoli di implementazione.

Integrazione del linguaggio visionario
La comprensione visiva sostiene il linguaggio e l'azione radicati. I passaggi fondamentali hanno migliorato la coerenza spaziale e l'astrazione tramite SLAM visivo-inerziale senza inizializzazione^{manuale 89}, riidentificazione più fusione dei sensori per tracciamento robusto^{all'occlusione 16}, previsione del grafico corsia⁹⁰, segmentazione semi-supervisionata che allinea le etichette con l'utilità di navigazione, e video egocentrico con SLAM e segmentazione su larga scala per la traversabilità²⁶. La mappatura consapevole dell'incertezza rimane centrale: uPLAM fonde localizzazione probabilistica con segmentazione panottica per scene^{dinamiche 91}, mentre Clio costruisce in modo adattivo grafici gerarchici 3D basati su CLIP per semantica sensibile al^{compito 30}. Gli approcci di grounding sono passati da descrizioni strutturate e API di percezione^92,93 a codificatori e decoder ^{multimodali 94,95}.

Le istruzioni seguite in ambienti aperti integrano percezione e ragionamento. ^{RobotGPT 35} e^{GroundingGPT 36} interpretano i comandi tramite inferenza visiva-linguistica accoppiata; SayPlan, LFG e LLM-Planner allineano navigazione e pianificazione al linguaggio a^{terra 34,44}. Per ridurre le allucinazioni e imporre la coerenza semantica, GLAM e Vtimellm introducono gli obiettivi di allineamento^96,97, mentre i framework adattivi validano le uscite LLM rispetto alla^{percezione 98,99}. Il timing modella in modo critico la leggibilità: il timing ottimizzato dei gesti migliora la prevedibilità⁹; l'apprendimento per rinforzo riduce il ritardo audiovisivo nelle pipeline^{emotive 2}; l'intrainamento dei gesti aumenta la fluidità^{percepita a 100}; e le revisioni consolidano gli strumenti LSTM, DTW e GAN per^{l'allineamento 101}. Nel complesso, la continuità richiede un ciclo consapevole della latenza tra percezione, fusione e risposta, dove mimetismo³⁰ e previsione ispirata dal cerrebello predicono la tempistica^{delle coordinate 102}, come illustrato anche dai cicli temporali a livello di sistema nella Figura 10.

Percezione in tempo reale tra le modalità
La fluidità dipende dal ritardo confinato end-to-end su flussi eterogenei. TACTO fornisce feedback tattile ad alta risoluzione con bassa latenza per una manipolazione reattiva. Le mani guidate dai tendoni raggiungono una rapida esecuzione interattiva tramite la visione degli eventi e l'inferenza^{leggera 103}, come mostrato nella Figura 11. Per visione–lingua–azione, accoppiare CLIP con GraspNet accelera la presa in^{clutter 104}. I Transformers supportano la classificazione rapida dei gesti aptici^{sociali 11}. I modelli audiovisivi ottimizzati per i margini sostengono un'inferenza inferiore al^{secondo 24}. Un timing preciso dei movimenti della testa migliora^{l'ingaggio di 105}. Insieme, questi risultati sostengono la fusione sincronizzata, politiche buffer personalizzate per modalità e una leggera attenzione per preservare la coadattamento temporale. La latenza accettabile varia significativamente a seconda del dominio del compito. Nel dialogo sociale o nel riconoscimento delle emozioni, ritardi inferiori a 200–300 ms mantengono la percezione di fluidità e l'interazione naturale. I compiti assistivi come il passaggio di oggetti o il rilevamento delle cadute richiedono vincoli più rigidi (50–150 ms) per garantire sicurezza e reattività. La teleoperazione o la manipolazione collaborativa spesso richiedono una latenza inferiore a 100 ms per prevenire disorientamento o mal d'auto dell'operatore, mentre le applicazioni di navigazione o monitoraggio possono tollerare 300–500 ms senza impatto critico.

Sfide di elaborazione temporale e semantica
Il disallineamento e la latenza erodono fiducia ed efficienza dei compiti, specialmente nei sistemi distribuiti teleoperatore–robot–^{umano 106}. Le strategie percettive e di interfaccia aiutano gli utenti a tollerare il ritardo: gesti corporei e riempitivi non^{lessicali 107}, sovrapposizioni visive e indizi adattivi 108,109,110,111^. La previsione a livello di controllo accorcia i gap di risposta^{di 102}. Le pipeline di dialogo parallele si sovrappongono alla generazione di filler, alla sintesi vocale e al montaggio dei prompt per ridurre il ritardo percepito, come in¹¹² e nella Figura 12. Gli studi di sistema decompongono la latenza cumulativa tra cattura, codifica/decodifica, reti, decisione e attuazione¹¹³. Come mostrato nella Figura 13, la latenza viene introdotta attraverso la cattura del sensore, la codifica e la decodifica video, la trasmissione di rete, l'elaborazione dell'operatore e l'azionamento del veicolo, formando un complesso circuito di feedback bidirezionale. Syntalos fornisce sincronizzazione a millisecondi per esperimenti a circuito^{chiuso 114}. Negli scambi affettivi, la mimetizzazione facciale in tempo reale potenzia la sincronia²³. I domini sensibili al ritardo come la chirurgia remota dimostrano che ancorare l'aptica contro la visione ritardata supporta precisione e^{reattività 115}. Come mostrato nella Figura 14, ancorare il feedback aptico ha portato a prestazioni migliori e a una maggiore sensibilità alla reattività.

Gli effetti a grana fine e il riconoscimento delle intenzioni restano una sfida. Microespressioni, prosodia, sguardo e movimento anticipatorio spesso si verificano brevemente e in modo asincrono. L'emo produce espressioni facciali anticipative allineate allo stato^{utente 116}. Il linguaggio del corpo da solo trasmette l'intento dove volto o voce non sono disponibili^{, 117.} Le visualizzazioni multimodali basate sul peperoncino combinano la classificazione verbale con gesti espressivi e emoji per la sincronia^{emotiva 118}. L'RL online rafforza la fusione di stream facciali e^{vocali 2}, mentre il mimetismo leggero supporta il deployment³⁰ dei bordi. Le questioni aperte includono l'effetto di gruppo, la variazione culturale e la deriva dell'effetto temporale.

La generalizzazione nei domini aperti è anch'essa limitata. L'apprendimento per rinforzo dal feedback umano (RLHF) mostra ricompense scarse e fragilità sotto input fuori distribuzione¹¹⁹. RoboAgent fonde il ragionamento spaziale con il grounding linguistico per il trasferimento^{cross-task 29}. Il ragionamento tramite Action-free Data (RAD) sfrutta video passivi e linguaggio per capacità di zero riprese senza le etichette^{manuali 120}. Perceiver-Actor messa a terra le proprietà degli oggetti per manipolare elementi^{sconosciuti 121}. L'allineamento continuo tra percezione e semantica in RobotGPT e GroundingGPT migliora il ragionamento adattivo, ma affronta ancora sfide di feedback in tempo^{reale 35,36}.

Robustezza multimodale e variabilità ambientale
La robustezza deve abbracciare l'integrità del segnale e la coerenza comportamentale. SimuMuHRI inietta rumore specifico per modalità e dropout per testare^{la resilienza 122}. La simulazione di luce strutturata fisicamente a terra migliora l'affidabilità RGB-D sotto illuminazione e^{occlusione 123,124}. L'accoppiamento latenza–apttica espone la sensibilità nella manipolazione^{remota 125}. I principi di ridondanza e resilienza termica provenienti da sistemi energetici critici per la sicurezza informano l'HRI^126,127 tollerante ai guasti.

La coerenza comportamentale è altrettanto vitale. La discrepanza voce–aspetto riduce la^{fiducia 128}, e il movimento erratico ma corretto mina^{la cooperazione 129}. Il controllo adattivo delle forze basato su osservatori e i controllori di interazione robusta mantengono la stabilità sotto incertezze strutturate e^{non strutturate 130,131}. Anche la copertura del dataset limita i progressi. I dataset di percezione Multiobot—OPV2V¹³², CoPeD^133, CSE¹³⁴ e AgiBot World^{Colosseo 55}—ampliano il sensing collaborativo attraverso simulazione e campo. Le risorse AV-HRI—CHiME-5¹³⁵ con la successiva sfida CHiME-8¹³⁶, AVA-ActiveSpeaker⁴⁵, AFFECT-HRI⁵ e SAVEn-Vid⁴⁶—consentono l'ASR, l'attività del parlante, l'affect e il seguito delle istruzioni a lungo contesto. I benchmark sociali su larga scala—HumorHRI⁴⁷, THÖR-MAGNI¹³⁷, RW4T¹³⁸ e InViG¹³⁹—mirano all'umorismo, alla navigazione, al teaming e al grounding interattivo. Nonostante la vastità, molti dataset sono specifici per dominio o scriptati, con una profondità temporale limitata per valutare la fluidità, come riassunto nella Tabella 3.

Valutazione della continuità
Le metriche convenzionali come accuratezza e latenza non catturano completamente la co-adattazione, la previsione reciproca o la fluidità sociale. I nuovi valutatori valutano coerenza contestuale e^{collaborazione 140}, integrano feedback degli utenti e segnali^{situazionali 141} e aggiungono prevedibilità, coordinazione e comfort all'HRI^{fisico 84}. I framework di squadra quantificano^{l'anticipazione condivisa 74}, mentre i digital twin tracciano la calibrazione della fiducia e la fluidità del team¹⁴². Un benchmark unificato che unga sincronizzazione temporale, allineamento affettivo e fluidità centrata sull'utente rimane una necessità aperta.

Gli sforzi di standardizzazione nella valutazione multimodale delle HRI rimangono limitati e frammentati. Iniziative notevoli come le sfide^{CHiME 135.136} hanno raggiunto benchmark avanzati per il riconoscimento audiovisivo del parlato, in particolare in termini di robustezza del rumore. Dataset come THÖR-MAGNI¹³⁷ e^{RW4T 138} forniscono risorse condivise per la motion capture e i comportamenti di teaming. Tuttavia, non esiste ancora un protocollo unificato ampiamente adottato per la sincronizzazione temporale cross-modale, la fluidità di interazione o l'allineamento affettivo tra diverse modalità e domini. Questa assenza di metriche standardizzate continua a ostacolare la riproducibilità e la comparabilità, sottolineando la necessità di parametri guidati dalla comunità.

Dal laboratorio all'impiego nel mondo reale
Le prestazioni spesso peggiorano in contesti non strutturati a causa di irregolarità sensoriali, mutevoli intenti e colli di bottiglia^{informatici 143}. Questa degradazione delle prestazioni evidenzia un divario persistente tra ambienti di laboratorio e reali. In ambienti controllati, la fusione ibrida e basata sull'attenzione eccellono, offrendo alta precisione e bassa latenza per compiti come la manipolazione di oggetti o la comprensione di scene. Le missioni reali, però, raccontano una storia diversa. I robot assistivi nell'assistenza agli anziani, i sistemi di accompagnamento nelle case e gli strumenti educativi nelle classi si confrontano regolarmente con rumore, occlusione, cambiamenti di illuminazione e comportamenti imprevedibili degli utenti che erodono l'efficacia. Gli approcci di fusione tardiva tendono a dimostrarsi più affidabili in tali condizioni variabili e asincrone, mentre i modelli ibridi, nonostante i loro punti di forza nell'adattamento affettivo e contestuale, possono essere vincolati dalle esigenze computazionali dei dispositivi edge. Molte implementazioni sul campo di successo incorporano ancora ridondanti più semplici o salvaguardie basate su regole per l'affidabilità, sottolineando che passare da dimostrazioni di laboratorio promettenti a prestazioni quotidiane robuste rimane una sfida formidabile. I test ecologicamente validi sono essenziali per identificare quali tecniche avranno davvero successo oltre gli esperimenti controllati. I controllori robusti adattivi mantengono la precisione della forza durante il disturbo¹³¹. La pianificazione collaborativa guidata dagli LLM aggiorna gli obiettivi man mano che l'intento dell'utente evolve¹⁴⁴. Le sovrapposizioni visive e il feedback consapevole della latenza aiutano a mantenere la consapevolezza dell'operatore sotto collegamenti^{degradati 107,109}. Supervisione leggera con LoRa e ombre digitali consente il monitoraggio in campi a bassa larghezza^{di banda 145}. L'esperienza della robotica spaziale evidenzia che l'autonomia deve coevolversi con la cognizione umana sotto incertezza e^{ritardo 146}.

I vincoli di risorse modellano la fattibilità. Il riconoscimento sonoro di effetti e touch funziona sotto 1 MB e 0,7 GFLOP per piattaforme a basso^{consumo 12}. Aggiungere funzionalità social può migliorare la presenza, ma rischia di sovraccaricare quando i ritardi aumentano^{di 147}. La programmazione e la selezione delle funzionalità devono bilanciare la domanda cognitiva con^{la continuità 148}. La mitigazione della latenza copre percezione, controllo e reti come organizzato in ¹¹³. Gli utenti spesso preferiscono interazioni trasparenti e stabili rispetto alla massima efficienza del compito, rafforzando che l'HRI deve dare priorità alla capacità tecnica insieme al comfort^{umano 149.151}. In diversi ambiti, le implementazioni nel mondo reale mostrano preferenze distinte: le applicazioni sociali ed educative spesso si basano sulla fusione ibrida visio-audio per il dialogo affettivo, mentre i compiti assistenziali e collaborativi favoriscono combinazioni visiva-aptica con fusione tardiva o precoce per un'interazione fisica precisa. Questi modelli si allineano con le strategie riassunte—dando priorità alla fusione tardiva per la robustezza in contesti variabili e alla fusione ibrida/basata sull'attenzione per un adattamento contestuale più ricco—anche se la semplificazione per l'affidabilità rimane comune.

Access restricted. Please log in or start a trial to view this content.

Conclusions

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questa recensione presenta diverse limitazioni. Limitare la ricerca alle pubblicazioni in lingua inglese nella Web of Science Core Collection potrebbe aver introdotto un bias linguistico ed escluso lavori rilevanti non in inglese. Concentrarsi sugli articoli sottoposti a revisione paritaria dal 2015 al 2025 potrebbe anche riflettere un bias di pubblicazione, potenzialmente trascurando preprint, letteratura grigia o risultati emergenti non pubblicati. La selezione manuale dei 148 articoli, pur guidata da criteri espliciti...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gli autori dichiarano di non avere conflitti di interesse.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questo lavoro è stato sostenuto dall'Università Sains Malaysia, Bridge Grant con il Progetto N: R501-LR-RND003-0000001342-00000.

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Comunicazione Multimodale Uomo-Robot senza soluzione di continuità: tecniche di integrazione nell'interazione uomo-computer

In This Article

Summary

Abstract

Introduction

Review and Perspective

Conclusions

Disclosures

Acknowledgements

Reprints and Permissions

Tags

Related Articles