Concevoir des cadres d’interaction multimodale adaptatifs pour renforcer la collaboration humain-IA

Résumé

Ce travail propose un mécanisme d’alignement hiérarchique basé sur la distorsion temporelle dynamique (DTW) avec une adaptation en ligne et une fusion multimodale axée sur l’attention, permettant une prédiction fiable de l’intention à long terme et un suivi des tâches. Un module d’explicabilité léger améliore l’interprétabilité, favorisant la confiance dans la collaboration humain-IA. Cette approche se généralise à la fois aux systèmes robotiques et interactifs virtuels.

Résumé

Atteindre une collaboration humain-IA efficace et naturelle reste un défi majeur, en particulier dans des environnements dynamiques et réels. Les cadres existants sont souvent limités par les entrées rigides monomodales ou la fusion multimodale basée sur des règles, ce qui limite leur robustesse, personnalisation et adaptabilité. Cette étude introduit un cadre d’interaction multimodale adaptative qui intègre l’estimation de la posture basée sur la vision et la compréhension des commandes par parole au sein d’un modèle hiérarchique de prévision de l’intention humaine. Le cadre utilise des modèles de séquences basés sur des transformateurs pour la prédiction d’action et la distorsion temporelle dynamique afin d’aligner le comportement humain avec les graphes de tâches structurés pour la planification à long terme. Contrairement aux approches précédentes qui reposaient sur le changement de modalité statique, notre architecture applique un mécanisme de fusion basé sur l’attention pour pondérer dynamiquement les entrées les plus informatives. De plus, un module d’adaptation en ligne permet un ajustement en temps réel du comportement de l’utilisateur, complété par une couche d’explicabilité légère pour favoriser la confiance des utilisateurs. L’évaluation expérimentale dans une tâche d’assemblage collaborative démontre des gains significatifs en performance de la tâche (jusqu’à 24 %), en la précision de la prédiction de l’intention (jusqu’à 18 %) et en la satisfaction des utilisateurs. Ces résultats mettent en lumière l’efficacité et la polyvalence des cadres d’interaction multimodale adaptative, soutenant leur potentiel à faire progresser l’intelligence collaborative vers des systèmes d’IA plus fiables, transparents et orientés vers l’humain.

Introduction

La collaboration homme-robot (HRC) a été l’un des domaines de recherche importants, d’autant plus que les robots sont de plus en plus déployés dans des environnements centrés sur l’humain. Alors que les cadres et technologies pour la CRS à court terme se sont nettement^{améliorés 1,2}, la CRH à long terme n’est pas encore aussi^{mature 3}. Dans les applications industrielles, l’exploitation de la HRC à long terme peut entraîner une augmentation marquée de la productivité et de l’adaptabilité dans des processus de fabrication^{complexes 4}. Les milieux domestiques, les robots comme compagnons ou agents de soins aux personnes âgées ont le potentiel d’améliorer la qualité de vie grâce à un HRC⁵ à long terme. Le secteur médical place des machines communautaires en remplacement des ménages et des aidants, couvrant les soins aux personnes concernées par la démence, l’autisme et d’autres maladies physiques ou^{mentales 6}. Parallèlement, les domaines du voyage et de la convivialité utilisent des robots industriels pour faire progresser la connaissance des^{utilisateurs 7}. En ingénierie intelligente, le but est de participer à l’IA de manière centrée sur l’humain pour récupérer les compétences et produire des cultures personnalisées, une étape connue sous le nom d’Industrie 5.0. Les systèmes de collaboration humain-IA et homme-robot ont été explorés dans divers domaines d’application^{8, 9, 10} ; Cependant, les recherches récentes se sont de plus en plus concentrées sur des environnements robotiques collaboratifs qui nécessitent une prédiction fiable de l’intention et une compréhension des tâches à long terme.

L’IA est déjà profondément ancrée dans la vie quotidienne, et ses applications autonomes ou semi-autonomes se manifestent de plus en plus dans de nombreux domaines de l’entreprise. Cela affirme simplement que des fonctions métier bien fonctionnelles nécessitent actuellement des systèmes capables de s’adapter aux évolutions technologiques et de réactivité aux défis^{organisationnels 11}. Ainsi, la nécessité d’améliorer l’action humaine par l’hybridation, dans le processus d’adoption et de mise en œuvre de l’IA, facilite le surmontage de certains obstacles. Par conséquent, les systèmes hybrides combinent intelligence artificielle et humaine pour accomplir ensemble des tâches complexes, obtenir de meilleurs résultats et développer leurs compétences en apprenant auprès de leurs collègues. Ainsi, des concepts étendus incluant les systèmes intelligents^{hybrides 12}, la collaboration et l’intelligence amplifiée façonnent de manière informelle la recherche et la compréhension de la collaboration en intégrant diverses modalités d’IA.

Le terme « Confiance » est dérivé des études sur les relations interpersonnelles, définissant un lien émotionnel dans les relations humaines. Par exemple, l’auteur¹³ a identifié que le niveau de confiance détermine techniquement des aspects des sentiments, de l’appel supposé et de l’éthique des parties coopérantes. Sur le plan sociologique, les variations de confiance interpersonnelles ont des impacts profonds sur le bien-être individuel, les interactions communautaires, la croissance socio-économique et le comportement^pratique 14,15,16. L’IRH, en essence, est une tentative de relier les conversations procédurales entre travailleurs sociaux et automates astucieux au-delà des barrières linguistiques classiques^{des automates 17}. Une telle interaction combine les forces computationnelles des systèmes autonomes avec l’intuition humaine, permettant une collaboration efficace à travers divers contextes applicatifs. L’utilisation des automates apporte de réels avantages : réduction significative des dépenses financières, empreinte écologique réduite et un risque humain nettement^{moindre 10}. Mais au milieu des réalisations, la confiance humaine dans les robots est un pilier, notamment lorsqu’on évalue la qualité générale de l’interaction^18,19.

Le niveau de confiance humaine accordé aux robots reflète leur importance et leur rôle central dans de nombreux domaines. En santé, la confiance des robots influence la répartition des ressources médicales selon les IRH ainsi que l’efficacité de la suppression des maladies transmissibles 20,21,22^. Dans les applications militaires, le niveau de croyance sociale dans les automates contrôle le niveau de compétence opérationnelle des stratégies d’outil d’investigation militaire et le niveau de précision des transports de combat^23,24. De plus, la croyance en les machines influence la soumission et l’utilisation des mécanismes actifs de standardisation des croyances par IA dans l’élaboration des politiques militaires^{spéculatives 25}. Même dans l’investigation environnementale, par exemple la recherche de haut niveau sur les mouvements corporels, la rationalité des résultats dépend du degré de croyance dans le^{HRI 26}. Un avertissement important est cependant que les difficultés décisionnelles croissantes pourraient dégrader cette confiance, compromettant l’interaction²⁷. Le tableau 1 décrit la vue d’ensemble comparative de plusieurs études.

Article (Année, Source)	Objectifs principaux	Méthodes et modalités clés	Perspectives
Xie & Park (2021, arXiv) [28]	Personnalisez les interactions robotiques avec des robots sociaux émotionnels	Politique pour l’apprentissage par renforcement basée à la fois sur des indices verbaux et non verbaux (position du corps, parole et expressions faciales)	Le comportement d’un robot entraîné en RL change en réponse aux émotions humaines, augmentant la simplicité et l’engagement.
Li et al. (2022, IEEE T-IE) [29]	Faciliter un support proactif pour l’assemblage de fabrication	Prédiction de l’intention, apprentissage par transfert et apprentissage multimodal (visuel + squelettique)	Amélioration de la proactivité robotique par rapport aux références ; Prédiction d’action plus rapide et plus précise lors de l’assemblage
Abdelrahman et al. (2022, IEEE Access) [30]	Estimation de l’implication en temps réel dans l’IRH de groupe	Classification basée sur des règles combinée à un apprentissage profond et à la posture du regard/tête basée sur la vision	≥90 % de score F ; gère plusieurs utilisateurs simultanément dans des configurations physiques
Chiossi et al. (2025, arXiv) [31]	Structure pour la transmission d’intention multimodale et dynamique dans les environnements de fabrication	Disposition théorique multifacette : couches de transparence SAT ; modes haptique, auditif et visuel	Établit le cadre conceptuel et explique le médium, la planification et l’intention de l’environnement de conception.
McGrath et al. (2024, arXiv) [32]	Modéliser le développement de la confiance dans les relations humain-IA qui sont adaptables.	Phases d’équipe plus antécédents de fiducie ; un modèle de confiance dynamique qui ne dépend pas de modalités particulières	Fournit des principes de conception conscients de la confiance pour toutes les étapes de l’interaction et du temps.
Fragiadakis et al. (2024, arXiv) [33]	Standardisez l’évaluation de la coopération entre humains et IA.	Des métriques sélectionnées par un arbre de décision selon le mode HAIC ; Métriques à méthodes mixtes	Le cadre aide à sélectionner les métriques pertinentes pour les modalités d’interaction symbiotique centrées sur l’IA/l’humain.
Younis et al. (2023, MDPI) [34]	HRI qui s’adapte au contexte en utilisant l’inférence démographique	L’âge et le sexe sont estimés à l’aide de modèles visuels et audio, et le comportement des robots est ajusté en conséquence.	L’enquête résume les approches et souligne l’importance de l’adaptation personnalisée en IRH.

Tableau 1 : Un aperçu comparatif des recherches récentes en collaboration humain-IA qui met l’accent sur les principaux objectifs, méthodologies et résultats de chaque étude. Ensembles de données utilisés dans l’étude, leurs spécifications, leur taille, les modalités et la répartition des participants.

Bien que le cadre actuel de collaboration humain-robot (HRC) hiérarchique et multimodale montre des progrès impressionnants dans l’utilisation des modalités visuelles et sonores pour une collaboration à long terme, plusieurs lacunes en recherche subsistent, ce qui nuit à son applicabilité à des contextes plus généraux de collaboration Humain-IA. D’une part, le cadre actuel est principalement applicable à la robotique physique (par exemple, le bras KINOVA GEN3) et non transférable aux agents d’IA non incorporés ou virtuels existant dans divers environnements^{numériques 28}. Deuxièmement, bien que la multimodalité soit prise en charge par la vision et la parole, le système met en œuvre une stratégie prédéfinie de changement de modalité au lieu d’une fusion dynamique dépendant du contexte, selon l’état de l’utilisateur ou la difficulté^{de la tâche 29}. Troisièmement, l’approche met l’accent sur l’efficacité et la résilience des tâches mais ne modélise pas spécifiquement la confiance des utilisateurs, la charge cognitive ou l’état affectif, qui sont essentiels à la collaboration à long terme et à l’explicabilité du système. De plus, l’interprétabilité humaine et la confiance dans le comportement adaptatif du système sont limitées lorsque les processus d’explicabilité sont absents de la prise de décision. Enfin, l’évaluation est limitée à un seul domaine (assemblage de voitures-jouets) sans validation multi-domaine, représentant la variabilité dans le^{monde réel 30}. De telles lacunes nécessitent le développement d’un cadre d’interaction multimodale généralisé, adaptatif et centré sur l’humain, qui combine dynamiquement des canaux d’entrée hétérogènes et modélise en temps réel l’intention, la confiance et le contexte humain afin d’augmenter la collaboration Humain-IA.

L’objectif principal de cette étude est de maximiser la collaboration humain-IA à travers la conception d’un système d’interaction multimodal adaptatif qui unifie les modalités de vision et de parole avec la modélisation utilisateur en temps réel. S’appuyant sur la solide base d’une collaboration robuste et durable, entre humains et robots, ce travail généralisera l’architecture multimodale aux systèmes d’IA généraux en dehors de la robotique, tels que les agents virtuels et les interfaces intelligentes. L’accent principal est mis sur la prédiction dynamique de l’intention via des mécanismes de planification hiérarchique, qui intègrent la compréhension de l’action de bas niveau et le suivi de l’avancement des tâches de haut niveau. Contrairement aux systèmes basés sur des règles, le cadre présenté ici utilisera des méthodes d’apprentissage adaptative, incluant des mises à jour spécifiques aux modèles et la fusion de modalités contextuelles, afin d’adapter dynamiquement le comportement d’interaction selon les préférences de l’utilisateur, son statut cognitif et ses dynamiques environnementales. De plus, le cadre vise également à renforcer la transparence et la confiance grâce à un raisonnement d’interaction explicable, permettant aux utilisateurs de comprendre les choix de l’IA et de donner des retours. Enfin, cette recherche vise à améliorer la fluidité des interactions, l’efficacité des tâches et la satisfaction à long terme des utilisateurs dans différents contextes collaboratifs.

Cet article présente un nouveau cadre d’interaction multimodale adaptative destiné à promouvoir la collaboration humain-IA en fusionnant dynamiquement les modalités visuelles et audio. Le système « unimodal » désigne un modèle qui utilise une seule modalité d’entrée (par exemple, visuelle ou vocale) pour l’exécution des tâches et la prédiction de l’intention, sans intégrer d’informations sur plusieurs canaux. Le système « non adaptatif » désigne un système basé sur des règles ou à stratégie fixe qui n’ajuste pas son comportement en fonction des actions ou du contexte de l’utilisateur, comme la référence du changement basé sur les règles. Ces références fournissent des points de référence pour évaluer les avantages de la perception multimodale et des stratégies d’interaction adaptative mises en œuvre dans notre modèle proposé de Transformer avec fusion guidée par l’attention. Basée sur les précédents paradigmes hiérarchiques^{de la CRH 31}, notre méthode apporte plusieurs innovations importantes :

Ce travail présente un mécanisme d’alignement basé sur la distorsion temporelle dynamique (DTW) qui mappe les actions humaines de bas niveau attendues vers les nœuds d’un graphe hiérarchique de tâches, contrairement aux précédents systèmes d’interaction multimodaux qui se concentrent principalement sur la reconnaissance d’actions à court^{terme 32}. Face à l’imprévisibilité temporelle et aux entrées multimodales bruyantes, cela permet une prédiction fiable des intentions à long terme et un suivi de l’avancement des tâches.

Un module d’adaptation en ligne qui met à jour en continu les modèles d’inférence d’intention et de prédiction d’action lors de l’interaction est intégré au système suggéré. Cela permet de compenser les inconvénients des modèles multimodaux statiques ou entraînés hors ligne en permettant au système de s’adapter dynamiquement aux comportements, préférences et changements contextuels uniques des utilisateurs.

Les modalités visuelles et auditives sont pondérées dynamiquement en fonction de leur importance contextuelle à chaque étape temporelle, en utilisant une technique de fusion unique basée sur l’attention. Cette approche de fusion basée sur les données améliore la robustesse dans divers contextes d’interaction et remplace le changement de modalité basé sur des règles.

Cette étude intègre un module d’explicabilité léger qui transforme la planification hiérarchique et les décisions de fusion en justifications compréhensibles afin de combler l’écart d’interprétabilité dans les systèmes adaptatifs humain-IA. Cela améliore la qualité de la collaboration à long terme et encourage un calibrage approprié de la confiance.

L’approche suggérée vise à généraliser au-delà des robots incarnés aux agents virtuels et aux interfaces intelligentes, étendant ainsi son utilité à de nombreux domaines de coopération humain-IA, même si elle a été prouvée lors d’une activité d’assemblage collaborative réelle utilisant une plateforme robotique.

Protocole

L’architecture proposée pour augmenter la coopération humain-IA utilise un pipeline d’interactions multimodales adaptatives combinant la vision et les modalités de parole dans un cadre de raisonnement dynamique et hiérarchique. Cette étude a utilisé des données publiques issues d’expériences publiées auparavant. Aucun nouveau sujet humain n’a été impliqué, et aucune approbation éthique supplémentaire n’a été requise.

Architecture d’interaction multimodale adaptative proposée

Fondamentalement, le système commence par des modules de perception, tels que le flux visuel capture la pose et le mouvement de l’utilisateur à l’aide de capteurs RGB-D, et un flux audio analyse les entrées vocales à l’aide d’un moteur ASR (Reconnaissance Automatique de la Parole) léger. Ces entrées brutes sont introduites dans le module de prédiction d’actions basé sur Transformer, qui encode les dépendances temporelles dans les séquences de pose et de commandes pour raisonner sur des actions humaines de bas niveau. Par la suite, pour permettre une planification collaborative de haut niveau, un mécanisme de Distorsion Temporelle Dynamique (DTW) aligne les actions détectées avec les nœuds d’un graphe de tâche prédéfini afin de prédire les objectifs et actions suivantes de l’utilisateur. Un nouveau module de fusion basé sur l’attention décide, à chaque pas de temps, quelle modalité (audio ou vision) fournit les informations les plus importantes sur le plan contextuel et ajuste dynamiquement les poids d’entrée. Pour individualiser l’interaction, le système inclut l’adaptation de modèles en ligne, adaptant en temps réel les prédicteurs d’action à l’évolution du comportement des utilisateurs. Un module d’explicabilité léger crée également des résumés conviviaux des intentions prédites et des décisions d’IA pour améliorer la transparence et la confiance. L’ensemble du système est testé dans un environnement d’assemblage coopératif simulé mais réel, permettant la comparaison entre environnements unimodaux et adaptatifs-multimodaux. Une telle approche facilite une collaboration plus adaptable, plus intuitive et plus fiable avec les agents IA dans tous les domaines.

La figure 1 montre l’architecture du cadre d’interaction multimodale adaptative décrit visant à améliorer la collaboration humain-IA. Elle commence par la phase d’acquisition d’entrée, qui repose sur deux principaux dispositifs de détection : une caméra RGB-D pour observer les informations visuelles en profondeur (par exemple, la posture et les mouvements humains) et un microphone directionnel pour collecter les commandes vocales. Les signaux bruts sont ensuite passés par le module de prétraitement, qui traite les données audiovisuelles pour une analyse ultérieure en nettoyant, normalisant et formatant les flux d’entrée. Ensuite, le pipeline passe à la phase d’extraction de caractéristiques, où les données sont divisées en deux flux : le flux visuel, qui isole les caractéristiques de pose et de mouvement grâce à des algorithmes d’estimation de pose, et le flux audio, qui transcrit la parole en embeddings de commandes interprétables. Un encodeur Transformer multimodal, qui utilise l’auto-attention multi-têtes et un encodage positionnel temporel pour exprimer l’interdépendance à longue portée entre les séquences d’interactions, traite ensuite la représentation fusionnée. L’état actuel de l’objectif de l’utilisateur est estimé à l’aide d’un prédicteur d’intention à long terme et de progression de la tâche, et les actions de bas niveau sont mappées à des nœuds dans un graphe hiérarchique des tâches pour un suivi fiable des tâches via un module d’alignement basé sur DTW. Les poids de fusion et les paramètres de prédiction sont continuellement mis à jour via une boucle d’adaptation de modèle en ligne en réponse au retour d’interaction, et un module d’explicabilité fournit des explications claires pour favoriser l’ouverture et la confiance. L’ensemble du pipeline permet au système de travailler de manière adaptative et efficace avec les utilisateurs sur des tâches et des environnements dynamiques.

Figure 1 : Aperçu du cadre d’interaction multimodale suggéré basé sur les transformateurs. Une technique guidée par l’attention est employée pour encoder et intégrer dynamiquement les données visuelles et sonores. Un module Transformer, qui intègre la modélisation hiérarchique des tâches et l’adaptation en ligne, traite la représentation fusionnée pour la prédiction de l’intention à long terme et l’estimation de l’avancement des tâches. . Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Le système suggéré intègre un module d’explicabilité léger qui fonctionne en tandem avec les composantes de fusion multimodale et de planification hiérarchique afin d’améliorer la transparence et la confiance des utilisateurs. Le module tire des indices interprétables de l’alignement des graphes de tâches basé sur DTW (par exemple, l’avancement actuel de la tâche et la prochaine action anticipée) et de la couche de fusion basée sur l’attention (par exemple, les poids d’importance des modalités). Ces indices sont convertis en explications compréhensibles pour les humains, comme si les ordres prononcés ou les gestes visuels ont surtout influencé un choix du système et comment l’action anticipée s’inscrit dans le plan de travail plus large. Les utilisateurs reçoivent des explications sous forme de retours écrits ou visuels succincts, qui les aident à comprendre, prédire et, si nécessaire, à corriger le comportement du système. L’amélioration du bonheur des utilisateurs, la fluidité des interactions et les indicateurs liés à la confiance indiqués dans l’évaluation sont des indicateurs indirects de la perception de l’explicabilité par l’utilisateur. Les résultats suggèrent que dans les interactions humain-IA à long terme, le raisonnement transparent des décisions liées à l’IA renforce la confiance des utilisateurs, facilite la collaboration et accroît l’acceptation du comportement adaptatif des systèmes.

Données d’entrée

L’acquisition des entrées dans le cadre envisagé pour la collaboration Humain-IA se fait à travers un mécanisme structuré de détection multimodale qui combine les modalités de vision et d’audition pour réaliser efficacement les actions et intentions humaines. L’entrée visuelle est acquise avec une caméra RGB-D, qui capture en temps réel des informations de pose des humains, de la position spatiale et du contexte des environs. Les données visuelles sont traitées via des modèles pré-entraînés tels que BlazePose pour obtenir des points clés du haut du corps pour les tâches d’interaction. En même temps, des informations auditives sont obtenues à partir d’un microphone directionnel et interprétées via un modèle DeepSpeech pré-entraîné pour identifier les commandes vocales qui disambiguïsent ou fournissent des indices visuels incertains supplémentaires. Dans les contextes coopératifs, le système à double entrée offre une adaptation dynamique et une perception consciente du contexte. L’ensemble de données d’entraînement et d’évaluation comprend plus de 5 000 trajectoires multimodales de mouvement^{humain pour} une gamme d’activités d’interaction, telles que les comportements d’assemblage et de passation, recueillies auprès de quatre utilisateurs dans des environnements contrôlés et semi-structurés. Pour améliorer la généralisation, le système permet l’adaptation en ligne des modèles lors du déploiement, ce qui permet au modèle de mettre à jour ses prédictions en temps réel en fonction de l’évolution du comportement des utilisateurs et de la dynamique environnementale.

Description du jeu de données

L’ensemble de données d’entraînement et d’évaluation pour le cadre suggéré a été obtenu à partir d’expériences réelles de collaboration homme-robot dans le cadre d’une tâche d’assemblage de voitures jouets utilisant le robot^{KINOVA GEN3 1}. L’environnement expérimental visait à imiter des activités collaboratives à long terme englobant l’interaction multimodale, incluant à la fois des modalités visuelles et auditives. En particulier, le jeu de données d’entraînement comprend 3 003 séquences de trajectoires provenant de deux utilisateurs, et le jeu de données de test contient 2 088 séquences, incluant des données de deux nouveaux utilisateurs pour évaluer la généralisation du modèle. Chaque trajectoire enregistre une séquence en 5 étapes de points clés de pose du haut du corps récupérés avec BlazePose, ainsi que les commandes vocales correspondantes transcrites par^{DeepSpeech 33}. Les données collectées illustrent la variation humaine naturelle dans l’expression des gestes et des commandes lors d’activités telles que la livraison d’objets, l’utilisation d’outils et les actions coopératives. L’ensemble de données multimodal constitue la base de l’apprentissage supervisé des modèles DLinaire de prévision de l’action et de la trajectoire, et constitue la référence centrale dans les études utilisateurs réalisées sous des conditions visuelles uniques, audio et multimodales. L’intégration de différents types d’utilisateurs et des conditions de bruit réalistes garantit des tests de robustesse et d’adaptabilité pour les systèmes HRC permanents. Le tableau 2 présente la description détaillée de l’ensemble de données.

Attributs	Détails
Nom du jeu de données	Ensemble de données d’assemblage de voitures jouets (collecté en interne)
Environnement de collection	Expérience réelle de HRC avec le bras KINOVA GEN3
Nombre d’utilisateurs (formation)	2 utilisateurs
Nombre d’utilisateurs (Test)	4 utilisateurs (2 issus de l’ensemble d’entraînement, 2 invisibles)
Trajectoires totales (Entraînement)	3 003 trajectoires
Trajectoires totales (essais)	2 088 trajectoires
Modalités capturées	Visuel (RGB-D pour la pose), Audio (commandes vocales)
Format des données	Points clés de pose (de BlazePose), commandes de reconnaissance vocale
Résolution temporelle	Chaque trajectoire comprend des pas de 5 temps
Tâches couvertes	3 tâches principales : Pick-and-place, rotation d’objets, assemblage collaboratif
Utilisation	Entraînement supervisé de modèles de prédiction d’action/trajectoire ; Étude utilisateur

Tableau 2 : Description du jeu de données. Informations sur l’environnement de simulation, y compris le cadre de programmation, les paramètres matériels et l’environnement d’évaluation.

Prétraitement des jeux de données

Pour permettre une interaction multimodale adaptative dans la collaboration humain-IA, le jeu de données brut, tel que les données visuelles (images RVB et en profondeur), auditive (commandes vocales) et temporelles (points clés posés), est soumis à un prétraitement structuré. Les données visuelles sont d’abord extraites par un modèle d’estimation de_{pose f} pose, généralement dérivé de BlazePose ou OpenPose. Pour le référentiel t, le vecteur de la pose humaine est défini comme suit :

(1)

Où k est le nombre de points clés et chaque point clé contient des coordonnées 2D. Les séquences sont normalisées par longueur du torse et lissées au fil du temps avec un filtre Savitzky-Golay :

(2)

où w est la taille de la fenêtre de filtrage. Deuxièmement, les flux audio bruts At sont découpés en segments à l’aide d’un détecteur d’activité vocale (VAD). Des segments crédibles sont intégrés dans un_{modèle de reconnaissance} vocale f (par exemple, DeepSpeech) pour extraire des jetons de commande :

(3)

où V est le vocabulaire des commandes reconnues. Pour l’intégration, les jetons de commande pour tous sont alignés dans le temps des horodatages visuels de pose à l’aide d’une fonction d’alignement basée sur l’interpolation τ :

(4)

Troisièmement, pour former les séquences d’entraînement à intention temporelle , on définit des séquences de trajectoire , ainsi que les commandes vocales associées . Celles-ci sont fenêtrées en segments de longueur fixe utilisant des fenêtres coulissantes de taille l :

(5)

(6)

Enfin, les entrées sont normalisées à une moyenne nulle et à une variance unitaire par dimension de points clés pour la convergence dans les modèles de prédiction basés sur la trajectoire :

(7)

où μ_j, σ_j sont la moyenne et l’écart-type du point clé j complétant l’ensemble d’entraînement.

Extraction des caractéristiques

Dans le paradigme d’interaction multimodale adaptative décrit, une coopération forte et en temps réel est rendue possible en combinant des fonctionnalités de tâches visuelles, sonores et contextuelles. Le pipeline d’extraction des caractéristiques commence par l’acquisition simultanée de données à partir de deux principales modalités : les signaux visuels et les signaux audio, indexés à l’étape t. Ces observations sont transmises à travers des modules de perception correspondants afin d’obtenir des caractéristiques sémantiques de haut niveau relatives au comportement humain, à l’intention et à la commande de la parole.

Extraction des caractéristiques visuelles

Les données visuelles brutes des caméras RGB-D sont transmises via un estimateur de pose humaine (par exemple, BlazePose), fournissant un vecteur de points clés spatiaux , où k représente le nombre de points clés détectés et chacun contient des coordonnées 3D :

(8)

Ces points clés sont intégrés dans le temps dans une trajectoire de pose, à partir de laquelle la dynamique du mouvement est extraite via la décomposition tendance-saisonnière :

(9)

où ∈_t représente le bruit résiduel.

Extraction des caractéristiques audio

L’entrée audio est traitée via un modèle de reconnaissance vocale pré-entraîné (par exemple, DeepSpeech) et produit une représentation de commande tokenisée , où n est la longueur du jeton :

(10)

Fusion multimodale

Pour construire un contexte d’interaction unifié, nous combinons les caractéristiques par une attention pondérée par la confiance basée sur la confiance et l’information mutuelle :

(11)

où φ_V et φ_A sont les fonctions de projection des caractéristiques visuelles et auditives dans un espace latent partagé, et α_t∈[0,1] est un terme de pondération de modalité dynamique calculé sur la base de l’entropie :

(12)

Ici, et sont des informations mutuelles entre l’état objectif g et les modalités observées.

Planification à l’aide de l’intégration contextuelle

Le dernier vecteur de caractéristiques multimodal F_t est enrichi en contexte de tâche et en progrès P_t et devient l’entrée d’état du module de planification adaptative :

(13)

Cette caractéristique extraite_{x t} est utilisée comme entrée aux modèles de prédiction d’intention et de planification de mouvement en aval, soutenant une collaboration humain-IA adaptative et robuste dans des contextes dynamiques et incertains.

Prédiction d’action et de plan via l’alignement du graphe de tâche

En suivant le processus d’extraction multimodale des caractéristiques, où l’intention de la parole (audio), la trajectoire de la pose (visuelle) et les données contextuelles (par exemple, journaux de tâches ou émotions) sont intégrées dans le traitement suivant, inclut la prédiction adaptative des actions humaines et l’inférence de plans utilisant l’alignement hiérarchique des graphes de tâches.

Soit le vecteur de caractéristiques multimodal intégré au pas de temps t représenté comme suit :

(14)

Le système prévoit initialement l’action humaine de bas niveau via une_{fonction fact}, souvent représentée par un encodeur-décodeur ou transformateur récurrent :

(15)

où F_(t-k :t) désigne la séquence de fusion des caractéristiques dans les k dernières pas de temps, et est l’action prévue à partir de l’ensemble d’actions A. Le module est en ligne affiné par perte adaptative :

(16)

Ici, CE est la classification d’action de la perte croisée d’entropie, puis le second terme pousse une bonne prédiction de trajectoire future.

Pour la prédiction de plan de haut niveau, nous présentons la tâche comme une progression le long d’un graphe hiérarchique de tâche G = (N, E), où chaque nœud n_i ∈N signifie un sous-tâche ou un objectif intermédiaire. L’objectif est de faire correspondre la séquence d’actions observée avec un chemin de tâche de référence R*∈G en réduisant la distance :

(17)

Où P_t désigne la trace de progression actuelle et d(⋅) désigne la distance ou métrique d’alignement souple de Dynamic Time Warping (DTW).

L’intention ultime au niveau du plan est alors dérivée en projetant l’action prédite a ̂_t sur l’étape suivante la plus probable du chemin aligné :

(18)

Ce décodage hiérarchique garantit que, même avec une entrée sensorielle floue ou bruyante, le système choisit l’intention de haut niveau la plus pertinente sur le plan contextuel, cohérente avec la séquence de tâche en cours. Cette planification prédictive améliore non seulement l’efficacité de la collaboration, mais renforce aussi l’anticipation et l’adaptabilité au sein de l’interaction Humain-IA sur plusieurs tours.

Mécanisme de fusion multimodale (basé sur l’attention)

Dans la collaboration adaptative humain-IA, l’intégration multimodale de plusieurs modalités sensorielles (par exemple, visuelle : pose humaine, trajectoire ; auditive : commandes vocales) est nécessaire pour une bonne interprétation de l’intention de l’utilisateur. Une approche basée sur des règles ou de fusion statique ne peut pas faire face aux interactions humaines dynamiques dans le monde réel. Pour cela, un mécanisme de fusion basé sur l’attention est présenté ici pour pondérer dynamiquement chaque modalité selon son importance contextuelle à chaque étape temporelle.

Notons respectivement les vecteurs de caractéristiques extraits des modalités visuelle et audio comme et , respectivement. Ces vecteurs encodent des informations sémantiques obtenues via des pipelines de traitement antérieurs, par exemple, les caractéristiques visuelles peuvent résulter de l’estimation de la pose et de la prédiction d’action, tandis que les caractéristiques audio peuvent être dérivées des embeddings de la voix utilisant des modèles comme DeepSpeech ou wav2vec.

L’objectif de la fusion basée sur l’attention est de calculer des poids d’attention spécifiques à chaque modalité qui capturent la signification relative de chaque modalité. Cela se fait à l’aide d’un mécanisme d’attention douce.

Calcul par poids d’attention

Dans une première étape, les deux vecteurs sont transformés en un espace d’attention partagé grâce à une transformation apprenable. C’est-à-dire que pour chaque modalité i∈{V,A}, le score d’attention intermédiaire est calculé comme suit :

(19)

où et sont des paramètres apprenables par réseau d’attention, et TANH est une fonction d’activation non linéaire. Cette conversion permet au modèle d’extraire des corrélations de haut niveau et de la saillance contextuelle de chaque modalité.

Ces scores d’attention non normalisés e_V et α_A sont alors normalisés avec une fonction softmax de sorte qu’ils s’additionnent à 1

(20)

Ici, α_V et α_A sont respectivement les poids d’attention sur les modalités visuelle et audio. Les poids sont adaptatifs puis mis à jour au fil du temps selon le contexte de la tâche existante, la qualité du signal et l’activité des utilisateurs.

(21)

La représentation fusionnée résultante est obtenue comme une combinaison pondérée des vecteurs de modalité d’entrée :

Ce vecteur combiné encode la sémantique commune des informations visuelles et auditives de manière à mettre en lumière activement le flux le plus informatif. Il est ensuite intégré dans des modules en aval comme le suivi de graphes de tâches, la prédiction d’intention ou le moteur de planification de mouvement robotique.

Algorithme 1 : Fusion basée sur l’attention multimodale

Entrée : Le vecteur des caractéristiques visuelles est h_V∈^{R d}, le vecteur des caractéristiques audio est h_A∈^{R d}

Paramètres apprenables : W∈R^k*d, W∈^{R k} et b∈^{R k}

Sortie : représentation fusionnée h_fusionné∈R^d.

Étape 1 : Déterminer les représentations intermédiaires en calculant à l’aide de l’équation 19

Étape 2 : Utilisez Softmax pour normaliser les scores d’attention en utilisant l’équation 20

Étape 3 : Calculez le vecteur fusionné à l’aide de l’équation 21

Étape 4 : Retourner h_fusionné

L’algorithme de fusion multimodale basée sur l’attention offre un moyen de fusion intelligente des caractéristiques de différentes modalités d’entrée, telles que les flux visuels et audio, de manière consciente du contexte. La fusion est essentielle dans les systèmes où chaque modalité présente des informations complémentaires mais variées, comme dans les environnements collaboratifs humain-IA où la vision capte les gestes ou la position du corps et l’audio capte les commandes vocales ou les signaux vocaux.

L’algorithme 1 commence par déterminer des représentations intermédiaires pour chaque modalité. Pour calculer ces deux modèles, e_V pour le flux visuel et e_A pour le flux audio, une couche de réseau de neurones partagé effectue d’abord une transformation non linéaire sur les vecteurs de caractéristiques correspondants. Ensuite, les pondérations d’attention α_V et α_A sont calculées en effectuant une fonction softmax sur les scores intermédiaires. Cela aide à faire des poids positifs et à s’additionner à 1, ce qui normalise essentiellement les contributions de chaque modalité. Plus une modalité est informative, telle que modélisée, plus son poids d’attention est élevé.

En fin de compte, l’algorithme calcule la représentation fusionnée h fusionnée à travers une combinaison pondérée des vecteurs de caractéristiques graphiques et audio, normalisée avec leurs poids d’attention respectifs. Ce vecteur fusionné combine les deux modalités de manière axée sur les données et sensible au contexte, et sert à des tâches ultérieures telles que la reconnaissance d’intention, la prise de décision ou la planification des mouvements robotiques. Au total, cet algorithme permet au système de se concentrer dynamiquement sur la modalité ou la combinaison de modalités la plus pertinente à un moment donné, au lieu d’utiliser des approches de fusion fixes ou basées sur des règles. Cela rend le cadre plus solide, plus flexible et plus réactif dans les situations d’interaction dynamique entre l’humain et l’IA.

La Figure 2 illustre le flux de travail du mécanisme de fusion multimodale basée sur l’attention qui opère dans l’intégration contextuelle des entrées visuelles et auditives. L’extraction de caractéristiques visuelles, la première étape du flux de travail, consiste à extraire des caractéristiques spatiales ou liées à la posture à partir d’images ou de vidéos d’entrée (comme les caméras RGB-D). Ces éléments sont ensuite intégrés dans un module d’Attention Visuelle qui apprend à mettre en avant le contenu le plus informatif de l’information visuelle. Parallèlement, les modules Audio Attention traitent les embeddings de la parole ou les jetons audio issus de commandes vocales, attribuant une signification contextuelle à différents signaux auditifs. Les caractéristiques résultantes pondérées par l’attention sont intégrées via une couche de fusion basée sur l’attention et transmises à un réseau d’avance par position avec des connexions résiduelles et une normalisation de couche, formant un bloc standard d’encodeur Transformer. Le résultat est un embedding multimodal unifié qui supporte une prédiction robuste de l’intention à long horizon et une prise de décision adaptative sous des conditions d’interaction variables. Cette conception permet au système de se concentrer sélectivement sur la modalité la plus robuste à tout moment, améliorant la robustesse et l’interprétabilité dans les interactions humain-IA en temps réel.

Figure 2 : Construction détaillée du module de fusion multimodale guidée par l’attention. Afin de générer une représentation fusionnée consciente du contexte à chaque pas de temps, les encodeurs spécifiques à chaque modalité collectent des caractéristiques issues de flux visuels et auditifs. Ces caractéristiques sont ensuite pondérées dynamiquement à l’aide d’un mécanisme d’attention basé sur les données. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Adaptation en ligne de modèles

Pour garantir une collaboration humain-IA de haute qualité sous différents comportements et contextes utilisateurs, notre cadre intègre un mécanisme d’adaptation de modèle en ligne qui optimise progressivement les modèles spécifiques à l’utilisateur lors de l’interaction. Le module suit les signaux comportementaux en temps réel (par exemple, la pose, les trajectoires gestuelles, le ton de la parole) et met à jour les modèles prédictifs sous-jacents avec des algorithmes d’apprentissage incrémental. En particulier, les modèles de prédiction de trajectoire et de reconnaissance d’intention sont affinés avec des entrées récentes via un ajustement fin basé sur le gradient ou une adaptation de rang bas (LoRA), permettant au système de s’adapter à l’évolution du comportement utilisateur ou aux exigences spécifiques à la tâche sans avoir à être entièrement réentraîné.

La couche de rétroaction agit harmonieusement avec l’adaptation à la fois par la rétroaction implicite (par exemple, corrections, hésitations, retards) et par des commandes explicites (par exemple, la parole ou l’interface graphique). Il a deux objectifs : calibrer de manière adaptative la saillance des indices multimodaux, et transmettre des mesures de confiance/confiance aux modules de décision et de contrôle.

Le cycle de rétroaction permet une performance des tâches plus fluide et des réponses orientées utilisateur. Pour favoriser la confiance et la transparence, le cadre intègre un module d’explicabilité qui traduit les décisions de bas niveau du modèle en justifications compréhensibles pour l’humain. Il utilise des cartes de rationalisation issues d’un transformateur de fusion multimodal, complétées par un traçage logique à travers le graphe de tâche. Il peut éventuellement présenter cette justification via une interface graphique ou un assistant auditif afin de permettre aux utilisateurs de comprendre et peut-être même de corriger le comportement du système.

Résultats

Le modèle d’interaction multimodale adaptative proposé ici répond à ces préoccupations et améliore considérablement la collaboration humain-IA en combinant de manière fluide les modalités de vision et de parole avec les processus d’adaptation utilisateur en temps réel. Contrairement au système multimodal hiérarchique de base, notre approche inclut une boucle de rétroaction personnalisée ainsi qu’une adaptation consciente de la charge cognitive qui offre une interaction plus intuitive et ...

Discussion

Les résultats démontrent de manière concluante l’efficacité suggérée sur la base d’interaction multimodale adaptative pour renforcer la collaboration humain-IA.

Outre les scores standards d’évaluation tels que le temps d’achèvement de la tâche (TCT), la précision de la prédiction de l’intention humaine (HIPA), l’efficacité de la fusion multimodale (MFE), le taux de récupération des erreurs (ERR), le score de satisfaction utilisateur (USS) et l’indice de fluidi...

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Appareil photo RGB-D (Intel RealSense D435)	Intel Corporation	D435	Résolution de profondeur 1280 et fois ; 720 px @ 30 fps ; Résolution RVB 1920 et jours ; 1080 px @ 30 fps ; Utilisé pour capturer la posture de l’utilisateur, les mouvements du corps et le contexte spatial
Microphone directionnel	Générique / Plusieurs fournisseurs	N/A	Microphone large bande à réduction de bruit (16 kHz&ndash ; 44,1 kHz) ; utilisé pour collecter des commandes parlées
BlazePose (modèle pré-entraîné)	Google	https://developers.google.com/mediapipe/solutions/vision/pose	Modèle d’estimation de pose avec 33 points clés ; Extraction en temps réel de la pose humaine
OpenPose (modèle pré-entraîné)	Laboratoire de calcul perceptif de CMU	https://github.com/CMU-Perceptual-Computing-Lab/openpose	Cadre d’estimation de pose multi-personne utilisé pour extraire les trajectoires de mouvement
Moteur ASR DeepSpeech	Mozilla	v0.9.3	Modèle préentraîné de reconnaissance vocale automatique pour la transcription de la reconnaissance vocale en texte
Moteur ASR wav2vec 2.0	Méta IA	https://github.com/facebookresearch/fairseq	Modèle de représentation vocale auto-supervisée pour le traitement de la parole en temps réel
Modèle de prédiction d’action basé sur un transformateur (DLinear / Seq2Seq)	Implémentation personnalisée	N/A	Architecture encodeur-décodeur temporel avec attention à la prévision d’actions à court terme
Module de distorsion temporelle dynamique (DTW)	Personnalisé / basé sur SciPy	https://docs.scipy.org/doc/scipy/reference/generated/scipy.spatial.distance.cdist.html	Algorithme d’alignement doux pour associer les actions utilisateur à des graphes de tâches prédéfinis
Réseau de fusion multimodale basé sur l’attention	Implémentation personnalisée	N/A	Mécanisme d’attention pondéré en confiance pour fusionner la vision et la parole
Module d’adaptation en ligne (LoRA / Basé sur le gradient)	Implémentation personnalisée	https://github.com/microsoft/LoRA	Ajustement fin léger et efficace en termes de paramètres pour s’adapter au comportement de l’utilisateur
Module d’explicabilité (Basé sur des règles + cartes d’attention)	Implémentation personnalisée	N/A	Fournit une justification décisionnelle interprétable à l’aide de règles et de visualisations de l’attention
Bras robotique KINOVA Gen3	KINOVA Robotics	Gen3	Manipulateur robotisé 7-DOF avec capteurs de couple intégrés ; Utilisé pour l’assemblage collaboratif de voitures-jouets
Environnement de simulation d’assemblage coopératif	Environnement personnalisé	N/A	Configuration réelle d’assemblage de voitures-jouets utilisée pour le benchmarking collaboratif multimodal
Indicateurs d’évaluation (TCT, HIPA, MFE, Latence, ERR, USS, ISI)	Définitions personnalisées	N/A	Indicateurs quantitatifs et centrés sur l’utilisateur pour évaluer l’efficacité, la précision et la confiance de la collaboration