Communication multimodale sans interfusion homme-robot : techniques d’intégration dans l’interaction homme-machine

Résumé

Cette revue synthétise les avancées récentes en apprentissage profond, détection multimodale et stratégies d’intégration qui permettent une communication fluide, adaptative et centrée sur l’humain entre humains et robots.

Résumé

La communication multimodale sans faille entre humains et robots est devenue essentielle alors que les robots sociaux, d’assistance et éducatifs s’installent dans des environnements quotidiens tels que les domiciles, les établissements de santé et les salles de classe, où ils doivent intégrer la parole, le geste, le regard, les expressions faciales et les indices tactiles avec une grande précision, une faible latence et une robustesse réelle. Cette revue examine systématiquement comment les techniques actuelles permettent une interaction multimodale multimodale (IRH) en temps réel, en se concentrant sur les stratégies de fusion, les architectures de systèmes et les applications dans des domaines spécifiques. Nous avons recherché dans la Web of Science Core Collection des études empiriques en anglais de 2015 à 2025, sélectionnant 148 articles traitant de l’intégration communicative. Les enseignements les plus importants incluent un virage clair vers la fusion hybride et basée sur l’attention depuis 2022 (environ 43 % des approches), qui gère mieux l’asynchronie temporelle et les interactions incarnées que les méthodes antérieures ; une incohérence généralisée dans les indicateurs d’évaluation qui entrave les comparaisons croisées ; et un écart persistant entre une forte performance en laboratoire et une robustesse réelle plus faible sous le bruit, l’occlusion ou la variabilité de l’utilisateur. Les principaux défis incluent le traitement en temps réel, l’alignement sémantique, l’efficacité des données, la robustesse du déploiement et l’intégration sous-explorée des signaux tactiles avec l’affect. En regardant vers l’avenir, la revue suggère de prioriser les politiques de fusion adaptative, des benchmarks standardisés pour la synchronisation et la fluidité, ainsi que l’apprentissage continu pour permettre une adaptation personnalisée par l’utilisateur. En fin de compte, il vise à guider le développement d’agents robotiques plus centrés sur l’humain, capables de collaborer, de manière significative et socialement acceptés dans la vie quotidienne.

Introduction

Les robots sont passés d’outils industriels dans des contextes structurés à des agents socialement intégrés dans les foyers, les hôpitaux et les salles de classe. Ils assistent désormais à l’éducation, à la thérapie et à la compagnie, reflétant un passage de l’automatisation orientée tâche vers une interaction centrée sur l’utilisateur et adaptative. Au cœur de cette transition se trouve la communication multimodale, permettant aux robots de percevoir et de répondre aux signaux humains — parole, regard, gestes, expressions faciales et toucher — avec la précision temporelle nécessaire aux échanges naturels dans des environnements dynamiques. Cette insistance sur la coordination et la réactivité s’inscrit dans les préoccupations centrales de l’interaction homme-machine et des sciences cognitives. Dans cette revue, la communication multimodale fluide fait référence à des interactions qui paraissent fluides et intuitives pour les utilisateurs, caractérisées par des temps de réponse inférieurs à la seconde (généralement inférieurs à 300 ms), des délais ou inadaptations perceptibles minimes, et une adaptation robuste à la variabilité réelle. Cela le distingue des systèmes traditionnels basés sur des commandes ou unimodaux, où des erreurs de synchronisation, des défaillances de modalité ou des réponses rigides perturbent le flux naturel.

Au sein de l’interaction homme-robot (IRH), cette revue se concentre sur la communication homme-robot, définie comme l’échange réciproque en temps réel de signaux multimodaux entre humains et robots. Bien que l’IRH englobe également la planification, le contrôle et la sécurité, la communication concerne la synchronisation de la perception et de l’action à travers les canaux sensoriels. Les premiers systèmes basés sur la commande privilégiaient l’efficacité au détriment de l’engagement, produisant souvent des comportements rigides ou retardés. Le travail contemporain poursuit des modèles adaptatifs et conscients du contexte qui tiennent compte de l’état de l’utilisateur et de l’émotion ^1,2. Cette évolution souligne la nécessité de cadres d’interaction précis, intuitifs et personnalisés.

Les premiers robots sociaux et d’assistance s’appuyaient souvent sur des routines scriptées ou des entrées monomodales telles que la voix ou le toucher, limitant la^{flexibilité 3}. La logique basée sur des règles et le traitement lent entraînaient fréquemment des inadaptations de synchronisation entre gestes et paroles, ou une mauvaise adaptation au comportement de l’utilisateur. Pour répondre à ces problèmes, les chercheurs utilisent la fusion à faible latence, l’intégration sensorielle multimodale et l’apprentissage adaptatif^{de l’utilisateur 4,5}. Ces stratégies peuvent être comprises à travers trois principes fondamentaux de communication largement reconnus en HRI : la complémentarité (les modalités se compensent mutuellement), la redondance (le chevauchement améliore la robustesse) et la synergie (la convergence améliore la naturalité).

Les avancées dans la détection et l’apprentissage ont permis d’aboutir à des robots socialement réactifs qui intègrent en temps réel des entrées visuelles, auditives, tactiles et physiologiques ^5,6. Plutôt que des scripts fixes, ces systèmes s’adaptent continuellement aux indices de l’utilisateur. Des interfaces de programmation accessibles et des méthodes d’apprentissage par démonstration permettent aux éducateurs et thérapeutes de personnaliser les comportements pour la prise en charge et l’enseignement, où la précision, la réactivité et l’adaptabilité sont essentielles.

Les schémas de communication en HRI sociale peuvent être regroupés en modes parallèles, complémentaires et interactifs (Figure 1). En interaction parallèle, humains et robots agissent indépendamment avec un échange minimal. L’interaction complémentaire introduit des sujets structurés ou un soutien basé sur des événements. Le mode interactif le plus avancé implique un ajustement bidirectionnel continu entre les canaux tels que la parole, le mouvement et le regard⁷.

Sélection et analyse de la littérature

Méthodologie de la revue systématique : Nous avons mené une recherche systématique de littérature dans la Web of Science Core Collection, ciblant des articles de revues à comité de lecture et des actes complets de conférences provenant des grands éditeurs (IEEE, ACM, Springer, Elsevier, Wiley, Taylor & Francis). La requête booléenne était : (((« interaction homme-robot » OU HRI) ET (multimodale OU « fusion de capteurs » OU geste OU regard OU parole OU tactile) ET (« temps réel » OU « faible latence » OU adaptatif OU robuste)). Les critères d’inclusion étaient : publications en anglais de janvier 2015 à 2025 — une période capturant le passage des systèmes monomodals basés sur des règles vers des architectures d’apprentissage profond mettant l’accent sur une faible latence, adaptative et une interaction robuste — avec un accent sur les techniques d’intégration multimodale pour l’IRH communicatif et la validation empirique (quantitative ou qualitative). Nous avons exclu les études limitées à l’interaction unimodale, celles portant sur le contrôle robotique sans intention communicative, et les travaux non empiriques (par exemple, purement théoriques ou uniquement en simulation). La recherche initiale a permis de fournir un corpus important. Après suppression des doublons, nous avons examiné les titres et résumés selon les critères d’inclusion, puis réalisé des revues en texte intégral afin d’évaluer leur pertinence et leur contribution à une fusion multimodale fiable. Ce processus en plusieurs étapes, résumé dans le diagramme de flux de type PRISMA (Figure 2), a donné lieu à un corpus final de 148 articles qui constituent la base empirique de cette revue.

Aperçu de la littérature sélectionnée : La figure 3 montre les tendances de publication et la répartition disciplinaire, avec l’informatique et l’automatisation et la robotique dominant, ainsi que des contributions croissantes des sciences du comportement et des neurosciences, ce qui souligne la trajectoire interdisciplinaire du domaine. Nous avons regroupé thématiquement la littérature selon la contribution technique à l’intégration multimodale (Tableau 1). Cette synthèse couvrait les modalités, les méthodes de fusion, la gestion de la latence, les stratégies de robustesse, l’adaptabilité et les métriques. Les études menées entre 2019 et 2021 ont principalement utilisé la fusion précoce ou tardive, mettant souvent l’accent sur les gestes et les entrées tactiles. Depuis 2022, les architectures hybrides et basées sur l’attention ont gagné en popularité, notamment pour l’interaction affective et incarnée. Dans ce corpus, la fusion hybride représente environ 43 % des approches, la fusion précoce 29 % et la fusion tardive 28 % — une distribution suggérant une meilleure tolérance à l’asynchronie temporelle.

Bien que la capacité en temps réel soit couramment revendiquée dans la littérature plus large examinée initialement, seul un nombre limité d’études détaillent des stratégies d’atténuation spécifiques (par exemple, traitement en mémoire tampon, modèles prédictifs ou optimisation au niveau des capteurs). La robustesse repose généralement sur le filtrage, la redondance ou des solutions de secours basées sur des règles, tandis que l’adaptation anticipatoire reste rare. Les pratiques d’évaluation sont incohérentes, et les évaluations standardisées de la synchronisation temporelle ou de la fluidité des interactions restent rares. Les indicateurs varient tellement d’une étude à l’autre que les comparaisons directes sont souvent difficiles. La précision, les scores F1 et les chiffres de latence sont courants, mais ils proviennent de différents ensembles de données, tâches et conditions environnementales ; Peu d’articles adoptent des références partagées pour l’alignement temporel ou la robustesse au bruit. Par conséquent, une forte performance dans des laboratoires propres exagère souvent les méthodes permettant d’atteindre des environnements contrôlés en dehors des environnements. Développer des cadres d’évaluation cohérents — incluant peut-être des tests de latence standardisés sous une variabilité réaliste — faciliterait grandement la mesure des approches qui font vraiment progresser le domaine.

Des lacunes clés subsistent dans l’intégration tactile-affective (seulement^{six études} 8,9,10,11,12,13 abordent cela) et l’ajustement dynamique de la latence sous incertitude temporelle pilotée par l’utilisateur. Plusieurs tensions intéressantes émergent de la littérature. La fusion hybride est souvent saluée pour sa gestion efficace du désalignement^{temporel 14}, mais les comportements véritablement anticipateurs ou adaptatifs restent rares, ce qui remet en question la fluidité réelle de cette performance en temps réel annoncée. Parallèlement, des progrès impressionnants dans la vision et la reconnaissance de l’affect basée sur la parole contrastent fortement avec le travail minimal d’intégration des indices tactiles à la compréhension des émotions. La grande précision dans les expériences contrôlées tend également à se dégrader dans des conditions réelles, soulignant les défis persistants de généralisation entre environnements et utilisateurs. Le tableau 2 résume les tendances architecturales représentatives et les approches d’évaluation, informant les défis abordés dans les sections suivantes.

Cette revue apporte une contribution distincte à la littérature HRI multimodale. Des enquêtes récentes, telles que Zhao et ^al.14, offrent des aperçus larges de la prise de décision guidée par la perception, tandis que Wang et ^al.15 se concentrent sur la transmission visuo-tactile compatible avec la 5G. Les deux mettent l’accent sur les cadres généraux ou les protocoles de communication, avec une discussion limitée sur les compromis de fusion en temps réel, la comparabilité des métriques ou les défis de déploiement. En revanche, nous proposons une analyse plus ciblée : comparer les stratégies de fusion sous des contraintes spécifiques, critiquer les incohérences des métriques entre études croisées, et mettre en évidence les lacunes pratiques — en particulier la division de performance entre les laboratoires et les terrains que les enquêtes précédentes avaient largement négligée.