Concevoir des cadres d’interaction multimodale adaptatifs pour renforcer la collaboration humain-IA

Résumé

Ce travail propose un mécanisme d’alignement hiérarchique basé sur la distorsion temporelle dynamique (DTW) avec une adaptation en ligne et une fusion multimodale axée sur l’attention, permettant une prédiction fiable de l’intention à long terme et un suivi des tâches. Un module d’explicabilité léger améliore l’interprétabilité, favorisant la confiance dans la collaboration humain-IA. Cette approche se généralise à la fois aux systèmes robotiques et interactifs virtuels.

Résumé

Atteindre une collaboration humain-IA efficace et naturelle reste un défi majeur, en particulier dans des environnements dynamiques et réels. Les cadres existants sont souvent limités par les entrées rigides monomodales ou la fusion multimodale basée sur des règles, ce qui limite leur robustesse, personnalisation et adaptabilité. Cette étude introduit un cadre d’interaction multimodale adaptative qui intègre l’estimation de la posture basée sur la vision et la compréhension des commandes par parole au sein d’un modèle hiérarchique de prévision de l’intention humaine. Le cadre utilise des modèles de séquences basés sur des transformateurs pour la prédiction d’action et la distorsion temporelle dynamique afin d’aligner le comportement humain avec les graphes de tâches structurés pour la planification à long terme. Contrairement aux approches précédentes qui reposaient sur le changement de modalité statique, notre architecture applique un mécanisme de fusion basé sur l’attention pour pondérer dynamiquement les entrées les plus informatives. De plus, un module d’adaptation en ligne permet un ajustement en temps réel du comportement de l’utilisateur, complété par une couche d’explicabilité légère pour favoriser la confiance des utilisateurs. L’évaluation expérimentale dans une tâche d’assemblage collaborative démontre des gains significatifs en performance de la tâche (jusqu’à 24 %), en la précision de la prédiction de l’intention (jusqu’à 18 %) et en la satisfaction des utilisateurs. Ces résultats mettent en lumière l’efficacité et la polyvalence des cadres d’interaction multimodale adaptative, soutenant leur potentiel à faire progresser l’intelligence collaborative vers des systèmes d’IA plus fiables, transparents et orientés vers l’humain.

Introduction

La collaboration homme-robot (HRC) a été l’un des domaines de recherche importants, d’autant plus que les robots sont de plus en plus déployés dans des environnements centrés sur l’humain. Alors que les cadres et technologies pour la CRS à court terme se sont nettement^{améliorés 1,2}, la CRH à long terme n’est pas encore aussi^{mature 3}. Dans les applications industrielles, l’exploitation de la HRC à long terme peut entraîner une augmentation marquée de la productivité et de l’adaptabilité dans des processus de fabrication^{complexes 4}....

Protocole

L’architecture proposée pour augmenter la coopération humain-IA utilise un pipeline d’interactions multimodales adaptatives combinant la vision et les modalités de parole dans un cadre de raisonnement dynamique et hiérarchique. Cette étude a utilisé des données publiques issues d’expériences publiées auparavant. Aucun nouveau sujet humain n’a été impliqué, et aucune approbation éthique supplémentaire n’a été requise.

Architecture d’interaction multimodale adaptative proposée

Fondamentalement, le système commence par des modules de perception, tels que le flux vis....

Résultats

Le modèle d’interaction multimodale adaptative proposé ici répond à ces préoccupations et améliore considérablement la collaboration humain-IA en combinant de manière fluide les modalités de vision et de parole avec les processus d’adaptation utilisateur en temps réel. Contrairement au système multimodal hiérarchique de base, notre approche inclut une boucle de rétroaction personnalisée ainsi qu’une adaptation consciente de la charge cognitive qui offre une interaction plus intuitive et .......

Discussion

Les résultats démontrent de manière concluante l’efficacité suggérée sur la base d’interaction multimodale adaptative pour renforcer la collaboration humain-IA.

Outre les scores standards d’évaluation tels que le temps d’achèvement de la tâche (TCT), la précision de la prédiction de l’intention humaine (HIPA), l’efficacité de la fusion multimodale (MFE), le taux de récupération des erreurs (ERR), le score de satisfaction utilisateur (USS) et l’indice de fluidi.......

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Appareil photo RGB-D (Intel RealSense D435)	Intel Corporation	D435	Résolution de profondeur 1280 et fois ; 720 px @ 30 fps ; Résolution RVB 1920 et jours ; 1080 px @ 30 fps ; Utilisé pour capturer la posture de l’utilisateur, les mouvements du corps et le contexte spatial
Microphone directionnel	Générique / Plusieurs fournisseurs	N/A	Microphone large bande à réduction de bruit (16 kHz&ndash ; 44,1 kHz) ; utilisé pour collecter des commandes parlées
BlazePose (modèle pré-entraîné)	Google	https://developers.google.com/mediapipe/solutions/vision/pose	Modèle d’estimation de pose avec 33 points clés ; Extraction en temps réel de la pose humaine
OpenPose (modèle pré-entraîné)	Laboratoire de calcul perceptif de CMU	https://github.com/CMU-Perceptual-Computing-Lab/openpose	Cadre d’estimation de pose multi-personne utilisé pour extraire les trajectoires de mouvement
Moteur ASR DeepSpeech	Mozilla	v0.9.3	Modèle préentraîné de reconnaissance vocale automatique pour la transcription de la reconnaissance vocale en texte
Moteur ASR wav2vec 2.0	Méta IA	https://github.com/facebookresearch/fairseq	Modèle de représentation vocale auto-supervisée pour le traitement de la parole en temps réel
Modèle de prédiction d’action basé sur un transformateur (DLinear / Seq2Seq)	Implémentation personnalisée	N/A	Architecture encodeur-décodeur temporel avec attention à la prévision d’actions à court terme
Module de distorsion temporelle dynamique (DTW)	Personnalisé / basé sur SciPy	https://docs.scipy.org/doc/scipy/reference/generated/scipy.spatial.distance.cdist.html	Algorithme d’alignement doux pour associer les actions utilisateur à des graphes de tâches prédéfinis
Réseau de fusion multimodale basé sur l’attention	Implémentation personnalisée	N/A	Mécanisme d’attention pondéré en confiance pour fusionner la vision et la parole
Module d’adaptation en ligne (LoRA / Basé sur le gradient)	Implémentation personnalisée	https://github.com/microsoft/LoRA	Ajustement fin léger et efficace en termes de paramètres pour s’adapter au comportement de l’utilisateur
Module d’explicabilité (Basé sur des règles + cartes d’attention)	Implémentation personnalisée	N/A	Fournit une justification décisionnelle interprétable à l’aide de règles et de visualisations de l’attention
Bras robotique KINOVA Gen3	KINOVA Robotics	Gen3	Manipulateur robotisé 7-DOF avec capteurs de couple intégrés ; Utilisé pour l’assemblage collaboratif de voitures-jouets
Environnement de simulation d’assemblage coopératif	Environnement personnalisé	N/A	Configuration réelle d’assemblage de voitures-jouets utilisée pour le benchmarking collaboratif multimodal
Indicateurs d’évaluation (TCT, HIPA, MFE, Latence, ERR, USS, ISI)	Définitions personnalisées	N/A	Indicateurs quantitatifs et centrés sur l’utilisateur pour évaluer l’efficacité, la précision et la confiance de la collaboration