Cette étude a impliqué des participants humains et a été examinée et approuvée par le Comité d’éthique pour la protection de la recherche sur l’humanité, Xianda College of Economics and Humanities, Shanghai International Studies University (Approbation n° 2025XD1221). Tous les participants ont signé des formulaires de consentement éclairé et ont suivi une formation pré-expérience de 30 minutes : les participants EG ont appris à interpréter le retour visuel du cadre (cartes radar, cartes thermiques), tandis que les participants de la CG n’ont reçu que la formation à l’exploitation de la plateforme. Pour garantir la précision de la collecte des données, la pré-expérience a également impliqué l’étalonnage en 5 minutes des suiveurs oculaires et des capteurs physiologiques.
Objectifs de l’étude et aperçu du protocole
L’objectif de cette étude était de créer un système en boucle fermée, de bout en bout, intégrant l’acquisition multimodale, l’extraction de caractéristiques, la fusion bayésienne et la rétroaction visuelle afin d’évaluer les compétences en ingénierie de manière interprétable. La figure 1 présente le diagramme de protocole pour l’évaluation des compétences d’ingénierie dans les applications de santé basée sur la modélisation 3D assistée par intelligence artificielle.
Aperçu du cadre et logique hiérarchique
Le cadre d’évaluation visuelle des compétences d’ingénierie dans les applications de modélisation 3D assistée par IA proposé dans cette étude est construit sur la base de la logique en boucle fermée « données - extraction de caractéristiques - fusion de preuves - retour visuel ». Son objectif principal est d’atteindre une conversion de bout en bout des données brutes multimodales vers des résultats interprétables d’évaluationdes compétences 22. Pour garantir l’extraction fiable des caractéristiques multimodales pour évaluer les compétences en ingénierie, le cadre capture simultanément les signaux d’interaction, physiologiques, du regard, de gestes et vocaux avec une synchronisation temporelle au niveau de la milliseconde. Le cadre adopte une architecture hiérarchique, composée de quatre couches principales : la couche d’acquisition de données multimodale (L1), la couche d’extraction de caractéristiques IA (L2), le moteur de fusion des preuves et de notation (L3), et la couche de rétroaction visuelle (L4). Chaque couche réalise une interaction bidirectionnelle via des interfaces de données standardisées, et un module de calibration du cadre (L5) est introduit simultanément pour garantir la validité dynamique des résultats d’évaluation. La figure 2 montre le pipeline de bout en bout, en commençant par l’acquisition de données multimodales (regard, cinématique, physiologie, voix) via l’extraction de caractéristiques basée sur l’IA, le score bayésien, et un retour visuel et audiovisuel en temps réel. Les calques sont interactifs, la couche 5 assurant un calibrage continu. Cette architecture permet un traitement coordonné et une évaluation validée des compétences pour les participants lors de tâches de modélisation 3D en direct.
Équation (1) Formule de mise à jour de confiance bayésienne :

Où : P(θ) représente la probabilité a priori du niveau de compétence θ (basé sur des données d’évaluation historique) ; P(D∥θ) désigne la probabilité d’observer des données de caractéristiques multimodales D sous le niveau de compétence θ ; P(D) est la probabilité marginale ; P(D∥θ) est la probabilité postérieure du niveau de compétence θ après fusion des données D, c’est-à-dire le score final de confiance. Ce cadre utilisait une approche structurée Delphi etAHP 23 pour pondérer les indicateurs. Un panel de dix experts (chirurgiens orthopédistes, ingénieurs biomédicaux et modélisateurs CAD médicaux expérimentés) a participé à trois cycles de Delphi évaluant l’importance d’un indicateur sur une échelle de Likert à 9 points jusqu’à ce que la notation des experts atteigne la stabilité (coefficient de variation <0,15)24. Ensuite, en utilisant les scores convergents/distribués des experts, une matrice de comparaison par paires a été construite et confirmée en utilisant le critère de cohérence AHP avec un ratio de cohérence (CR) < 0,1. Si le CR dépassait 0,1, la matrice était réajustée. Les ratios de cohérence des méthodes AHP pour les matrices de comparaison par paires étaient entre 0,03 et 0,08, indiquant une grande cohérence logique interne tout au long de l’approche hiérarchique multi-niveaux. La conception de chaque couche du cadre adhère au principe de « modularisation - extensibilité ». Par exemple, la couche L1 peut étendre la dimension de collecte des données physiologiques en ajoutant des biocapteurs ; La couche L2 peut s’adapter aux exigences d’évaluation des compétences de différentes applications de santé en remplaçant des modèles pré-entraînés ; La couche L4 prend en charge des dimensions de visualisation personnalisées basées sur les rôles de l’utilisateur. Cela offre une flexibilité pour les applications ultérieures dans la formation en modélisation 3D médicale et les scénarios de certification des compétences professionnelles.
Couche d’acquisition de données multimodale
Flux d’événements d’interaction 3D
Ce module collecte les données opérationnelles des ingénieurs provenant de plateformes de modélisation 3D assistées par IA via des plug-ins logiciels (16), couvrant à la fois des événements d’opérations discrètes et des données de paramètres continus. Les événements discrets incluent la sélection du modèle, l’ajustement des sommets et l’invocation d’outils IA, tandis que les paramètres continus impliquent la modélisation de la vitesse, le nombre d’annulations/refaits, et les taux d’acceptation des suggestions IA. Chaque événement est enregistré avec un horodatage de 13 chiffres et des valeurs correspondantes du système de coordonnées 3D (x, y, z). Par exemple, lors de l’ajustement de la courbure d’un modèle d’implant orthopédique, le plug-in enregistre les heures de début et de fin de l’opération, ajusté les coordonnées des sommets et les variations de courbure, formant ainsi un journal d’événements structuré (voir du Tableau 1 au Tableau 3 pour les champs de données). Ces données sont ensuite traitées à l’aide d’algorithmes sur mesure pour calculer des indicateurs géométriques, d’efficacité et cognitifs spécifiques à chaque domaine, permettant une caractérisation fine des comportements de modélisation dans les applications liées à la santé.
Mouvements oculaires et signaux gestuels
Les données sur les mouvements oculaires sont acquises à l’aide d’un suivi oculaire de bureau, en se concentrant sur les points de fixation et les paramètres de saccade dans l’interface de modélisation 3D, qui reflètent la distribution cognitive de l’attention de l’ingénieur.
Les signaux gestuels sont captés par une caméra de profondeur, qui extrait 22 coordonnées clés des articulations du membre supérieur pour identifier les gestes de modélisationtypiques 25. La caméra convertit les données de coordonnées gestuelles 3D en séquences vectorielles normalisées pour atténuer les différences de taille corporelle individuelle.
La synchronisation des données pour ce module repose sur le déclencheur matériel unifié du cadre (horodatage 10 Hz provenant d’un logiciel de modélisation 3D), avec une erreur de synchronisation contrôlée en ±50 ms ( calculée via l’équation 3-2) afin d’assurer une corrélation temporelle entre les comportements œil/geste et les opérations de modélisation 26. L’équation (2) présente le calcul de l’erreur de synchronisation des données :
(2)
Où : Et = erreur de synchronisation entre le temps d’acquisition de l’appareil (tdispositif) et l’horodatage logiciel (t logiciel) ; Dispositif T = Temps d’acquisition réel du suivi oculaire/caméra de profondeur ; T logiciel = horodatage de déclenchement à partir d’un logiciel de modélisation 3D.
Données physiologiques et vocales
Les données physiologiques sont collectées via des capteurs portables : un capteur d’électromyographie (EMG) (fréquence d’échantillonnage de 1000 Hz) 27, fixé à l’avant-bras de l’ingénieur pour enregistrer la tension musculaire lors d’opérations fines, reflétant la stabilité opérationnelle. Capteur d’électrocardiographie (ECG) (fréquence d’échantillonnage à 250 Hz) : Il est porté sur la poitrine pour collecter les indicateurs de variabilité de la fréquence cardiaque (VFC), qui caractérisent la charge cognitive. Les données vocales sont capturées par un microphone directionnel (fréquence d’échantillonnage de 44,1 kHz), 29, les commentaires verbaux des ingénieurs du son lors de la modélisation pour compléter l’analyse de l’état cognitif. Toutes les données physiologiques et vocales sont prétraitées avant d’être stockées dans la base de données multimodale horodatée. La figure 3 illustre la configuration matérielle expérimentale physique. Les données des capteurs provenant des appareils EMG/ECG, du microphone, du suivi oculaire et d’une caméra de profondeur sont tous connectés à une station de travail de modélisation 3D. Avant que les données temporelles ne soient sauvegardées dans une base de données multimodale, un module de synchronisation ajuste tous les flux (dans une marge de ±50 ms). Cette spécification du matériau signifie une entrée fiable et temporellement alignée dans la chaîne d’extraction et de notation des caractéristiques.
Couche d’extraction de caractéristiques IA
Indicateurs de qualité géométriques
Ce module extrait des caractéristiques quantitatives reflétant la précision et la rationalité des modèles 3D à partir du flux d’événements d’interaction 3D et du résultat final du modèle, servant de base centrale pour évaluer les compétences de « précision de modélisation » des ingénieurs. Pour évaluer la précision structurelle, la congruence anatomique et la complétude 3D des modèles en utilisant des métriques de déviation, topologie et caractéristiques basées sur des modèles, trois indicateurs clés sont conçus, avec des méthodes de calcul et des significations physiques détaillées ci-dessous :
Taux de déviation du modèle (MDR)
Cela mesure la déviation géométrique entre le résultat modélisé par l’ingénieur et le modèle standard. La déviation est calculée en comparant la distance euclidienne des points clés entre les deux modèles. La formule est présentée dans l’équation (3) :
(3)
Où : n = nombre de points clés prédéfinis (fixés à 50-100 selon la complexité du modèle) ; Pi,ingénieur = coordonnées 3D du i-ième point de caractéristique dans le modèle de l’ingénieur ; Pi,standard = coordonnées 3D du i-ième point de caractéristique dans le modèle standard ; |⋅| = opérateur de distance euclidienne.
Un MDR plus bas indique une cohérence plus élevée avec le modèle standard, avec un seuil de ≤ 5 % pour les modèles de soins de santé qualifiés. Les compétences en modélisation ont été évaluées en fonction de l’efficacité temporelle, des mouvements redondants, de la stabilité des gestes et des modes d’utilisation des outils d’IA proposés lors de scénarios opérationnels 3D en temps réel.
Consistance topologique (TC)
Cela évalue si la structure topologique du modèle 3D répond aux exigences d’application médicale. L’indicateur est calculé en comptant le nombre de défauts topologiques (D) et le nombre total d’éléments topologiques (T, somme des sommets, des arêtes et des faces) dans le modèle, comme montré dans l’équation (4) :
(4)
Par exemple, si un modèle d’articulation du genou contient 2 arêtes non variétés (D = 2) et 1200 éléments topologiques totaux totaux (T = 1200), il est de 99,83 %. Un ≥ 98 % est nécessaire pour les modèles médicaux afin d’éviter les risques de fabrication.
Complétude des caractéristiques (FC)
Cela évalue si l’ingénieur a pleinement implémenté toutes les fonctionnalités obligatoires du modèle d’application santé. L’indicateur est déterminé en comparant le nombre de fonctionnalités obligatoires complétées (Faccomplies) avec le nombre total de fonctionnalités obligatoires (F total) définies dans les exigences de la tâche :
(5)
Indicateurs d’efficacité comportementale
Ce module traite les flux d’événements d’interaction 3D et les signaux gestuels pour extraire des caractéristiques reflétant l’efficacité des opérations de modélisation des ingénieurs, évaluant leurs compétences en « maîtrise opérationnelle ». Les besoins cognitifs associés à la modélisation ont été mesurés à l’aide de signaux physiologiques, du regard et EMG synchronisés. Ces indicateurs suivent la répartition de l’attention selon le temps et les fluctuations de charge de travail au cours du processus de modélisation.
Modélisation de l’efficacité temporelle (MTE)
Cela compare le temps réel de modélisation de l’ingénieur (Tréel) avec le temps moyen des experts seniors pour la même tâche(expert T), normalisé à un score de 0 à 100 :
(6)
Par exemple, si un ingénieur met 45 minutes à accomplir une tâche sur laquelle les experts travaillent en moyenne 30 minutes, il y a 100 - (45 - 30) x 50 = 75, indiquant une efficacité modérée.
Taux d’exploitation redondant (ROR)
Cela prend en compte la proportion d’opérations inutiles dans le processus de modélisation. Il est calculé comme le rapport entre le nombre d’opérations redondantes (Oredondant) et le nombre total d’opérations (O total) :
(7)
Les opérations redondantes sont identifiées par l’algorithme d’IA via la correspondance des règles et l’analyse de cohérence des gestes.
Taux d’utilisation des outils d’IA (ATUR)
Cela mesure la capacité de l’ingénieur à exploiter les fonctions assistées par l’IA pour améliorer l’efficacité. Il est défini comme le ratio du nombre d’invocations d’outils IA (IAI) au total des invocations d’outils (Itotal) :
(8)
Une ATUR plus élevée indique une meilleure intégration des outils d’IA dans le processus de modélisation, ce qui est une compétence clé pour la modélisation médicale 3D moderne.
Lissure des gestes (GS)
Cela évalue la stabilité des mouvements des membres supérieurs de l’ingénieur lors de la modélisation. L’indicateur est calculé par l’écart-type de la vitesse de 22 articulations clés des membres supérieurs (vj) au fil du temps :
(9)
Un écart-type plus faible (et donc un GS plus élevé) indique des gestes plus fluides, reflétant une meilleure maîtrise opérationnelle. Ces indicateurs sont extraits en temps réel pendant le processus de modélisation, l’algorithme d’IA mettant à jour les valeurs des indicateurs toutes les 5 minutes et les stockant dans la base de données des caractéristiques pour une fusion ultérieure.
Indicateurs de charge cognitive
Ce module analyse les signaux de mouvement oculaire et les données physiologiques afin de quantifier la charge cognitive de l’ingénieur lors de la modélisation, en évaluant ses compétences en « adaptabilité cognitive ». Les indicateurs multimodaux ont été pondérés à l’aide d’une approche Delphi-AHP et d’une mise à jour bayésienne des preuves pour produire des scores probabilistes de compétences en ingénierie en temps réel. Trois indicateurs clés sont développés :
Dispersion de fixation (FD)
Cela reflète la répartition de l’attention visuelle de l’ingénieur. Il est calculé comme la distance euclidienne entre les coordonnées maximale et minimale des points de fixation ( (xmax, ymax) et (xmin,y min) ) dans l’interface de modélisation 3D sur une fenêtre de 2 minutes :
(10)
Une FD plus importante indique une attention dispersée, souvent associée à une charge cognitive élevée.
Variabilité de la fréquence cardiaque (HRV) - SDNN
Le SDNN (écart-type des intervalles normaux-normaux) est extrait des données ECG pour mesurer la fluctuation de la fréquence cardiaque de l’ingénieur. Un SDNN plus faible indique une activité plus élevée du nerf sympathique, reflétant une charge cognitive accrue. L’algorithme d’IA filtre d’abord le bruit ECG (via la transformée en ondelette) puis calcule le SDNN à l’aide de l’équation (11) :
(11)
Où : N = nombre de battements de cœur normaux dans une fenêtre de 5 minutes ; RRk = intervalle de temps entre le k-ième et le (k + 1)-ième battement cardiaque normal ;
= intervalle RR moyen dans la fenêtre.
Électromyographie (EMG) - Racine quadratique moyenne (RMS)
Le RMS des signaux EMG de l’avant-bras reflète la tension musculaire : un RMS plus élevé indique une raideur musculaire accrue due au stress cognitif. La formule de calcul est la suivante :
(12)
Où : m = nombre d’échantillons de signaux EMG dans une fenêtre de 1 minute, et EMG(t) = amplitude du signal EMG au temps t. Un schéma sommaire a été créé pour faciliter la clarté conceptuelle et faciliter la reproduction de la recherche. Il illustre la relation hiérarchique entre les dix indicateurs d’évaluation et les trois principaux concepts sous-jacents au cadre proposé : la qualité géométrique, l’efficacité opérationnelle et l’adaptabilité cognitive. Ce diagramme illustre comment les signaux d’entrée multimodaux sont convertis en indicateurs mesurables qui sont ensuite fusionnés par une approche bayésienne pour créer un score composite de compétence en ingénierie. Cette vue d’ensemble transmet une version condensée de la logique d’évaluation et augmente la transparence méthodologique de cette étude, tant sur le plan formatif que pour l’orientation éducative et réglementaire future. La figure 4 illustre la structure hiérarchique du cadre d’évaluation des compétences en ingénierie suggéré, qui organise dix indicateurs multimodaux en trois constructions fondamentales : la qualité géométrique, l’efficacité opérationnelle et la flexibilité cognitive. Ces facteurs contribuent au résultat global de la compétence utilisée pour évaluer la performance de modélisation 3D assistée par IA.
Moteur de fusion et de notation des preuves
Répartition des poids par indicateur (Delphi + AHP)
Ce module aborde le problème de l’importance différenciée entre les caractéristiques multidimensionnelles en combinant la méthode Delphi (consensus d’experts) et le Processus de Hiérarchie Analytique (AHP) pour attribuer des poids aux dix indicateurs extraits (trois indicateurs de qualité géométrique, quatre indicateurs d’efficacité comportementale et trois indicateurs de charge cognitive), et pour représenter ces indicateurs multimodaux complexes sous des formats visuels et interprétables, tels que des cartes radar, des cartes thermiques et des lectures annotées pour des inférences diagnostiques biomédicales.
Phase de consensus Delphi
Un panel de dix experts a évalué l’importance de chaque indicateur à l’aide d’une échelle de 9 points (1 = « moins important », 9 = « plus important ») à travers trois séries de questionnaires anonymes. À chaque tour, un retour statistique — comprenant les scores moyens et les coefficients de variation (CV) — était fourni au panel pour faciliter l’ajustement des scores. La convergence était définie comme un CV ≤ 0,15 pour chaque indicateur. Notamment, un consensus pour des indicateurs tels que le taux de déviation du modèle (MDR) et le taux d’utilisation des outils d’IA (ATUR) a généralement été atteint au second tour, attribué à leur pertinence clinique directe.
Pour garantir la robustesse technique, le protocole a standardisé l’alignement multimodal des données (tolérance de synchronisation ≤ 50 ms ; fréquence de déclenchement unifiée à 30 Hz) et les méthodes de calcul des indicateurs. Par exemple, la MDR a été dérivée de 50 à 100 points clés anatomiques, tandis que le seuil de cohérence topologique (TC) a été fixé à >98 % pour les éléments sans défaut. Ces seuils étaient justifiés par rapport aux normes de tolérance clinique, telles qu’une déviation de < 5 % pour l’os poreux et une erreur de < 3° pour les angles de bifurcation vasculaire. De plus, la méthodologie incorporait le score bayésien avec la modélisation gaussienne de vraisemblance (utilisant des plages de σ calibrées pour des niveaux de compétence distincts) et utilisait un extracteur de caractéristiques CNN-LSTM entraîné avec une taille de lot de 32, un taux d’apprentissage de 1 x 10-4, et 120 époques.
Établissement de la hiérarchie de l’AHP
Une hiérarchie à trois niveaux est construite : Couche cible (A) : évaluation complète des compétences en ingénierie ; Couche Critère (B) : 3 indicateurs de premier niveau (B1 : Qualité géométrique, B2 : Efficacité comportementale, B3 : Charge cognitive) ; Couche indicatrice (C) : 10 indicateurs de second niveau (C1 : MDR, C2 : TC, ..., C10 : EMG RMS).
Comparaison par paires et vérification de la cohérence
Sur la base des résultats du consensus Delphi, une matrice de comparaison par paires est construite pour la couche Critère et la couche Indicateur. Prenant la couche Critère comme exemple, la matrice est définie comme suit :
(13)
Où : aij est le rapport d’importance de Bj à Bj. Le vecteur poids de la couche critère (WB = [wB1,w B2,w B3]) est calculé via la méthode du vecteur propre. Pour éviter les contradictions logiques, le rapport de cohérence (CR) est vérifié à l’aide de l’équation (14) :
(14)
Où : (λmax = valeur propre maximale de la matrice, = nombre d’indicateurs), et est l’indice de cohérence aléatoire (pour n = 3, RI = 0,58). Le résultat est acceptable si le CR < 0,1.
Grâce à ce processus, des poids typiques sont obtenus : (Qualité géométrique), (Efficacité comportementale), (Charge cognitive) ; le poids du MDR (C1) dans la couche indicatrice est généralement le plus élevé (~0,25), tandis que le RMS EMG (C10) est le plus faible (~0,05).
Mise à jour de la confiance bayésienne
Ce module fusionne les indicateurs pondérés pour générer le score final de confiance en compétences, abordant « l’incertitude de l’évaluation à une seule fonctionnalité » en mettant à jour les probabilités antérieures avec des données multimodales en temps réel. Le processus est basé sur l’équation (1) (formule bayésienne) et est mis en œuvre en deux étapes :
Étape 1 : Initialisation de probabilité a priori (P(θ))
Le niveau de compétence est divisé en 5 niveaux : (Novice), (Débutant), (Intermédiaire), (Avancé), (Expert). La probabilité a priori est initialisée à partir de données historiques : si le système a évalué 500 ingénieurs, et que 100 sont classés comme θ3, alors P(θ3) = 100/500 = 0,2. Pour les nouveaux utilisateurs sans données historiques, un prior uniforme (P(θi) = 0,2 pour tout i) est adopté.
Étape 2 : Calcul de probabilité a posteriori (P(θ∥D))
Les données de caractéristiques multimodales sont la somme pondérée des 10 indicateurs normalisés :
(15)
Où : wCk est le poids de l’indicateur k-ième (de la section 3.4.1), et lanorme Ck est la valeur normalisée de l’indicateur k-ième (plage [0,1]).
La probabilité de vraisemblance est modélisée à l’aide d’une distribution gaussienne, en supposant que les données de caractéristiques des ingénieurs au niveau de compétence suivent (moyenne μi, variance
). Ces paramètres sont calibrés à l’aide de 200 échantillons marqués.
Enfin, la probabilité a posteriori est calculée via l’équation (3-1), et le niveau de compétence correspondant au maximum est le résultat de l’évaluation en temps réel. Par exemple, si un ingénieur a D = 0,72, et (plus élevé que les autres grades), il est classé comme « Avancé ».
Pour visualiser le processus de mise à jour de confiance, la figure 5 montre comment les probabilités de compétence égales connues sont mises à jour en une distribution a posteriori en utilisant l’inférence bayésienne et les signaux en temps réel comme preuves. Après observation de la tâche, le modèle se met à jour pour renforcer les preuves vers le grade de compétence avec la plus grande probabilité a posteriori. Les tests de validation ont indiqué une forte stabilité de convergence des notes de compétence des experts, et les scores bayésiens étaient fortement corrélés aux évaluations des experts, soutenant l’utilisation fiable de la mise à jour bayésienne dans le flux de travail.
La sortie de cette couche est un score de compétence complet (0 à 100, cartographié à partir de la probabilité postérieure maximale) et un intervalle de confiance, qui est transmis à la couche de rétroaction visuelle pour une présentation intuitive.
Couche de rétroaction visuelle
Carte radar en temps réel
Ce module convertit les 10 indicateurs normalisés et les 3 scores de critères à trois niveaux en un tableau radar, permettant une comparaison intuitive des forces et faiblesses des ingénieurs. La carte radar est conçue avec 7 axes (3 pour les critères de premier niveau : B1-B3 ; 4 pour les indicateurs principaux de deuxième niveau : C1=MDR, C4=ATUR, C7=FD, C9=SDNN – sélectionnés pour leur poids élevé et leur interprétabilité), chaque plage d’axe étant normalisée à [0,100] (cartographiée à partir des valeurs normalisées [0,1 ] via les équations 3-7). Pour améliorer continuellement la précision des mesures grâce à des annotations d’experts et des mises à jour d’apprentissage actif dès le début du cadre, un contexte de modélisation de la santé et une compréhension croissante sont intégrés.
Équation (16) Cartographie des valeurs de l’indicateur pour le graphique radar :
(16)
Où :V radar = valeur affichée sur l’axe de la carte radar ; Norme de Ck = valeur normalisée de l’indicateur k-ième (plage [0,1]).
Le tableau radar se met à jour en temps réel (toutes les 5 minutes) et comprend deux références : une ligne de référence standard (ligne pointillée,V radar = 80, représentant le seuil de compétence « Avancé ») et une ligne moyenne experte (ligne pointillée, calculée à partir des données historiques de 50 ingénieurs seniors). La figure 6 montre le comportement de l’ingénieur à travers un ensemble d’indicateurs clés : qualité géométrique, charge cognitive, efficacité d’utilisation des outils et dispersion des fixations, comparé aux benchmarks d’experts correspondants. Dans le cadre de la couche de rétroaction, les vrais scores, utilisant des métriques fusionnées, étaient traduits en un profil interprétable. Des études utilisateurs ont indiqué sa mise en œuvre réussie pour détecter rapidement les lacunes de compétences, tout en favorisant un calcul structuré et basé sur les données pour l’amélioration lors des tâches de modélisation.
Carte thermique temporelle
Ce module visualise la tendance dynamique de changement des indicateurs de compétences sur l’ensemble du processus de modélisation, aidant à identifier les périodes où les ingénieurs rencontrent des difficultés. La carte thermique utilise une grille 2D : l’axe des x représente des intervalles de temps (segments de 10 minutes, totalisant 12 segments pour une tâche de 2 heures), et l’axe des y représente 5 indicateurs clés (C1=MDR, C4=ATUR, C6=GS, C7=FD, C9=SDNN). L’intensité de couleur de chaque cellule correspond à la valeur normalisée de l’indicateur, avec une échelle de couleurs allant du bleu (faible valeur, mauvaise performance :norme Ck < 0,5) au rouge (valeur élevée, bonnes performances :norme Ck < 0,8), telle que définie dans l’équation (17) :
L’équation (3-8) présente le calcul de l’intensité des couleurs pour la carte thermique :
(17)
Où : Icouleur = valeur d’intensité de couleur RVB (0-255, 0=bleu, 255=rouge) ; min(norme Ck) et max(norme Ck) = valeurs normalisées minimales et maximales de l’indicateur sur tous les intervalles de temps.
La figure 7 illustre les changements résolus dans le temps de la charge cognitive, la dispersion des fixations, la stabilité du regard et les métriques de latence décisionnelle en segments de 10 minutes. Notez que les régions mises en évidence indiquent une forte demande cognitive ou des perturbations du flux de travail. Cette vision temporelle est générée directement à partir de flux multimodaux coalescents, soutenue par des annotations d’experts, mettant en lumière son rôle crucial dans l’interaction avec la fatigue de modélisation, les déplacements attentionnels et les difficultés spécifiques à chaque tâche.
Annotation de lecture en D
Ce module superpose des annotations d’évaluation des compétences sur la lecture des opérations du modèle 3D, permettant une analyse étape par étape du comportement de modélisation de l’ingénieur. La vitesse de lecture est réglable (0,5×-2× temps réel) et se synchronise avec l’horodatage multimodal. Trois types d’annotations sont intégrés : Annotations d’erreur géométrique : Les fils rouges mettent en évidence les régions du modèle où le MDR (C1) dépasse 5 % (seuil de qualification), avec des étiquettes de texte indiquant la valeur de la déviation. Annotations d’avertissement d’efficacité : Des signes d’exclamation jaunes apparaissent à l’emplacement des opérations redondantes, avec des fenêtres contextuelles indiquant le type d’opération. Annotations de charge cognitive : Les barres d’état verte/rouges dans le coin indiquent la charge cognitive en temps réel (basée sur C9 : SDNN et C10 : EMG RMS), le rouge signifiant « Charge élevée » (SDNN < 50 ms) et le vert signifiant « Charge normale » (SDNN > 100 ms).
Calibration et itération du cadre
Interface d’annotation experte
Ce module offre une interface humaine dans la boucle permettant aux experts seniors de corriger et d’étiqueter les résultats d’évaluation du cadre, en répondant à la « dérive de la précision de l’évaluation » causée par les changements dans les scénarios d’application de la santé. L’interface est conçue avec trois fonctions principales : correction des résultats, repondération des indicateurs et stockage des annotations.
Fonction de correction des résultats
Les experts examinent d’abord les résultats du retour visuel et le score global de compétence du cadre (0-100). Si la note dévie du jugement de l’expert, l’expert peut l’ajuster manuellement et enregistrer la raison. La magnitude de la correction est quantifiée via l’équation (18) :
(18)
Où : Scorrigé = score final corrigé ; Cadre S = score initial produit par le cadre ; S expert = score manuel de l’expert ; α = pondération de correction (fixée à 0,8 par défaut, garantissant la domination du jugement expert tout en conservant la rationalité du cadre).
Fonction de repondération des indicateurs
Pour une calibration spécifique au scénario, les experts peuvent ajuster le poids des indicateurs individuels via une barre glissante (plage 0-0,5). L’interface recalcule automatiquement le rapport de cohérence (CR) après ajustement (en utilisant les équations 3-6) et alerte les experts en cas de (distribution de poids illogique), garantissant que les poids ajustés restent mathématiquement valides.
Fonction de stockage d’annotation
Tous les scores corrigés, les pondérations ajustées et les commentaires d’experts sont stockés dans une base de données annotée avec des horodatages et des balises de scénario. Cette base de données sert de données d’entraînement pour le module d’apprentissage actif en ligne suivant, avec un schéma de données typique présenté dans le tableau 2.
Mise à jour de l’apprentissage actif en ligne
Ce module utilise les données annotées pour optimiser de manière itérative les algorithmes de base du cadre (modèles d’extraction de caractéristiques IA en L2 et moteur de notation bayésien en L3), permettant au cadre de s’adapter à de nouveaux scénarios d’applications en santé sans réentraînement complet. Le processus de mise à jour suit une stratégie de requête par comité (QBC), divisée en trois étapes :
Étape 1 : Calcul de l’incertitude
Trois « modèles de comité » parallèles sont déployés (tous basés sur la même architecture que le modèle d’extraction de caractéristiques L2 mais entraînés sur différents ensembles de données historiques) :
Modèle A : entraîné sur des données de modélisation d’implants orthopédiques ;
Modèle B : entraîné sur des données de reconstruction d’organes ;
Modèle C : Entraîné sur des données de modélisation d’implants dentaires.
Pour chaque échantillon non identifié (données de modélisation de l’ingénieur), les modèles du comité produisent trois scores de compétences prédits. L’incertitude de l’échantillon est calculée via le coefficient de variation (CV) des trois scores :
(19)
Où : SA,SB,S C = scores prédits par les trois modèles de comité ; STD (⋅)= écart-type ;
= moyenne des trois scores.
Un CV plus élevé indique un plus grand désaccord entre les modèles de comité (plus grande incertitude), ce qui signifie que l’échantillon est plus précieux pour l’annotation.
Étape 2 : Sélection de l’échantillon
Le framework sélectionne les 10 % des échantillons ayant le CV le plus élevé et les envoie à l’interface d’annotation experte pour étiquetage. Cette stratégie de sélection active réduit le nombre d’échantillons nécessitant une annotation experte (par rapport à la sélection aléatoire) de 40 à 60 %, améliorant l’efficacité de l’étalonnage.
Étape 3 : Réentraînement et mise à jour du modèle
Les nouveaux échantillons annotés sont utilisés pour affiner les algorithmes du cadre :
Pour les modèles d’extraction de caractéristiques L2 : Le modèle est réentraîné avec un taux d’apprentissage de 1e-5 (10 % du taux d’entraînement initial) en utilisant les données d’erreur géométrique annotées, en ne mettant à jour que les deux dernières couches pour éviter le surapprentissage.
Pour le moteur de notation bayésienne L3 : Les paramètres de distribution gaussienne (
) pour chaque niveau de compétence sont mis à jour à l’aide des données de score annotées, la formule de mise à jour étant présentée dans l’équation (20) :
(20)
Où :
= moyenne mise à jour du niveau de compétence θi ;
= moyenne originale avant mise à jour ; S-θi = score moyen corrigé des échantillons annotés identifiés comme θi ; β = facteur d’oubli (réglé à 0,7, équilibrant les données historiques et les nouvelles annotations).
Le framework mis à jour est déployé en ligne immédiatement après la rééducation, avec un contrôle de performance avant le déploiement : si l’erreur absolue moyenne entre la nouvelle sortie du framework et les annotations d’experts est ≤3 (réduite de ≥20 % par rapport à la version précédente), la mise à jour est confirmée ; sinon, le processus de réentraînement est répété avec des échantillons annotés supplémentaires.
Ce mécanisme d’étalonnage itératif garantit que la précision de l’évaluation du cadre reste supérieure à 90 %, même lorsque les technologies de modélisation 3D des applications de santé évoluent, tout en maintenant une adaptabilité à long terme.