Un abonnement JoVE est requis pour visualiser ce contenu. Connectez-vous ou commencez votre période d'essai gratuite.

Article de méthode

Un protocole de conception visuelle dynamique informé par les fonctionnalités de mouvement pour traduire les connaissances incarnées du tai-chi en communication sur le patrimoine culturel immatériel

72 vues

DOI :

10.3791/72430

28 juillet 2026

Dans cet article

Résumé

Ce protocole décrit un flux de travail reproductible pour capturer, analyser et traduire des mouvements incarnés de Tai Chi en designs visuels dynamiques utilisant la capture de mouvement sans marqueur et la cartographie visuelle basée sur les fonctions de mouvement pour soutenir la communication du patrimoine culturel immatériel basé sur le mouvement.

Résumé

Ce protocole décrit un flux de travail reproductible pour traduire les mouvements incarnés du Tai Chi en designs visuels dynamiques afin de soutenir la communication du patrimoine culturel immatériel basé sur le mouvement. En tant que pratique culturelle basée sur le mouvement, le Tai Chi transmet le savoir à travers le rythme corporel, la trajectoire, le transfert de poids et l’équilibre, des aspects souvent difficiles à communiquer avec des médias statiques ou vidéo conventionnels. Le protocole intègre la capture de mouvement sans marqueur, l’extraction des éléments de mouvement et la cartographie visuelle basée sur des règles pour transformer les caractéristiques de mouvement en représentations visuelles dynamiques. Huit formes représentatives de Tai Chi ont été enregistrées à l’aide de capture de mouvement sans marqueur. Les points clés du corps ont été extraits avec la pose MediaPipe et analysés pour déterminer les caractéristiques de mouvement, notamment la courbure de trajectoire, la fluidité du mouvement et la stabilité du rythme. Ces caractéristiques ont été systématiquement mappées à des variables visuales dynamiques via un cadre de traduction visuelle informé par les fonctionnalités de mouvement. Pour évaluer l’efficacité de cette approche, une expérience contrôlée impliquant 180 participants a comparé trois conditions de communication : les graphismes statiques, les vidéos conventionnelles et les conceptions visuales dynamiques basées sur les données de mouvement. Les mesures de résultats comprenaient l’acquisition de connaissances, la reconnaissance des mouvements, la compréhension incarnée et les intentions comportementales liées à la préservation et au partage culturels. L’analyse de 264 séquences de mouvements valides a révélé une variation substantielle dans les profils de mouvements selon les formes de Tai Chi. La condition de conception visuelle dynamique a nettement surpassé les conditions graphiques statiques et vidéo conventionnelles en matière d’acquisition de connaissances, de reconnaissance du sens du mouvement et de compréhension incarnée ( toutes p < 0,001). La modélisation structurelle a également indiqué que la qualité de conception perçue influence la préservation et le partage des intentions principalement par la compréhension incarnée, l’engagement esthétique et la résonance émotionnelle. Ce protocole fournit une méthode systématique pour convertir les connaissances incarnées du mouvement en formes visuelles dynamiques pour la communication et l’interprétation du patrimoine culturel immatériel basé sur le mouvement.

Introduction

Le Tai Chi, ou Taijiquan, est une pratique traditionnelle du mouvement chinois qui intègre la coordination corporelle, le mouvement circulaire, le contrôle de l’équilibre et la régulation interne. Inscrite sur la Liste représentative du patrimoine culturel immatériel de l’humanité de l’UNESCO en 2020, sa signification culturelle repose fortement sur la performance vivante et incarnée plutôt que sur des artefacts matérielsstatiques 1. Cette reconnaissance pose un défi méthodologique pour la communication numérique du patrimoine : comment traduire le patrimoine basé sur le mouvement sans le réduire à des symboles statiques, des explications textuelles ou des motifs visuels superficiels.

La communication numérique conventionnelle repose généralement sur du texte statique, des images fixes ou des enregistrements vidéo standards. Bien que ces formats puissent documenter la posture externe ou la séquence chronologique d’une forme, ils échouent souvent à transmettre la logique corporelle interne — telle que les déplacements de poids, le contrôle du rythme et la connectivité des mouvements — par laquelle la pratique devient culturellement significative. Les avancées récentes dans l’analyse du mouvement permettent de quantifier avec précision les coordonnées corps-articulation et les motifs cinématiques à l’aide de méthodes de capture de mouvement basées sur des capteurs ou sansmarqueurs 2,3. Cependant, bien que ces technologies excellent dans la reconnaissance du mouvement et les interventions d’entraînement, leur potentiel pour la communication visuelle et culturelle reste sous-exploré. De même, bien que les projets de patrimoine numérique adoptent de plus en plus des médias immersifs et la visualisation basée sur les données, beaucoup privilégient encore la qualité de la présentation plutôt que l’interprétation culturellestructurelle 4.

La cognition incarnée offre une perspective essentielle pour combler cette lacune. Dans ce point de vue, la compréhension culturelle est façonnée par la perception corporelle, la simulation sensorimotrice et le couplage perception–action, plutôt que par la simple observation des surfacesvisuelles 5,6,7. Les recherches en arts visuels et en sciences cognitives suggèrent en outre que l’abstraction peut rendre perceptibles des propriétés physiques autrement invisibles lorsqu’elle préserve les relations structurelles dumouvement 8. Les études de communication visuelle interactive soulignent que l’attrait visuel et l’expérience utilisateur influencent l’engagement public et les intentions de préservation9. Pourtant, les médias immersifs dans les projets patrimoniaux privilégient souvent l’attrait esthétique, ce qui peut attirer l’attention mais ne communique pas la structure culturellesous-jacente. De plus, abstraire le mouvement en visuels dynamiques risque d’affaiblir l’authenticité perçue si la logique du design s’éloigne de la pratiqueoriginale 10. Par conséquent, traduire la connaissance incarnée en formes perceptibles nécessite une logique de conception rigoureuse basée sur des règles, fondée sur des données de mouvement empiriques plutôt que sur un style graphique purement intuitif.

Pour combler le fossé entre les données de mouvement et l’interprétation culturelle, cet article présente un protocole reproductible pour traduire les connaissances incarnées du Tai Chi en conception visuelle dynamique. L’objectif scientifique central est de déterminer si les caractéristiques cinématiques extraites des mouvements du Tai Chi peuvent servir de variables de conception interprétables pour améliorer la compréhension publique de la signification culturelle incarnée. En conséquence, l’étude apporte un flux de travail de traduction informé par les caractéristiques de mouvement, une cartographie basée sur des règles entre les caractéristiques de mouvement et les variables visuales dynamiques, ainsi qu’une évaluation empirique comparant les graphiques statiques, la vidéo conventionnelle et la conception visuelle dynamique basée sur les données de mouvement.

Cette approche basée sur les données offre des avantages distincts par rapport aux techniquesalternatives 11. Contrairement aux enregistrements vidéo conventionnels, qui ne fournissent que des représentations littérales ou des animations purement décoratives, qui manquent de fondement culturel, cette méthode mappe directement les caractéristiques cinématiques extraites (par exemple, courbure de trajectoire, fluidité, stabilité du rythme et amplitude de décalage d’équilibre) directement sur des variables visuelles dynamiques (par exemple, lignes circulaires d’écoulement, rythme d’animation et gravité visuelle). Cette approche est liée aux explorations antérieures de la visualisation de mouvement dans les médias, notamment la Kung Fu Motion Visualization basée sur la capture de mouvement de Tobias Gremmler, mais diffère par la définition de règles explicites de cartographie caractéristique-visuel et l’évaluation de leurs effets de communication via une étude utilisateurcontrôlée 12. Par conséquent, elle préserve la structure empirique du mouvement tout en rendant sa logique sous-jacente visuellement accessible.

Enfin, ce protocole est particulièrement approprié pour les chercheurs en humanités numériques, les concepteurs d’interaction et les praticiens du patrimoine souhaitant numériser et communiquer le patrimoine culturel immatériel basé sur le mouvement. Le cadre diffère de Labanotation, qui est un système rigoureux de notation pour enregistrer les partitions de mouvements afin d’une interprétation et d’une préservationexpertes 13. En revanche, le protocole actuel traduit les mécaniques mesurées du mouvement en formes visuelles dynamiques destinées à soutenir l’interprétation publique, la transmission culturelle et la préservation du patrimoine. En utilisant un système de capture de mouvement accessible sans marqueurs vidéo combiné à des flux de travail standards de traitement des données, les chercheurs peuvent adapter ce cadre non seulement pour le Tai Chi mais aussi pour d’autres pratiques incarnées, en évaluant systématiquement comment la conception informée par le mouvement influence les résultats de la communicationculturelle 10.

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Protocole

Toutes les méthodes impliquant des participants humains ont été réalisées conformément aux directives institutionnelles et ont été approuvées par le Comité d’éthique pour la protection de la recherche humaine, School of Design and Creativity, Université Guilin de technologie électronique (Approbation n° 2600AL0621). Un consentement éclairé écrit a été obtenu de tous les artistes de Tai Chi et des participants à l’évaluation utilisateur avant la collecte des données. Les participants ont été informés que la participation était volontaire et que des données anonymisées seraient utilisées à des fins de recherche et de publication.

1. Préparation de l’étude et de l’équipement

  1. Préparez une zone de capture de mouvement marquée de 3 m × 3 m avec un fond non réfléchissant et un éclairage uniforme dans un laboratoire de design et de médias numériques.
    REMARQUE : Le flux de travail global en cinq étapes pour traduire le mouvement incarné du Tai Chi en communication visuelle dynamique est illustré à la Figure 1A. La chaîne méthodologique dérivée de la littérature soutenant le protocole, incluant l’analyse du mouvement, la diffusion culturelle, l’évaluation de l’utilisabilité et l’évaluation de la charge de travail cognitive, est résumée dans le Tableau 1.
  2. Placez deux caméras numériques synchronisées pour enregistrer chaque séquence de Tai Chi sous différents points de vue. Placez la caméra frontale à environ 3,5 m du centre de la zone de capture.
  3. Placez la caméra latérale à environ 3,0 m du centre de la zone de capture. Montez les deux caméras sur des trépieds à hauteur de poitrine, comme montré à la Figure 2A.
  4. Configurez les deux caméras pour enregistrer à une résolution de 1920 × 1080 pixels et un taux d’images de 30 images/s. Utilisez l’exposition manuelle et des réglages de focalisation fixes lors de la collecte des données.
  5. Éclairez la zone de capture à l’aide de deux panneaux LED diffus placés à environ 45° à l’avant gauche et à l’avant droit de l’artiste à hauteur de poitrine. Maintenir une illumination uniforme et non réfléchissante à 500 lux avec une température de couleur neutre de 5 600 K tout au long de la collecte des données.
  6. Synchronisez les deux caméras avant chaque essai en utilisant un claquement visible à deux mains effectué dans la zone de capture. Alignez les enregistrements à l’aide de la première image montrant le contact de la main et vérifiez que l’erreur de synchronisation ne dépasse pas une image à 30 images/s.
  7. Placez la caméra frontale perpendiculairement au plan frontal de l’interprète et placez la caméra latérale à environ 90° du côté droit de l’interprète. Utilisez des réglages focales fixes et assurez-vous que tout le corps de l’interprète reste visible tout au long de la zone de capture de 3 m × 3 m en alignant les deux caméras à l’aide de marqueurs au sol placés aux limites de la zone de capture.
  8. Utilisez un fond uni et non réfléchissant et retirez les objets réfléchissants de la zone de capture. Avant d’enregistrer, assurez-vous que l’interprète est entièrement visible depuis les deux vues de la caméra, que les ombres ne masquent pas le contour du corps, et qu’aucun meuble, câble ou passant n’occulte la trajectoire du mouvement.
  9. Calibrez l’espace d’enregistrement au début de chaque séance d’enregistrement en filmant la grille de sol marquée et en vérifiant que les limites de la zone de capture sont visibles dans les deux vues de la caméra. Comme l’analyse utilisait la vidéo à deux vues sans marqueur plutôt qu’une reconstruction tridimensionnelle métrique, l’étalonnage consistait à vérifier l’alignement de la vue, la visibilité du corps et la normalisation de l’échelle à l’aide de la largeur des épaules.
  10. Enregistrez chaque enregistrement en vidéo MP4 1920 × 1080 pixels, 30 images/s en utilisant la compression H.264. Fichiers de noms utilisant le format M##_P##_T#_view.mp4, où M indique le mouvement, P indique l’interprète, T indique l’épreuve, et la vue indique la caméra avant ou latérale.
  11. Traiter les données de mouvement sur une station de travail capable d’exécuter Python 3.11, l’environnement de programmation, la bibliothèque de vision par ordinateur OpenCV, le pipeline d’estimation de pose sans marqueurs MediaPipe, la bibliothèque numérique NumPy, la bibliothèque de gestion de données pandas et la bibliothèque de traitement du signal SciPy. Enregistrer le modèle de station de travail, le système d’exploitation et les versions du logiciel utilisées pour le traitement des données afin d’assurer la reproductibilité computationnelle.
    REMARQUE : Le flux de travail global en cinq étapes pour traduire le mouvement incarné du Tai Chi en communication visuelle dynamique est illustré à la Figure 1A–E.

figure-protocol-1
Figure 1. Flux de travail pour traduire le mouvement incarné du Tai Chi en communication visuelle dynamique. (A) Flux de travail d’étude en cinq étapes comprenant la sélection des mouvements Tai Chi, la capture de mouvement par vidéo, l’extraction des fonctionnalités de mouvement, la traduction visuelle basée sur des règles et l’évaluation des utilisateurs. (B) Huit formes de Tai Chi sélectionnées analysées dans l’étude. (C) Pipeline de traitement des données de mouvement, incluant l’acquisition vidéo synchronisée, l’estimation de la pose, le traitement de trajectoire, la normalisation du cycle de mouvement et l’extraction de caractéristiques. (D) Conditions de communication expérimentales : graphisme statique, vidéo conventionnelle et conception visuelle dynamique basée sur les données de mouvement. (E) Cadre conceptuel reliant la qualité perçue du design de la communication, la compréhension incarnée, l’engagement esthétique, la résonance émotionnelle, le partage de l’intention et l’intention de préservation. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

RéférenceDomaine de rechercheChaîne de données utilisée dans les travaux précédentsChaîne statistique ou analytiqueImplications méthodologiques pour cette étudeChaîne de données utilisée dans les travaux précédents
Ho et al.2Analyse du mouvement du Tai ChiLes mouvements du Tai Chi ont été enregistrés grâce au suivi des coordonnées corps-articulation, et les positions des articulations des membres supérieurs ainsi que les angles des coudes ont été quantifiés.Analyses quantitatives et qualitatives du mouvement.Permet l’utilisation de coordonnées corps-articulation, de caractéristiques de trajectoire et d’indicateurs cinématiques pour convertir le mouvement du Tai Chi en données intégrées analysables.Les mouvements du Tai Chi ont été enregistrés grâce au suivi des coordonnées corps-articulation, et les positions des articulations des membres supérieurs ainsi que les angles des coudes ont été quantifiés.
Li et al.3Reconnaissance du mouvement Tai ChiLes mouvements du Tai Chi étaient capturés à l’aide d’unités de mesure inertielles et de signaux de mouvement en série temporelle.Reconnaissance et retour d’intervention basés sur réseau convolutionnel temporel.Permet l’extraction des caractéristiques temporelles du mouvement, notamment la stabilité du rythme, la variation d’accélération et la structure de la séquence de mouvement.Les mouvements du Tai Chi étaient capturés à l’aide d’unités de mesure inertielles et de signaux de mouvement en série temporelle.
Yi et al.4Diffusion numérique du patrimoine culturel immatérielDes données d’expérience utilisateur ont été collectées auprès de participants exposés à des expériences numériques de patrimoine culturel immatériel.SmartPLS et l’analyse comparative qualitative par ensemble flou (fsQCA) ont été utilisées pour examiner les réponses affectives et les comportements de diffusion.Soutient le cadre de communication reliant l’expérience numérique, la réponse émotionnelle, l’identité culturelle et l’intention de diffusion.Des données d’expérience utilisateur ont été collectées auprès de participants exposés à des expériences numériques de patrimoine culturel immatériel.
Brooke15Évaluation de l’utilisabilitéLes participants ont rempli un questionnaire standardisé de 10 items d’utilisabilité après avoir interagi avec le système.Les scores de l’échelle d’utilisabilité du système (SUS) étaient calculés sur une échelle de 0 à 100.Permet de mesurer l’utilisabilité perçue de l’interface de communication visuelle.Les participants ont rempli un questionnaire standardisé de 10 items d’utilisabilité après avoir interagi avec le système.
Hart et Staveland16Évaluation de la charge de travail cognitiveLes participants ont évalué les dimensions de la charge de travail après l’achèvement de la tâche.Les scores de l’Indice de charge de tâches de la NASA (NASA-TLX) ont été calculés à partir d’évaluations multidimensionnelles de charge de travail.Soutient l’évaluation de la capacité du prototype visuel dynamique piloté par les données de mouvement d’améliorer la compréhension de l’utilisateur sans imposer une charge cognitive excessive.Les participants ont évalué les dimensions de la charge de travail après l’achèvement de la tâche.

Tableau 1 : Chaîne méthodologique dérivée de la littérature soutenant la présente étude. Ce tableau résume les références clés, les domaines de recherche, les approches d’acquisition de données, les méthodes analytiques et les contributions méthodologiques utilisées pour orienter le flux de travail d’analyse de mouvement, le cadre de traduction visuelle, l’évaluation de l’utilisabilité et l’évaluation de la charge de travail cognitive mises en œuvre dans le protocole actuel.

figure-protocol-2
Figure 2. Capture de mouvement vidéo et procédure d’extraction des fonctionnalités de mouvement. (A) Installation de capture de mouvement utilisant des caméras synchronisées de face et de côté dans une zone de capture de 3 m × 3 m marquée. (B) Résultats d’estimation de la pose sans marqueurs montrant les repères corporels extraits à partir d’enregistrements en vue de face et de côté. (C) Flux de prétraitement des données incluant l’extraction de points de repère, le filtrage des images manquantes, le lissage de trajectoire et la normalisation temporelle. (D) Trajectoires de mouvement reconstituées représentatives dérivées des points clés des membres supérieurs, du tronc et du centre du corps. (E) Caractéristiques de mouvement extraites de chaque séquence de mouvement, incluant la durée, la vitesse moyenne, la vitesse de pic, la courbure de trajectoire, l’indice de fluidité, l’indice de symétrie, l’amplitude de décalage d’équilibre et la stabilité du rythme. (F) Jeu de données exporté de fonctionnalités de mouvement utilisé pour la traduction visuelle. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

2. Sélection des mouvements de tai-chi et recrutement des interprètes

  1. Sélectionnez huit formes représentatives de Tai Chi pour la capture de mouvement afin de capturer différentes combinaisons de trajectoire circulaire, transfert de poids, extension des membres supérieurs, rotation du tronc, transition d’équilibre et contrôle du rythme (Tableau 2 ; Figure 1B).
    REMARQUE : Les formes sélectionnées incluent Forme d’ouverture, Mains de nuages, Grue blanche qui déploie les ailes, Séparation de la crinière du cheval sauvage, Genou de brosse et Pas tordu, Singe de répulsion, Saisir la queue de l’oiseau et Forme de fermeture. Ces formes fournissent une base technique pour analyser le mouvement du Tai Chi comme données de mouvementincarnées 2.
  2. Recrutez des artistes de Tai Chi et incluez à la fois des instructeurs expérimentés et des praticiens intermédiaires. Définissez les instructeurs expérimentés comme des personnes ayant plus de cinq ans d’expérience en enseignement ou en performance, et les praticiens intermédiaires comme des personnes ayant au moins un an de pratique régulière.
  3. Vérifiez l’éligibilité de tous les artistes potentiels. Inclure les personnes âgées de 18 à 60 ans qui ne déclarent aucune blessure musculosquelettique au cours des trois derniers mois et qui peuvent effectuer tous les mouvements sélectionnés sans interruption.
  4. Obtenez le consentement éclairé écrit de tous les interprètes avant la collecte des données.
  5. Identifiez les artistes potentiels via des enseignants universitaires de Tai Chi, des groupes de pratique sur le campus et des réseaux locaux de praticiens. Contactez les candidats par e-mail ou en personne, filtrez-les selon les critères d’éligibilité, et inscrivez uniquement ceux qui fournissent un consentement éclairé écrit.
  6. Recrutez au total 12 interprètes, dont cinq instructeurs expérimentés et sept praticiens intermédiaires. Utilisez cet échantillon pour générer les séquences de mouvement pour le prétraitement et l’extraction des caractéristiques.
  7. Certains mouvements issus du programme simplifié de Tai Chi de style Yang en 24 formes, couramment utilisé dans l’enseignement public et les démonstrations culturelles.
  8. Sélectionnez les huit formes lors de discussions entre l’équipe de recherche et les instructeurs de Tai Chi pour couvrir l’initiation lente, la trajectoire circulaire, l’extension asymétrique, le transfert vers l’avant, la rotation du tronc, la retraite arrière, l’intégration des forces en plusieurs étapes et la stabilisation de fermeture. Utilisez ces critères pour vous assurer que les formes sélectionnées représentent les caractéristiques de mouvement visées par les règles de traduction visuelle du Tableau 2.
  9. Enregistrer la démographie des interprètes et les caractéristiques de pratique, incluant l’âge, le sexe, la taille, la masse corporelle, la latéralité, les années d’expérience en Tai Chi, ainsi que le statut d’instructeur ou intermédiaire.
  10. Excluez les candidats qui signalent des troubles neurologiques, des troubles de l’équilibre, une déficience visuelle non corrigée, une chirurgie récente, une incapacité à compléter la séquence complète de mouvement, ou toute condition rendant la participation sécuritaire inappropriée.
  11. Ne pas exiger d’expérience préalable en études de capture de mouvement ou en procédures d’enregistrement numérique. Avant l’inscription, expliquez le flux de travail d’enregistrement à tous les interprètes et assurez-vous qu’ils sont à l’aise d’être enregistrés depuis deux vues caméra.
  12. Inclure l’autorisation d’enregistrement vidéo, d’analyse de mouvement sans marqueur, de stockage anonymisé des données et de publication des résultats agrégés dans la procédure de consentement approuvée par l’éthique.
  13. Fournir aux interprètes le planning d’étude, les instructions d’enregistrement, des conseils d’échauffement et des occasions de poser des questions avant l’enregistrement.
Mouvement Tai ChiCaractéristique de Mouvement IncarnéSignification culturelle ou corporelleIndicateurs de mouvement extraitsRègle de la traduction visuelle dynamique
Forme d’ouvertureInitiation lente, posement vertical et levage contrôlé des brasDébut, ancrage et régulation de la respiration et de l’état corporelDurée, indice de fluidité, stabilité du rythmeFondu lent en jeu, expansion verticale progressive et émergence des particules à faible vitesse
Mains de NuageMouvement circulaire continu des membres supérieurs et déplacement latéral du corpsCircularité, flux, continuité et coordination entre le corps et l’intentionCourbure de trajectoire, amplitude de décalage d’équilibre, indice de douceurLignes d’écoulement circulaires, décalages gravitationnels visuels de côté à droit, et traînées continues de particules
La grue blanche déploie ses ailesExtension asymétrique des membres supérieurs, posture ouverte et rotation du troncExtension, ouverture et équilibre entre les forces vers le haut et vers le basIndice de symétrie, vitesse de pointe, déplacement du membre supérieurComposition en couches divisées, extension de la lumière vers le haut et transitions de transparence asymétriques
Séparer la crinière du cheval sauvagePas en avant, séparation diagonale des bras et transfert de poidsExpansion directionnelle, séparation des forces et intention directeAmplitude de décalage d’équilibre, vitesse moyenne, courbure de trajectoireRubans de mouvement diagonaux, centre visuel avançant, et expansion en arc superposé
Genou à la brosse et pas torsadéPas coordonnés, frottement des bras et rotation du torseProtection, redirection et contrôle coordonné du bas et du haut du corpsDéplacement du tronc, indice de symétrie, indice de douceurChamp visuel en rotation, traînées en balayage à bas niveau, et transitions de contours adoucies
Singe RépulsifPas arrière, alternance des mouvements des bras et retraite contrôléeRetraite sans perte de contrôle, d’alternance et de stabilitéStabilité du rythme, déplacement des pas, coordination bilatéraleImpulsions visuelles alternées, particules à l’envers et rythmes d’opacité décalés
Saisit la queue de l’oiseauActions séquentielles de poussée, de protection, de roulement, de pression et de fermetureIntégration de multiples forces de Tai Chi et logique corporelle continueCourbure, douceur, stabilité du rythme, amplitude de décalage d’équilibreSéquences d’arc multi-étages, ondes de force superposées, compression et relâchement visuels progressifs
Forme de clôtureRetour lent, baisse du bras et stabilisation du corpsComplétude, retour au calme et repositionnement interneDurée, indice de fluidité, stabilité du rythmeFondu progressif, affaissement visuel descendant et convergence des particules vers le centre

Tableau 2 : Caractéristiques des mouvements du Tai Chi et règles de traduction visuelle correspondantes. Ce tableau résume les caractéristiques de mouvement incarnées, les significations culturelles ou corporelles, les indicateurs de mouvement extraits et les correspondances de traduction visuelle basées sur des règles utilisées pour les huit formes de Tai Chi sélectionnées. Les indicateurs de mouvement listés ont permis la génération de variables visuelles dynamiques utilisées dans le cadre de conception de communication pilotée par les fonctionnalités de mouvement.

3. Procédure de capture de mouvement

  1. Demandez à chaque interprète de réaliser un échauffement de 5 minutes et une manche de familiarisation dans la zone de capture avant l’enregistrement officiel.
  2. Demandez à chaque interprète d’exécuter chacune des huit formes de Tai Chi sélectionnées trois fois à un rythme naturel de Tai Chi. N’utilisez pas de métronome ni de vitesse de mouvement imposée de l’extérieur.
  3. Enregistrez un geste de synchronisation visuelle au début de chaque essai pour faciliter l’alignement des vidéos en vue de face et en vue latérale lors du prétraitement.
  4. Attribuez un identifiant unique de requête à chaque procès. Incluez le numéro d’exécuteur, le type de mouvement et le numéro d’essai dans l’identifiant.
  5. Prévoyez un intervalle de repos de 10 secondes entre les essais. Prévoyez une période de repos plus longue lorsqu’un artiste signale de la fatigue.
  6. Répétez un essai une fois lorsque le mouvement est interrompu, effectué en dehors de la zone de capture marquée, ou affecté par une erreur d’enregistrement évidente. Le flux complet d’enregistrement de mouvement et d’extraction de fonctionnalités est illustré à la Figure 2.
    REMARQUE : La figure 2 illustre l’ensemble du flux de travail d’enregistrement de mouvement et d’extraction de fonctionnalités. Utiliser un flux de travail vidéo sans marqueurs pour maintenir un pipeline d’acquisition de données reproductible et à faible coût, adapté aux environnements de communication culturelle où les capteurs portables sont peu pratiques3.
  7. Utilisez un échauffement standardisé de 5 minutes comprenant des exercices doux de mobilité pour le cou, les épaules, le tronc, les hanches, les genoux et la cheville, suivis de mouvements lents de levée des bras et de déplacement de poids. Commencez l’enregistrement formel seulement lorsque l’interprète ne constate aucun malaise et peut terminer la séquence de répétition sans problème.
  8. Lors de la familiarisation, demandez à chaque interprète de faire un essai des formulaires sélectionnés dans la zone marquée pendant que l’opérateur vérifie la visibilité corporelle dans les deux vues de la caméra. Terminez la familiarisation lorsque l’interprète peut rester dans la zone de capture et suivre les indices d’enregistrement sans interruption.
  9. Définissez le rythme naturel du Tai Chi comme le rythme choisi par lui-même normalement utilisé par l’interprète lors de l’enseignement ou de la pratique. Demandez aux interprètes de ne pas accélérer devant la caméra et de ne répéter une épreuve que si le rythme est visiblement interrompu ou incohérent avec le tour d’entraînement.
  10. Utilisez un claquement de mains à hauteur de poitrine comme geste de synchronisation visuelle juste avant le début du mouvement. Marquez la première image de contact manuel dans les deux vidéos et vérifiez la synchronisation lors du prétraitement.
  11. Utilisez le format d’identifiant M##_P##_T#, où M indique le mouvement, P le numéro de l’exécuteur, et T le numéro d’essai. Par exemple, M02-P07-T3 désigne le troisième essai Cloud Hands réalisé par l’interprète P07.
  12. Évaluez la fatigue à travers l’auto-rapport des performeurs, une instabilité visible, un rétablissement ralenti ou des demandes de repos supplémentaire. Prévoyez une période de repos supplémentaire de 30 à 60 secondes lorsque tout indicateur de fatigue est observé.
  13. Enregistrer les mouvements dans l’ordre fixe indiqué dans le tableau 2 afin de maintenir la cohérence entre les interprètes et de réduire l’erreur de l’opérateur. Ne randomisez pas l’ordre des mouvements car l’objectif est l’extraction des caractéristiques de mouvement plutôt que la comparaison comportementale des traitements.
  14. Donnez la même instruction avant chaque essai : exécutez la forme de Tai Chi assignée au rythme habituel, restez dans la zone marquée, et continuez jusqu’à la fin de la forme. Lisez les instructions d’un script préparé pour maintenir la cohérence entre les interprètes.
  15. Autoriser une répétition immédiate pour un essai affecté par une interruption, une occlusion ou une erreur de l’exécuteur. Si l’essai répété reste inutilisable, documentez l’essai comme exclu et enregistrez la raison de l’exclusion dans le journal de prétraitement.
  16. Vérifiez la stabilité de la caméra, la visibilité de la zone de capture, la cohérence de l’éclairage et la visibilité corporelle avant chaque bloc d’enregistrement et après tout ajustement de l’équipement. Mettez l’enregistrement sur pause et répétez la configuration, vérifiez si des ombres, des reflets ou des occlusions apparaissent.
  17. Transférez les fichiers vidéo dans un dossier projet protégé par mot de passe immédiatement après chaque session d’enregistrement et sauvegardez-les sur un disque de stockage séparé. Vérifiez l’intégrité du fichier en ouvrant chaque enregistrement en vue avant et en vue latérale et en vérifiant la durée de l’enregistrement, la continuité des images et la cohérence des noms avant le prétraitement.
  18. Les opérateurs d’enregistrement de trains utilisent la même liste de contrôle d’installation, les mêmes règles de nommage de fichiers, la procédure de synchronisation et les mêmes critères de répétition d’essai. Assigner un opérateur à la configuration de la caméra et au contrôle d’enregistrement et, lorsque le personnel le permet, assigner un second opérateur pour compléter la liste de contrôle du protocole.

4. Prétraitement des données de mouvement

  1. Examinez tous les fichiers vidéo bruts pour la stabilité de la caméra, la visibilité du corps, la continuité des images et la synchronisation avant de poursuivre le traitement.
  2. Importez chaque vidéo dans le pipeline d’estimation de la pose et extrayez 33 repères du corps image par image à l’aide du pipeline d’estimation de pose, comme illustré dans les figures 1C et 2B. Exportez les coordonnées de repère de chaque séquence de mouvement sous forme de fichiers CSV (valeur séparée par virgule).
  3. Traiter les données de coordonnées exportées en Python à l’aide d’une bibliothèque de vision par ordinateur, d’une bibliothèque de calcul numérique, d’une bibliothèque de gestion de données et d’une bibliothèque de traitement du signal. Examinez les données pour détecter les images manquantes, les estimations instables de points clés et les erreurs de suivi du corps.
  4. Excluez une séquence de mouvement si plus de 15 % des images contiennent des estimations de points clés manquants ou instables, si l’interprète s’arrête avant d’avoir terminé le mouvement, si le corps se déplace hors de la zone de capture marquée, ou si l’occlusion de la caméra empêche une reconstruction fiable de la trajectoire.
  5. Lisser les trajectoires corps-point clé des séquences retenues à l’aide d’un filtre Butterworth passe-bas de quatrième ordre avec une fréquence de coupure de 6 Hz dans le cadre du flux de prétraitement montré à la Figure 2C.
  6. Normaliser chaque séquence retenue temporellement à 0 % à 100 % du cycle de mouvement afin de faciliter la comparaison entre les exécuteurs ayant des vitesses de mouvement différentes.
  7. Normaliser les coordonnées spatiales en utilisant les proportions corporelles spécifiques à l’interprète. Utilisez la largeur des épaules comme référence principale d’échelle pour comparer les trajectoires des membres supérieurs et reconstruisez les trajectoires de mouvement pour une analyse ultérieure (Figure 2D).
  8. Assignez deux codeurs formés pour examiner indépendamment toutes les séquences exclues ainsi qu’un échantillon aléatoire de 20 % de séquences conservées. Résoudre les désaccords par une discussion avec un instructeur de Tai Chi et évaluer l’accord entre évaluateurs.
  9. Exécutez un pipeline d’estimation de pose dans l’environnement de programmation et notez la version exacte du package et la configuration du modèle dans la Table of Materials. Utilisez le modèle de pose corporelle intégrale à 33 points de repère pour générer des coordonnées de repère pour chaque image vidéo.
  10. Activez le lissage des bornes de repère et configurez le pipeline d’estimation de pose avec model_complexity = 1, min_detection_confidence = 0,50 et min_tracking_confidence = 0,50, sauf si des paramètres validés différents ont été utilisés. Appliquez des paramètres de configuration identiques aux vidéos en vue de face et en vue latérale.
  11. Inspectez chaque vidéo pour la compatibilité des codecs et lisez directement les images en utilisant une bibliothèque de vision par ordinateur sans recadrage spatial lorsque tout le corps est visible. Ajustez uniquement le segment de synchronisation précédant l’initiation du mouvement et les images inutilisées après l’achèvement du mouvement avant l’extraction des points de repère.
  12. Exportez des fichiers CSV avec une ligne par image et des colonnes contenant l’identifiant de mouvement, l’index de trame, l’horodatage, le nom ou l’index des repèdes, les coordonnées normalisées x, y et z, ainsi que le score de visibilité des monuments pour chacun des 33 repères du corps. Stockez les fichiers en vue avant et latérale dans des dossiers séparés en utilisant des identifiants de mouvement identiques.
  13. Classez une estimation de repère comme instable lorsque son score de visibilité est inférieur à 0,50, lorsque les coordonnées changent de plus de trois déviations absolues médianes entre les cadres adjacents, ou lorsque le repère se déplace hors de la région visible du corps. Séquences de drapeaux à examiner lorsque des repères instables affectent des repères majeurs des membres supérieurs, du tronc ou de la hanche.
  14. Détectez les trames manquantes à cause des discontinuités dans les indices de trame ou les horodatages ainsi que les lignes de repère absentes dans les fichiers CSV exportés. Interpolez linéairement des espaces isolés de moins de cinq images consécutives avant de lisser. Excluez les séquences lorsque les images manquantes ou instables dépassent 15 % de la séquence totale.
  15. Identifier les erreurs de suivi corporel grâce à une inspection visuelle et des vérifications automatisées pour les échanges de repères gauche-droite, les déplacements articulaires invraisemblables, les déplacements soudains de position corporelle complète et les coordonnées corporelles en dehors de la zone de capture. Marquez les séquences affectées pour la relecture du codeur et les excluez lorsque la reconstruction fiable de la trajectoire n’est pas possible.
  16. Documentez toutes les séquences exclues dans un journal de prétraitement contenant l’identifiant de mouvement, l’identifiant de l’exécuteur, le type de mouvement, le numéro d’essai, la raison d’exclusion, le pourcentage de points clés manquants et la décision du relecteur. Maintenez les champs correspondants d’état de séquence, de pourcentage de points clés manquants et de drapeau de révision pendant le prétraitement.
  17. Implémentez le filtre passe-bas Butterworth de 6 Hz de quatrième ordre en utilisant les fonctions scipy.signal.butter et scipy.signal.filtfilt pour effectuer un filtrage à phase nulle de chaque trajectoire de coordonnées. Utilisez la fréquence d’échantillonnage de 30 images/s pour déterminer la fréquence de Nyquist et appliquez des paramètres de filtre identiques à toutes les séquences conservées.
  18. Définissez l’initiation du mouvement comme la première augmentation soutenue de la vitesse au centre du poignet ou du corps dépassant 5 % de la vitesse maximale spécifique à la séquence suivant le geste de synchronisation. Définissez l’achèvement du mouvement comme le premier point après la phase finale de mouvement où la vitesse reste inférieure à ce seuil pendant au moins 10 images consécutives.
  19. Reéchantillonner chaque séquence conservée à 101 points temporels espacés également, représentant 0 % à 100 % du cycle de mouvement en interpolant les trajectoires de coordonnées lissées. Utilisez les séquences normalisées pour la comparaison des cross-performers et l’extraction ultérieure des motion-features.
  20. Mesurez la largeur des épaules comme la distance euclidienne entre les repères de l’épaule gauche et de l’épaule droite. Utilisez la valeur médiane sur les images stables comme référence d’échelle spécifique à chaque performeur et appliquez le facteur d’échelle résultant à tous les essais conservés du même exécuteur.
  21. Normaliser les coordonnées à l’aide des équations et figure-protocol-3, où xc et yc représentent les coordonnées du centre du corps et Ws représente la largeur d’épaule spécifique à figure-protocol-4 chaque exécuteur. Appliquez la même procédure de normalisation aux trajectoires des membres supérieurs, du tronc et du centre du corps.
  22. Former les codeurs en utilisant les critères d’exclusion prédéfinis, des vidéos d’exemple représentatives et un ensemble de révisions pilotes avant le codage formel. Exiger que les codeurs démontrent une identification cohérente des points clés manquants, de l’occlusion, des erreurs de suivi et des performances interrompues avant de revoir les données de l’étude.
  23. Sélectionnez l’échantillon de 20 % de la revue de séquence conservée en utilisant un échantillonnage aléatoire stratifié par type de mouvement afin que chaque forme de Tai Chi soit représentée. Générez l’échantillon aléatoire à partir de la liste d’identifiants de mouvement conservés avant la revue du codeur.
  24. Calculer l’accord inter-évaluateurs en utilisant Cohen' κ pour les décisions de conservation/exclusion et l’accord en pourcentage pour les classifications d’exclusion et de raison. Considérez que les valeurs κ ≥ 0,80 acceptables avant de finaliser le jeu de données conservé.
  25. Stockez tous les scripts de prétraitement dans un annuaire de projet daté avec un fichier d’exigences documentant l’environnement de programmation et les versions exactes du pipeline d’estimation de la pose, de la bibliothèque de vision par ordinateur, de la bibliothèque de calcul numérique, de la bibliothèque de gestion de données et de la bibliothèque de traitement du signal. Enregistrez toute révision ultérieure du script dans un journal des modifications avant de relancer l’extraction des fonctionnalités.
  26. Maintenez des journaux de contrôle qualité tout au long du prétraitement, y compris l’état de la séquence, le pourcentage de points clés manquants, les indicateurs de revue et les décisions du codeur. Utilisez ces journaux pour documenter la progression de 288 séquences de mouvement enregistrées à 264 séquences conservées après un contrôle de qualité.

5. Extraction des fonctionnalités de mouvement et traduction visuelle

  1. Calculez la durée du déplacement comme le temps écoulé entre l’initiation et l’achèvement du mouvement. Calculer la vitesse moyenne et la vitesse maximale à partir du déplacement des points clés des membres supérieurs et du tronc sur des images consécutives. Extraire la durée du mouvement, la vitesse, la courbure de trajectoire, la douceur, la symétrie, l’amplitude de décalage d’équilibre et les caractéristiques de stabilité du rythme, comme résumé à la Figure 2E.
  2. Calculez la courbure de trajectoire à partir de la circularité des trajectoires de mouvement des membres supérieurs. On obtient la fluidité du mouvement à partir de la variation d’accélération d’un frame à l’autre.
  3. Calculez la symétrie en comparant les mouvements articulaires du côté gauche et droit. Estimez l’amplitude du décalage d’équilibre à partir du déplacement horizontal du centre du corps tout au long du cycle de mouvement.
  4. Calculez la stabilité du rythme à partir de la variation temporelle des pics de vitesse tout au long du cycle de mouvement.
  5. Attribuez un score de translation visuelle à chaque séquence valide en utilisant une combinaison pondérée de courbure de trajectoire, de fluidité, de stabilité du rythme et d’amplitude de décalage d’équilibre. Exportez l’ensemble de données résultant des éléments de mouvement pour la traduction visuelle (Figure 2F).
  6. Transformez les éléments de mouvement extraits en éléments visuels dynamiques à l’aide d’un système de traduction visuelle basé sur des règles. Relier chaque variable visuelle à une caractéristique de mouvement incarnée spécifique à l’aide de la matrice de translation présentée à la Figure 3A.
  7. Traduisez la courbure de trajectoire élevée en lignes d’écoulement circulaires et trajectoires de particules en forme d’arc (Figure 3B). Associez des valeurs plus élevées de stabilité rythmique à des schémas de pulsation plus lents et plus réguliers (Figure 3C).
  8. Traduisez des amplitudes de décalage d’équilibre plus importantes en mouvements visibles du centre visuel (Figure 3D). Associez des valeurs de lissurité plus élevées à des transitions de gradient continues et des valeurs de symétrie plus élevées à des compositions visuelles miroirement ou contrebalancées (Figure 3E).
  9. Révisez les règles de traduction visuelle avec des instructeurs de Tai Chi et des experts en design de communication visuelle. Confirmez que les mappages visuels préservent la logique de mouvement incarné tout en minimisant la distorsiondécorative 14. Un prototype visuel représentatif informé par les caractéristiques de mouvement généré à l’aide de ces règles de traduction est montré à la Figure 3F.
  10. Utilisez les mêmes points d’initiation et de complétion de mouvement définis lors de la normalisation temporelle pour les calculs de durée. Calculez la durée du mouvement comme (fin de l’image − image de départ)/30 images/s et signalez le résultat en secondes.
  11. Calculez la vitesse de référentiel à référentiel en utilisant le déplacement euclidien des coordonnées consécutives :
     figure-protocol-5
    Ici, vt est la vitesse instantanée dans le référentiel t, (xt, y t, zt) sont les coordonnées repères dans l’image t, (xt−1, yt−1, zt−1) sont les coordonnées repères dans le référentiel précédent, et Δt est l’intervalle de temps entre les images consécutives (1/30 s). Utilisez des coordonnées lissées et normalisées à la largeur des épaules et rapportez la vitesse en unités normalisées de largeur corporelle par seconde.
  12. Incluez les poignets, coudes, épaules, hanches, et la trajectoire calculée au centre du corps lors de l’estimation de la vitesse des membres supérieurs et du tronc. Utilisez les trajectoires des poignets et des coudes pour caractériser le mouvement des membres supérieurs et les trajectoires épaule-centre des hanches pour caractériser le mouvement du tronc et le mouvement lié à l’équilibre.
  13. Estimer la courbure de trajectoire à partir de triplets de coordonnées consécutifs en utilisant :
    figure-protocol-6
    Valeurs moyennes de courbure sur le cycle de mouvement normalisé et les trajectoires des membres supérieurs.
  14. Quantifier la circularité comme la courbure moyenne normalisée min–max des trajectoires des membres supérieurs à travers les séquences retenues. Des valeurs plus élevées indiquent des trajectoires continues en arc ou circulaires et une plus grande adéquation à la translation visuelle circulaire-ligne.
  15. Calculez la fluidité de la variation d’accélération d’une image à l’autre après filtrage en utilisant un score inverse normalisé accélération-variation redimensionné de 0 à 100 pour le rapport. Des valeurs plus élevées indiquent un mouvement plus fluide avec moins de changements brusques d’accélération.
  16. Quantifier la symétrie comme un moins la différence normalisée de racine carrée moyenne entre les trajectoires de repère gauche et droite après alignement temporel. Des valeurs de symétrie plus élevées indiquent des schémas de mouvement bilatéraux plus équilibrés.
  17. Calculez le centre du corps comme la position moyenne des repères de l’épaule gauche, de l’épaule droite, de la hanche gauche et de la hanche droite pour chaque cadre. Utilisez la trajectoire du centre du corps résultante pour estimer les caractéristiques de translation du corps et de décalage d’équilibre.
  18. Calculez l’amplitude du décalage d’équilibre comme la plage de déplacement horizontal normalisé du centre du corps sur le cycle de mouvement :
     B = max (xcentre) − min (xcentre)
    Des valeurs plus élevées indiquent un transfert de poids latéral ou antéropostérieur plus important, selon la vue de la caméra.
  19. Identifier les pics de vitesse en utilisant une procédure de détection de pics appliquée au profil de vitesse lissé avec une proéminence minimale de 10 % de la vitesse de pic spécifique à la séquence et une séparation minimale de cinq référentiels. Revoir visuellement les pics détectés pour les séquences signalées lors du prétraitement.
  20. Quantifiez la stabilité du rythme comme un moins le coefficient de variation des intervalles inter-pics au cours du cycle de mouvement et réajustez le résultat à 0–100 pour le rapport. Des valeurs plus élevées indiquent un timing plus régulier entre les phases de mouvement.
  21. Normalisez toutes les caractéristiques de mouvement avant la combinaison en utilisant un scaling min–max :
     figure-protocol-7
    Normaliser chaque caractéristique indépendamment afin qu’aucune ne domine en raison de son échelle de mesure.
  22. Calculez le score de traduction visuelle (VTS) comme suit :
     VTS = 100 × (norme C 0,35 + normeS 0,30 + norme S 0,20 + norme R 0,15norme)
    Ici, C, S, R et B désignent respectivement la courbure, la douceur, la stabilité du rythme et l’amplitude du décalage d’équilibre. Interprétez les scores élevés comme une meilleure adéquation à une traduction visuelle dynamique pilotée par des fonctionnalités de mouvement plutôt qu’une performance supérieure en Tai Chi.
  23. Sélectionnez les poids des caractéristiques grâce à des discussions expertes entre les instructeurs de Tai Chi et les chercheurs en design de communication visuelle, en attribuant un plus grand poids à la courbure et à la fluidité car ces caractéristiques influencent le plus directement le flux visible et la continuité. Vérifier les classements résultants par rapport aux jugements d’experts sur la pertinence du mouvement à la vision avant l’analyse finale.
  24. Effectuer l’extraction de caractéristiques de mouvement dans l’environnement de programmation en utilisant une bibliothèque de vision par ordinateur pour la gestion des images, un pipeline d’estimation de pose pour l’extraction de points de repère, une bibliothèque de calcul numérique et une bibliothèque de gestion de données pour le traitement des coordonnées, ainsi que la bibliothèque de traitement du signal pour le filtrage et l’analyse du signal. Archivez les scripts d’analyse, les versions des packages et les fichiers CSV exportés avec le jeu de données du projet.
  25. Implémentez le flux de travail de traduction visuelle basé sur des règles dans la plateforme de développement visuel TouchDesigner en utilisant des fonctionnalités de mouvement CSV normalisées comme entrées de paramètres et Adobe After Effects pour le compositing final, lorsque nécessaire. Importez chaque vecteur de caractéristiques de mouvement, mappez les caractéristiques de mouvement vers des paramètres visuels prédéfinis, prévisualisez la sortie dynamique, et exportez le prototype visuel final pour évaluation utilisateur.
  26. Cartographiez les fonctions de mouvement normalisées en continu selon les paramètres visuels et utilisez uniquement les plages de valeurs basses (<0,33), moyennes (0,33–0,66) et élevées (>0,66) lors de la revue de conception. Par exemple, une courbure plus élevée augmente le rayon d’arc et la densité des lignes de flux, une stabilité du rythme plus élevée réduit l’irrégularité des pulsations, et des amplitudes de décalage d’équilibre plus importantes augmentent le déplacement du centre visuel.
  27. Générez des lignes d’écoulement circulaires et des trajectoires de particules à partir du paramètre de courbure, le timing de la pulsation à partir de la stabilité du rythme, le mouvement du centre visuel à partir de l’amplitude de décalage d’équilibre, la continuité du gradient à partir de la fluidité, et la force de composition miroir à partir de la symétrie. Maintenir des palettes de couleurs, des arrière-plans et une typographie identiques sur tous les prototypes afin de minimiser les effets de confusion indépendants des dynamiques dérivées du mouvement.
  28. Appliquez continuellement des cartographies visuelles lors de la génération du prototype afin que les différences incrémentales dans les caractéristiques de mouvement produisent des changements proportionnels dans le comportement visuel. Utilisez les étiquettes catégorielles uniquement lors de l’examen d’experts pour faciliter la discussion sur la pertinence faible, moyenne et élevée à la traduction visuelle.
  29. Révisez les règles de traduction avec deux professeurs de tai chi et deux experts en design de communication visuelle. Évaluer l’alignement mouvement-traits, l’interprétabilité culturelle, la clarté visuelle et le risque de distorsion décorative, et réviser les règles de traduction jusqu’à ce qu’un consensus soit atteint.
  30. Évaluer la préservation de la logique du mouvement incarné en déterminant si chaque cartographie visuelle représente fidèlement les caractéristiques de mouvement souhaitées résumées dans le tableau 2 et si les experts jugent que l’alignement et l’interprétabilité sont acceptables. Reviser les mappages considérés comme décoratifs, trompeurs ou insuffisamment représentatifs des éléments de mouvement originaux avant de générer les prototypes visuels finaux.

figure-protocol-8
Figure 3. La traduction basée sur des règles du mouvement du Tai Chi se transforme en variables visuales dynamiques. (A) Matrice de translation visuelle reliant les caractéristiques de mouvement extraites aux variables visuelles correspondantes. (B) Exemple de translation de la courbure de trajectoire en lignes d’écoulement circulaires et trajectoires de particules. (C) Exemple de traduction de la stabilité du rythme en schémas de synchronisation et de pulsation d’animation. (D) Exemple de translation de l’amplitude de décalage d’équilibre en mouvement du centre visuel et composition pondérée. (E) Exemple de translation de la fluidité et de la symétrie en continuité de gradient et équilibre compositionnel. (F) Prototype visuel dynamique représentatif généré à partir de caractéristiques de mouvement extraites. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

6. Développement de prototypes et mise en place de l’évaluation utilisateur

  1. Développer trois supports de communication pour la comparaison expérimentale : une condition graphique statique, une condition vidéo conventionnelle, et une condition de conception visuelle dynamique basée sur les données de mouvement générée par le système de traduction visuelle (Figure 1D). Le prototype visuel résultant, basé sur les données de mouvement, est illustré à la Figure 3F.
  2. Standardiser les trois matériaux de communication en ce qui concerne la durée d’exposition, la densité d’information, l’ordre de présentation des mouvements, la typographie et la palette de couleurs.
  3. Recrutez 180 participants éligibles âgés de 18 à 35 ans avec une vision normale ou corrigée à normale et sans formation professionnelle en enseignement du Tai Chi. Assignez aléatoirement les participants aux trois conditions de communication en utilisant un ratio d’allocation 1:1:1 (Tableau 3).
  4. Effectuez l’évaluation utilisateur dans une salle d’interaction dédiée. Afficher tous les matériaux expérimentaux sur le même écran de 24 pouces et positionner les participants à environ 70 cm de l’écran.
  5. Maintenir un éclairage de la pièce, un niveau sonore, une distance de visionnage, une résolution d’écran et une durée d’exposition cohérents dans toutes les conditions expérimentales.
  6. Permettre aux participants de revoir le matériel assigné pendant une période d’exposition de 4 minutes. Consignez les comportements de révision, les relectures, les comportements de défilement et les comportements d’interaction comme indicateurs d’engagement comportemental. Le cadre d’évaluation conceptuelle reliant la qualité perçue de la conception de la communication, la compréhension incarnée, l’engagement esthétique, la résonance émotionnelle, l’intention de partage et l’intention de préservation est illustré dans la Figure 1E.
  7. Créer la condition graphique statique sous forme de séquence de panneaux visuels fixes présentant les huit formes de Tai Chi, de courtes étiquettes de signification du mouvement, et le même texte explicatif utilisé dans les autres conditions. Exportez les panneaux à 1920 × 1080 pixels et présentez-les sur le même écran pendant la période d’exposition de 4 minutes.
  8. Créer la condition vidéo conventionnelle à partir du même matériau source Tai Chi enregistré, monté dans une séquence MP4 H.264 H.264 de 4 minutes en 1920 × 1920 pixels, 30 images/s. Utilisez uniquement des séquences vidéo conventionnelles et des étiquettes textuelles sans superpositions visuelles pilotées par les fonctions de mouvement.
  9. Générez la condition de conception visuelle dynamique basée sur les données de mouvement en important des données normalisées de fonctionnalités de mouvement dans la plateforme de développement visuel, en appliquant l’ensemble de règles décrit à l’étape 5, et en exportant un prototype de 4 minutes avec le même ordre de mouvement et texte explicatif que les deux autres conditions.
  10. Présentez les mêmes huit formes de Tai Chi dans les trois conditions : Forme d’ouverture, Mains de nuage, Grue blanche qui déploie les ailes, Séparation de la crinière du cheval sauvage, Genou de brosse et pas tordu, Singe de répulsion, Saisir la queue de l’oiseau, et Forme de fermeture. Chaque condition inclut le nom du mouvement, une brève description de sa signification incarnée, et le même ordre de présentation.
  11. Standardisez la densité d’information en correspondant la durée d’exposition, le nombre de mouvements, l’ordre des mouvements, le nombre d’étiquettes explicatives, le nombre approximatif de mots et la surface d’écran dédiée à chaque mouvement. Examinez tous les documents avant les tests afin de confirmer qu’aucune condition ne contient d’informations conceptuelles absentes des autres.
  12. Utilisez la même police sans empattement, la même hiérarchie d’étiquettes, le même fond neutre et la palette d’accent bleu-gris sur mesure dans toutes les conditions. Gardez la taille du texte, le placement des étiquettes et les titres des mouvements cohérents afin que les différences de groupe reflètent le mode de communication plutôt que des styles graphiques sans rapport.
  13. Recrutez des participants à l’évaluation des utilisateurs via des listes de diffusion universitaires, des avis sur le campus et des pools de participants pour les cours de conception. Sélectionnez les bénévoles intéressés pour leur âge, leur statut visuel, leur parcours professionnel en enseignement du Tai Chi et leur capacité à réaliser la séance d’évaluation complète.
  14. Fixez un échantillon ciblé d’environ 60 participants par condition afin de fournir une puissance statistique suffisante pour détecter des différences intermédiaires entre groupes dans le gain de connaissances et les résultats de compréhension incarnée. L’échantillon final analysé comprenait 180 participants répartis sur les trois conditions.
  15. Générez la séquence d’allocation en utilisant une randomisation par blocs basée sur ordinateur avec un rapport cible de 1:1:1 sur les trois conditions. Assigner la condition dissimulée jusqu’à ce que le dépistage d’éligibilité et les mesures de référence soient terminés.
  16. Notez l’âge des participants, le sexe, la familiarité préalable avec le Tai Chi, l’exposition antérieure au patrimoine culturel immatériel, le parcours en design, le statut visuel et le score de connaissances culturelles avant le test. Utilisez ces variables pour évaluer l’équivalence de base entre les groupes expérimentaux.
  17. Excluez les personnes ayant une formation professionnelle en enseignement du Tai Chi, une déficience visuelle non corrigée, des troubles cognitifs ou neurologiques auto-déclarés pouvant affecter la compréhension, une participation antérieure au processus de conception du prototype, ou des données d’enquête ou de tâche incomplètes.
  18. Présentez les matériaux sur un écran Dell P2422H 24 pouces à 1920 × résolution de 1080 pixels et un taux de rafraîchissement de 60 Hz. Maintenez les mêmes réglages de luminosité et de couleur d’affichage sur toutes les sessions et vérifiez que la zone complète du stimulus est visible depuis la distance de vue de 70 cm.
  19. Maintenez un éclairage intérieur stable pendant toutes les sessions d’évaluation utilisateur et évitez l’éblouissement direct sur l’écran. Avant chaque séance, vérifiez l’illumination constante, le minimum de bruit de fond et l’absence de distractions visuelles.
  20. Fournir aux participants des instructions écrites et orales standardisées avant l’exposition. Informez les participants qu’ils réaliseront immédiatement des évaluations de connaissances, de reconnaissance et d’expérience utilisateur après avoir consulté le matériel de communication assigné.
  21. Pendant la période d’exposition de 4 minutes, demandez aux participants d’apprendre les noms des mouvements, les significations incarnées et les indices visuels présentés dans le matériel assigné. Ne fournissez pas d’explications supplémentaires pendant la période d’exposition.
  22. Permettre aux participants de revoir, rejouer, faire défiler ou interagir uniquement dans les limites de la condition assignée : revue en panneau fixe pour la condition graphique statique, contrôle de relecture pour la condition vidéo conventionnelle, et interaction liée aux fonctionnalités pour la condition de conception visuelle dynamique basée sur les données de mouvement. Enregistrer toutes les actions autorisées comme indicateurs d’engagement comportemental.
  23. Enregistrez la relecture, la relecture, le défilement et les comportements d’interaction à l’aide du système de journalisation des événements de l’ordinateur de présentation. Exportez les journaux au niveau participant sous forme de fichiers CSV contenant l’identifiant du participant, la condition expérimentale, le temps de séjour, le nombre de relectures/relectures, les clics d’interaction et la sélection volontaire du partage.
  24. Définissez le temps de permanence comme le temps total de visionnage ou d’interaction, la relecture/rediffusion compte comme le nombre de vues répétées ou d’actions de rediffusion, et les clics d’interaction comme le nombre de sélections initiées par les participants pendant l’exposition. Enregistrer la sélection volontaire de partage comme un résultat binaire (oui/non) après l’achèvement de l’évaluation.
  25. Administrez une évaluation culturelle en 20 points immédiatement avant et après l’exposition. Calculez le gain de connaissances comme le score post-test moins le score pré-test, les valeurs plus élevées indiquant un apprentissage à court terme plus important grâce au matériel de communication assigné.
  26. Mesurez la reconnaissance des mouvements en demandant aux participants d’identifier chaque forme de Tai Chi à partir d’une liste des huit mouvements étudiés. Notez les réponses comme correctes ou incorrectes et calculez la précision de reconnaissance au niveau des participants.
  27. Mesurez la reconnaissance du sens du mouvement en demandant aux participants d’associer chaque représentation du mouvement à son sens incarné correspondant (par exemple, circularité, ancrage, décalage d’équilibre ou retrait sans perte de contrôle). Exprimez la performance en pourcentage d’éléments correctement correspondus.
  28. Mesurez la compréhension incarnée à l’aide d’items de questionnaire de type Likert évaluant la perception des participants du rythme corporel, du transfert d’équilibre, du flux de trajectoire et de la logique du mouvement. Des scores moyens dans les items de sorte que des valeurs plus élevées indiquent une meilleure compréhension incarnée perçue.
  29. Mesurez la résonance émotionnelle, l’engagement esthétique, l’authenticité culturelle, l’intention de préservation et l’intention de partage à l’aide d’échelles Likert à 7 points multi-items adaptées de la littérature sur l’héritage numérique et l’expérience utilisateur. Calculez chaque construction comme la moyenne des éléments conservés après une évaluation de fiabilité. Évaluer l’utilisabilité perçue à l’aide de l’échelle d’utilisabilité du système (SUS)15 à 10 items.
  30. Mesurez la charge cognitive à l’aide de l’Indice de Charge de Tâches de la NASA (NASA-TLX)16 après exposition au matériau et convertissez le score obtenu sur une échelle de 0 à 100. Des scores plus bas indiquent une charge de travail perçue plus faible lors de l’interprétation du matériel de communication.
  31. Administrez tous les questionnaires électroniquement sur l’ordinateur de présentation immédiatement après les tâches d’exposition et de reconnaissance. Exportez les réponses en utilisant des identifiants anonymisés des participants.
  32. Vérifiez les réponses des participants pour vérifier leur exhaustivité, les identifiants en double, les valeurs peu plausibles et les résultats manquants des tâches avant analyse statistique. Excluez les sessions incomplètes et conservez l’échantillon final analysé rapporté dans le tableau 3.
  33. Stockez toutes les données des participants à l’aide d’identifiants anonymisés dans des fichiers de recherche protégés par mot de passe accessibles uniquement à l’équipe de recherche. Supprimer les identifiants personnels avant l’analyse et conserver les dossiers d’étude conformément aux politiques d’éthique institutionnelle et de gestion des données.
VariableGroupe graphique statique
(n = 58)
Groupe vidéo conventionnel
(n = 60)
Groupe de Design Visual Dynamique
(n = 62)
Test statistiqueValeur p
Âge (années)23,4 ± 3,823,7 ± 4,124,0 ± 3,9ANOVA unidirectionnelle0.71
Femme, n ( %)33 (56.9)35 (58.3)37 (59.7)Test du chi-carré0.95
Contexte en design, n ( %)19 (32.8)21 (35.0)22 (35.5)Test du chi-carré0.94
Familiarité antérieure avec le Tai Chi (1–7)2.8 ± 1.32.9 ± 1.43.0 ± 1.3ANOVA unidirectionnelle0.68
Exposition antérieure au patrimoine culturel immatériel (1–7)3.1 ± 1.43.2 ± 1.53.3 ± 1.4ANOVA unidirectionnelle0.74
Score de connaissances culturelles avant le test (0–20)6.7 ± 2.46.9 ± 2.66.8 ± 2.5ANOVA unidirectionnelle0.91
Vision normale ou corrigée à normale, n ( %)58 (100.0)60 (100.0)62 (100.0)Test exact de Fisher1
Expérience professionnelle de l’enseignement du Tai Chi, n ( %)0 (0.0)0 (0.0)0 (0.0)Non applicable

Tableau 3 : Caractéristiques des participants et répartition des groupes expérimentaux. Caractéristiques démographiques de base, familiarité préalable avec le Tai Chi, exposition antérieure au patrimoine culturel immatériel, et scores de connaissances culturelles avant le test pour les participants assignés aux conditions graphiques statiques, vidéo conventionnelle et design visuel dynamique. Les données sont présentées en moyenne ± écart-type ou n ( %). Des comparaisons statistiques ont été réalisées pour évaluer l’équivalence de base entre les groupes.

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Résultats

Caractéristiques de motion feature des mouvements sélectionnés de tai chi
Un total de 288 séquences de mouvements de Tai Chi ont été enregistrées par 12 interprètes répartis dans huit formes de Tai Chi sélectionnées. Après avoir exclu les séquences avec une exécution incomplète, des estimations excessives de points clés manquants, l’occlusion de la caméra, le suivi instable des points de repère ou la performance interrompue, 264 séquences valides ont été conservées po...

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Discussion

Cette étude présente et évalue un protocole robuste informé par les fonctionnalités de mouvement pour traduire les connaissances incarnées du Tai Chi en conception visuelle dynamique. L’objectif central de l’étude était de déterminer si les caractéristiques cinématiques extraites empiriquement pouvaient être transformées en variables visuelles interprétables améliorant la communication du sens culturel incarné. Les résultats démontrent que la communication du patrimoine culturel immatéri...

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Déclarations de divulgation

Les auteurs déclarent qu’ils n’ont aucun intérêt concurrent et rien à divulguer.

Remerciements

Les auteurs souhaitent exprimer leur gratitude à la Faculté d’Innovation et de Design de l’Université de la Ville de Macao et à l’École de Design et de Créativité de l’Université Guilin de Technologie Électronique pour avoir fourni le soutien institutionnel et les installations de laboratoire de médias numériques nécessaires à la réalisation de cette étude. Un merci tout particulier est adressé aux instructeurs de Tai Chi, aux experts en design de communication visuelle et à tous les participants qui se sont portés volontaires pour les expériences de capture de mouvement et d’évaluation utilisateur. Cette recherche n’a reçu aucune subvention spécifique d’une agence de financement dans les secteurs public, commercial ou à but non lucratif.

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Matériaux

Liste des matériaux utilisés dans cet article
NomEntrepriseNuméro de catalogueCommentaires
Adobe After EffectsAdobe Inc.Adobe After Effects 2024 (v24.6)Logiciel d'infographie et d'effets visuels utilisé pour le compositing de prototype final, si nécessaire.
Station de travail informatiqueDell TechnologiesPrecision 3660 Tower; Intel Core i7-12700 CPU; GPU NVIDIA GeForce RTX 3060; 32 Go de RAM; 1 To SSDStation de travail utilisée pour le traitement des données de mouvement, l'extraction de caractéristiques, la génération de visualisations et l'analyse statistique.
Écran Dell 24 poucesDell TechnologiesP2422HÉcran utilisé pour l'expérience d'évaluation contrôlée par l'utilisateur (1920 × 1080 pixels, 60 Hz).
Caméra vidéo numériqueSony CorporationILCE-7M4Caméras frontales et latérales synchronisées utilisées pour la capture de mouvement (1920 × 1080 pixels, 30 images/s).
MediaPipe PoseGoogle LLCMediaPipe 0.10.14Pipeline d'estimation de pose sans marqueur utilisant le modèle de pose du corps complet à 33 points de repère (model_complexity = 1, min_detection_confidence = 0,50, min_tracking_confidence = 0,50).
NumPyDéveloppeurs de NumPyNumPy 1.26.4Bibliothèque de calcul numérique utilisée pour le traitement des coordonnées et les calculs de caractéristiques de mouvement.
OpenCVÉquipe OpenCVOpenCV 4.9.0Bibliothèque de vision par ordinateur utilisée pour le traitement vidéo, l'extraction d'images et le prétraitement.
Système d'exploitationMicrosoftWindows 11 Pro 23H2, 64 bitsSystème d'exploitation utilisé pour le traitement des données de mouvement et la génération de visualisations.
PandasÉquipe de développement de PandasPandas 2.2.2Bibliothèque de gestion de données utilisée pour le traitement de données structurées et l'exportation CSV.
PythonPython Software FoundationVersion 3.11Environnement de langage de programmation utilisé pour le pipeline de traitement des données.
Logiciel de randomisationMicrosoft CorporationMicrosoft Excel pour Microsoft 365, version 2405Utilisé pour générer la séquence de randomisation par blocs basée sur ordinateur pour l'allocation des participants.
SciPyDéveloppeurs de SciPySciPy 1.13.1Bibliothèque de traitement du signal utilisée pour le filtrage Butterworth et l'analyse des signaux de mouvement.
Logiciel d'analyse statistiqueIBM Corp.IBM SPSS Statistics 29.0Utilisé pour l'analyse de fiabilité, le test d'hypothèses, l'analyse de médiation et la modélisation d'équations structurelles.
Plateforme d'administration d'enquêteQualtrics LLCPlateforme web Qualtrics XM (consultée en mai 2026)Plateforme utilisée pour administrer des questionnaires et collecter électroniquement les réponses des participants.
TouchDesignerDerivativeTouchDesigner 2023.11880Plateforme de développement visuel utilisée pour générer des visualisations dynamiques pilotées par des caractéristiques de mouvement.
TrépiedManfrottoMK055XPRO3Trépied utilisé pour stabiliser les caméras pendant la capture de mouvement.
Logiciel de synchronisation vidéoFlux de travail Python/OpenCV personnaliséOpenCV 4.9.0Utilisé pour synchroniser les enregistrements frontal et latéral pendant le prétraitement à l'aide de l'événement de clap visuel.

Références

  1. UNESCO. Taijiquan. Representative List of the Intangible Cultural Heritage of Humanity. UNESCO; Paris; 2020. Available from: https://ich.unesco.org/en/RL/taijiquan-00424.
  2. Ho TJ, et al. Quantitative motion analysis of Tai Chi Chuan: The upper extremity movement. Comput Math Methods Med. 2018;2018:2538765.
  3. Li X, Zou L, Li H. Tai Chi movement recognition and precise intervention for the elderly based on inertial measurement units and temporal convolutional neural networks. Sensors. 2024;24(13):4208.
  4. Yi C, Huang J, Song L. Enhancing intangible cultural heritage dissemination through digital experience: An affective events theory approach. Herit Sci. 2025;13:438.
  5. Chen W, Li T, Zhang Y. Embodied cognition model for museum gamification cultural heritage communication: A grounded theory study. Herit Sci. 2025;13:239.
  6. Wilson M. Six views of embodied cognition. Psychon Bull Rev. 2002;9(4):625-36.
  7. Barsalou LW. Grounded cognition. Annu Rev Psychol. 2008;59:617-45.
  8. Zeki S. Inner Vision: An Exploration of Art and the Brain. Oxford University Press; Oxford, UK and New York, NY; 1999.
  9. Selmanovic E, et al. Improving accessibility to intangible cultural heritage preservation using virtual reality. J Comput Cult Herit. 2020;13(2):1-19.
  10. Kico I, Grammalidis N, Christidis Y, Liarokapis F. Digitization and visualization of folk dances in cultural heritage: A review. Inventions. 2018;3(4):72.
  11. Herrow MFM, Azraai NZ. Digital preservation of intangible cultural heritage of Joget dance movement using motion capture technology. Int J Herit Art Multimed. 2021;4(15):1-13.
  12. Gremmler T. Hakka Kung Fu Motion Visualization. In: 300 Years of Hakka Kung Fu. EPFL ArtLab; 2018. Available from: https://www.acim.cityu.edu.hk/projects/300-years-hakka-kung-fu.
  13. Guest AH. Labanotation: The System of Analyzing and Recording Movement. 4th ed. Routledge; New York, NY and London, UK; 2005.
  14. Yu J. An immersive experience of intangible cultural heritage through virtual reality. J Comput Cult Herit. 2025;18(1):1-15.
  15. Brooke J. SUS: A “quick and dirty” usability scale. In: Jordan PW, Thomas B, Weerdmeester BA, McClelland IL, editors. Usability Evaluation in Industry. Taylor & Francis; London, UK; 1996. p. 189-94.
  16. Hart SG, Staveland LE. Development of NASA-TLX Task Load Index: Results of empirical and theoretical research. In: Hancock PA, Meshkati N, editors. Human Mental Workload. North-Holland; Amsterdam, The Netherlands; 1988. p. 139-83.
  17. Reshma MR, et al. Cultural heritage preservation through dance digitization: A review. Digit Appl Archaeol Cult Herit. 2023;28:e00257.
  18. Intawong K, Srisongkram W, Chongruksa P. The Lanna XR dance heritage: Safeguarding and revitalizing cultural heritage through motion capture and extended reality. Digit Appl Archaeol Cult Herit. 2025;36:100298.
  19. Hou Y, et al. Digitizing intangible cultural heritage embodied: State of the art. J Comput Cult Herit. 2023;16(3):1-24.
  20. Barmpounaki I, et al. CretaDance: A methodology for preserving Cretan folk dances through digitization and semantic annotation. In: Proceedings of the ACM International Conference on Digital Heritage and Interactive Systems; New York, NY; 2025. New York, NY: ACM. Available from: https://doi.org/10.1145/3733155.3733219.
  21. International Federation of Library Associations and Institutions. Digital Cultural Heritage: Theory and Practice. IFLA; The Hague, The Netherlands; 2024. Available from: https://www.ifla.org/news/digital-cultural-heritage-theory-and-practice/.
  22. Cheng B, Han W. Double authenticity in digital heritage communication: Examining the interaction effects of virtual cultural ambassadors on tourist behavioral intentions. Asia Pac J Tour Res. 2025;31(2):1-21.
  23. Wang X. The rhythm of Tai Chi: Revitalizing cultural heritage in virtual reality through interactive visuals. In: 2025 4th International Conference on Image Processing and Media Computing (ICIPMC); 2025 Jun 27; IEEE. p. 40-44. Available from: https://doi.org/10.1109/ICIPMC66319.2025.11170688
  24. Zhang J. How do museum tourists’ sensory experiences affect place attachment and behavioral intention? J Hosp Tour Manag. 2024;61:41-53.
  25. Zhao X, Guo Y, Zhang Y. AI-driven Tai Chi mastery using deep learning framework for movement optimization and feedback. Sci Rep. 2025;15:17187.
  26. Guo W. Research on digital interactive dissemination of intangible cultural heritage. In: Proceedings of the International Conference on Language, Art and Human Development; Paris, France; 2026. Atlantis Press; Paris, France. Available from: https://doi.org/10.2991/978-2-38476-511-9_58.
  27. UNESCO. What is intangible cultural heritage? UNESCO; Paris; 2024. Available from: https://ich.unesco.org/en/what-is-intangible-heritage-00003.
  28. International Council on Monuments and Sites. Principles for the Preservation, Conservation and Restoration of Cultural Heritage. ICOMOS; Paris; 2023. Available from: http://www.icomoschina.org.cn/content/details57_1414.html.

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Réimpressions et autorisations

Étiquettes

IngénierieNuméro 233Numéro 233connaissances incorporéestraduction caractéristiques-mouvement