Utilisation de vmTracking pour améliorer la précision de l’estimation de la pose multi-animaux dans les études de comportement social des rongeurs

Summary

Ce protocole introduit vmTracking, une méthode qui permet un suivi de pose de haute précision dans les vidéos de plusieurs animaux se déplaçant librement et sans marqueur, même dans des conditions de surpopulation où les animaux sont densément regroupés. Cette approche fournit des données fiables pour analyser les interactions sociales qui se produisent dans des environnements semi-naturels où les animaux peuvent se déplacer librement.

Abstract

Dans la recherche sur le comportement social utilisant des rongeurs, il existe une demande croissante pour évaluer des comportements interactifs plus naturels dans des conditions de mouvement libre. Un suivi précis de la pose de plusieurs animaux est essentiel à cette fin. Cependant, les outils actuels de suivi de poses multi-animaux sans marqueur sont confrontés à un défi important : la précision du suivi a tendance à décliner dans des conditions d’occlusion et d’encombrement. Ce problème devient particulièrement prononcé lorsque les animaux sont visuellement indiscernables les uns des autres. Pour surmonter ce problème, nous avons développé le suivi de marqueurs virtuels (vmTracking), une méthode qui améliore la précision du suivi des poses de plusieurs animaux dans des conditions aussi difficiles en préservant l’identité individuelle à travers les cadres à l’aide de marqueurs virtuels. vmTracking peut également être appliqué aux données vidéo multi-animaux sans marqueur existantes en incorporant des étapes de traitement supplémentaires qui ajoutent des étiquettes d’identité individuelles dans les flux de suivi standard. Ici, nous décrivons à la fois la méthode d’attribution de marqueurs virtuels et le protocole de suivi des animaux dans les vidéos étiquetées résultantes. Le suivi multi-animaux de haute précision rendu possible par vmTracking fournit une base fiable pour les analyses quantitatives ultérieures des interactions sociales dans des conditions semi-naturelles.

Introduction

La recherche sur le comportement social des rongeurs a de plus en plus mis l’accent sur l’étude des interactions dans des contextes sociaux plus naturalistes¹. Les approches traditionnelles, telles que le test à trois chambres, ont été largement utilisées pour évaluer la sociabilité et la préférence sociale², mais ces paradigmes ne capturent que les aspects simplifiés de l’interaction sociale³. Pour répondre à ce besoin, DeepLabCut (maDLC)⁴ et SLEAP (SLEAP)⁵ sont devenus des outils indispensables pour le suivi sans marqueur de plusieurs animaux dans des conditions de mouvement libre, fournissant une technologie avancée basée sur l’apprentissage profond pour le suivi sans marqueur de plusieurs animaux posés. Cependant, dans les environnements bondés où les animaux sont à proximité, ces outils sont sujets à des erreurs de suivi telles que des échecs de prédiction et des commutateurs d’identité (ID). L’obtention de données fiables dans de telles conditions nécessite souvent une correction manuelle importante.

Le suivi précis de la pose de plusieurs animaux en mouvement libre ouvre la porte à l’étude de dynamiques sociales plus complexes. Par exemple, des données de suivi détaillées permettent d’évaluer les relations leader-suiveur, les comportements d’approche et d’évitement pendant le mouvement et d’autres modèles d’interaction nuancés qui ne peuvent pas être évalués de manière fiable avec des tests comportementaux conventionnels. De telles avancées étendent l’utilité du suivi multi-animaux au-delà de mesures descriptives relativement simples du comportement, permettant des analyses d’interactions sociales plus complexes.

Une approche pour améliorer la précision du suivi consiste à différencier clairement les animaux individuels. Par exemple, Bordes⁶ a démontré le suivi simultané d’une souris CD1 blanche et d’une souris C57BL/6N noire à l’aide de DeepLabCut (saDLC)⁷. Cette constatation suggère que lorsque les animaux sont visuellement distinguables, un suivi individuel précis est possible. Cependant, l’utilisation de marqueurs physiques pour l’identification peut modifier les comportements naturels. Même les méthodes peu invasives, telles que l’implantation d’étiquettes d’identification par radiofréquence⁸, soulèvent des inquiétudes quant à leurs effets potentiels sur le comportement.

Ici, nous présentons une méthode de suivi de pose multi-animaux qui utilise des marqueurs virtuels (vmTracking)⁹ pour l’identification individuelle non invasive. Une évaluation précise du comportement social, en tenant compte de son contexte social, nécessite des données de suivi très précises des poses multi-animaux. vmTracking a été développé pour répondre à ce besoin en fournissant un protocole fiable, plutôt qu’un nouveau logiciel ou un nouvel algorithme, pour obtenir des données de suivi de haute qualité à l’aide d’outils existants tels que DLC. Par conséquent, l’analyse comportementale sociale basée sur ces données dépasse le cadre de ce protocole. vmTracking implique deux étapes principales : l’ajout de marqueurs virtuels aux vidéos sans marqueur et le suivi des vidéos de marqueurs virtuels résultantes. Cette méthode permet un suivi de pose de haute précision sans avoir besoin de marqueurs physiques, même dans des conditions impliquant trois animaux visuellement indiscernables ou plus de la même souche. En permettant un suivi fiable dans des conditions semi-naturelles, vmTracking fournit un outil efficace pour faire avancer la recherche sur les interactions sociales complexes, avec des applications potentielles dans les sciences du comportement, la psychologie et les neurosciences.

Protocol

Toutes les procédures expérimentales ont été approuvées par le Comité de protection et d’utilisation des animaux de l’Université Doshisha (approbation n° A23068). Les souris C57BL/6J (voir la table des matières) ont été logées en groupes de 2 à 3 par cage dans des conditions contrôlées de 24 à 26 °C, un cycle lumière/obscurité de 12 h, avec un accès ad libitum à la nourriture et à l’eau. Tous les enregistrements comportementaux ont été collectés pendant la phase de lumière. La figure 1 illustre le flux de travail global du processus vmTracking, ainsi que les instantanés d’un exemple.

REMARQUE : vmTracking n’est pas un nouveau logiciel ou algorithme, mais un protocole qui utilise les fonctions DLC existantes pour maximiser la précision du suivi multi-animaux. Par conséquent, une partie importante des étapes suivantes décrit des opérations spécifiques de l’interface utilisateur graphique (GUI) au sein du DLC afin d’assurer la reproductibilité.

1. Préparation des données vidéo multi-animaux sans marqueur

REMARQUE : Les paramètres expérimentaux peuvent être ajustés en fonction de l’étude spécifique.

1. Placez trois souris C57BL/6J dans un champ circulaire ouvert avec un sol blanc et des parois transparentes (31 cm de diamètre × 17 cm de hauteur ; voir la table des matériaux), et laissez-les se déplacer librement.
2. À l’aide d’une caméra de haut en bas, enregistrez les animaux pendant environ 60 minutes à une résolution de 460 × 460 pixels et une fréquence d’images de 30 ips (voir le tableau des matériaux).

2. Création d’une vidéo de marqueur virtuel

1. Effectuez un suivi de pose standard sans marqueur à l’aide de maDLC dans la version 2.2.3 du DLC (Figure 2 ; voir Tableau des matériaux).
   REMARQUE : Dans les étapes ci-dessous, les noms de menu et les paramètres del’onglet DLC GUI sont affichés en gras pour clarifier les opérations dans DLC. Toutes les procédures sont effectuées à l’aide des paramètres par défaut, sauf indication contraire. Pour des instructions détaillées sur l’utilisation du DLC, reportez-vous à la documentation officielle¹⁰.
   1. Créez un projet multi-animaux dans Gérer le projet (Figure supplémentaire 1) pour le suivi vidéo sans marqueur. Modifiez les champs individus et parties du corps dans le fichier config.yaml en fonction des exigences d’analyse. Dans ce protocole, on utilise individu1 à individu3 et corpspartie1 à corps6. Tous les autres paramètres sont facultatifs.
      REMARQUE : Les paramètres numframes2pick (nombre d’images extraites) et dotsize (taille du marqueur) peuvent être ajustés en fonction des conditions vidéo et de la charge de travail de l’expérimentateur. D’autres paramètres n’ont pas été systématiquement testés dans toutes les conditions possibles ; Cependant, la réussite du suivi a été confirmée avec les configurations par défaut.
   2. Extrayez des images de la vidéo dans Extraire des images (Figure supplémentaire 1) pour l’étiquetage et l’entraînement ultérieurs. Définissez tous les autres paramètres sur leurs valeurs par défaut.
   3. Étiquetez chaque image extraite dans Données d’étiquette (Figure supplémentaire 1), en attribuant les parties du corps appropriées à chaque individu visible sans maintenir des ID cohérents entre les images.
   4. Créez un jeu de données d’entraînement à partir des images extraites dans Créer un jeu de données d’entraînement (figure supplémentaire 1). Dans ce protocole, définissez le réseau sur dlcrnet_ms5. Définissez tous les autres paramètres sur leurs valeurs par défaut.
   5. Commencez à entraîner le réseau dans Train (Figure supplémentaire 1). Dans ce protocole, le paramètre Nombre maximal d’itérations est défini sur 200 000 pour l’entraînement. Définissez tous les autres paramètres sur leurs valeurs par défaut.
   6. Évaluez le réseau formé dans Évaluer (Figure supplémentaire 1). Définissez tous les autres paramètres sur leurs valeurs par défaut.
   7. Exécutez l’estimation de la pose sur les vidéos sélectionnées dans Analyser les vidéos (Figure supplémentaire 1), en générant des données de coordonnées .h5 et d’autres fichiers de sortie dans le dossier vidéos à l’intérieur du dossier du projet. Définissez tous les autres paramètres sur leurs valeurs par défaut.
      REMARQUE : Si le jeu de données d’entraînement est insuffisant, l’analyse peut ne pas générer de fichiers de coordonnées .h5. Dans ce cas, redémarrez à partir de l’étape 2.1.2.
   8. Vérification manuelle par l’expérimentateur.
      1. Créez une vidéo de suivi étiquetée dans Créer des vidéos (Figure 1 supplémentaire). Sélectionnez l’option Créer une vidéo avec l’identification d’un animal coloré ? dans l’interface graphique du DLC et générez une vidéo de suivi étiquetée (Figure 2A, maDLC). Définissez tous les autres paramètres sur leurs valeurs par défaut.
      2. Inspectez les vidéos étiquetées (Figure 2A, maDLC) pour vérifier s’il n’y a pas de commutateurs d’ID et de prédictions manquantes. Si des erreurs notables sont observées, effectuez un nouvel entraînement (voir étape 2.1.8.3). Si vous n’avez pas suivi une formation supplémentaire, passez à l’étape 2.2.
         REMARQUE : La formation n’est pas obligatoire, mais elle améliore la précision et réduit la charge de travail dans les étapes ultérieures.
      3. Pour le réentraînement, extrayez et annotez les cadres aberrants dans Extraire/Affiner les valeurs aberrantes (Figure supplémentaire 1). Une fois l’annotation terminée, cliquez sur le bouton Fusionner le jeu de données pour passer automatiquement à la création d’un jeu de données d’entraînement, puis répétez l’opération à partir de l’étape 2.1.4.
2. Corrigez les résultats maDLC pour créer une vidéo de marqueur virtuel (Figure 3).
   1. À l’aide de l’interface graphique personnalisée¹¹ (Figure 3B), conservez uniquement les points clés sélectionnés pour les marqueurs virtuels et remplacez tous les autres par NaN dans le fichier .h5. Cette réduction des points clés diminue la charge de travail pour les étapes de correction ultérieures (Figure 3C,E). Dans ce protocole, les parties du corps 2 et 4 sont utilisées.
      REMARQUE : Il est recommandé de sélectionner deux points clés qui définissent efficacement le vecteur corps-axe. L’exécution du suivi initial de maDLC en utilisant uniquement les points clés destinés à être des marqueurs virtuels peut échouer à générer le fichier .h5 à l’étape 2.1.4. Par conséquent, il est recommandé d’effectuer le suivi initial avec un plus grand nombre de points clés.
   2. À l’aide de l’option Affiner les tracklets (Figure supplémentaire 1), corrigez le fichier .h5 de l’étape précédente, qui ne contient que les points clés sélectionnés. Corrigez les points clés afin que chaque individu conserve un ID cohérent tout au long de la vidéo (Figure 3E,F). Enregistrez le fichier ; Le fichier .h5 dans le dossier Videos sera mis à jour automatiquement.
   3. Créez une vidéo étiquetée avec des étiquettes de couleur d’identification à partir des données corrigées dans Créer des vidéos (Figure 1 supplémentaire, Figure 3A, Marqueur virtuel). Dans le DLC 2.2, une vidéo étiquetée existante dans le dossier videos empêchera la création d’une nouvelle vidéo ; Supprimez, renommez ou déplacez le fichier avant de continuer. Ici, définissez la taille du marqueur à 2 dans le fichier de configuration, en utilisant la plus petite taille qui permet l’identification sans masquer l’animal dans cet ensemble de données.
   4. Renommez la vidéo créée avec un nom de fichier court pour éviter les erreurs lors du traitement du DLC lors du retraçage à l’étape suivante avec saDLC.

3. Effectuez le suivi de la pose de la vidéo du marqueur virtuel à l’aide de saDLC (Figure 4)

REMARQUE : Toutes les procédures sont effectuées à l’aide des paramètres par défaut de l’interface graphique DLC, sauf indication contraire.

1. Créez un nouveau projet saDLC dans Gérer le projet (Figure supplémentaire 2) pour l’enregistrement vidéo de marqueur virtuel. Dans ce protocole, répertoriez toutes les combinaisons d’individus et de parties du corps dans le champ bodyparts du fichier config.yaml (par exemple, individual1-bodypart1, individual2-bodypart1, ..., individual3-bodypart6). Tous les autres paramètres sont facultatifs.
   REMARQUE : Comme à l’étape 2.1.1, les paramètres numframes2pick et dotsize peuvent être ajustés en fonction des conditions vidéo et de la charge de travail de l’expérimentateur. La réussite du suivi a été confirmée avec les configurations par défaut.
2. Extrayez des images de la vidéo du marqueur virtuel dans Extraire des images (Figure supplémentaire 2). Définissez tous les autres paramètres sur leurs valeurs par défaut.
3. Étiquetez chaque image extraite dans Données d’étiquette (Figure 2 supplémentaire), à l’aide des marqueurs virtuels pour attribuer des ID individuels afin que les ID et les parties du corps correspondent entre les cadres (Figure 3B-D). Lorsque l’identité d’une personne est connue et qu’une partie du corps est partiellement cachée, estimez sa position et placez l’étiquette en conséquence. S’il n’est pas possible de déterminer de manière unique les identifiants individuels (p. ex., il manque des marqueurs virtuels pour ≥2 individus dans le cadre), n’étiquetez pas ces parties du corps.
4. Créez un jeu de données d’entraînement à partir des images extraites dans Créer un jeu de données d’entraînement (figure supplémentaire 2). Dans ce protocole, définissez le réseau sur efficientnet-b0. Définissez tous les autres paramètres sur leurs valeurs par défaut.
5. Commencez à entraîner le réseau dans Train (Figure supplémentaire 2). Dans ce protocole, définissez le paramètre Nombre maximal d’itérations sur 200 000 pour l’entraînement. Définissez tous les autres paramètres sur leurs valeurs par défaut.
6. Évaluez le réseau formé dans Évaluer (figure supplémentaire 2). Définissez tous les autres paramètres sur leurs valeurs par défaut.
7. Exécutez l’estimation de la pose sur les vidéos sélectionnées dans Analyser les vidéos (Figure supplémentaire 2), en générant des données de coordonnées .h5 et d’autres fichiers de sortie dans le dossier vidéos. Définissez tous les autres paramètres sur leurs valeurs par défaut.
8. Vérification manuelle par l’expérimentateur.
   1. Créez une vidéo de suivi étiquetée dans Créer des vidéos (Figure 2 supplémentaire). Définissez tous les autres paramètres sur leurs valeurs par défaut.
   2. Inspectez les vidéos étiquetées (Figure 4A, vmTracking) pour vérifier s’il y a des incohérences de suivi. Réentraînez-le jusqu’à ce que l’expérimentateur soit satisfait des résultats. S’il n’est pas nécessaire de suivre une formation supplémentaire, la procédure est terminée.
      REMARQUE : après avoir confirmé des résultats de suivi satisfaisants, vous pouvez créer une vidéo de qualité présentation sans marqueurs virtuels (Figure 5), diffuser les résultats du suivi sur la vidéo sans marqueur d’origine au lieu de la vidéo de marqueur virtuel dans Créer des vidéos (Figure 2 supplémentaire). Remplacez la vidéo du marqueur virtuel dans le dossier videos par la vidéo sans marqueur, en la renommant pour qu’elle corresponde au nom de fichier vidéo du marqueur virtuel utilisé précédemment dans l’analyse. Pour DLC 2.2, assurez-vous qu’aucune vidéo étiquetée n’est présente dans le dossier avant de créer le nouveau dossier (Figure 5B,C).
   3. Pour le réentraînement, extrayez et annotez les cadres aberrants dans Extraire/Affiner les valeurs aberrantes (Figure supplémentaire 2). Une fois l’annotation terminée, cliquez sur le bouton Fusionner le jeu de données pour passer automatiquement à la création d’un jeu de données d’entraînement, puis répétez l’opération à partir de l’étape 3.1.4.

Results

La précision du suivi a été évaluée par comparaison avec une vérité terrain (GT) générée manuellement. Vingt scènes de 5 ou 10 secondes ont été extraites et classées en scènes surpeuplées (CR), qui comprenaient des chevauchements tels que des souris se croisant (12 scènes ; total de 1 950 images), ou des scènes non encombrées (nCR) sans chevauchement (8 scènes ; total de 1 350 images). Les prédictions de suivi à moins de 10 pixels de la position GT ont été comptées comme des correspondances (Match) ; les prédictions ≥à 10 pixels de distance étaient comptées comme des faux positifs (FP) ; et les prédictions manquantes ont été comptées comme des faux négatifs (FN). De plus, si l’identité prédite différait de celle de l’image précédente, elle était comptée comme un commutateur d’ID.

Par rapport à maDLC (Figure 6), vmTracking a montré une amélioration significative de la correspondance dans les scènes CR et nCR (Figure 6A, CR : p < 0,001 ; Figure 6E, nCR : p < 0,01). Dans les deux types de scènes, aucun FN n’est apparu et le nombre de FN a été significativement réduit avec vmTracking (Figure 6B, CR : p < 0,001 ; Figure 6F, nCR : p < 0,05). Les comptages FP (figures 6C et 6G) et ID switch (figures 6D, H) n’ont montré aucun changement dans l’un ou l’autre type de scène. Une comparaison côte à côte des résultats de suivi obtenus à l’aide de vmTracking et de maDLC conventionnel est présentée, mettant en évidence la précision et la stabilité améliorées de vmTracking dans des conditions d’encombrement (Vidéo supplémentaire 1).

Nous avons également examiné la relation entre le nombre de trames d’annotation et Match et FN pour les scènes CR dans maDLC et vmTracking (Figure 6I). Dans maDLC, le Match s’est stabilisé à environ 85 % avec environ 400 cadres d’annotation, avec peu d’amélioration supplémentaire à mesure que le nombre augmentait. L’augmentation des cadres d’annotation pour la formation n’a pas réduit les FN. En revanche, vmTracking a montré une augmentation constante de la correspondance avec plus de trames d’annotation, atteignant environ 95 % à environ 1 000 trames.

Les marqueurs virtuels ont été classés en six catégories en fonction de leurs modèles d’affectation, et la proportion de chaque catégorie a été utilisée comme indice de précision des marqueurs virtuels pour examiner sa relation avec le suivi de Match (figure 6J). Les scènes avec une proportion plus élevée de marqueurs virtuels correctement attribués avaient tendance à afficher une correspondance plus élevée. Cependant, certaines scènes dans lesquelles la proportion de marqueurs corrects était faible, soit en raison de nombreuses affectations incorrectes, soit de nombreux marqueurs manquants, présentaient tout de même une correspondance élevée (par exemple, les scènes 3 et 11 de la RC).

Figure 1 : Vue d’ensemble du flux de travail vmTracking. (A) Schéma de principe du flux de travail vmTracking. Tout d’abord, effectuez maDLC sur la vidéo sans marqueur (I). Sur la base des données de suivi maDLC résultantes, corrigez la sortie afin que chaque individu conserve un ID cohérent tout au long de la vidéo, et créez une vidéo étiquetée qui n’affiche qu’un sous-ensemble sélectionné de points clés (II). En utilisant les étiquettes de cette vidéo comme marqueurs virtuels, suivez la vidéo du marqueur virtuel avec saDLC (III). (B) Deux exemples de vmTracking sont présentés sous forme d’instantanés de chaque étape du processus. L’image à l’extrême gauche montre la vue complète, et les images à droite sont des vues agrandies des zones délimitées par des cases jaunes. Les barres orange dans les coins inférieurs droits des images indiquent les échelles : 5 cm pour l’image « Sans marqueur (Vue d’ensemble) » et 1 cm pour toutes les autres. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 2 : Flux de travail de suivi multi-animaux sans marqueur à l’aide de maDLC. Ce chiffre est lié à l’étape 2.1 du Protocole. (A) Les panneaux sont adaptés de la figure 1B et illustrent le processus I (suivi multi-animaux sans marqueur) illustré à la figure 1A. Pour plus de clarté, chaque animal est délimité par une ligne pointillée. La barre orange dans le coin inférieur droit de chaque image indique une barre à l’échelle de 1 cm. (B-D) Instantanés des cadres utilisés pour l’étiquetage lors de l’exécution de maDLC. La barre orange dans le coin inférieur droit de chaque image indique une barre à l’échelle de 5 cm. (B) Exemple de cadre avant l’application des étiquettes. (C) Même cadre que dans B, après étiquetage. (D) Exemple d’un autre cadre étiqueté. L’identité des individus entre les cadres C et D est inconnue, mais l’identité individuelle n’a pas besoin d’être prise en compte lors de l’étiquetage. Comme le montrent les clichés, il suffit d’étiqueter correctement la posture de chaque animal. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 3 : Flux de travail pour la création d’une vidéo de marqueur virtuel basée sur les résultats de maDLC. Cette figure est liée à l’étape 2.2 du protocole. (A) Les panneaux sont adaptés de la figure 1B et illustrent le processus II (création de marqueurs virtuels) illustré à la figure 1A. Pour plus de clarté, chaque animal est délimité par une ligne pointillée. Les flèches blanches indiquent les points clés utilisés comme marqueurs virtuels (les 2e et 4e points clés pour chaque ID). Dans cet exemple, les marqueurs virtuels sont générés en niveaux de gris : les étiquettes maDLC violettes, vertes et rouges apparaissent respectivement en noir, gris et blanc. Dans l’exemple 1, les résultats de maDLC ont été générés directement sous forme de marqueurs virtuels sans correction. Dans l’exemple 2, les ID violet et rouge ont été échangés et corrigés avant la sortie, en raison d’un changement d’ID dans des trames consécutives. Un point vert dans le résultat de maDLC qui aurait dû être corrigé a été négligé et sorti sans modification. La barre orange dans le coin inférieur droit de chaque image indique une barre à l’échelle de 1 cm. (B) Interface graphique basée sur Python pour modifier les fichiers de données de coordonnées h5 afin de ne conserver que des points clés spécifiques et de remplacer tous les autres par NaN¹¹. (Ba) Fenêtre de menu initiale au lancement du programme. Sélectionnez le fichier à modifier à l’aide du bouton Sélectionner le fichier h5. (bb) Fenêtre après avoir sélectionné le fichier h5. Cochez les points clés à remplacer par NaN (affichés sous la forme nom d’un nom individuel-nom de pièce de corps) et spécifiez les heures de début et de fin (avec fréquence d’images) ou les numéros d’image pour le remplacement de NaN. Cliquez sur Traiter les données pour enregistrer le fichier modifié dans le même dossier et crée une sauvegarde de l’original. (C) Images consécutives d’une scène dans laquelle un changement d’ID s’est produit. (D) Exemple de correction de tous les points de suivi de B. (E) Instantané montrant le résultat de B avec seulement les 2e et 4e points clés conservés. (F) Exemple de correction du résultat en E. Par rapport à la correction de tous les points clés (C → D), limiter la correction à deux points (C → E → F) réduit le nombre de vérifications requises. La barre orange dans le coin inférieur droit de chaque image C-F indique une barre d’échelle de 5 cm. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 4 : Flux de travail pour le suivi de la vidéo du marqueur virtuel. Ce chiffre est lié à l’étape 3 du protocole. (A) Les panneaux sont adaptés de la figure 1B et illustrent le processus III (suivi de la vidéo du marqueur virtuel) illustré à la figure 1A. Chaque individu est entouré d’un contour pointillé pour plus de clarté sur la cible de suivi. Dans cet exemple, les individus avec des marqueurs virtuels noirs, gris et blancs sont suivis sous forme d’étiquettes violettes, vertes et rouges, respectivement. Dans l’exemple 1, le marqueur virtuel gris est absent, mais vmTracking maintient un suivi d’identité correct. Dans l’exemple 2, le marqueur gris apparaît sur deux individus, mais le suivi reste correct. La barre orange dans le coin inférieur droit de chaque image indique une barre à l’échelle de 1 cm. (B-D) Instantanés des cadres utilisés pour l’étiquetage pendant vmTracking. Dans cette étape, saDLC est utilisé, chaque point clé étant défini pour inclure des informations sur l’individu et les parties du corps. L’étiquetage spécifie quelle partie du corps de chaque individu est représentée. La barre orange dans le coin inférieur droit de chaque image indique une barre à l’échelle de 5 cm. (B) Instantané d’un cadre avant l’étiquetage. (C) Instantané du cadre en B après étiquetage. (D) Instantané d’une image différente de C après l’étiquetage. Même dans des cadres différents (par exemple, C et D), l’étiquetage maintient l’identité individuelle en utilisant le marqueur virtuel comme indice, comme l’indiquent les couleurs cohérentes de l’étiquette. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 5 : Flux de travail pour fusionner les résultats de suivi avec une vidéo sans marqueur afin de produire une vidéo de suivi sans marqueurs virtuels. Il s’agit d’une étape facultative liée à la REMARQUE de l’étape 3.8.2. (A) Lorsque les résultats du suivi sont appliqués à la vidéo du marqueur virtuel, la vidéo de suivi résultante conserve les marqueurs virtuels (vmTracking^vm+). Les flèches jaunes indiquent les marqueurs virtuels visibles dans la sortie. L’application des résultats de suivi à la vidéo sans marqueur d’origine produit une vidéo de suivi sans marqueurs virtuels (vmTracking^vm-), adaptée à la présentation ou à d’autres fins. La barre orange dans le coin inférieur droit de chaque image indique une barre à l’échelle de 1 cm. (B, C) Gestion des fichiers dans le dossier « videos » du répertoire du projet lors de l’application des résultats de vmTracking à une vidéo sans marqueur. La boîte orange illustre schématiquement le contenu du dossier. (B) Le dossier « videos » après avoir généré une vidéo de suivi vmTracking en sortant les résultats du suivi sur la vidéo du marqueur virtuel (schématiquement représentée par '4. Étiquettes sur la vidéo du marqueur virtuel »). (C) Préparation du dossier « videos » pour la sortie des résultats vmTracking sur la vidéo sans marqueur. Déplacez ou renommez le '1. Vidéo du marqueur virtuel » et « 4. Enommes les fichiers vidéo du marqueur virtuel à partir du panneau B afin qu’ils soient exclus du dossier. Le problème n’est pas les fichiers eux-mêmes, mais que leurs noms de fichiers d’origine interfèrent avec le traitement. Ensuite, placez le '5. vidéo sans marqueur » dans le dossier, en la renommant pour qu’elle corresponde au nom de fichier vidéo de marqueur virtuel d’origine (par exemple, VMvideo.MP4). Dans cet état, la réexécution de la commande Créer des vidéos produit une vidéo de suivi dont les résultats sont appliqués à la vidéo sans marqueur ('6. Étiquettes sur la vidéo sans marqueur »). Cette figure a été modifiée de Azechi & Takahashi, 2025, PLOS Biology (CC BY 4.0)⁷. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 6 : Évaluation de la précision du suivi avec vmTracking. (A-H) Comparaison entre maDLC et vmTracking pour les proportions de Matchs. (A), faux négatifs (B), faux positifs (C) et commutateurs ID (D) dans 12 scènes bondées (CR), et correspondances (E), faux négatifs (F), faux positifs (G) et commutateurs ID (H) dans 8 scènes non bondées (nCR). Les tracés représentent les valeurs mesurées pour chaque scène, et les barres représentent les valeurs moyennes calculées à partir de celles-ci. Des comparaisons statistiques ont été effectuées à l’aide du test de Wilcoxon du rang signé. (I) Relation entre le nombre d’images annotées en CR et les proportions de correspondances et de faux négatifs. La boîte verte de droite montre une vue agrandie de la zone délimitée par les lignes pointillées vertes dans le panneau de gauche. Les graphiques représentent les valeurs moyennes. (J) Relation entre la précision du marqueur virtuel et le suivi des correspondances dans les scènes CR et nCR. La précision des marqueurs virtuels a été classée pour chaque paire de marqueurs en six types : les deux points correctement attribués à la bonne personne, l’un correct et l’autre manquant, l’un correct et l’autre incorrect, les deux incorrects, l’autre incorrect et l’autre manquant, et les deux manquants. Pour chaque scène, les proportions de ces catégories sont affichées sous forme de barres empilées, avec la correspondance de suivi correspondante pour cette scène indiquée au-dessus de chaque barre. Les scènes sont disposées dans l’ordre croissant de suivi de gauche à droite, séparément pour les scènes CR et nCR. Scènes CR : n = 12 ; Scènes nCR : n = 8. p < 0,001, **p < 0,01, *p < 0,05. Cette figure a été modifiée de Azechi et Takahashi (2025)⁹. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure supplémentaire 1 : Instantané de la fenêtre principale dans DeepLabCut multi-animaux, montrant l’emplacement de chaque onglet d’opération. Les instantanés illustrent, à l’aide de flèches, les onglets utilisés dans chaque étape de la procédure vmTracking. Les images ont été capturées à partir de l’interface graphique de DeepLabCut (version 2.2.3). Veuillez cliquer ici pour télécharger cette figure.

Figure supplémentaire 2 : Instantané de la fenêtre principale dans DeepLabCut pour un seul animal, montrant l’emplacement de chaque onglet d’opération. Les instantanés illustrent, à l’aide de flèches, les onglets utilisés dans chaque étape de la procédure vmTracking. Les images ont été capturées à partir de l’interface graphique de DeepLabCut (version 2.2.3). Veuillez cliquer ici pour télécharger cette figure.

Vidéo supplémentaire 1 : Comparaison de DeepLabCut et de vmTracking multi-animaux dans le suivi de trois souris. Cette vidéo comparative montre les performances de DeepLabCut multi-animaux (maDLC ; à gauche) et vmTracking (à droite) lors du suivi de trois souris. La vidéo vmTracking a été générée en remplaçant la vidéo du marqueur virtuel par la vidéo sans marqueur d’origine, en suivant la procédure décrite dans la REMARQUE de l’étape 3.8.2, pour présenter les résultats du suivi sans marqueurs virtuels. Pour chaque méthode de suivi, les identités individuelles sont indiquées à l’aide d’étiquettes de couleur de la même famille de couleurs afin de faciliter la comparaison. Tout au long de la vidéo, vmTracking montre moins de cas où des parties du corps appartenant à différentes personnes sont détectées, par rapport à maDLC. Notamment, vers 15-17 s, maDLC identifie mal les individus étiquetés en vert et en rouge, ce qui entraîne un changement d’identité qui leur est attribuée. Veuillez cliquer ici pour télécharger ce fichier.

Discussion

Bien qu’il y ait une demande croissante pour l’étude des formes naturalistes d’interaction sociale chez les rongeurs¹, l’obtention d’informations fiables sur l’identité et la pose de plusieurs animaux se déplaçant librement, en particulier lors d’interactions rapprochées ou d’occlusions, reste un défi technique. vmTracking surmonte cette limitation, permettant un suivi précis dans de telles conditions. vmTracking atteint de manière fiable une grande précision de suivi dans diverses conditions expérimentales, y compris dans des environnements bondés⁹ où les traqueurs multi-animaux conventionnels ^4,5 échouent souvent. Cette robustesse provient de la combinaison de la création de marqueurs virtuels, basée sur le suivi multi-animaux, avec le suivi saDLC, permettant une estimation précise de l’identité et de la pose. Il est important de noter que la méthode a maintenu des performances élevées même lorsque la précision des marqueurs virtuels n’était pas optimale. Cette tolérance à un certain degré d’imperfection dans les marqueurs virtuels garantit que vmTracking reste pratique pour suivre de manière fiable plusieurs individus en mouvement libre, faisant ainsi progresser les études sur les interactions sociales entre rongeurs dans des conditions semi-naturelles.

Une étape critique de vmTracking consiste à corriger les résultats du suivi multi-animaux lors de la création d’un marqueur virtuel. Dans ce processus, le fait de négliger les commutateurs d’identité ou les étiquettes incorrectes peut amener saDLC à maintenir ces erreurs d’identification tout au long du suivi ultérieur. Si de telles erreurs sont découvertes par la suite, elles peuvent être corrigées en révisant les segments concernés, en régénérant la vidéo du marqueur virtuel et en réexécutant le suivi saDLC. Dans certains cas, les marqueurs virtuels peuvent être placés correctement, mais le saDLC peut toujours mal identifier les individus lorsque les marqueurs de différents animaux se rapprochent lors d’interactions bondées. Ces erreurs peuvent être atténuées en repositionnant les marqueurs virtuels concernés pendant l’étape de création afin de maximiser les distances entre les marqueurs, réduisant ainsi le risque de confusion lors de la phase de suivi ultérieure.

Bien que notre protocole utilise DLC ^4,7 pour les deux étapes, il peut également être mis en œuvre avec SLEAP ^5,12. D’après notre expérience, SLEAP en mode mono-animal est généralement moins stable que le saDLC, avec des performances plus dépendantes de la vidéo⁹. Pour l’étape de création de marqueurs virtuels, cependant, SLEAP ou idtracker.ai¹³ peuvent être tout aussi efficaces, et le choix optimal peut varier en fonction de la vidéo. Par conséquent, si le suivi initial de maDLC montre des commutateurs d’identification fréquents ou une perte de point de clé sévère lors de l’inspection visuelle, une approche mixte est possible, par exemple, en créant des marqueurs virtuels avec SLEAP ou idtracker.ai, puis en suivant la vidéo résultante avec saDLC.

Étant donné que vmTracking implique deux étapes de suivi, certains peuvent le considérer comme lourd et se demander pourquoi les marqueurs physiques ne sont pas simplement attachés dès le départ, éliminant ainsi la nécessité de créer des marqueurs virtuels. Cependant, les marqueurs virtuels offrent des avantages évidents : ils peuvent être appliqués a posteriori à des vidéos sans marqueurs existantes, évitant ainsi tout effet comportemental ou problème éthique associé à l’attachement d’appareils à des animaux. Ils peuvent être placés n’importe où, ne tombent jamais et ne sont pas affectés par la posture ou les interactions rapprochées, ce qui leur permet d’être positionnés et ajustés en fonction de la vidéo spécifique. Cette flexibilité permet une identification individuelle plus fiable et, par conséquent, une meilleure précision de suivi par rapport aux marqueurs physiques. Par conséquent, vmTracking, qui utilise des marqueurs virtuels, permet un suivi de haute précision dans les études d’interactions sociales en mouvement libre ainsi que dans la réanalyse de données vidéo d’archives, où les marqueurs physiques ne peuvent pas être appliqués. Les données de suivi de haute précision ainsi obtenues sont largement utiles dans tous les domaines qui reposent sur des expériences comportementales, notamment les sciences comportementales, la psychologie et les neurosciences.

vmTracking présente plusieurs limitations. Premièrement, parce que l’identification individuelle repose sur les différences de couleur des marqueurs, le nombre d’individus traçables est limité par la gamme finie de couleurs distinctes. À ce jour, nous avons réussi à suivre un groupe de dix poissons⁹ ; Cependant, l’augmentation de ce nombre nécessitera d’élargir la variété des marqueurs virtuels, par exemple en modifiant les formes des marqueurs ou en explorant l’utilisation de structures squelettes comme identificateurs supplémentaires, bien que ces approches nécessitent une validation supplémentaire. Deuxièmement, vmTracking implique nécessairement une étape supplémentaire consistant à ajouter des marqueurs virtuels à chaque vidéo sans marqueur, ce qui peut demander beaucoup de travail pour de longs enregistrements ou des ensembles de données avec de nombreuses personnes. De plus, bien que cette méthode puisse, en principe, être appliquée à diverses espèces et conditions d’enregistrement, la possibilité d’obtenir un suivi de haute précision peut diminuer lorsque les paramètres expérimentaux ne peuvent pas être optimisés. Par exemple, dans les enregistrements d’animaux sauvages ou en mouvement libre dans des conditions de terrain, où l’éclairage, la résolution de la caméra ou les angles d’enregistrement sont difficiles à contrôler, la correction manuelle requise lors de l’attribution de marqueurs virtuels a tendance à augmenter, ce qui peut limiter la facilité d’obtention de données de suivi de haute qualité. À l’avenir, la rationalisation et l’automatisation du processus d’attribution des marqueurs virtuels amélioreront encore l’applicabilité et la facilité d’utilisation de la méthode.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Tuyau acrylique (transparent, épaisseur 5 mm, diamètre intérieur 31 cm)	Sugawarakougei Co., Ltd.	https://www.sugawarakougei.jp/	Acheté chez Hazaiya (un détaillant en ligne de matériaux acryliques)
Plaque acrylique (blanche, 3 mm d’épaisseur, 31 cm de diamètre)	Sugawarakougei Co., Ltd.	https://www.sugawarakougei.jp/	Acheté chez Hazaiya (un détaillant en ligne de matériaux acryliques)
Souris C57BL/6J	Fournitures de laboratoire Shimizu, Co.LTD.	N/A
Caméra	Basler	acA3088-57uc
DeepLabCut 2.2.3	Laboratoire Mathis à l’Institut fédéral suisse de technologie à Lausanne	https://www.mackenziemathislab.org/deeplabcut
Suite logicielle de caméra pylône (Pylon Viewer)	Basler	N/A