Utilisation de vmTracking pour améliorer la précision de l’estimation de la pose multi-animaux dans les études de comportement social des rongeurs

Nous visons à comprendre les interactions sociales chez les souris en mouvement libre en développant des méthodes précises de pistage multi-animaux. Atteindre un suivi précis de la posture avec une identification individuelle fiable dans des conditions multi-animaux reste difficile. Pour commencer, créez un nouveau projet multi-animaux en sélectionnant Gérer le projet pour un suivi vidéo sans marqueur.

Modifiez les champs individus et parties du corps dans la config. fichier yaml selon les exigences d’analyse. Sélectionnez Extraire des images pour extraire les images de la vidéo afin d’étiqueter et de former.

Ensuite, étiquetez chaque trame extraite en sélectionnant Étiquette Données. Attribuez les parties du corps appropriées à chaque individu visible sans nécessairement maintenir des identifiants cohérents entre les images. Pour créer un jeu de données d’entraînement à partir des trames extraites, sélectionnez créer un jeu de données d’entraînement.

Réglez le réseau sur DLCRNet_ms5 dans la configuration. Sélectionnez Train pour commencer à entraîner le réseau. Fixez le paramètre maximum d’itérations à 200 000 pour cette séance d’entraînement.

Tous les autres paramètres d’entraînement peuvent rester à leurs valeurs par défaut. Évaluez le réseau entraîné en sélectionnant Évaluer. Pour effectuer l’estimation de la pose sur les vidéos sélectionnées, choisissez Analyser les vidéos générant des données de coordonnées HDF5 et d’autres fichiers de sortie dans le dossier vidéos du dossier projet.

Pour effectuer une vérification manuelle des résultats de suivi, créez une vidéo de suivi identifiée en sélectionnant Créer des vidéos. Activez l’option créer une vidéo avec une identité animale colorée dans l’interface graphique du DLC pour inclure des identifiants individuels dans la vidéo. Ensuite, inspectez les vidéos générées et étiquetées pour vérifier s’il y a des changements d’identité ou des prédictions manquantes.

Si des erreurs majeures sont présentes, préparez-vous à une rééducation. Pour réentraîner, extraire et annoter les images aberrantes. Sélectionnez extraire ou affiner les valeurs aberrantes.

Une fois l’annotation terminée, cliquez sur Fusionner l’ensemble de données pour passer automatiquement à la création de l’ensemble de données d’entraînement. Puis répéter la chaîne de formation. Pour corriger les résultats du DLC multi-animaux, ouvrez l’interface graphique personnalisée et ne conservez que les points clés requis pour les marqueurs virtuels.

Sélectionnez Refine Tracklets pour corriger le fichier HDF5 contenant uniquement les points clés sélectionnés. Ajustez les points clés pour que chacun conserve une identification cohérente sur toute la vidéo. Enregistrez le fichier et le fichier HDF5 dans le dossier vidéos sera mis à jour automatiquement.

Ensuite, créez une nouvelle vidéo étiquetée à partir des données corrigées en sélectionnant Créer des vidéos. Dans DeepLabCut 2.2, si une vidéo étiquetée existe déjà dans le dossier vidéos, une nouvelle vidéo ne sera pas créée. Supprimer, renommer ou déplacer le fichier existant avant de procéder.

Renommer la vidéo virtuelle de marqueur en un nom de fichier court afin d’éviter les erreurs lors du traitement DeepLabCut en aval. Créez un nouveau projet saDLC en sélectionnant Gérer le projet pour suivre la vidéo de marqueur virtuel. Dans la configuration.

fichier yaml, liste toutes les combinaisons d’individus et de parties du corps dans le champ des parties du corps. Pour extraire des images de la vidéo de marqueur virtuel renommée, sélectionnez Extraire des images. Identifiez désormais chaque image extraite dans les données d’étiquette en utilisant les marqueurs virtuels pour attribuer des identifiants individuels cohérents et vous assurer que les identifiants et les parties du corps correspondent entre les images.

Lorsqu’une partie du corps est partiellement cachée, mais que l’ID de l’individu est connu, estimez sa position et appliquez l’appellation en conséquence. Créez un jeu de données d’entraînement à partir des cadres extraites en sélectionnant Créer un ensemble de données d’entraînement. Réglez le réseau sur un net B0 efficace pour cette session d’entraînement.

Commencez à entraîner le réseau en sélectionnant Train. Réglez le paramètre maximum d’itérations à 200 000 pour cette session, et tous les autres paramètres peuvent rester à leurs valeurs par défaut. Après avoir évalué le réseau entraîné, effectuez une vérification manuelle comme démontré précédemment.

Dans les scènes bondées, le suivi des VM a atteint un pourcentage de correspondance nettement plus élevé que le maDLC. Le nombre de faux négatifs était nettement plus faible avec le suivi des machines virtuelles qu’avec le maDLC. Cependant, il n’y avait aucune différence entre le suivi des VM et le maDLC en termes de faux positifs et de nombre d’interrupteurs ID.

Dans les scènes non encombrées, le suivi des VM a obtenu un pourcentage de correspondance nettement plus élevé que le maDLC. Le nombre de faux négatifs était nettement plus faible avec le suivi des machines virtuelles qu’avec le maDLC. Il n’y avait aucune différence dans le nombre de faux positifs et de commutateurs d’ID entre le suivi des machines virtuelles et le maDLC.

Dans les scènes bondées, le pourcentage de matchs dans le maDLC a plafonné à environ 85 % après environ 400 images annotées sans amélioration supplémentaire. Tandis que le suivi des machines virtuelles a montré une augmentation régulière jusqu’à environ 95 %, autour de 1 000 trames. Dans maDLC, augmenter le nombre de trames annotées ne réduisait pas le nombre de faux négatifs.

Les scènes avec une proportion plus élevée de marqueurs virtuels correctement attribués avaient tendance à montrer des pourcentages de correspondance plus élevés. Cependant, certaines scènes comme 3 et 11 montraient encore des pourcentages de correspondance élevés malgré de nombreuses erreurs ou des marqueurs manquants. Notre protocole traite un manque de maintien fiable de l’identité dans le suivi des poses multi-animaux.

Il améliore la précision du suivi de la pose en combinant des marqueurs virtuels avec des outils existants. Nos recherches futures utiliseront ces données pour examiner comment la dynamique de groupe façonne les comportements sociaux chez la souris.