Method Article

Décodage du comportement naturel à partir de l’intégration neuroéthologique

DOI:

10.3791/68668

October 3rd, 2025

In This Article

Summary

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ce protocole fournit un cadre intégré basé sur des méthodes neuroéthologiques computationnelles avancées pour comprendre le codage cérébral dans des contextes naturalistes.

Abstract

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Les animaux interagissent avec leur environnement naturel grâce à une activité cérébrale riche et dynamique. Comprendre comment la dynamique neuronale des populations encode le comportement naturaliste reste un défi fondamental en neurosciences des systèmes. Les progrès récents de l’analyse comportementale basée sur l’apprentissage profond et de l’imagerie miniature par fluorescence ont ouvert de nouvelles voies pour étudier comment le cerveau code le comportement naturel. Ici, cette étude présente un cadre expérimental et computationnel intégré qui combine l’Atlas du comportement social (SBeA), la microscopie miniature à deux photons (mTPM) et les EmBeddings cohérents d’enregistrements de haute dimension utilisant des variables auxiliaires (CEBRA) pour décoder des comportements complexes à partir de la dynamique cérébrale. Cette étude utilise des interactions sociales naturalistes entre des souris se déplaçant librement comme système modèle, permettant une annotation comportementale à haute résolution parallèlement à l’imagerie neuronale simultanée. Ce cadre comprend l’estimation précise de la pose comportementale, le suivi synchronisé à deux souris, l’alignement de l’intégration neuronale et le décodage des caractéristiques comportementales directement à partir des principaux composants neuronaux. Cette étude démontre que cette approche permet d’atteindre une précision de décodage de 3. ± 1,5 pixel pour la posture et une précision de 89 ± 6 % pour le décodage des motifs chez les animaux, ce qui souligne sa robustesse et sa généralisabilité. Cette méthode fournit un outil puissant pour explorer comment l’activité cérébrale reflète des états comportementaux structurés, et elle jette les bases d’études futures sur les principes de codage neuronal naturalistes.

Introduction

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ce cadre est conçu pour capturer et décoder les données comportementales et de neuroimagerie d’animaux se déplaçant librement dans des contextes expérimentaux naturalistes. Il comprend trois composants clés : des méthodes d’estimation de pose et de classification du comportement basées sur l’apprentissage profond, SBeA1, des techniques d’imagerie par fluorescence miniature mTPM2 et un algorithme d’intégration neuroéthologique basé sur l’apprentissage contrastif, CEBRA3. Des études récentes ont mis en évidence la complexité des processus neuroéthologiques chez les animaux en mouvement libre, qui dépasse celle observée dans les paradigmes expérimentaux à tête fixe 4,5. Cependant, les limites techniques et la variabilité ont entravé l’application généralisée de ces approches à des études plus larges du comportement naturel. Ce protocole présente un cadre stable et intégré qui garantit l’accessibilité des données comportementales et neuronales collectées dans des contextes naturalistes pour un large éventail de laboratoires de recherche.

Étant donné que les animaux se déplacent librement dans des environnements naturels, ce cadre intègre l’estimation de la pose basée sur l’apprentissage profond pour obtenir un suivi précis des postures 6,7. Les méthodes de suivi traditionnelles basées sur le traitement d’images sont insuffisantes pour capturer des mouvements à petite échelle, tels que la dynamique des membres et des pattes, par rapport aux approches basées sur l’apprentissage profond8. Les comportements divers et complexes présentés par les animaux se déplaçant librement posent des défis pour les méthodes de classification comportementale supervisée9, car les catégories comportementales prédéfinies ne parviennent souvent pas à englober toute la gamme des phénotypes comportementaux naturels10. Par conséquent, les méthodes de classification basées sur l’apprentissage non supervisé sont mieux adaptées à l’analyse du comportement dans des contextes naturalistes1. Ils peuvent décomposer de manière exhaustive un comportement continu en motifs discrets de moins d’une seconde en fonction de leurs similitudes structurelles intrinsèques, puis leurs définitions cohérentes sont données par le biais de clusters basés sur des données.

L’imagerie cérébrale chez les animaux en mouvement libre nécessite de capturer la grande variabilité de l’activité d’un seul neurone 4,5. Les enregistrements électrophysiologiques chez les animaux en mouvement libre sont limités dans leur capacité à détecter les neurones ayant une activité principalement inférieure au seuil11. De plus, la microscopie monophotonique souffre d’une résolution et d’un contraste faibles, ce qui rend difficile le maintien d’identités neuronales cohérentes entre les sessions d’imagerie12. La mTPM offre une résolution et un contraste supérieurs à ceux de la microscopie monophotonique, ce qui en fait un outil plus efficace pour étudier le codage neuronal des comportements naturels 2,13,14,15.

L’établissement d’une cartographie robuste entre le comportement et les données neuronales nécessite des méthodes capables de révéler leur structure informationnelle partagée16. Les techniques conventionnelles de réduction de la dimensionnalité, telles que l’analyse en composantes principales (PCA)17, le t-Distributed Stochastic Neighbor Embedding (t-SNE)18 et l’UMAP (Uniform Manifold Approximation and Projection)19, ne peuvent pas intégrer efficacement des données comportementales et neuronales dans un espace de caractéristiques commun. En revanche, les approches d’intégration basées sur l’apprentissage profond, telles que CEBRA, permettent l’intégration de plusieurs modalités de données dans des cadres supervisés et auto-supervisés, générant des représentations latentes de haute qualité3. Bien que diverses méthodes alternatives aient émergé au cours des dernières années 20,21,22, ce cadre proposé privilégie les applications pratiques en incorporant des méthodes bien établies qui sont soit disponibles dans le commerce, soit soutenues par des tutoriels complets.

Par rapport aux études récentes 4,5, ce cadre offre trois avancées clés. Tout d’abord, il élimine les préjugés humains dans la classification du comportement. Des études antérieures s’appuyaient sur l’étiquetage manuel du comportement, qui demande beaucoup de main-d’œuvre et est sujet à des incohérences, d’autant plus que les annotateurs éprouvent de la fatigue 23,24,25. En revanche, ce cadre utilise la classification comportementale non supervisée, qui préserve la structure naturelle des modèles comportementaux en décomposant objectivement et en regroupant les motifs de comportement avant d’attribuer des définitions26,27. Deuxièmement, l’utilisation de la mTPM permet de capturer des dynamiques neuronales plus complexes au niveau du neurone unique. Cet avantage méthodologique élargit l’applicabilité de ce cadre au décodage de comportements naturels complexes à partir de diverses populations neuronales, y compris celles impliquées dans le codage sous-seuil28. Troisièmement, ce cadre intègre des données comportementales et neuronales dans un espace de représentation unifié, plutôt que d’utiliser UMAP pour intégrer chaque modalité séparément ou d’utiliser des machines à vecteurs de support pour imposer une cartographie rigide entre l’activité neuronale et le comportement tout en ignorant leur dynamique intrinsèque 4,5. Cette approche d’intégration conjointe assure une représentation plus complète et biologiquement significative de la relation entre le comportement et l’activité cérébrale.

Ce cadre est bien adapté aux projets de recherche qui impliquent l’enregistrement et le décodage de données comportementales et neuronales d’animaux se déplaçant librement dans des conditions expérimentales naturalistes. Bien que l’implémentation actuelle soit optimisée pour les études sur les souris, son adaptation à d’autres modèles animaux peut nécessiter un développement supplémentaire. Étant donné que les composants matériels utilisés dans ce cadre sont disponibles dans le commerce, d’une part, le coût global peut être relativement élevé. D’autre part, cette disponibilité commerciale réduit considérablement le temps consacré au dépannage des problèmes logistiques et garantit l’acquisition de résultats stables et fiables de manière efficace.

Ce protocole est conçu pour être reproductible et accessible aux laboratoires de neurosciences équipés pour l’imagerie des petits animaux et le suivi du comportement. Le système complet intègre un dispositif mTPM disponible dans le commerce avec une configuration d’acquisition comportementale multi-angle. Les enregistrements neuronaux typiques sont acquis à 4,84 Hz avec une résolution de 512 × 512 pixels, et les données comportementales sont capturées à 30 images par seconde. La synchronisation des données est réalisée grâce à l’alignement des impulsions TTL pendant le prétraitement. L’entraînement et le décodage peuvent être effectués sur une station de travail standard avec un GPU (par exemple, NVIDIA RTX 3090 ou équivalent), et le pipeline complet nécessite environ 100 Go de stockage par expérience. Bien que l’implémentation actuelle soit optimisée pour les souris se déplaçant librement, la conception modulaire du flux de travail permet de s’adapter à d’autres espèces en ajustant l’étalonnage du suivi et les paramètres d’imagerie en fonction de la taille et de la mobilité de l’animal. Ces détails pratiques soutiennent l’adaptabilité et la reproductibilité du protocole dans une gamme de contextes expérimentaux.

Protocol

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Le Comité de soin et d’utilisation des animaux de l’Institut de technologie avancée de Shenzhen, Académie chinoise des sciences, a approuvé toutes les procédures d’élevage et expérimentales.

1. Mise en place d’une plateforme

REMARQUE : La plate-forme se compose de deux composants principaux : le dispositif mTPM et le dispositif de comportement 3D (Figure 1A). Le dispositif mTPM facilite la synchronisation en temps réel de l’imagerie mTPM avec les données comportementales, permettant ainsi l’acquisition efficace, stable et continue de données de haute qualité à partir d’animaux se déplaçant librement. L’appareil de comportement 3D est équipé de quatre caméras pour capturer la scène complète du comportement des animaux et d’un module de calibrage automatique pour reconstruire les poses d’animaux en 3D. Les deux appareils doivent intégrer des modules de synchronisation dans leurs versions respectives.

  1. Connexion de l’appareil
    1. Retirez la coque extérieure du dispositif de comportement 3D. Placez les pièces restantes du dispositif de comportement 3D, y compris quatre caméras et un module d’étalonnage automatique, à l’intérieur de la chambre d’enregistrement comportemental du dispositif mTPM.
    2. Connectez le câble USB (Universal Serial Bus) du module de synchronisation du périphérique de comportement 3D au poste de travail du périphérique de comportement 3D.
    3. Connectez le module de synchronisation de l’appareil mTPM au contrôleur de l’appareil mTPM à l’aide d’un câble SubMiniature version A (SMA).
    4. Connectez le port de sortie TTL (Transistor-Transistor Logic) du module de synchronisation du dispositif de comportement 3D au port d’entrée TTL du module de synchronisation du dispositif mTPM à l’aide d’un câble de conversion SMA-Bayonet Neill-Concelman (BNC).
  2. Enregistrement d’horodatage des trames mTPM
    1. Allumez toutes les alimentations du périphérique mTPM.
    2. Démarrez le logiciel d’enregistrement mTPM et le logiciel de synchronisation mTPM.
    3. Définissez les chemins d’enregistrement des trames mTPM et les horodatages de synchronisation.
      REMARQUE : N’utilisez pas de lettres et de caractères spéciaux non anglais pour nommer les chemins.
    4. Définissez le nombre de trames d’enregistrement du logiciel d’enregistrement mTPM. Le nombre recommandé de trames est de 6000, ce qui est suffisant pour terminer l’étape de débogage de synchronisation.
    5. Sélectionnez chaque canal du logiciel de synchronisation mTPM.
    6. Démarrez l’enregistrement du mTPM via le logiciel d’enregistrement mTPM. Avant de commencer l’enregistrement, éteignez toutes les lumières à l’intérieur de la pièce pour protéger le mTPM de la surchauffe de la lumière. Le logiciel de synchronisation mTPM s’exécute automatiquement lorsque l’utilisateur démarre l’enregistrement.
    7. Vérifiez si les horodatages de trame mTPM sont capturés par le logiciel de synchronisation mTPM.
      REMARQUE : Les horodatages de trame mTPM affichés dans le logiciel de synchronisation mTPM sont des impulsions TTL nettes. Chaque image d’imagerie déclenche une impulsion TTL nette, qui est de 4,84 Hz par défaut. S’il n’y a pas d’impulsion affichée sur le panneau du logiciel, il y a 2 problèmes normaux. La première est que le pilote du contrôleur du périphérique mTPM ne prend pas en charge la capture d’horodatage. L’amélioration de la version de son pilote pour prendre en charge la capture d’horodatage peut résoudre le premier problème. Le second est la mauvaise connexion du câble SMA. Assurez-vous que les connecteurs SMA sont bien serrés. Avant de vérifier les horodatages, revenez à la version 1.1.2, puis essayez étape par étape.
    8. Attendez que l’enregistrement s’arrête. Vérifiez si le fichier .tif des trames mTPM, un fichier .tdms et un fichier .tdms_index des horodatages sont enregistrés.
  3. Enregistrement horodaté de quatre caméras du dispositif de comportement 3D
    1. Définissez le chemin d’enregistrement des vidéos et les horodatages de comportement dans le script de synchronisation de caméra personnalisé.
      REMARQUE : le code de synchronisation de l’appareil photo personnalisé est à https://github.com/YNCris/natural_behavior_device/blob/main/camera_code/mul_camera_save_video_event.py.
    2. Démarrez le logiciel de synchronisation mTPM. Définissez les chemins d’enregistrement des horodatages de synchronisation mTPM.
    3. Démarrez l’enregistrement du logiciel de synchronisation mTPM. Exécutez le script de synchronisation de caméra personnalisé.
    4. Vérifiez si les horodatages de comportement sont capturés par le logiciel de synchronisation mTPM.
      REMARQUE : Les horodatages de comportement affichés dans le logiciel de synchronisation mTPM sont des impulsions TTL nettes. Un horodatage de comportement est envoyé au logiciel de synchronisation mTPM toutes les 30 images de l’enregistrement de l’image vidéo de comportement. Les horodatages du comportement seront également enregistrés dans le poste de travail de l’appareil de comportement 3D.
    5. Vérifiez si quatre fichiers .avi de vidéos de comportement, un fichier .txt d’horodatages de comportement dans le dispositif de comportement 3D, un fichier .tdms et un fichier .tdms_index d’horodatages de comportement dans le poste de travail mTPM sont enregistrés.
  4. Calibrage de la caméra du dispositif de comportement 3D
    1. Ajustez l’angle de prise de vue de quatre caméras. Les quatre caméras doivent couvrir toute la base du champ ouvert tout en étendant leur champ de vision d’au moins 20 cm au-dessus de la limite la plus éloignée du champ ouvert pour s’assurer que les instances de la souris qui se cabre sont entièrement capturées.
    2. Placez le module de calibrage au centre des zones de prise de vue. Exécutez le logiciel d’étalonnage de l’appareil photo. Avant d’exécuter le logiciel d’étalonnage de l’appareil photo, éteignez toutes les lumières.
      REMARQUE : Quatre caméras captureront les images du damier mobile affiché par l’écran d’étalonnage. L’étalonnage de la caméra est basé sur la méthode d’étalonnage29 de Zhang.
    3. Après avoir exécuté le logiciel d’étalonnage de la caméra, un fichier .mat sera enregistré, qui contient la matrice de projection de la caméra pour la reconstruction de la pose 3D des animaux. Étant donné que l’indexation des données de comportement à l’étape de synchronisation du système repose sur le fichier .mat d’étalonnage, assurez-vous que l’étape d’étalonnage de la caméra est terminée avant l’étape de synchronisation de l’ensemble du système.
  5. Synchronisation de l’ensemble du système
    REMARQUE : Avant cette étape, assurez-vous que les horodatages des trames mTPM et du dispositif de comportement 3D peuvent être reçus séparément par le logiciel de synchronisation mTPM.
    1. Allumez toutes les alimentations du dispositif mTPM et du dispositif de comportement 3D.
    2. Démarrez le logiciel d’enregistrement mTPM, le logiciel de synchronisation mTPM et le script de synchronisation de caméra personnalisé.
    3. Définissez leur chemin et leurs paramètres en vous référant à l’étape 1.3.1. Démarrez l’enregistrement du mTPM via le logiciel d’enregistrement mTPM.
    4. Exécutez le script de synchronisation de caméra personnalisé. Assurez-vous que le démarrage de l’enregistrement des trames mTPM précède l’exécution du script d’enregistrement du comportement afin que le logiciel de synchronisation mTPM puisse recevoir les horodatages du périphérique de comportement 3D. Définissez l’heure de fin d’enregistrement des trames mTPM sur une durée plus longue que la durée d’enregistrement du comportement afin que le logiciel de synchronisation mTPM puisse capturer les horodatages de comportement sans perte.
      REMARQUE : La durée d’enregistrement recommandée des trames mTPM est supérieure à 5 minutes de l’enregistrement du comportement. Par exemple, si l’utilisateur souhaite enregistrer un comportement de 15 minutes, le nombre de trames mTPM doit être défini sur 4,84 x (15+5) x 60 = 5808 trames.
    5. Attendez l’arrêt de l’enregistrement. Après l’enregistrement, il y a un fichier .tif de trame mTPM, deux fichiers .tdms de synchronisation mTPM, deux fichiers .tdms_index, quatre fichiers .avi vidéo de comportement et un fichier .txt d’horodatage de comportement.
    6. Exécutez le code de synchronisation personnalisé pour aligner le cadre mTPM et les vidéos de comportement. Le code de synchronisation personnalisé est à https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step1_align_tpm_data.m.
      1. Avant d’exécuter ce script, organisez manuellement les fichiers comme suit :
        ----\Chemin racine # Le chemin d’accès pour enregistrer toutes les données
        --------\behavior_all # Le chemin d’accès pour enregistrer les données de comportement
        ------------\A-B-C-D-E-caliParas.mat # Fichier d’étalonnage de la caméra
        ------------\A-B-C-D-E-camera-1.avi # vidéo de comportement de la caméra 1
        ------------\A-B-C-D-E-camera-2.avi # vidéo de comportement de la caméra 2
        ------------\A-B-C-D-E-camera-3.avi # vidéo de comportement de la caméra 3
        ------------\A-B-C-D-E-camera-4.avi # vidéo de comportement de la caméra 4
        ------------\A-B-C-D-E-event.txt # horodatage du comportement du dispositif de comportement 3D
        ----\tpm_suite2p # Le chemin d’accès pour enregistrer les données mTPM
        --------\sep # Le chemin d’accès pour enregistrer les trames et les horodatages mTPM
        ------------\A-B-C-D-E-event # Le chemin pour faire l’alignement de l’horodatage
        ----------------\beh.tdms # Le fichier .tdms du canal de comportement
        ----------------\beh.tdms_index #The comportement du fichier .tdms_index canal
        ----------------\tpm.tdms # Fichier .tdms du canal mTPM
        ----------------\tpm.tdms_index # Le fichier .tdms_index du canal mTPM
        ------------\A-B-C-D-E-tpm # Le chemin d’accès pour enregistrer les trames mTPM
        ----------------\F.tif # Les trames mTPM de chaque enregistrement
        --------\process # Le chemin pour extraire des traces neuronales
        ------------\C # Le chemin de chaque souris
        ----------------\F.tif # Les trames mTPM de chaque souris
        A à G sont des définitions de champs de nom, où
        A signifie des groupes expérimentaux, par exemple, libres,
        B signifie la séquence de vidéos, par exemple, seg1,
        C signifie l’identité des animaux, par exemple, 1tpmss,
        D signifie les partenaires d’interaction, par exemple, 1wt,
        E signifie la date expérimentale, par exemple, 20220226, et
        F signifie le bloc de trame d’enregistrement mTPM (5000 images par morceau), par exemple, social 1.
        REMARQUE : La fréquence d’images du système de suivi comportemental 3D est de 30 Hz, tandis que celle du mTPM est de 4,84 Hz. Étant donné que la précision de synchronisation maximale réalisable est limitée par la fréquence d’images la plus basse (4,84 Hz), la résolution temporelle de la synchronisation est d’environ 206 ms. Les horodatages comportementaux servent de référence, et chaque trame mTPM est alignée sur le point temporel comportemental le plus proche. Les intervalles entre les images mTPM successives par rapport à la chronologie comportementale sont interpolés à l’aide d’une approche par étapes.

2. Enregistrement des données neuroéthologiques

REMARQUE : Le processus d’enregistrement des données neuroéthologiques comprend quatre étapes clés (Figure 1B).

  1. Montage mTPM
    REMARQUE : Étant donné que les détails du montage mTPM sont contenus dans le tutoriel du mTPM, seules les étapes clés sont présentées ici.
    1. Préparez la fenêtre crânienne.
      REMARQUE : La préparation de la fenêtre crânienne comprend principalement l’injection du virus, l’implantation du verre de couverture et la fixation de la plaque métallique. Parce que les sites d’imagerie sont différents dans diverses recherches, les détails de la préparation de la fenêtre crânienne sont différents. Dans ce cas, la préparation de la fenêtre crânienne est effectuée par un service d’externalisation. La zone d’imagerie du cerveau dans les données d’exemple est le cortex somatosensoriel primaire (S1).
    2. Fixez le dispositif de retenue de la souris au micromanipulateur mTPM. Fixez la tête de la souris à la retenue à travers la plaque métallique.
    3. Trouvez la fluorescence grâce au mTPM. Éteignez tous les voyants avant d’allumer l’imagerie mTPM. Fixez le mTPM au support avant les étapes suivantes.
      1. Ajoutez une goutte de gel pour les yeux Carbomer en haut de la fenêtre crânienne. Déplacez la souris sur la plate-forme de mouvement lorsque la fenêtre crânienne est alignée sous l’objectif mTPM.
      2. Déplacez le micromanipulateur verticalement pour trouver le plan d’imagerie. Déplacez le micromanipulateur dans le plan pour centrer le plan d’imagerie.
    4. Fixez la base supérieure au mTPM. Collez la base inférieure à la base supérieure et à la fenêtre crânienne.
      1. Pour assurer la stabilité structurelle, remplissez l’espace entre les deux bases et le support en plaque métallique fixé à la tête de la souris et collez-le avec un adhésif structurel acrylique haute performance. Faites durcir l’adhésif pendant 30 minutes avant d’évaluer la stabilité de la liaison en sondant doucement la base avec une pince à épiler. Si nécessaire, un adhésif supplémentaire est appliqué jusqu’à ce qu’une fixation sûre soit obtenue.
        REMARQUE : Il est essentiel d’empêcher toute adhérence directe entre la base et le mTPM lui-même. Les bases supérieure et inférieure sont de petits cadres en aluminium. La base supérieure est fabriquée sur mesure pour s’adapter parfaitement au contour inférieur du boîtier mTPM. Des bases inférieures avec plusieurs options de hauteur sont utilisées pour combler l’espace entre la base supérieure et la fenêtre crânienne. Toutes les bases inférieures ont les mêmes dimensions planes que la base supérieure pour assurer la compatibilité mécanique, ne différant que par la hauteur pour s’adapter aux différentes distances entre le crâne et la base supérieure.
    5. Ajoutez une goutte de gel pour les yeux Carbomer à l’intérieur de la chambre de base. Vérifiez la fluorescence neuronale grâce à la mTPM. Si la fluorescence neuronale n’est pas clairement visible, retirez l’adhésif à l’aide d’une perceuse crânienne, en permettant la séparation de la base, après quoi la procédure ci-dessus est répétée jusqu’à ce que la clarté de la fluorescence soit atteinte.
    6. Fixez la feuille d’aluminium avec du ruban adhésif entre la fibre de mTPM et la fenêtre crânienne.
      REMARQUE : Cette étape consiste à maintenir un blindage lumineux approprié tout au long du processus d’enregistrement. L’utilisation de papier d’aluminium et de ruban adhésif a été minimisée afin de réduire le poids total.
    7. Allumez la lumière de la pièce et testez la clarté des cadres mTPM.
  2. Placer la souris dans un champ ouvert
    REMARQUE : Cette étape consiste à placer la souris dans le champ ouvert tout en assurant un bon équilibre du poids de la fibre et du mTPM.
    1. Gonflez au moins 10 ballons à l’hélium et attachez-les séparément avec de la ficelle de coton. Détachez la plaque métallique de la contention de la souris.
    2. Tenez la souris par sa queue d’une main. Supportez la fibre mTPM en utilisant l’autre main.
    3. Positionnez doucement la souris dans le champ ouvert. Suspendez les ballons d’hélium à l’aide de ficelle de coton à la fibre. Ajustez le nombre de repères jusqu’à ce que la souris puisse se déplacer librement et explorer le champ libre sans contrainte.
      REMARQUE : Le nombre optimal de ballons est déterminé lorsque la souris reste au sol, avec ses membres antérieurs non soulevés par la flottabilité vers le haut, tout en contrebalançant suffisamment le poids du mTPM pour permettre à l’animal de maintenir une posture naturelle de la tête et de se tenir spontanément debout. La ficelle de coton doit être attachée à une hauteur au-dessus du champ ouvert pour assurer une longueur de fibre suffisante pour un mouvement sans restriction de la souris. La ficelle de coton était attachée à la hauteur de la fibre optique, qui était approximativement alignée avec le bord supérieur de la chambre en plein champ. Dans l’exemple donné, une fois cette étape terminée, une souris non traitée est introduite dans le champ ouvert pour permettre une interaction sociale libre.
    4. Fermez la porte du boîtier mTPM pour minimiser les perturbations externes.
  3. Activation de l’enregistrement mTPM.
    1. Démarrez le logiciel d’enregistrement mTPM et le logiciel de synchronisation mTPM. Définir leur trajectoire et leurs paramètres en fonction de l’étape d’établissement de la plateforme.
    2. Démarrez l’enregistrement du mTPM via le logiciel d’enregistrement mTPM. Vérifiez la présence de marqueurs temporels correspondant à chaque image à deux photons dans le logiciel de synchronisation.
    3. Évaluez si le contraste des images à deux photons n’est pas affecté et confirmez que la locomotion de la souris ne compromet pas la stabilité des images enregistrées. Si des problèmes sont détectés, répétez la procédure de synchronisation et le processus de montage mTPM jusqu’à ce que l’imagerie à deux photons produise des images claires avec des marqueurs de temps alignés avec précision.
  4. Activation de l’enregistrement du comportement
    1. Démarrez le script de synchronisation de caméra personnalisé.
      REMARQUE : le code de synchronisation de l’appareil photo personnalisé est à https://github.com/YNCris/natural_behavior_device/blob/main/camera_code/mul_camera_save_video_event.py.
    2. Définissez le chemin et les paramètres relatifs à l’étape d’établissement de la plateforme.
    3. Démarrez l’enregistrement du comportement via le script de synchronisation de caméra personnalisé. Vérifiez la présence de marqueurs de temps correspondant à chaque 30 trames de comportement dans le logiciel de synchronisation mTPM.
    4. Vérifiez si les quatre flux vidéo des caméras sont correctement synchronisés et vérifiez les paramètres de capture vidéo du système de suivi comportemental 3D.
      REMARQUE : Dans la configuration ci-dessus, les appareils photo utilisent une résolution d’image de 640 × 480 pixels, une fréquence d’images de 30 images par seconde, des images RVB et une exposition automatique. L’exposition automatique permet à l’appareil photo d’ajuster dynamiquement la luminosité en fonction des conditions d’éclairage ambiant. Étant donné que le temps d’exposition affecte directement la fréquence d’images réalisable, en particulier dans des conditions de faible luminosité où des expositions plus longues sont nécessaires, la fréquence d’images peut diminuer. Pour garantir une acquisition d’image stable à 30 Hz, il est important de contrôler l’éclairage d’arrière-plan afin de minimiser le temps d’exposition. Les paramètres de gain et de binning de la caméra sont maintenus à leurs valeurs par défaut tout au long de l’enregistrement.
    5. L’enregistrement comportemental s’arrêtera automatiquement une fois la durée prédéfinie atteinte. Une fois l’enregistrement comportemental terminé, désactivez manuellement l’enregistrement et la synchronisation mTPM. En suivant ces étapes, un seul essai d’acquisition simultanée de données neuronales et comportementales est réalisé.

3. Prétraitement des données neuroéthologiques

REMARQUE : Si toutes les étapes précédentes sont menées à bien, trois catégories de fichiers de données doivent être obtenues : des images d’imagerie à deux photons (.tif), quatre enregistrements vidéo comportementaux (.avi) accompagnés d’un fichier d’étalonnage de caméra (.mat) et deux fichiers d’horodatage de synchronisation (.tdms) pour le prétraitement ultérieur des données (Figure 1C). Ces données doivent être renommées manuellement et placées dans les dossiers faisant référence à l’étape 1.5.7.

  1. Prétraitement des données mTPM
    1. Extrayez les trajectoires des signaux neuronaux des trames mTPM via suite2p30. Conservez les paramètres de suite2p à leurs valeurs par défaut pour garantir la reproductibilité. Ajustez uniquement la fréquence d’images en fonction des paramètres d’acquisition mTPM.
      REMARQUE : Étant donné que les étapes suivantes incluent le traitement du signal et le contrôle de la qualité, il n’est pas nécessaire d’affiner considérablement les paramètres suite2p à ce stade. Il est plus important de maintenir la cohérence entre les ensembles de données.
    2. Exécutez le code personnalisé pour aligner les horodatages entre les trames mTPM et les vidéos de comportement.
      REMARQUE : Ce script aligne les horodatages des événements comportementaux avec les heures d’acquisition mTPM correspondantes. Il génère et enregistre des mappages d’index pour chaque enregistrement, ce qui permet une analyse synchronisée du comportement et des données neuronales. Ce code personnalisé est à https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step1_align_tpm_data.m.
    3. Exécutez le code personnalisé pour convertir le format de données à partir de la sortie suite2p.
      REMARQUE : Ce script extrait et réorganise les données mTPM pour des animaux individuels en identifiant et en cartographiant les indices de cadre pertinents. Il sélectionne les traces d’activité neuronale correspondantes et les restructure dans un format de données standardisé, ce qui permet une analyse en aval rationalisée des enregistrements segmentés. Ce code personnalisé est à https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step2_separate_tpm_data.m.
    4. Exécutez le code personnalisé pour rééchantillonner les signaux neuronaux afin de les aligner sur les cadres de comportement.
      REMARQUE : Ce script effectue un rééchantillonnage temporel des données mTPM pour aligner les traces d’activité neuronale avec les horodatages comportementaux. Il charge des données neuronales et des indices de synchronisation précédemment segmentés, extrait les traces rééchantillonnées en conséquence et enregistre la sortie dans un format standardisé pour un traitement ultérieur du signal. La méthode de rééchantillonnage temporel est l’interpolation par étapes. Ce code personnalisé est à https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step3_resample_tpm_data.m.
    5. Exécutez le code personnalisé pour affiner les trajectoires neuronales.
      1. Comme l’interpolation par étapes peut introduire des artefacts de résonance et du bruit à haute fréquence, concevez un filtre passe-bas équiripple avec une fréquence de bande passante de 2 Hz et une fréquence de bande d’arrêt de 2,2 Hz pour atténuer ces artefacts. L’ordre du filtre est de 61.
      2. Après cela, utilisez la méthode de débruitage de Weijian Zong pour affiner les traces de calciummTPM 13 rééchantillonnées. Il estime les lignes de base locales à l’aide de critères de variance centile et locale et calcule les signaux ΔF/F. ΔF/F est une mesure sans dimension qui représente la variation relative de l’intensité de fluorescence par rapport à la ligne de base, couramment utilisée pour quantifier l’activité neuronale en imagerie calcique. Étant donné que le numérateur (ΔF) et le dénominateur (F) sont tous deux exprimés en unités de fluorescence arbitraires, la valeur ΔF/F résultante n’a pas d’unité physique et est exprimée sous forme de rapport ou de pourcentage. Les cellules avec des signaux extrêmement plats ou saturés sont exclues en fonction des seuils de portée du signal. Les traces d’activité neuronale de haute qualité qui en résultent sont enregistrées pour l’analyse en aval ( Figure 2A, Figure 3A et Figure 4A).
        REMARQUE : Le code personnalisé est disponible à l’adresse https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step4_filter_tpm_data.m.
  2. Prétraitement des données de comportement
    1. Extrayez des poses comportementales à partir d’enregistrements vidéo à l’aide d’un suivi de poses anti-dérive (ADPT)7.
      REMARQUE : ADPT résout le problème de la dérive de point fréquente observée dans les méthodes basées sur les réseaux neuronaux convolutifs telles que DeepLabCut6 et SLEAP22. L’ADPT est particulièrement bien adapté aux scénarios impliquant des dispositifs d’enregistrement neuronal, tels que l’imagerie mTPM chez des animaux en mouvement libre, car il réduit efficacement la dérive de point causée par le mouvement de la fibre. Le dépôt de l’ADPT se trouve à https://github.com/tangguoling/ADPT.
      1. Étant donné que le dispositif expérimental implique deux souris, le mTPM servant d’identifiant pour l’une d’entre elles, entraînez deux modèles ADPT indépendants à souris unique pour estimer les poses de chaque souris séparément.
      2. Pour chaque modèle, annotez manuellement 16 points clés 1,10,15,31 - y compris le nez, l’oreille gauche, l’oreille droite, le cou, les membres antérieurs gauche et droit, les membres postérieurs gauche et droit, les pattes avant gauche et droite, les pattes arrière gauche et droite, le dos, la base de la queue, le milieu de la queue et le bout de la queue - pour environ 600 images, avec 150 images étiquetées manuellement par vue de caméra pour une vidéo de 15 minutes.
      3. Entraînez les modèles ADPT à l’aide des paramètres par défaut. Les détails des paramètres d’entraînement et de prédiction sont https://github.com/tangguoling/ADPT/blob/main/code/config.yaml et https://github.com/tangguoling/ADPT/blob/main/code/config_predict.yaml.
    2. Reconstruire des poses d’animaux en 3D. Une fois entraîné, appliquez les deux modèles indépendamment pour prédire les poses de chaque souris à partir de chacune des vidéos capturées par différentes caméras. Fusionnez les données résultantes dans un seul fichier de table pour un traitement ultérieur.
    3. Effectuez une reconstruction 3D des trajectoires comportementales à l’aide de la triangulation en combinaison avec le fichier d’étalonnage de la caméra32. Après la reconstruction, obtenez les trajectoires de mouvement de la souris sujette (celle qui porte le mTPM, Figure 2B, Figure 3B, Figure 4B) et de la souris objet (la souris congénère en interaction, Figure 2C, Figure 3C, Figure 4C) pour une analyse ultérieure.
    4. Dans les études sur l’interaction sociale, les distances interindividuelles servent d’indicateurs critiques de la dynamique sociale33. Calculez les distances corporelles relatives entre les deux souris en utilisant les distances euclidiennes par paires entre les points corporels correspondants, en fournissant des mesures quantitatives pour une analyse ultérieure du comportement social ( Figure 2D, Figure 3D, Figure 4D).
    5. Décomposez et classifiez les motifs de comportement.
      REMARQUE : Même si les étapes précédentes produisent des trajectoires de pose à grain fin, elles ne nous disent pas encore ce que fait l’animal. Le comportement fait référence à la façon dont un animal se déplace sur une période spécifique, et l’attribution d’un comportement implique de donner à chaque période une étiquette significative et interprétable par l’homme. La méthode normale consiste à utiliser des annotations humaines.
      1. Étant donné que les enregistrements comportementaux sont souvent trop longs pour être étiquetés manuellement dans leur intégralité, utilisez des méthodes d’apprentissage automatique.
        REMARQUE : L’apprentissage supervisé respecte des règles d’étiquetage prédéfinies : des annotateurs humains attribuent des étiquettes à des segments de comportement sélectionnés, qui sont ensuite utilisés pour entraîner des modèles d’apprentissage automatique ou d’IA afin de prédire les étiquettes dans l’ensemble complet des données. Bien que cette approche améliore l’efficacité de la classification des comportements, elle reste limitée par l’ensemble limité d’étiquettes interprétables par l’homme, une limitation particulièrement importante lorsqu’il s’agit de comportements complexes et naturalistes. Pour capturer la riche variabilité des comportements naturalistes, des méthodes de classification des comportements non supervisés ont été développées. Ces approches identifient les similitudes intrinsèques entre les motifs comportementaux à travers le temps et les regroupent dans des espaces de caractéristiques de faible dimension, permettant une interprétation humaine plus efficace et impartiale. En substance, la classification supervisée s’appuie sur des étiquettes humaines prédéfinies pour guider la reconnaissance du comportement, tandis que la classification non supervisée découvre des structures comportementales latentes sans étiquetage préalable, offrant une plus grande flexibilité dans la capture de dynamiques naturalistes complexes.
      2. Dans le cadre du comportement naturaliste, identifiez les motifs comportementaux des deux souris à l’aide de l’Atlas du comportement (BeA)10 et de l’Atlas du comportement social (SBeA)1 ( Figure 2E, Figure 3E, Figure 4E), qui sont tous deux des méthodes de regroupement non supervisées conçues pour la segmentation comportementale. Ces méthodes décomposent et regroupent le comportement animal en motifs subsecondes en fonction de leur dynamique intrinsèque et de leurs structures hiérarchiques34, en les associant ensuite à des catégories comportementales définies.
    6. Extrayez des motifs comportementaux de souris individuelles à l’aide de BeA.
      1. Pour réduire le bruit, appliquez un filtre médian avec une fenêtre de temps de 500 ms. Effectuez l’alignement du corps en utilisant les points clés de la base du dos et de la queue pour faciliter la décomposition des mouvements non locomoteurs, tandis que les points clés du membre avant droit, du membre avant gauche, du membre postérieur droit et du membre postérieur gauche sont utilisés pour la normalisation de la taille du corps.
      2. Pour la décomposition du comportement, utilisez 39 coordonnées corporelles alignées, y compris : nez (x, y, z), oreille gauche (x, y, z), oreille droite (x, y, z), cou (x, y, z), membre avant gauche (x, y, z), membre avant droit (x, y, z), membre postérieur gauche (x, y, z), membre postérieur droit (x, y, z), patte avant gauche (x, y, z, z), patte avant droite (x, y, z), patte arrière gauche (x, y, z), patte arrière droite (x, y, z), dos (z) et base de la queue (x, z).
      3. Définissez l’indice de réduction temporelle sur 5, avec une résolution de clustering de 3. Utilisez le clustering spectral pour l’initialisation, en utilisant un noyau gaussien avec un sigma de bande passante de 30. Définissez les longueurs de segmentation minimale et maximale sur 500 ms et 2000 ms, respectivement.
      4. Pour l’intégration de motifs de comportement, appliquez UMAP avec 30 voisins les plus proches et une distance minimale de 0,05. Regroupez les motifs par regroupement hiérarchique en utilisant la liaison de Ward et la distance euclidienne par paire pour améliorer la stabilité de la classification. Le dépôt de BeA se trouve à l’adresse
      5. Identifier les motifs de comportement social à l’aide de SBeA. Définissez les paramètres d’initialisation de SBeA pour qu’ils soient cohérents avec ceux utilisés dans BeA, avec les modifications suivantes : la taille médiane de la fenêtre de filtre est fixée à 1000 ms, la longueur minimale de segmentation est augmentée à 2000 ms et la longueur maximale de segmentation est étendue à 5000 ms pour la décomposition du comportement social.
      6. Pour l’incorporation de motifs, appliquez un noyau gaussien avec un sigma de bande passante de 2. Le nombre final de groupes de comportement social varie de 16 (limite inférieure) à 280 (limite supérieure). Dans les exemples présentés, seuls les 16 plus grands groupes sont utilisés à des fins de démonstration. Le dépôt de la SBeA se trouve à https://github.com/YNCris/SBeA_release/blob/main/README_SBeA_mapper.md.

4. Cartographie des données neuroéthologiques

  1. Préparez des jeux de données de cartographie. À la suite des préparations susmentionnées, sept ensembles de données sont disponibles pour la cartographie neuroéthologique, y compris les activités neuronales, les poses du sujet, les poses d’objets, les distances corporelles, les motifs de comportement du sujet, les motifs de comportement d’objet et les motifs de comportement social. Organisez manuellement ces fichiers comme suit :
    Chemin d’accès aux données # Le chemin d’accès pour enregistrer toutes les données
    ----\A-B-C-D-E-neu.mat # Activités neuronales
    ----\A-B-C-D-E-pose-tpm.mat # Poses du sujet
    ----\A-B-C-D-E-pose-free.mat # Poses d’objets
    ----\A-B-C-D-E-rel_dist.mat # Distances entre les corps
    ----\A-B-C-D-E-mov-tpm.mat # Motifs de comportement du sujet
    ----\A-B-C-D-E-mov-free.mat # Motifs de comportement d’objet
    ----\A-B-C-D-E-sbea.mat # Motifs de comportement social
    Les définitions des champs A, B, C, D et E sont les mêmes que celles du 1.5.7. Les données de démonstration pour la reproduction sont à https://doi.org/10.6084/m9.figshare.29606795.v1.
  2. Créez les plongements du mappage à l’aide de CEBRA.
    REMARQUE : Étant donné que CEBRA intègre à la fois des approches fondées sur des hypothèses et des approches axées sur la découverte pour construire des plongements, il est bien adapté pour découvrir des représentations neuronales associées à diverses variables auxiliaires (Figure 5A).
    1. Pour assurer une comparaison systématique des plongements entre différentes modalités, normalisez les paramètres des modèles CEBRA. L’architecture du modèle utilise les 10 décalages, avec une taille de lot de 1024, un taux d’apprentissage de 0,0001 et un paramètre de température de 1.
    2. Définissez la dimension de sortie sur 3 et effectuez une formation pour un maximum de 15 000 itérations. Utilisez la distance cosinusoïdale comme mesure de similarité, tandis que la variable conditionnelle est définie comme le delta temporel avec un décalage temporel de 10. Utilisez les données d’activité neuronale comme entrée et les variables auxiliaires comme étiquettes pour générer des plongements articulaires.
  3. Pour l’auto-intégration des activités neuronales, appliquez les mêmes paramètres CEBRA, mais n’utilisez que les données d’activité neuronale en entrée.

Results

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

L’étude du comportement naturel présente une plus grande complexité par rapport aux expériences basées sur des essais. Tout d’abord, dans des conditions naturelles, l’activité neuronale et le comportement n’ont pas de base de référence fixe. Ces activités sont récurrentes, ce qui signifie qu’elles sont influencées par des états antérieurs, et donc, l’alignement de l’apparition de comportements spécifiques pour comparer l’activité neuronale ne parvient pas à démêler les effets des états neuroéthologiques antérieurs. Deuxièmement, l’encodage neuronal dans le comportement naturel se produit principalement au niveau de la population 4,5. La variabilité observée dans les neurones uniques est suffisamment importante pour être considérée comme du bruit. Pour valider cela, cette partie a effectué une analyse de corrélation entre l’activité neuronale et les poses comportementales naturelles (Figure 2F, Figure 3F, Figure 4F). Les matrices de coefficients de corrélation résultantes n’ont révélé aucune correspondance spécifique aux neurones avec les traces de pose. Plus précisément, les coefficients de corrélation entre les signaux neuronaux et les poses du sujet, les poses d’objets ou les distances intercorporelles se situaient tous dans la plage de -0,3 à +0,3, généralement considérée comme de faibles corrélations15 (Figure 2G, Figure 3G, Figure 4G). Ces résultats indiquent que, dans des conditions naturalistes, les informations relatives à la pose ne sont pas codées de manière spécifique aux neurones.

Compte tenu de ces facteurs, ce cadre propose une approche objective pour capturer et cartographier les données neuroéthologiques au niveau de la population neuronale. L’imagerie mTPM permet de préserver autant que possible la variabilité des neurones individuels. De plus, l’utilisation de l’estimation de la pose basée sur l’apprentissage profond par ADPT et des méthodes de décomposition du comportement non supervisées, telles que BeA et SBeA, génère de riches variables auxiliaires, permettant à CEBRA d’interpréter efficacement la variabilité au sein des populations neuronales.

Ces exemples démontrent que les plongements conjoints de CEBRA sont présents dans toutes les variables auxiliaires, y compris les poses du sujet, les poses d’objets, les distances corporelles, les motifs de comportement du sujet, les motifs de comportement d’objet et les motifs de comportement social (Figure 5A). Afin de vérifier la cohérence des motifs comportementaux et des plongements neuronaux entre les sessions ou les sujets, l’analyse de Procuste35 est utilisée sur trois paires de souris (Figure 5B). Étant donné que les plongements CEBRA sont distribués sur une sphère unitaire, seul le paramètre de rotation dans l’analyse de Procrustes a été activé. Étant donné que les plongements CEBRA à comportement naturel n’ont pas de base de référence claire, cette partie a d’abord effectué un échantillonnage d’alignement guidé par étiquette sur les plongements pour les aligner, assurant des points d’ancrage cohérents avant d’appliquer l’analyse de Procrustes. Visuellement, ces plongements CEBRA présentent un certain degré de cohérence intrinsèque, la distance corporelle et les motifs sociaux montrant l’alignement le plus élevé. Il correspond à la quantification de l’EQM avant et après l’alignement de Procuste (Figure 5C). Ensuite, la précision du décodage de l’enrobage est comparée pour les poses (Figure 5D) et les motifs (Figure 5E). Bien que leurs représentations diffèrent, chacune est décodable avec une grande précision. Bien que le décodage RMSE de la distance corporelle soit significativement plus élevé que les poses du sujet et de l’objet, il n’est pas supérieur à la précision de suivi de l’ADPT7.

Pour explorer les origines de ces plongements basés sur des hypothèses, un plongement auto-organisé de l’activité neuronale a été généré par CEBRA (Figure 5A, colonne de droite). La forme de l’ancrage neuronal est plus complexe que celle des autres plongements articulaires, incorporant des motifs de divers plongements articulaires. De plus, les similitudes entre les plongements neuronaux et les plongements articulaires ont été comparées à l’aide de la transformation de Procuste, puis leurs similitudes cosinus ont été comparées (Figure 5F). La similarité cosinus est dérivée par minute entre les plongements alignés à travers les points temporels correspondants.

L’intégration articulaire de la pose du sujet S1 a été choisie comme référence pour les comparaisons de similitude basées sur le rôle bien établi du S1 dans l’encodage des entrées somatosensorielles auto-organisées36. Cet encastrement sert de point de référence biologiquement significatif pour évaluer comment d’autres variables, telles que les motifs liés aux objets, sont représentées dans le même espace neuronal. De telles comparaisons nous permettent d’évaluer la force relative de l’encodage pour différentes dimensions comportementales par rapport à une base somatosensorielle auto-associée.

En comparant la similitude cosinus des plongements neuronaux avec les poses du sujet S1 comme base de référence, cette étude constate que les plongements articulaires pour les motifs d’objets sont significativement plus faibles. Cela suggère que, pendant la période de 15 minutes d’interaction sociale libre dans cet exemple, les activités neuronales S1 de la souris sujette codent principalement à la fois son comportement et les interactions sociales en cours. Bien que cette analyse serve de cas démonstratif, le même cadre méthodologique peut être facilement appliqué à des enquêtes plus granulaires, par exemple, en comparant les structures d’encastrement à travers des époques temporelles distinctes pour découvrir des changements dynamiques dans l’encodage neuronal.

figure-results-1
Figure 1 : Procédure de collecte de données neuroéthologiques. (A) L’intégration des dispositifs. (B) Le fonctionnement de l’enregistrement des données. (C) Extraction de signaux neuronaux, estimation de la pose 2D et reconstruction de la trajectoire corporelle 3D après l’enregistrement. Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-results-2
Figure 2 : Données prétraitées de la souris 1 pour une analyse plus approfondie. (A) Activités neuronales. (B) Poses du sujet. (C) Poses d’objets. (D) Distance corporelle. (E) Motifs de comportement. De haut en bas se trouvent des motifs de sujet, d’objet et de comportement social. (F) Les matrices de coefficients de corrélation entre l’activité neuronale et les poses. À gauche : les coefficients de corrélation entre l’activité neuronale et les poses du sujet. Au centre : les coefficients de corrélation entre l’activité neuronale et les poses d’objets. À droite : les coefficients de corrélation entre l’activité neuronale et la distance corporelle. Les coefficients de corrélation sont entre chaque trace de neurone et chaque dimension de pose. (G) Les distributions des coefficients de corrélation de F. Les indices neuronaux sont triés en fonction des coefficients de corrélation entre l’activité neuronale et les poses du sujet. Abréviations : N & S = activité neuronale et poses du sujet, N & O = activité neuronale et poses d’objets, N & B = activité neuronale et distances corporelles, CC = coefficients de corrélation. Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-results-3
Figure 3 : Données prétraitées de la souris 2 pour une analyse plus approfondie. (A) Activités neuronales. (B) Poses du sujet. (C) Poses d’objets. (D) Distance corporelle. (E) Motifs de comportement. De haut en bas se trouvent des motifs de sujet, d’objet et de comportement social. (F) Les matrices de coefficients de corrélation entre l’activité neuronale et les poses. À gauche : les coefficients de corrélation entre l’activité neuronale et les poses du sujet. Au centre : les coefficients de corrélation entre l’activité neuronale et les poses d’objets. À droite : les coefficients de corrélation entre l’activité neuronale et la distance corporelle. Les coefficients de corrélation sont entre chaque trace de neurone et chaque dimension de pose. (G) Les distributions des coefficients de corrélation de F. Les indices neuronaux sont triés en fonction des coefficients de corrélation entre l’activité neuronale et les poses du sujet. Abréviations : N & S = activité neuronale et poses du sujet, N & O = activité neuronale et poses d’objets, N & B = activité neuronale et distances corporelles, CC = coefficients de corrélation. Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-results-4
Figure 4 : Données prétraitées de la souris 3 pour une analyse plus approfondie. (A) Activités neuronales. (B) Poses du sujet. (C) Poses d’objets. (D) Distance corporelle. (E) Motifs de comportement. De haut en bas se trouvent des motifs de sujet, d’objet et de comportement social. (F) Les matrices de coefficients de corrélation entre l’activité neuronale et les poses. À gauche : les coefficients de corrélation entre l’activité neuronale et les poses du sujet. Au centre : les coefficients de corrélation entre l’activité neuronale et les poses d’objets. À droite : les coefficients de corrélation entre l’activité neuronale et la distance corporelle. Les coefficients de corrélation sont entre chaque trace de neurone et chaque dimension de pose. (G) Les distributions des coefficients de corrélation de F. Les indices neuronaux sont triés en fonction des coefficients de corrélation entre l’activité neuronale et les poses du sujet. Abréviations : N & S = activité neuronale et poses du sujet, N & O = activité neuronale et poses d’objets, N & B = activité neuronale et distances corporelles, CC = coefficients de corrélation. Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-results-5
Figure 5 : Analyse des plongements CEBRA des données neuroéthologiques. (A) Intégrations CEBRA. De gauche à droite se trouvent l’intégration conjointe de l’activité neuronale S1 et des poses du sujet, l’intégration conjointe de l’activité neuronale S1 et des poses d’objets, l’intégration conjointe de l’activité neuronale S1 et des distances corporelles entre deux animaux, l’intégration conjointe de l’activité neuronale S1 et des motifs de comportement du sujet, l’intégration conjointe de l’activité neuronale S1 et des motifs de comportement d’objet, l’intégration conjointe de l’activité neuronale de S1 et des motifs de comportement social, et l’intégration neuronale de S1. (B) L’analyse de Procuste aligne les plongements ci-dessus. Les cercles gris représentent la paire de souris 1, servant d’incorporation de référence. Les signes plus verts représentent la paire de souris 2 et les croix orange représentent la paire de souris 3, toutes deux alignées sur la paire de souris 1. (C) La racine carrée moyenne (EQM) avant (à gauche) et après (à droite) l’alignement de Procuste (test t apparié, n = 3, moyenne ± SEM). (D) L’EQM de la reconstruction de la pose à partir des plongements CEBRA (ANOVA à un facteur suivie du test de comparaisons multiples de Tukey, n = 3, moyenne ± MEB). (E) La précision de la reconstruction de motifs à partir d’intégrations CEBRA (ANOVA à un facteur suivie du test de comparaisons multiples de Tukey, n = 3, moyenne ± MEB). (F) Les similitudes cosinus entre les plongements articulaires et les plongements neuronaux de S1 (ANOVA à un facteur suivie du test de comparaisons multiples de Dunnett, n = 45, moyenne ± MEB). *p < 0,05, **p < 0,01, ***p < 0,001. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Non.Problème observéCause probableSolutions possibles
1Aucun horodatage de comportement(1) Câbles SMA ou BNC défectueux(1) Remplacer les câbles SMA et BNC
(2) Pilote USB vers TTL manquant(2) Installez le pilote USB Prolific PL2303
(3) Sélection incorrecte du port COM(3) Vérifiez le numéro de port COM dans le Gestionnaire de périphériques et mettez-le à jour dans le logiciel mTPM et le script de la caméra de comportement.
2Pas de fluorescence visible lors du montage mTPM(1) Absence d’expression virale(1) Utilisez une souris différente
(2) Champ de vision incorrect(2) Réajustez le champ de vision
(3) Puissance laser insuffisante(3) Augmenter progressivement la puissance du laser
(4) Gel de carbomère séché(4) Réappliquez le gel Carbomer frais
3L’imagerie mTPM affiche un écran complètement blanc(1) Fuite de lumière(1) Réenroulez la feuille d’aluminium pour un blindage adéquat
(2) Puissance laser insuffisante(2) Augmenter progressivement la puissance du laser
(3) Fibre détachée de la tête mTPM(3) Réinsérez la fibre dans le mTPM et serrez la vis de fixation
4Images perdues dans une vidéo comportementale(1) Faible éclairage ambiant(1) Augmenter l’éclairage d’arrière-plan
(2) Port USB incorrect(2) Utilisez au moins des ports USB 3.0
(3) Performances insuffisantes de l’ordinateur(3) Utilisez une machine dotée d’un processeur Intel i7-9700K ou supérieur, d’une mémoire vive double canal et d’un stockage SSD.
5Pas de locomotion chez les souris montées sur mTPM(1) Utilisation répétitive de la même souris(1) Évitez de réutiliser les souris dans les 3 jours
(2) Utilisation excessive de papier d’aluminium(2) Utilisez le minimum de feuille nécessaire pour le blindage contre la lumière
(3) Nombre ou volume insuffisant de ballons d’hélium(3) Ajustez le nombre et le gonflage des ballons pour soutenir la fibre mTPM tout en permettant une posture et un mouvement naturels des souris.
6Estimation inexacte de la pose 2D(1) Nombre insuffisant de cadres étiquetés manuellement(1) Annotez au moins 200 images de manière incrémentielle
(2) Modèle ADPT sous-entraîné(2) Augmenter les périodes d’entraînement dans le fichier config.yaml d’ADPT
7Reconstruction anormale de poses 3D(1) Mauvais calibrage de l’appareil photo(1) Améliorer l’étalonnage, le contraste et l’angle d’inclinaison
(2) Saisie de pose 2D imprécise(2) Augmenter le nombre de cadres de damier capturés
(3) Résolvez d’abord les problèmes de pose 2D (voir Problème 6)
8Désalignement entre les données neuronales et comportementales(1) Séquence incorrecte d’initialisation du logiciel(1) Démarrez toujours l’enregistrement mTPM avant la caméra de comportement
(2) Trames de comportement abandonnées(2) Résoudre les problèmes de perte d’image (voir Problème 4)
(3) Assurez-vous que l’espace disque disponible est suffisant
9Débordement de mémoire pendant le traitement BeA/SBeA(1) Durée d’enregistrement excessive(1) Divisez les enregistrements en segments plus courts (5 à 60 minutes), puis exécutez BeA/SBeA
(2) RAM système limitée(2) Augmenter le facteur de réduction temporelle (par exemple, de 5 à 10) en BeA
(3) Mettez à niveau la RAM à au moins 64 Go
10CEBRA ne fonctionne pas sur le GPU(1) Incompatibilité entre CUDA et pilote GPU(1) Ne suivez pas directement le tutoriel pour installer CUDA 11.3
(2) Version incompatible de PyTorch(2) Vérifiez le modèle de votre GPU et la version de votre pilote (nvidia-smi)
(3) Installez les versions CUDA et PyTorch correctes en conséquence, puis installez CEBRA via pip

Tableau 1 : liste de dépannage Ce qui suit est une liste de 10 problèmes non triviaux rencontrés précédemment et des solutions possibles.

Discussion

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ce cadre d’enregistrement et de décodage neuroéthologique est construit sur des appareils disponibles dans le commerce, ce qui garantit que la plupart des problèmes de dépannage peuvent être résolus par les entreprises respectives. Malgré cela, cette étude fournit une liste des problèmes fréquemment rencontrés afin de faciliter la référence et de rationaliser le dépannage (Tableau 1). Cette accessibilité rend le cadre plus convivial pour les nouveaux arrivants. De plus, le cadre est très flexible, la synchronisation entre les enregistrements neuronaux et comportementaux reposant sur des signaux TTL standard. Par conséquent, il est facile d’intégrer d’autres appareils d’enregistrement physiologique dans le cadre si nécessaire. Les procédures d’analyse ultérieures sont également suffisamment générales pour prendre en charge des systèmes d’enregistrement neuronal et comportemental entièrement personnalisés.

Le coût associé à ce cadre, qui est basé sur des dispositifs commercialisés, est relativement élevé (~500 000 USD), imposant ainsi une charge financière supplémentaire au laboratoire. Bien que les outils open source récents tels que MINI2P13 et Anipose37 puissent aider à réduire les coûts des matériaux, cette expérience suggère que les dépenses globales resteront similaires si l’on tient compte des coûts de ressources humaines impliqués dans le débogage. Une autre limite de ce cadre réside dans l’interprétabilité des plongements CEBRA. En tant que méthode basée sur des réseaux neuronaux artificiels, elle est intrinsèquement difficile à interpréter. Bien que cet exemple fournisse une approche simple pour expliquer les intégrations, d’autres méthodes devront être développées au cas par cas pour différents projets. Une solution potentielle pour une interprétation plus poussée des plongements CEBRA est l’application de systèmes dynamiques38. De plus, le comportement naturel peut être segmenté en phases distinctes, telles que les interactions lorsque les deux souris sont éloignées ou proches. Différentes questions scientifiques peuvent nécessiter le développement de flux de travail d’analyse de données personnalisés.

Bien que le système actuel de caméra mTPM + 3D soit déployé dans une arène en plein champ, son application ne se limite pas à ce contexte comportemental spécifique. Les principales contraintes proviennent de l’attache physique du système d’imagerie, qui limite l’étendue de la mobilité des animaux, et du champ de vision de la caméra 3D, qui limite le volume traçable. Ces facteurs pourraient être abordés dans les itérations futures en incorporant des modules d’imagerie sans fil39 ou des réseaux de caméras-pièges40 pour permettre des paradigmes comportementaux plus complexes et naturalistes. Notamment, le système mTPM et la configuration de la caméra 3D sont capables d’acquérir des données en continu24 heures sur 24 10,41, ce qui rend l’ensemble du pipeline bien adapté aux études d’enregistrement comportemental et neuronal à longue échelle.

Cette étude adopte une approche entièrement axée sur les données pour étudier l’encodage neuronal du comportement spontané, et s’abstient donc intentionnellement d’attribuer des étiquettes sémantiques prédéfinies à des motifs comportementaux groupés. Cette décision est enracinée dans l’objectif de préserver la généralisabilité du cadre de cartographie neuro-comportementale, lui permettant de fonctionner indépendamment des catégories comportementales imposées par l’expérimentateur. Les lecteurs intéressés par l’interprétabilité biologique et la classification supervisée des motifs comportementaux peuvent se référer à des travaux antérieurs 1,10, ainsi qu’à une étude récente42, qui a systématiquement comparé le regroupement de motifs non supervisé avec des comportements étiquetés manuellement en utilisant le même cadre sous-jacent de l’Atlas du comportement. Ces études fournissent également des visualisations étendues, y compris des séquences de poses 3D, des trajectoires et des plongements au niveau des motifs, disponibles dans des dépôts publics. Ensemble, ces ressources offrent des informations complémentaires sur la structure sémantique du comportement tout en soutenant l’approche de décodage neuronal flexible et généralisable adoptée ici.

Ce pipeline de traitement de données a été conçu dans un souci de modularité et de flexibilité, permettant de s’adapter à divers paramètres expérimentaux et préférences des utilisateurs. Chaque composant majeur du pipeline, allant de l’estimation de la pose 3D, au regroupement non supervisé de motifs comportementaux, au prétraitement du signal neuronal et à l’intégration neuroéthologique conjointe, est mis en œuvre en tant que module indépendant avec des interfaces d’entrée et de sortie clairement définies. Cette architecture permet aux utilisateurs de substituer des outils ou des algorithmes alternatifs à chaque étape (par exemple, différents cadres d’estimation de pose 6,22, algorithmes de regroupement de comportements43,44 ou décodeurs neuronaux45,46) sans perturber le flux de travail global. Bien que ces composants soient conçus pour être interopérables, cette étude n’a pas testé de manière exhaustive toutes les combinaisons possibles de méthodes alternatives, et les utilisateurs peuvent avoir besoin d’effectuer des réglages supplémentaires pour assurer la compatibilité dans leurs applications spécifiques. Une telle modularité facilite à la fois la reproductibilité et l’extensibilité, et permet d’adapter le cadre aux espèces, aux modalités d’enregistrement ou aux paradigmes comportementaux au-delà de ceux démontrés ici. Pour soutenir une utilisation plus large par la communauté, cette étude fournit un aperçu schématique et un tableau récapitulatif (Figure 1, Tableau des matériaux).

Les paramètres utilisés pour SBeA et CEBRA dans ce pipeline sont basés sur une combinaison de valeurs par défaut et de réglage empirique spécifique à ce contexte expérimental, des souris se déplaçant librement sous une interaction sociale naturelle. Ces paramètres ont été validés pour reproduire tous les résultats présentés dans cette étude sans nécessiter d’ajustement supplémentaire. Bien que les utilisateurs puissent souhaiter affiner certains paramètres pour s’adapter à différentes configurations d’enregistrement ou tâches comportementales, de telles modifications ne sont pas nécessaires pour reproduire ce pipeline. Pour les utilisateurs travaillant dans d’autres contextes, il est recommandé de consulter la documentation et la littérature originales pour SBeA et CEBRA, où des plages de paramètres et des conseils spécifiques à la tâche sont fournis. Cette implémentation sert de configuration de référence robuste qui peut être directement appliquée ou adaptée selon les besoins.

La principale avancée de ce cadre réside dans son application aux animaux se déplaçant librement. Des études antérieures menées avec des animaux ayant la tête fixe peuvent être adaptées à des conditions de mouvement libre dans ce cadre. Par exemple, des tâches telles que la tâche Go/No-Go47 et le choix forcé à deux alternatives48 peuvent être modifiées et intégrées dans ce cadre sur la base de paradigmes de comportement naturel. Cette approche élimine les artefacts causés par la restriction de la tête, ce qui permet d’étudier la relation entre la tâche et les états comportementaux naturels. Ce cadre offre aux animaux une plus grande autonomie dans la prise de décision. Il soutient également l’étude de la moelle épinière dans des contextes naturalistes, en combinant la méthode d’enregistrement de la moelle épinière mTPM49. De plus, il facilite l’étude du comportement de groupe libre, un phénomène qui n’est pas réalisable dans les configurations à tête fixe. Le flux de travail d’analyse des données permet d’interpréter l’activité de la population neuronale à travers plusieurs variables, en utilisant des plongements pour démêler la complexité de la fonction cérébrale derrière les populations neuronales.

Disclosures

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Les auteurs déclarent qu’ils n’ont aucun conflit d’intérêts.

Acknowledgements

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ce travail a été soutenu par le Programme de recherche stratégique prioritaire de l’Académie chinoise des sciences (subvention n°. XDB1010101 à P.W.), STI2030-Grands Projets (subvention n° 2021ZD0203900 à P.W.), Fondation nationale des sciences naturelles de Chine (subvention n° 32222036 à P.W.), Fondation nationale des sciences naturelles de Chine (subvention n° T2394530 à P.W.) et Programme scientifique et technologique de Shenzhen (subvention n° à P.W. KJZD20230923115114028 à P.W.). Les auteurs tiennent également à remercier l’Observatoire du cerveau de Nanjing (NBO) et l’Institut conjoint de médecine translationnelle PKU-Nanjing (Nanjing 211800, Chine) pour leur soutien et leur aide dans l’utilisation du microscope à deux photons.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Système d’enregistrement du comportement 3DBayONE ScientificBA-Souris 3DModule de synchronisation intégré
BallonAliExpressLien : https://tinyurl.com/3uex669sTout ballon suffisamment léger pour voler lorsqu’il est rempli d’hélium. Les ballons sont des ballons sphériques en aluminium, d’environ 45 cm de diamètre, et sont dotés de valves auto-obturantes. L’URL fournit un exemple des bulles.  ;
Gel pour les yeux CarbomerVidisicGel lubrifiant pour les yeux à base de Carbomer 98010g
Ficelle de cotonAliExpressLien : https://tinyurl.com/ywu7u754Épais et léger, 1-2 mm de diamètre. L’URL fournit un exemple de ficelle de coton.
Foret crânienRWD78001Forets de 0,8, 1,4 et 2,1 mm
Module de caméra personnalisé configurableIntelRealSense D435/
Adhésif structurel acrylique haute performanceHUITIAN1320490ml
Souris pour l’imagerieTRANSCEND VIVOSCOPELien : https://en.tv-scope.com/La souris mâle avec un fond C57BL/6J (âgée de 10 semaines) a été logée dans 1 souris par cage sous un h cycle lumière-obscurité à 22&ndash ; 25&thinsp ; ° ; C avec 40 %&ndash ; 70 % d’humidité et a été autorisé à accéder à l’eau et à la nourriture à volonté. Les virus AAV9-CaMKII-GCaMP6s ont été injectés dans son cortex somatosensoriel primaire (AP, &minus ; 0,60 mm ; ML, et moins ; 2,40 millimètres ; DV, 2,00 mm). Dans notre étude, les souris ont été préparées par TRANSCEND VIVOSCOPE dans le cadre de leur service professionnel de préparation des animaux. Ce service comprend l’injection de virus, l’implantation de fenêtres crâniennes et l’installation de plaques de base spécialement adaptées à leur système de microscopie miniature à deux photons.
Souris pour l’interactionBayONE LACLien : https://lac.bayonesci.com/Les souris mâles avec un fond C57BL/6J (âgées de 10 semaines) ont été logées dans 5 souris par cage sous une h cycle lumière-obscurité à 22&ndash ; 25&thinsp ; ° ; C avec 40&ndash ; 70 % d’humidité et ont été autorisés à accéder à l’eau et à la nourriture à volonté. Toutes les procédures d’élevage et d’expérimentation ont été approuvées par le Comité de soin et d’utilisation des animaux de l’Institut de technologie avancée de Shenzhen de l’Académie chinoise des sciences.
Système d’enregistrement neuronal mTPMTRANSCEND VIVOSCOPESUPERNOVA-600Le SUPERNOVA-600 est un système d’imagerie miniature à deux photons entièrement intégré pour les rongeurs se déplaçant librement, y compris tous les composants optiques et d’enregistrement essentiels, à l’exclusion des dispositifs de stimulation externes. Il doit contenir le module de synchronisation intégré.  ;

References

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Multi-animal 3d social pose estimation, identification and behaviour embedding with a few-shot learning framework. Nat Machine Intellig. 6 (1), 48-61 (2024).">Han, Y., et al. Multi-animal 3d social pose estimation, identification and behaviour embedding with a few-shot learning framework. Nat Machine Intellig. 6 (1), 48-61 (2024).
  2. Miniature two-photon microscopy for enlarged field-of-view, multi-plane and long-term brain imaging. Nat Methods. 18 (1), 46-49 (2021).">Zong, W., et al. Miniature two-photon microscopy for enlarged field-of-view, multi-plane and long-term brain imaging. Nat Methods. 18 (1), 46-49 (2021).
  3. Learnable latent embeddings for joint behavioural and neural analysis. Nature. 617 (7960), 360-368 (2023).">Schneider, S., Lee, J. H., Mathis, M. W. Learnable latent embeddings for joint behavioural and neural analysis. Nature. 617 (7960), 360-368 (2023).
  4. Neuroethology of natural actions in freely moving monkeys. Science. 387 (6730), 214-220 (2025).">Lanzarini, F., et al. Neuroethology of natural actions in freely moving monkeys. Science. 387 (6730), 214-220 (2025).
  5. Neural signatures of natural behaviour in socializing macaques. Nature. 628 (8007), 381-390 (2024).">Testard, C., et al. Neural signatures of natural behaviour in socializing macaques. Nature. 628 (8007), 381-390 (2024).
  6. Deeplabcut: Markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).">Mathis, A., et al. Deeplabcut: Markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
  7. Anti-drift pose tracker (adpt), a transformer-based network for robust animal pose estimation cross-species. Elife. 13, RP95709(2025).">Tang, G., et al. Anti-drift pose tracker (adpt), a transformer-based network for robust animal pose estimation cross-species. Elife. 13, RP95709(2025).
  8. A review of 28 free animal-tracking software applications: Current features and limitations. Lab Anim (NY). 50 (9), 246-254 (2021).">Panadeiro, V., Rodriguez, A., Henry, J., Wlodkowic, D., Andersson, M. A review of 28 free animal-tracking software applications: Current features and limitations. Lab Anim (NY). 50 (9), 246-254 (2021).
  9. Automated home-cage behavioural phenotyping of mice. Nat Commun. 1, 68(2010).">Jhuang, H., et al. Automated home-cage behavioural phenotyping of mice. Nat Commun. 1, 68(2010).
  10. A hierarchical 3d-motion learning framework for animal spontaneous behavior mapping. Nat Commun. 12 (1), 2784(2021).">Huang, K., et al. A hierarchical 3d-motion learning framework for animal spontaneous behavior mapping. Nat Commun. 12 (1), 2784(2021).
  11. Chronically implanted neuropixels probes enable high-yield recordings in freely moving mice. Elife. 8, e47188(2019).">Juavinett, A. L., Bekheet, G., Churchland, A. K. Chronically implanted neuropixels probes enable high-yield recordings in freely moving mice. Elife. 8, e47188(2019).
  12. Miniature fluorescence microscopy for imaging brain activity in freely-behaving animals. Neurosci Bull. 36 (10), 1182-1190 (2020).">Chen, S., et al. Miniature fluorescence microscopy for imaging brain activity in freely-behaving animals. Neurosci Bull. 36 (10), 1182-1190 (2020).
  13. Large-scale two-photon calcium imaging in freely moving mice. Cell. 185 (7), 1240-1256.e30 (2022).">Zong, W., et al. Large-scale two-photon calcium imaging in freely moving mice. Cell. 185 (7), 1240-1256.e30 (2022).
  14. Fast high-resolution miniature two-photon microscopy for brain imaging in freely behaving mice. Nat Methods. 14 (7), 713-719 (2017).">Zong, W., et al. Fast high-resolution miniature two-photon microscopy for brain imaging in freely behaving mice. Nat Methods. 14 (7), 713-719 (2017).
  15. Mousevenue3d: A markerless three-dimension behavioral tracking system for matching two-photon brain imaging in free-moving mice. Neurosci Bull. 38 (3), 303-317 (2022).">Han, Y., et al. Mousevenue3d: A markerless three-dimension behavioral tracking system for matching two-photon brain imaging in free-moving mice. Neurosci Bull. 38 (3), 303-317 (2022).
  16. Interpreting neural computations by examining intrinsic and embedding dimensionality of neural activity. Curr Opin Neurobiol. 70, 113-120 (2021).">Jazayeri, M., Ostojic, S. Interpreting neural computations by examining intrinsic and embedding dimensionality of neural activity. Curr Opin Neurobiol. 70, 113-120 (2021).
  17. Neural population dynamics during reaching. Nature. 487 (7405), 51-56 (2012).">Churchland, M. M., et al. Neural population dynamics during reaching. Nature. 487 (7405), 51-56 (2012).
  18. Visualizing data using t-sne. J Machine Learning Res. 9, 2579-2605 (2008).">Van Der Maaten, L., Hinton, G. Visualizing data using t-sne. J Machine Learning Res. 9, 2579-2605 (2008).
  19. Umap: Uniform manifold approximation and projection for dimension reduction. arXiv. , (2018).">Mcinnes, L., Healy, J., Melville, J. Umap: Uniform manifold approximation and projection for dimension reduction. arXiv. , (2018).
  20. Mapping the landscape of social behavior. Cell. 188 (8), 2249-2266.e23 (2025).">Klibaite, U., et al. Mapping the landscape of social behavior. Cell. 188 (8), 2249-2266.e23 (2025).
  21. Zhou, D., Wei, X. 34th Conference on Neural Information Processing Systems (NeurIPS), , (2020).
  22. Sleap: A deep learning system for multi-animal pose tracking. Nat Methods. 19 (4), 486-495 (2022).">Pereira, T. D., et al. Sleap: A deep learning system for multi-animal pose tracking. Nat Methods. 19 (4), 486-495 (2022).
  23. Big behavior: Challenges and opportunities in a new era of deep behavior profiling. Neuropsychopharmacology. 46 (1), 33-44 (2021).">Von Ziegler, L., Sturman, O., Bohacek, J. Big behavior: Challenges and opportunities in a new era of deep behavior profiling. Neuropsychopharmacology. 46 (1), 33-44 (2021).
  24. Quantifying behavior to understand the brain. Nat Neurosci. 23 (12), 1537-1549 (2020).">Pereira, T. D., Shaevitz, J. W., Murthy, M. Quantifying behavior to understand the brain. Nat Neurosci. 23 (12), 1537-1549 (2020).
  25. The mouse action recognition system (mars) software pipeline for automated analysis of social behaviors in mice. Elife. 10, e63720(2021).">Segalin, C., et al. The mouse action recognition system (mars) software pipeline for automated analysis of social behaviors in mice. Elife. 10, e63720(2021).
  26. Supervised and unsupervised learning technology in the study of rodent behavior. Front Behav Neurosci. 11, 141(2017).">Gris, K. V., Coutu, J. P., Gris, D. Supervised and unsupervised learning technology in the study of rodent behavior. Front Behav Neurosci. 11, 141(2017).
  27. Objective and comprehensive re-evaluation of anxiety-like behaviors in mice using the behavior atlas. Biochem Biophys Res Commun. 559, 1-7 (2021).">Liu, N., et al. Objective and comprehensive re-evaluation of anxiety-like behaviors in mice using the behavior atlas. Biochem Biophys Res Commun. 559, 1-7 (2021).
  28. Simultaneous two-photon imaging of action potentials and subthreshold inputs in vivo. Nat Commun. 12 (1), 7229(2021).">Bando, Y., Wenzel, M., Yuste, R. Simultaneous two-photon imaging of action potentials and subthreshold inputs in vivo. Nat Commun. 12 (1), 7229(2021).
  29. A flexible new technique for camera calibration. IEEE Transactions on pattern analysis and machine intelligence. 22 (11), 1330-1334 (2002).">Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on pattern analysis and machine intelligence. 22 (11), 1330-1334 (2002).
  30. Suite2p: Beyond 10,000 neurons with standard two-photon microscopy. bioRxiv. , (2017).">Pachitariu, M., et al. Suite2p: Beyond 10,000 neurons with standard two-photon microscopy. bioRxiv. , (2017).
  31. Han, Y., Huang, K., Chen, K., Wang, L., Wei, P. IEEE 11th Annual International Conference on CYBER Technology in Automation, Control, and Intelligent Systems (CYBER), , 306-310 (2021).
  32. 3d reconstruction toolbox for behavior tracked with multiple cameras. J Open Source Soft. 5 (45), 1849(2020).">Sheshadri, S., Dann, B., Hueser, T., Scherberger, H. 3d reconstruction toolbox for behavior tracked with multiple cameras. J Open Source Soft. 5 (45), 1849(2020).
  33. S-ketamine exposure in early postnatal period induces social deficit mediated by excessive microglial synaptic pruning. Mol Psychiatry. 30 (8), 3615-3631 (2025).">Zhong, H., et al. S-ketamine exposure in early postnatal period induces social deficit mediated by excessive microglial synaptic pruning. Mol Psychiatry. 30 (8), 3615-3631 (2025).
  34. Computational neuroethology: A call to action. Neuron. 104 (1), 11-24 (2019).">Datta, S. R., Anderson, D. J., Branson, K., Perona, P., Leifer, A. Computational neuroethology: A call to action. Neuron. 104 (1), 11-24 (2019).
  35. A generalized solution of the orthogonal procrustes problem. Psychometrika. 31 (1), 1-10 (1966).">Schönemann, P. H. A generalized solution of the orthogonal procrustes problem. Psychometrika. 31 (1), 1-10 (1966).
  36. Map plasticity in somatosensory cortex. Science. 310 (5749), 810-815 (2005).">Feldman, D. E., Brecht, M. Map plasticity in somatosensory cortex. Science. 310 (5749), 810-815 (2005).
  37. Anipose: A toolkit for robust markerless 3d pose estimation. Cell Rep. 36 (13), 109730(2021).">Karashchuk, P., et al. Anipose: A toolkit for robust markerless 3d pose estimation. Cell Rep. 36 (13), 109730(2021).
  38. Self-supervised contrastive learning performs non-linear system identification. arXiv. , (2024).">Laiz, R. G., Schmidt, T., Schneider, S. Self-supervised contrastive learning performs non-linear system identification. arXiv. , (2024).
  39. An open source, wireless capable miniature microscope system. J Neural Eng. 14 (4), 045001(2017).">Liberti, W. A., Perkins, L. N., Leman, D. P., Gardner, T. J. An open source, wireless capable miniature microscope system. J Neural Eng. 14 (4), 045001(2017).
  40. Perspectives in machine learning for wildlife conservation. Nat Commun. 13 (1), 792(2022).">Tuia, D., et al. Perspectives in machine learning for wildlife conservation. Nat Commun. 13 (1), 792(2022).
  41. 24-hour simultaneous MPFC's miniature 2-photon imaging, EEG-EMG, and video recording during natural behaviors. Sci Data. 12 (1), 1226(2025).">Han, J., et al. 24-hour simultaneous MPFC's miniature 2-photon imaging, EEG-EMG, and video recording during natural behaviors. Sci Data. 12 (1), 1226(2025).
  42. Hierarchical behavioral analysis framework as a platform for standardized quantitative identification of behaviors. Cell Rep. 44 (2), 115239(2025).">Ye, J., et al. Hierarchical behavioral analysis framework as a platform for standardized quantitative identification of behaviors. Cell Rep. 44 (2), 115239(2025).
  43. Keypoint-moseq: Parsing behavior by linking point tracking to pose dynamics. Nat Methods. 21 (7), 1329-1339 (2024).">Weinreb, C., et al. Keypoint-moseq: Parsing behavior by linking point tracking to pose dynamics. Nat Methods. 21 (7), 1329-1339 (2024).
  44. self-supervised features extraction of animal behaviors. Elife. 11, e76218(2022).">Jia, Y., et al. self-supervised features extraction of animal behaviors. Elife. 11, e76218(2022).
  45. Marble: Interpretable representations of neural population dynamics using geometric deep learning. Nat Methods. 22 (3), 612-620 (2025).">Gosztolai, A., Peach, R. L., Arnaudon, A., Barahona, M., Vandergheynst, P. Marble: Interpretable representations of neural population dynamics using geometric deep learning. Nat Methods. 22 (3), 612-620 (2025).
  46. Rastermap: A discovery method for neural population recordings. Nat Neurosci. 28 (1), 201-212 (2025).">Stringer, C., et al. Rastermap: A discovery method for neural population recordings. Nat Neurosci. 28 (1), 201-212 (2025).
  47. Custom-built operant conditioning setup for calcium imaging and cognitive testing in freely moving mice. eNeuro. 9 (1), (2022).">Vassilev, P., et al. Custom-built operant conditioning setup for calcium imaging and cognitive testing in freely moving mice. eNeuro. 9 (1), (2022).
  48. Basal ganglia output (entopeduncular nucleus) coding of contextual kinematics and reward in the freely moving mouse. Elife. 13, RP98159(2025).">Verma Rodriguez, A. K., Ramírez-Jarquin, J. O., Rossi-Pool, R., Tecuapetla, F. Basal ganglia output (entopeduncular nucleus) coding of contextual kinematics and reward in the freely moving mouse. Elife. 13, RP98159(2025).
  49. Long-term two-photon imaging of spinal cord in freely behaving mice. bioRxiv. , (2022).">Ju, F., et al. Long-term two-photon imaging of spinal cord in freely behaving mice. bioRxiv. , (2022).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Neural Population DynamicsNatural Behavior DecodingTwo Photon MicroscopySocial Behavior AtlasBehavioral Pose EstimationNeural Embedding AlignmentFreely Moving MiceDeep Learning BehaviorDual Mouse TrackingNeural Coding Principles

Related Articles