Une implémentation étape par étape de DeepBehavior, Deep Learning Toolbox pour l’analyse automatisée du comportement
6 février 2020
Le but de ce protocole est d’utiliser des filets neuronaux convolutionnels préconstruits pour automatiser le suivi du comportement et effectuer une analyse détaillée du comportement. Le suivi du comportement peut être appliqué à toutes les données vidéo ou séquences d’images et est généralisable pour suivre n’importe quel objet défini par l’utilisateur.
Effectuer une analyse détaillée du comportement est crucial pour comprendre la relation de comportement du cerveau. Une des meilleures façons d’évaluer le comportement est par des observations minutieuses. Cependant, quantifier le comportement observé prend beaucoup de temps et est difficile.
Les méthodes classiques d’analyse du comportement ne sont pas facilement quantifiables et sont intrinsèquement subjectives. Les récents développements dans le domaine de l’apprentissage profond, une branche des domaines de l’apprentissage automatique et de l’intelligence artificielle, offrent des possibilités de quantification automatisée et objective des images et des vidéos. Ici, nous présentons nos méthodes récemment développées en utilisant des réseaux neuronaux profonds pour effectuer une analyse détaillée du comportement chez les rongeurs et les humains.
Le principal avantage de cette technique sont sa flexibilité et son applicabilité à toutes les données d’imagerie pour l’analyse du comportement. La boîte à outils DeepBehavior prend en charge l’identification d’un seul objet, la détection multi-objets et le suivi des poses humaines. Nous fournissons également le code de post-traitement dans MATLAB pour des méthodes d’analyse cinématiques plus approfondies.
Commencez par mettre en place Tensor Box. Activez l’environnement, puis utilisez GitHub pour cloner Tensor Box et l’installer sur la machine et sur des dépendances supplémentaires. Ensuite, lancez l’interface utilisateur graphique d’étiquetage et étiquetez au moins 600 images à partir d’une large distribution d’images de comportement.
Pour étiqueter une image, cliquez sur le coin supérieur gauche de l’objet d’intérêt, puis sur le coin inférieur droit. Ensuite, assurez-vous que la boîte de divisation capture l’objet entier. Cliquez à côté pour passer au cadre suivant.
Pour relier les images de formation à un fichier de paramètres hyper réseau, ouvrez overfeat_rezoom. json dans un éditeur de texte et remplacer le chemin de fichier sous train_idl à labels.json. Ensuite, ajoutez le même chemin de fichiers sous test-idl et enregistrez les modifications.
Lancez le script de formation qui commencera la formation pour 600 000 itérations et générerez les poids formés résultants du réseau neuronal convolutionnel dans le dossier de sortie. Effectuez ensuite la prédiction sur de nouvelles images, et visualisez les sorties du réseau sous forme d’images étiquetées et de coordonnées de boîte de dingage. Installez YOLOv3.
Étiquetez ensuite les données de formation avec Yolo_mark en plaçant les images dans le dossier Yolo_mark-data-obga et en les étiquetant une par une dans l’interface utilisateur graphique. Étiquetez environ 200 images. Ensuite, configurer le fichier de configuration.
Pour modifier le fichier de configuration ouvrez le YOLO-obj. dossier cfg. Modifiez les lignes de lot, de subdivision et de classes.
Modifiez ensuite le filtre pour chaque couche de convolution avant une couche YOLO. Téléchargez les poids du réseau et placez-les dans la version darknet. dossier x64.
Exécutez l’algorithme de formation, et une fois qu’il est complet voir les itérations. Pour suivre plusieurs parties du corps dans un sujet humain, installez OpenPose puis utilisez-le pour traiter la vidéo désirée. Les capacités de la boîte à outils DeepBehavior ont été démontrées sur des vidéos de souris effectuant une tâche d’atteinte de granulés alimentaires.
Leurs pattes droites ont été étiquetées et le mouvement a été suivi avec des caméras de vue avant et latérale. Après le post-traitement avec étalonnage de la caméra, des trajectoires 3D de la portée ont été obtenues. Les sorties de YOLOv3 sont de multiples boîtes de dérodage car plusieurs objets peuvent être suivis.
Les boîtes bondissantes sont autour des objets d’intérêt qui peuvent être des parties du corps. Dans OpenPose, le réseau a détecté les positions communes et après le post-traitement avec étalonnage de la caméra, un modèle 3D du sujet a été créé. Une étape critique non couverte par ce protocole consiste à s’assurer que votre appareil dispose des versions python et des dépendances appropriées ainsi que d’un périphérique configuré GPU avant de commencer.
Après avoir obtenu avec succès le comportement de la piste à partir du réseau post-traitement supplémentaire peut être fait pour analyser davantage la cinématique et les modèles du comportement. Pourquoi la boîte à outils DeepBehavior est applicable pour les approches diagnostiques dans les modèles de maladies des rongeurs et des sujets humains n’est pas un avantage thérapeutique direct. L’utilisation de ces techniques comme outil diagnostique ou pronostique fait l’objet de recherches actives au sein de notre laboratoire.
Cette technique est utilisée pour étudier les mécanismes neuronaux du comportement moteur qualifié chez les rongeurs ainsi que d’être utilisé dans des études cliniques pour évaluer la récupération motrice chez les patients atteints de maladies neurologiques.
Consultez la transcription complète et accédez à des milliers de vidéos scientifiques
Aperçu
Ce protocole utilise des réseaux de neurones convolutionnels pré-construits pour automatiser le suivi du comportement et effectuer une analyse détaillée du comportement. Il est applicable à toutes les données vidéo ou séquences d'images, permettant le suivi d'objets définis par l'utilisateur.
Composantes clés de l'étude
Domaine de la science
- Neuroscience
- Analyse du comportement
- Apprentissage automatique
Contexte
- Comprendre les relations cerveau-comportement est crucial.
- Les méthodes traditionnelles d'analyse du comportement sont subjectives et chronophages.
- L'apprentissage profond offre des opportunités pour la quantification automatisée du comportement.
- Les récentes avancées en IA peuvent améliorer le suivi du comportement chez divers sujets.
Objectif de l'étude
- Automatiser le suivi du comportement à l'aide de réseaux de neurones profonds.
- Fournir une quantification objective du comportement dans les vidéos et les images.
- Améliorer l'efficacité de l'analyse du comportement dans la recherche.
Méthodes utilisées
- Utilisation de réseaux de neurones convolutionnels.
- Application aux données vidéo et séquences d'images.
- Suivi d'objets définis par l'utilisateur.
- Mise en œuvre dans les études sur les rongeurs et les humains.
Résultats principaux
- Automatisation réussie du suivi du comportement.
- Analyse objective des schémas de comportement.
- Généralisabilité à différents types de données vidéo.
- Meilleure compréhension du comportement grâce à des mesures quantitatives.
Conclusions
- Les méthodes d'apprentissage profond peuvent améliorer considérablement l'analyse du comportement.
- L'automatisation réduit la subjectivité et le temps dans la recherche.
- L'approche est applicable à divers contextes de recherche.
Questions fréquemment posées
Executive Industry Relevance
Automated behavior analysis addresses the bottleneck of subjective, time-intensive manual scoring in preclinical neuroscience, enabling objective quantification of motor phenotypes in disease models. By converting video data into precise kinematic metrics, DeepBehavior supports target validation and mechanistic de-risking in early discovery, particularly for CNS disorders where behavioral endpoints are critical. This enhances predictive confidence in lead identification and reduces attrition due to poor translational validity of behavioral assays.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables interrogation of therapeutic hypotheses by quantifying spontaneous and skilled motor behaviors in rodent models of neurological disease.
- Operational Value: Reduces inter-observer variability and increases throughput for high-content behavioral screening.
- Predictive Value: Generates reproducible, multidimensional behavioral readouts that improve confidence in target engagement and pathway modulation.
Screening & Assay Development
- Scientific Value: Produces standardized, quantitative Cartesian coordinates of body parts or joints across frames, enabling objective comparison of compound effects on motor function.
- Operational Value: Supports assay scalability through automation of single-object, multi-object, and 3D pose tracking workflows.
- Assay Readiness: Outputs are compatible with downstream statistical analysis and machine learning pipelines for biomarker discovery.
Translational & Preclinical Research
- Translational Continuity: Facilitates cross-species behavioral comparison by applying identical deep learning frameworks to rodent and human video data.
- Preclinical Validation: Enables longitudinal tracking of motor recovery or degeneration in disease models, supporting risk-adjusted advancement decisions.
- Mechanistic De-risking: Links observed behavioral changes to neural circuit function through precise spatiotemporal tracking of movement patterns.
Pipeline & Workflow Integration
DeepBehavior integrates into the discovery continuum from early target validation through lead optimization, where automated behavior quantification informs structure-activity relationships and phenotypic screening outcomes.
- Discovery Biology: Supports hypothesis-driven analysis of motor circuit function by providing objective, frame-resolved behavioral metrics.
- Screening: Enables reproducible, high-throughput analysis of compound libraries using standardized pose estimation and tracking outputs.
- Analytics: Delivers quantitative kinematic data (e.g., trajectory, velocity, joint angles) that facilitate dose-response modeling and effect size estimation.
- Translational Research: Aligns preclinical rodent behavior with human motor assessments via shared deep learning architectures, improving clinical predictability.
- Enterprise Reuse: The toolbox is adaptable across disease areas and models, serving as a reusable platform for behavioral phenotyping.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence by reducing behavioral measurement noise and enabling detection of subtle phenotypic changes.
- Operational Value: Standardizes data acquisition and analysis across sites and operators, improving reproducibility in multi-site studies.
- Strategic Value: Accelerates go/no-go decisions by providing early, objective behavioral efficacy signals.
- Portfolio Impact: Supports risk-based prioritization of compounds with favorable behavioral profiles, reducing late-stage failure risk.
Implementation Considerations
- Requires expertise in deep learning frameworks, video data management, and behavioral neuroscience.
- Needs GPU-enabled workstations and software environments for TensorBox, YOLOv3, and OpenPose.
- Demands standardization of video acquisition protocols (e.g., lighting, camera angles) to ensure tracking accuracy across experiments.
- Requires post-processing skills for coordinate transformation, camera calibration, and kinematic analysis in MATLAB or Python.
- Performance depends on sufficient training data (e.g., 600+ labeled frames) and appropriate network hyperparameters for the target behavior.
