Eine schrittweise Implementierung von DeepBehavior, Deep Learning Toolbox für automatisierte Verhaltensanalyse
6. Februar 2020
Der Zweck dieses Protokolls besteht darin, vorgefertigte konvolutionale neuronale Netze zu verwenden, um die Verhaltensverfolgung zu automatisieren und detaillierte Verhaltensanalysen durchzuführen. Verhaltensverfolgung kann auf alle Videodaten oder Sequenzen von Bildern angewendet werden und ist verallgemeinerbar, um jedes benutzerdefinierte Objekt zu verfolgen.
Die Durchführung einer detaillierten Verhaltensanalyse ist entscheidend für das Verständnis der Beziehung zwischen Gehirnverhalten. Eine der besten Möglichkeiten, das Verhalten zu bewerten, ist durch sorgfältige Beobachtungen. Die Quantifizierung des beobachteten Verhaltens ist jedoch zeitaufwändig und herausfordernd.
Klassische Methoden der Verhaltensanalyse sind nicht leicht quantifizierbar und von Natur aus subjektiv. Jüngste Entwicklungen im Bereich Deep Learning, einem Zweig des maschinellen Lernens und der künstlichen Intelligenz, bieten Möglichkeiten zur automatisierten und objektiven Quantifizierung von Bildern und Videos. Hier stellen wir unsere kürzlich entwickelten Methoden unter Verwendung tiefer neuronaler Netzwerke vor, um detaillierte Verhaltensanalysen bei Nagetieren und Menschen durchzuführen.
Der Hauptvorteil dieser Technik ist ihre Flexibilität und Anwendbarkeit auf alle bildgebenden Daten für die Verhaltensanalyse. Die DeepBehavior Toolbox unterstützt die Identifizierung einzelner Objekte, die Erkennung von mehreren Objekten und die Verfolgung menschlicher Posen. Wir stellen auch den Nachbearbeitungscode in MATLAB für tiefergehende kinematische Analysemethoden zur Verfügung.
Beginnen Sie mit der Einrichtung von Tensor Box. Aktivieren Sie die Umgebung, und verwenden Sie dann GitHub, um Tensor Box zu klonen und auf dem Computer und bei zusätzlichen Abhängigkeiten zu installieren. Starten Sie als Nächstes die grafische Beschriftung samtüberund beschriften Sie mindestens 600 Bilder aus einer breiten Verteilung von Verhaltensrahmen.
Um ein Bild zu beschriften, klicken Sie auf die obere linke Ecke des Objekts, das von Interesse ist, und dann auf die untere rechte Ecke. Stellen Sie dann sicher, dass der Begrenzungsrahmen das gesamte Objekt erfasst. Klicken Sie auf weiter, um zum nächsten Frame zu wechseln.
Um die Trainingsbilder mit einer Netzwerk-Hyperparameterdatei zu verknüpfen, öffnen Sie overfeat_rezoom. json in einem Texteditor und ersetzen Sie den Dateipfad unter train_idl zu labels.json. Fügen Sie dann denselben Dateipfad unter test-idl hinzu, und speichern Sie die Änderungen.
Initiieren Sie das Trainingsskript, das mit dem Training für 600.000 Iterationen beginnt, und generieren Sie die resultierenden trainierten Gewichtungen des konvolutionalen neuronalen Netzwerks im Ausgabeordner. Führen Sie dann die Vorhersage für neue Bilder durch, und zeigen Sie die Ausgaben des Netzwerks als beschriftete Bilder und als Begrenzungsrahmenkoordinaten an. Installieren Sie YOLOv3.
Beschriften Sie dann die Trainingsdaten mit Yolo_mark, indem Sie die Bilder im Ordner Yolo_mark-data-obga platzieren und sie eins nach dem anderen in der grafischen Benutzeroberfläche beschriften. Beschriften Sie ca. 200 Bilder. Richten Sie als Nächstes die Konfigurationsdatei ein.
Um die Konfigurationsdatei zu ändern, öffnen Sie den YOLO-obj. cfg-Ordner. Ändern Sie die Batch-, Unterteilungs- und Klassenzeilen.
Ändern Sie dann den Filter für jede Faltungsschicht vor einer YOLO-Schicht. Laden Sie die Netzwerkgewichtungen herunter und platzieren Sie sie in den Darknet-Build. x64-Ordner.
Führen Sie den Trainingsalgorithmus aus, und zeigen Sie nach Abschluss der Iterationen die Iterationen an. Um mehrere Körperteile in einem menschlichen Motiv zu verfolgen, installieren Sie OpenPose und verwenden Sie es, um das gewünschte Video zu verarbeiten. Die Fähigkeiten der DeepBehavior Toolbox wurden auf Videos von Mäusen demonstriert, die eine Aufgabe zum Erreichen von Futterpellets ausführen.
Ihre rechten Pfoten wurden beschriftet und die Bewegung wurde mit Front- und Seitenkamerakameras verfolgt. Nach der Nachbearbeitung mit Kamerakalibrierung wurden 3D-Trajektorien der Reichweite erhalten. Die Ausgaben von YOLOv3 sind mehrere Begrenzungsfelder, da mehrere Objekte nachverfolgt werden können.
Die Begrenzungskästen sind um die Objekte von Interesse, die Teile des Körpers sein können. In OpenPose erfasste das Netzwerk die Gelenkpositionen und nach der Nachbearbeitung mit Kamerakalibrierung wurde ein 3D-Modell des Motivs erstellt. Ein wichtiger Schritt, der in diesem Protokoll nicht behandelt wird, besteht darin, sicherzustellen, dass Ihr Gerät über die entsprechenden Python-Versionen und -Abhängigkeiten sowie über ein GPU-konfiguriertes Gerät verfügt, bevor es beginnt.
Nach erfolgreicher Abfindung des Spurverhaltens aus dem Netzwerk kann eine zusätzliche Nachbearbeitung durchgeführt werden, um die Kinematik und Verhaltensmuster weiter zu analysieren. Warum die DeepBehavior Toolbox für diagnostische Ansätze in Krankheitsmodellen von Nagetieren und Menschen geeignet ist, ist kein direkter therapeutischer Nutzen. Der Einsatz dieser Techniken als diagnostisches oder prognostisches Werkzeug wird in unserem Labor aktiv erforscht.
Diese Technik wird verwendet, um die neuronalen Mechanismen des qualifizierten motorischen Verhaltens bei Nagetieren zu untersuchen und in klinischen Studien verwendet, um die motorische Erholung bei Patienten mit neurologischen Erkrankungen zu bewerten.
Sehen Sie sich das vollständige Transkript an und erhalten Sie Zugang zu Tausenden wissenschaftlicher Videos
Übersicht
Dieses Protokoll verwendet vorgefertigte konvolutionale neuronale Netzwerke, um das Verhaltenstracking zu automatisieren und eine detaillierte Verhaltensanalyse durchzuführen. Es ist auf jedes Videodatenmaterial oder Bildsequenzen anwendbar und ermöglicht das Tracking benutzerdefinierter Objekte.
Wichtige Studienkomponenten
Wissenschaftsbereich
- Neurowissenschaften
- Verhaltensanalyse
- Maschinelles Lernen
Hintergrund
- Das Verständnis der Gehirn-Verhaltens-Beziehungen ist entscheidend.
- Traditionelle Verhaltensanalysemethoden sind subjektiv und zeitaufwendig.
- Deep Learning bietet Möglichkeiten zur automatisierten Verhaltensquantifizierung.
- Jüngste Fortschritte in der KI können das Verhaltenstracking bei verschiedenen Subjekten verbessern.
Zweck der Studie
- Automatisierung des Verhaltenstrackings unter Verwendung tiefer neuronaler Netzwerke.
- Objektive Quantifizierung des Verhaltens in Videos und Bildern.
- Verbesserung der Effizienz der Verhaltensanalyse in der Forschung.
Verwendete Methoden
- Nutzung von konvolutionalen neuronalen Netzwerken.
- Anwendung auf Videodaten und Bildsequenzen.
- Tracking benutzerdefinierter Objekte.
- Implementierung sowohl in Nagetier- als auch in Humanstudien.
Hauptergebnisse
- Erfolgreiche Automatisierung des Verhaltenstrackings.
- Objektive Analyse von Verhaltensmustern.
- Allgemeingültigkeit über verschiedene Arten von Videodaten hinweg.
- Verbessertes Verständnis des Verhaltens durch quantitative Maße.
Schlussfolgerungen
- Deep Learning Methoden können die Verhaltensanalyse erheblich verbessern.
- Automatisierung reduziert Subjektivität und Zeit in der Forschung.
- Der Ansatz ist auf verschiedene Forschungskontexte anwendbar.
Häufig gestellte Fragen
Executive Industry Relevance
Automated behavior analysis addresses the bottleneck of subjective, time-intensive manual scoring in preclinical neuroscience, enabling objective quantification of motor phenotypes in disease models. By converting video data into precise kinematic metrics, DeepBehavior supports target validation and mechanistic de-risking in early discovery, particularly for CNS disorders where behavioral endpoints are critical. This enhances predictive confidence in lead identification and reduces attrition due to poor translational validity of behavioral assays.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables interrogation of therapeutic hypotheses by quantifying spontaneous and skilled motor behaviors in rodent models of neurological disease.
- Operational Value: Reduces inter-observer variability and increases throughput for high-content behavioral screening.
- Predictive Value: Generates reproducible, multidimensional behavioral readouts that improve confidence in target engagement and pathway modulation.
Screening & Assay Development
- Scientific Value: Produces standardized, quantitative Cartesian coordinates of body parts or joints across frames, enabling objective comparison of compound effects on motor function.
- Operational Value: Supports assay scalability through automation of single-object, multi-object, and 3D pose tracking workflows.
- Assay Readiness: Outputs are compatible with downstream statistical analysis and machine learning pipelines for biomarker discovery.
Translational & Preclinical Research
- Translational Continuity: Facilitates cross-species behavioral comparison by applying identical deep learning frameworks to rodent and human video data.
- Preclinical Validation: Enables longitudinal tracking of motor recovery or degeneration in disease models, supporting risk-adjusted advancement decisions.
- Mechanistic De-risking: Links observed behavioral changes to neural circuit function through precise spatiotemporal tracking of movement patterns.
Pipeline & Workflow Integration
DeepBehavior integrates into the discovery continuum from early target validation through lead optimization, where automated behavior quantification informs structure-activity relationships and phenotypic screening outcomes.
- Discovery Biology: Supports hypothesis-driven analysis of motor circuit function by providing objective, frame-resolved behavioral metrics.
- Screening: Enables reproducible, high-throughput analysis of compound libraries using standardized pose estimation and tracking outputs.
- Analytics: Delivers quantitative kinematic data (e.g., trajectory, velocity, joint angles) that facilitate dose-response modeling and effect size estimation.
- Translational Research: Aligns preclinical rodent behavior with human motor assessments via shared deep learning architectures, improving clinical predictability.
- Enterprise Reuse: The toolbox is adaptable across disease areas and models, serving as a reusable platform for behavioral phenotyping.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence by reducing behavioral measurement noise and enabling detection of subtle phenotypic changes.
- Operational Value: Standardizes data acquisition and analysis across sites and operators, improving reproducibility in multi-site studies.
- Strategic Value: Accelerates go/no-go decisions by providing early, objective behavioral efficacy signals.
- Portfolio Impact: Supports risk-based prioritization of compounds with favorable behavioral profiles, reducing late-stage failure risk.
Implementation Considerations
- Requires expertise in deep learning frameworks, video data management, and behavioral neuroscience.
- Needs GPU-enabled workstations and software environments for TensorBox, YOLOv3, and OpenPose.
- Demands standardization of video acquisition protocols (e.g., lighting, camera angles) to ensure tracking accuracy across experiments.
- Requires post-processing skills for coordinate transformation, camera calibration, and kinematic analysis in MATLAB or Python.
- Performance depends on sufficient training data (e.g., 600+ labeled frames) and appropriate network hyperparameters for the target behavior.
