Een stapsgewijze implementatie van DeepBehavior, Deep Learning Toolbox voor geautomatiseerde gedragsanalyse
6 februari 2020
Het doel van dit protocol is om vooraf gebouwde convolutional neurale netten te gebruiken om gedragstracking te automatiseren en gedetailleerde gedragsanalyse uit te voeren. Gedragstracking kan worden toegepast op alle videogegevens of sequenties van afbeeldingen en is generaliseerbaar om elk door de gebruiker gedefinieerd object bij te houden.
Het uitvoeren van een gedetailleerde gedragsanalyse is cruciaal voor het begrijpen van hersengedrag relatie. Een van de beste manieren om gedrag te evalueren is door middel van zorgvuldige waarnemingen. Echter, het kwantificeren van het waargenomen gedrag is tijdrovend en uitdagend.
Klassieke methoden van gedragsanalyse zijn niet gemakkelijk te kwantificeren en zijn inherent subjectief. Recente ontwikkelingen op het gebied van deep learning, een tak van machine learning en kunstmatige intelligentie, bieden mogelijkheden voor geautomatiseerde en objectieve kwantificering van afbeeldingen en video's. Hier presenteren we onze recent ontwikkelde methoden met behulp van diepe neurale netwerken om gedetailleerde gedragsanalyse uit te voeren bij knaagdieren en mensen.
Het belangrijkste voordeel van deze techniek zijn de flexibiliteit en toepasbaarheid op alle beeldvormende gegevens voor gedragsanalyse. De DeepBehavior Toolbox ondersteunt single object identificatie, multi object detectie, en menselijke pose tracking. We bieden ook de post processing code in MATLAB voor meer diepgaande kinematische analysemethoden.
Begin met het opzetten van Tensor Box. Activeer de omgeving en gebruik GitHub om Tensor Box te klonen en te installeren op de machine en op extra afhankelijkheden. Start vervolgens de grafische gebruikersinterface en label ten minste 600 afbeeldingen van een brede verdeling van gedragsframes.
Als u een afbeelding wilt labelen, klikt u op de linkerbovenhoek van het object van belang en vervolgens op de rechterbenedenhoek. Zorg er vervolgens voor dat het selectiekader het hele object vastlegt. Klik naast om naar het volgende frame te gaan.
Als u de trainingsafbeeldingen wilt koppelen aan een bestand met hyperparameters in het netwerk, opent u overfeat_rezoom. json in een teksteditor en vervang het bestandspad onder train_idl naar labels.json. Voeg vervolgens hetzelfde bestandspad toe onder test-idl en sla de wijzigingen op.
Start het trainingsscript dat zal beginnen met de training voor 600,000 iteraties en het genereren van de resulterende getrainde gewichten van de convolutional neurale netwerk in de output map. Voer vervolgens voorspellingen uit op nieuwe afbeeldingen en bekijk de uitvoer van het netwerk als gelabelde afbeeldingen en als coördinaten van de selectiekader. Installeer YOLOv3.
Label vervolgens de trainingsgegevens met Yolo_mark door de afbeeldingen in de map Yolo_mark-data-obga te plaatsen en ze één voor één in de grafische gebruikersinterface te labelen. Label ongeveer 200 afbeeldingen. Stel vervolgens het configuratiebestand in.
Als u het configuratiebestand wilt wijzigen, opent u de YOLO-obj. cfg-map. Wijzig de batch-, onderverdeling- en klassenregels.
Verander vervolgens het filter voor elke convolutielaag voor een YOLO-laag. Download de netwerkgewichten en plaats ze in de darknet-build. x64-map.
Voer het trainingsalgoritme uit en bekijk de iteraties zodra deze voltooid is. Als u meerdere lichaamsdelen in een menselijk onderwerp wilt volgen, installeert u OpenPose en gebruikt u deze vervolgens om de gewenste video te verwerken. De mogelijkheden van de DeepBehavior Toolbox werden gedemonstreerd op video's van muizen die een voedselpellet uitvoeren die taak bereikt.
Hun rechterpoten werden gelabeld en beweging werd gevolgd met camera's voor en zijaanzicht. Na de verwerking met camerakalibratie werden 3D-trajecten van het bereik verkregen. De uitgangen van YOLOv3 zijn meerdere omsluitende vakken omdat meerdere objecten kunnen worden bijgehouden.
De omsluitende dozen zijn rond de objecten van belang die delen van het lichaam kunnen zijn. In OpenPose detecteerde het netwerk de gezamenlijke posities en na de verwerking met camerakalibratie werd een 3D-model van het onderwerp gemaakt. Een kritieke stap die niet in dit protocol wordt behandeld, is ervoor te zorgen dat uw apparaat over de juiste Python-versies en afhankelijkheden beschikt, evenals een GPU-geconfigureerd apparaat voordat u begint.
Na het succesvol verkrijgen van het track gedrag van het netwerk extra nabewerking kan worden gedaan om verder te analyseren van de kinematica en patronen van het gedrag. Waarom de DeepBehavior Toolbox van toepassing is op diagnostische benaderingen bij ziektemodellen van knaagdieren en menselijke proefpersonen is geen direct therapeutisch voordeel. Het gebruik van deze technieken als diagnostisch of prognostisch instrument wordt in ons laboratorium actief onderzocht.
Deze techniek wordt gebruikt om de neurale mechanismen van ervaren motorisch gedrag bij knaagdieren te onderzoeken en wordt gebruikt in klinische studies om motorisch herstel bij patiënten met neurologische aandoeningen te evalueren.
Bekijk het volledige transcript en krijg toegang tot duizenden wetenschappelijke video's
Overzicht
Dit protocol maakt gebruik van voorgebouwde convolutionele neurale netwerken om gedragstracking te automatiseren en gedetailleerde gedragsanalyse uit te voeren. Het is toepasbaar op alle videogegevens of sequenties van afbeeldingen, waardoor het mogelijk is om door de gebruiker gedefinieerde objecten te volgen.
Belangrijkste studieonderdelen
Wetenschapsgebied
- Neurowetenschap
- Gedragsanalyse
- Machine Learning
Achtergrond
- Het begrijpen van hersen-gedragsrelaties is cruciaal.
- Traditionele methoden voor gedragsanalyse zijn subjectief en tijdrovend.
- Diep leren biedt mogelijkheden voor geautomatiseerde gedragskwantificering.
- Recente vorderingen in AI kunnen gedragstracking in verschillende onderwerpen verbeteren.
Doel van het onderzoek
- Gedragstracking automatiseren met behulp van diepe neurale netwerken.
- Objectieve kwantificering van gedrag in video's en afbeeldingen bieden.
- De efficiëntie van gedragsanalyse in onderzoek verbeteren.
Gebruikte methoden
- Gebruik van convolutionele neurale netwerken.
- Toepassing op videogegevens en beeldsequenties.
- Tracking van door de gebruiker gedefinieerde objecten.
- Implementatie in zowel knaagdier- als menselijke studies.
Belangrijkste resultaten
- Succesvolle automatisering van gedragstracking.
- Objectieve analyse van gedragspatronen.
- Toepasselijkheid op verschillende soorten videogegevens.
- Verbeterd begrip van gedrag door middel van kwantitatieve maatregelen.
Conclusies
- Diepe leermethoden kunnen gedragsanalyse aanzienlijk verbeteren.
- Automatisering vermindert subjectiviteit en tijd in onderzoek.
- De benadering is toepasbaar in verschillende onderzoekscontexten.
Veelgestelde vragen
Executive Industry Relevance
Automated behavior analysis addresses the bottleneck of subjective, time-intensive manual scoring in preclinical neuroscience, enabling objective quantification of motor phenotypes in disease models. By converting video data into precise kinematic metrics, DeepBehavior supports target validation and mechanistic de-risking in early discovery, particularly for CNS disorders where behavioral endpoints are critical. This enhances predictive confidence in lead identification and reduces attrition due to poor translational validity of behavioral assays.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables interrogation of therapeutic hypotheses by quantifying spontaneous and skilled motor behaviors in rodent models of neurological disease.
- Operational Value: Reduces inter-observer variability and increases throughput for high-content behavioral screening.
- Predictive Value: Generates reproducible, multidimensional behavioral readouts that improve confidence in target engagement and pathway modulation.
Screening & Assay Development
- Scientific Value: Produces standardized, quantitative Cartesian coordinates of body parts or joints across frames, enabling objective comparison of compound effects on motor function.
- Operational Value: Supports assay scalability through automation of single-object, multi-object, and 3D pose tracking workflows.
- Assay Readiness: Outputs are compatible with downstream statistical analysis and machine learning pipelines for biomarker discovery.
Translational & Preclinical Research
- Translational Continuity: Facilitates cross-species behavioral comparison by applying identical deep learning frameworks to rodent and human video data.
- Preclinical Validation: Enables longitudinal tracking of motor recovery or degeneration in disease models, supporting risk-adjusted advancement decisions.
- Mechanistic De-risking: Links observed behavioral changes to neural circuit function through precise spatiotemporal tracking of movement patterns.
Pipeline & Workflow Integration
DeepBehavior integrates into the discovery continuum from early target validation through lead optimization, where automated behavior quantification informs structure-activity relationships and phenotypic screening outcomes.
- Discovery Biology: Supports hypothesis-driven analysis of motor circuit function by providing objective, frame-resolved behavioral metrics.
- Screening: Enables reproducible, high-throughput analysis of compound libraries using standardized pose estimation and tracking outputs.
- Analytics: Delivers quantitative kinematic data (e.g., trajectory, velocity, joint angles) that facilitate dose-response modeling and effect size estimation.
- Translational Research: Aligns preclinical rodent behavior with human motor assessments via shared deep learning architectures, improving clinical predictability.
- Enterprise Reuse: The toolbox is adaptable across disease areas and models, serving as a reusable platform for behavioral phenotyping.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence by reducing behavioral measurement noise and enabling detection of subtle phenotypic changes.
- Operational Value: Standardizes data acquisition and analysis across sites and operators, improving reproducibility in multi-site studies.
- Strategic Value: Accelerates go/no-go decisions by providing early, objective behavioral efficacy signals.
- Portfolio Impact: Supports risk-based prioritization of compounds with favorable behavioral profiles, reducing late-stage failure risk.
Implementation Considerations
- Requires expertise in deep learning frameworks, video data management, and behavioral neuroscience.
- Needs GPU-enabled workstations and software environments for TensorBox, YOLOv3, and OpenPose.
- Demands standardization of video acquisition protocols (e.g., lighting, camera angles) to ensure tracking accuracy across experiments.
- Requires post-processing skills for coordinate transformation, camera calibration, and kinematic analysis in MATLAB or Python.
- Performance depends on sufficient training data (e.g., 600+ labeled frames) and appropriate network hyperparameters for the target behavior.
