Een stapsgewijze implementatie van DeepBehavior, Deep Learning Toolbox voor geautomatiseerde gedragsanalyse

Het uitvoeren van een gedetailleerde gedragsanalyse is cruciaal voor het begrijpen van hersengedrag relatie. Een van de beste manieren om gedrag te evalueren is door middel van zorgvuldige waarnemingen. Echter, het kwantificeren van het waargenomen gedrag is tijdrovend en uitdagend.

Klassieke methoden van gedragsanalyse zijn niet gemakkelijk te kwantificeren en zijn inherent subjectief. Recente ontwikkelingen op het gebied van deep learning, een tak van machine learning en kunstmatige intelligentie, bieden mogelijkheden voor geautomatiseerde en objectieve kwantificering van afbeeldingen en video's. Hier presenteren we onze recent ontwikkelde methoden met behulp van diepe neurale netwerken om gedetailleerde gedragsanalyse uit te voeren bij knaagdieren en mensen.

Het belangrijkste voordeel van deze techniek zijn de flexibiliteit en toepasbaarheid op alle beeldvormende gegevens voor gedragsanalyse. De DeepBehavior Toolbox ondersteunt single object identificatie, multi object detectie, en menselijke pose tracking. We bieden ook de post processing code in MATLAB voor meer diepgaande kinematische analysemethoden.

Begin met het opzetten van Tensor Box. Activeer de omgeving en gebruik GitHub om Tensor Box te klonen en te installeren op de machine en op extra afhankelijkheden. Start vervolgens de grafische gebruikersinterface en label ten minste 600 afbeeldingen van een brede verdeling van gedragsframes.

Als u een afbeelding wilt labelen, klikt u op de linkerbovenhoek van het object van belang en vervolgens op de rechterbenedenhoek. Zorg er vervolgens voor dat het selectiekader het hele object vastlegt. Klik naast om naar het volgende frame te gaan.

Als u de trainingsafbeeldingen wilt koppelen aan een bestand met hyperparameters in het netwerk, opent u overfeat_rezoom. json in een teksteditor en vervang het bestandspad onder train_idl naar labels.json. Voeg vervolgens hetzelfde bestandspad toe onder test-idl en sla de wijzigingen op.

Start het trainingsscript dat zal beginnen met de training voor 600,000 iteraties en het genereren van de resulterende getrainde gewichten van de convolutional neurale netwerk in de output map. Voer vervolgens voorspellingen uit op nieuwe afbeeldingen en bekijk de uitvoer van het netwerk als gelabelde afbeeldingen en als coördinaten van de selectiekader. Installeer YOLOv3.

Label vervolgens de trainingsgegevens met Yolo_mark door de afbeeldingen in de map Yolo_mark-data-obga te plaatsen en ze één voor één in de grafische gebruikersinterface te labelen. Label ongeveer 200 afbeeldingen. Stel vervolgens het configuratiebestand in.

Als u het configuratiebestand wilt wijzigen, opent u de YOLO-obj. cfg-map. Wijzig de batch-, onderverdeling- en klassenregels.

Verander vervolgens het filter voor elke convolutielaag voor een YOLO-laag. Download de netwerkgewichten en plaats ze in de darknet-build. x64-map.

Voer het trainingsalgoritme uit en bekijk de iteraties zodra deze voltooid is. Als u meerdere lichaamsdelen in een menselijk onderwerp wilt volgen, installeert u OpenPose en gebruikt u deze vervolgens om de gewenste video te verwerken. De mogelijkheden van de DeepBehavior Toolbox werden gedemonstreerd op video's van muizen die een voedselpellet uitvoeren die taak bereikt.

Hun rechterpoten werden gelabeld en beweging werd gevolgd met camera's voor en zijaanzicht. Na de verwerking met camerakalibratie werden 3D-trajecten van het bereik verkregen. De uitgangen van YOLOv3 zijn meerdere omsluitende vakken omdat meerdere objecten kunnen worden bijgehouden.

De omsluitende dozen zijn rond de objecten van belang die delen van het lichaam kunnen zijn. In OpenPose detecteerde het netwerk de gezamenlijke posities en na de verwerking met camerakalibratie werd een 3D-model van het onderwerp gemaakt. Een kritieke stap die niet in dit protocol wordt behandeld, is ervoor te zorgen dat uw apparaat over de juiste Python-versies en afhankelijkheden beschikt, evenals een GPU-geconfigureerd apparaat voordat u begint.

Na het succesvol verkrijgen van het track gedrag van het netwerk extra nabewerking kan worden gedaan om verder te analyseren van de kinematica en patronen van het gedrag. Waarom de DeepBehavior Toolbox van toepassing is op diagnostische benaderingen bij ziektemodellen van knaagdieren en menselijke proefpersonen is geen direct therapeutisch voordeel. Het gebruik van deze technieken als diagnostisch of prognostisch instrument wordt in ons laboratorium actief onderzocht.

Deze techniek wordt gebruikt om de neurale mechanismen van ervaren motorisch gedrag bij knaagdieren te onderzoeken en wordt gebruikt in klinische studies om motorisch herstel bij patiënten met neurologische aandoeningen te evalueren.