Eine schrittweise Implementierung von DeepBehavior, Deep Learning Toolbox für automatisierte Verhaltensanalyse

Die Durchführung einer detaillierten Verhaltensanalyse ist entscheidend für das Verständnis der Beziehung zwischen Gehirnverhalten. Eine der besten Möglichkeiten, das Verhalten zu bewerten, ist durch sorgfältige Beobachtungen. Die Quantifizierung des beobachteten Verhaltens ist jedoch zeitaufwändig und herausfordernd.

Klassische Methoden der Verhaltensanalyse sind nicht leicht quantifizierbar und von Natur aus subjektiv. Jüngste Entwicklungen im Bereich Deep Learning, einem Zweig des maschinellen Lernens und der künstlichen Intelligenz, bieten Möglichkeiten zur automatisierten und objektiven Quantifizierung von Bildern und Videos. Hier stellen wir unsere kürzlich entwickelten Methoden unter Verwendung tiefer neuronaler Netzwerke vor, um detaillierte Verhaltensanalysen bei Nagetieren und Menschen durchzuführen.

Der Hauptvorteil dieser Technik ist ihre Flexibilität und Anwendbarkeit auf alle bildgebenden Daten für die Verhaltensanalyse. Die DeepBehavior Toolbox unterstützt die Identifizierung einzelner Objekte, die Erkennung von mehreren Objekten und die Verfolgung menschlicher Posen. Wir stellen auch den Nachbearbeitungscode in MATLAB für tiefergehende kinematische Analysemethoden zur Verfügung.

Beginnen Sie mit der Einrichtung von Tensor Box. Aktivieren Sie die Umgebung, und verwenden Sie dann GitHub, um Tensor Box zu klonen und auf dem Computer und bei zusätzlichen Abhängigkeiten zu installieren. Starten Sie als Nächstes die grafische Beschriftung samtüberund beschriften Sie mindestens 600 Bilder aus einer breiten Verteilung von Verhaltensrahmen.

Um ein Bild zu beschriften, klicken Sie auf die obere linke Ecke des Objekts, das von Interesse ist, und dann auf die untere rechte Ecke. Stellen Sie dann sicher, dass der Begrenzungsrahmen das gesamte Objekt erfasst. Klicken Sie auf weiter, um zum nächsten Frame zu wechseln.

Um die Trainingsbilder mit einer Netzwerk-Hyperparameterdatei zu verknüpfen, öffnen Sie overfeat_rezoom. json in einem Texteditor und ersetzen Sie den Dateipfad unter train_idl zu labels.json. Fügen Sie dann denselben Dateipfad unter test-idl hinzu, und speichern Sie die Änderungen.

Initiieren Sie das Trainingsskript, das mit dem Training für 600.000 Iterationen beginnt, und generieren Sie die resultierenden trainierten Gewichtungen des konvolutionalen neuronalen Netzwerks im Ausgabeordner. Führen Sie dann die Vorhersage für neue Bilder durch, und zeigen Sie die Ausgaben des Netzwerks als beschriftete Bilder und als Begrenzungsrahmenkoordinaten an. Installieren Sie YOLOv3.

Beschriften Sie dann die Trainingsdaten mit Yolo_mark, indem Sie die Bilder im Ordner Yolo_mark-data-obga platzieren und sie eins nach dem anderen in der grafischen Benutzeroberfläche beschriften. Beschriften Sie ca. 200 Bilder. Richten Sie als Nächstes die Konfigurationsdatei ein.

Um die Konfigurationsdatei zu ändern, öffnen Sie den YOLO-obj. cfg-Ordner. Ändern Sie die Batch-, Unterteilungs- und Klassenzeilen.

Ändern Sie dann den Filter für jede Faltungsschicht vor einer YOLO-Schicht. Laden Sie die Netzwerkgewichtungen herunter und platzieren Sie sie in den Darknet-Build. x64-Ordner.

Führen Sie den Trainingsalgorithmus aus, und zeigen Sie nach Abschluss der Iterationen die Iterationen an. Um mehrere Körperteile in einem menschlichen Motiv zu verfolgen, installieren Sie OpenPose und verwenden Sie es, um das gewünschte Video zu verarbeiten. Die Fähigkeiten der DeepBehavior Toolbox wurden auf Videos von Mäusen demonstriert, die eine Aufgabe zum Erreichen von Futterpellets ausführen.

Ihre rechten Pfoten wurden beschriftet und die Bewegung wurde mit Front- und Seitenkamerakameras verfolgt. Nach der Nachbearbeitung mit Kamerakalibrierung wurden 3D-Trajektorien der Reichweite erhalten. Die Ausgaben von YOLOv3 sind mehrere Begrenzungsfelder, da mehrere Objekte nachverfolgt werden können.

Die Begrenzungskästen sind um die Objekte von Interesse, die Teile des Körpers sein können. In OpenPose erfasste das Netzwerk die Gelenkpositionen und nach der Nachbearbeitung mit Kamerakalibrierung wurde ein 3D-Modell des Motivs erstellt. Ein wichtiger Schritt, der in diesem Protokoll nicht behandelt wird, besteht darin, sicherzustellen, dass Ihr Gerät über die entsprechenden Python-Versionen und -Abhängigkeiten sowie über ein GPU-konfiguriertes Gerät verfügt, bevor es beginnt.

Nach erfolgreicher Abfindung des Spurverhaltens aus dem Netzwerk kann eine zusätzliche Nachbearbeitung durchgeführt werden, um die Kinematik und Verhaltensmuster weiter zu analysieren. Warum die DeepBehavior Toolbox für diagnostische Ansätze in Krankheitsmodellen von Nagetieren und Menschen geeignet ist, ist kein direkter therapeutischer Nutzen. Der Einsatz dieser Techniken als diagnostisches oder prognostisches Werkzeug wird in unserem Labor aktiv erforscht.

Diese Technik wird verwendet, um die neuronalen Mechanismen des qualifizierten motorischen Verhaltens bei Nagetieren zu untersuchen und in klinischen Studien verwendet, um die motorische Erholung bei Patienten mit neurologischen Erkrankungen zu bewerten.