Verwendung von vmTracking zur Verbesserung der Genauigkeit der Schätzung der Pose mehrerer Tiere in Studien zum Sozialverhalten von Nagetieren

Wir wollen soziale Interaktionen bei frei bewegenden Mäusen verstehen, indem wir genaue Mehrtier-Tracking-Methoden entwickeln. Eine genaue Posenverfolgung mit zuverlässiger individueller Identifikation unter Mehrtierbedingungen bleibt schwierig. Zu Beginn erstellen Sie ein neues Multi-Tier-Projekt, indem Sie "Projekt verwalten" für markerlose Videoverfolgung auswählen.

Ändere die Felder für Einzelpersonen und Körperteile in der Konfiguration. YAML-Datei gemäß den Analyseanforderungen. Wähle Frames extrahieren, um Bilder aus dem Video für Beschriftung und Training zu extrahieren.

Als Nächstes beschriften Sie jeden extrahierten Frame, indem Sie Daten beschriften. Weisen Sie jedem sichtbaren Individuum die passenden Körperteile zu, ohne unbedingt konsistente IDs zwischen den Frames beizubehalten. Um aus den extrahierten Frames einen Trainingsdatensatz zu erstellen, wählen Sie "Trainingsdatensatz erstellen".

Stellen Sie das Netzwerk in der Konfiguration auf DLCRNet_ms5 ein. Wählen Sie Train, um mit dem Training des Netzwerks zu beginnen. Setzen Sie den maximalen Iterationsparameter für diese Trainingseinheit auf 200.000.

Alle anderen Trainingsparameter können auf ihren Standardwerten bleiben. Bewerten Sie das trainierte Netzwerk, indem Sie Evaluieren auswählen. Um eine Pose-Schätzung für die ausgewählten Videos auszuführen, wählen Sie im Video-Ordner im Projektordner "Videos analysieren und HDF5-Koordinatendaten generieren".

Um die Tracking-Ergebnisse manuell zu überprüfen, erstellen Sie ein beschriftetes Tracking-Video, indem Sie Videos erstellen auswählen. Aktivieren Sie die Option "Video mit Tier-ID-Farb" erstellen in der DLC-GUI, um individuelle IDs ins Video einzufügen. Dann inspizieren Sie die generierten beschrifteten Videos, um Identitätswechsel oder fehlende Vorhersagen zu überprüfen.

Wenn schwerwiegende Fehler vorliegen, bereiten Sie sich auf eine Nachbildung vor. Um Outlier-Frames neu zu trainieren, zu extrahieren und zu annotieren. Wähle Ausreißer extrahieren oder verfeinern.

Sobald die Annotation abgeschlossen ist, klicken Sie auf Datensatz zusammenführen, um automatisch mit der Erstellung des Trainingsdatensatzes fortzufahren. Und dann wiederhole ich die Trainingsphase. Um die Multi-Animal-DLC-Ergebnisse zu korrigieren, öffnen Sie die benutzerdefinierte grafische Benutzeroberfläche und behalten Sie nur die erforderlichen Schlüsselpunkte für virtuelle Marker bei.

Wählen Sie Refine Tracklets, um die HDF5-Datei zu korrigieren, die nur die ausgewählten Schlüsselpunkte enthält. Passen Sie die wichtigsten Punkte so an, dass jeder im gesamten Video eine einheitliche Identität behält. Speichere die Datei und die HDF5-Datei im Video-Ordner wird automatisch aktualisiert.

Erstellen Sie anschließend ein neues beschriftetes Video aus den korrigierten Daten, indem Sie Videos erstellen auswählen. In DeepLabCut 2.2 wird kein neues Video erstellt, wenn bereits ein beschriftetes Video im Video-Ordner existiert. Entfernen, umbenennen oder verschieben Sie die bestehende Datei, bevor Sie fortfahren.

Benennen Sie das beschriftete virtuelle Marker-Video in einen kurzen Dateinamen, um Fehler während der nachgelagerten DeepLabCut-Verarbeitung zu vermeiden. Erstellen Sie ein neues saDLC-Projekt, indem Sie "Projekt verwalten" auswählen, um das virtuelle Marker-Video zu verfolgen. In der Konfiguration.

YAML-Datei, listen Sie alle Kombinationen von Individuen und Körperteilen im Bereich Körperteile auf. Um Frames aus dem umbenannten virtuellen Marker-Video zu extrahieren, wählen Sie Frames extrahieren. Markieren Sie nun jeden extrahierten Frame in den Label-Daten mit den virtuellen Markern, um konsistente individuelle IDs zuzuweisen und sicherzustellen, dass sowohl IDs als auch Körperteile über die Frames verteilt übereinstimmen.

Wenn ein Körperteil teilweise verborgen ist, aber die Identität der Person bekannt ist, schätzen Sie dessen Position und verwenden Sie das Etikett entsprechend. Erstellen Sie einen Trainingsdatensatz aus den extrahierten Frames, indem Sie 'Trainingsdatensatz erstellen' auswählen. Stellen Sie das Netzwerk für diese Trainingseinheit auf effizientes Netto B0 ein.

Beginnen Sie mit dem Training des Netzwerks, indem Sie Trainieren auswählen. Setzen Sie für diese Sitzung den maximalen Iterationsparameter auf 200.000, und alle anderen Einstellungen können auf ihren Standardwerten bleiben. Nach der Auswertung des trainierten Netzwerks wird eine manuelle Verifikation durchgeführt, wie zuvor demonstriert.

In überfüllten Szenen erzielte VM-Tracking eine deutlich höhere Match-Quote als maDLC. Die Anzahl der falsch negativen Ergebnisse war mit VM-Tracking deutlich geringer als mit maDLC. Allerdings gab es keinen Unterschied zwischen VM-Tracking und maDLC bei der Anzahl von Fehlalarmen und ID-Wechseln.

In nicht überfüllten Szenen erzielte das VM-Tracking eine signifikant höhere Match-Quote als maDLC. Die Anzahl der falsch negativen Ergebnisse war mit VM-Tracking deutlich geringer als mit maDLC. Es gab keinen Unterschied bei den Fehlalarmen und den Anzahl der ID-Wechsel zwischen VM-Tracking und maDLC.

In überfüllten Szenen stagnierte die Match-Quote in maDLC bei etwa 85 % nach etwa 400 kommentierten Frames ohne weitere Verbesserung. Während das VM-Tracking einen stetigen Anstieg von etwa 95 % bei etwa 1.000 Frames zeigte. In maDLC reduzierte die Erhöhung der Anzahl der annotierten Frames nicht die Anzahl der falsch negativen Ergebnisse.

Szenen mit einem höheren Anteil korrekt zugewiesener virtueller Marker zeigten tendenziell höhere Match-Prozentsätze. Allerdings zeigten einige Szenen wie 3 und 11 trotz vieler falscher Zuweisungen oder fehlender Markierungen hohe Match-Prozenten. Unser Protokoll behebt einen Mangel an zuverlässiger Identitätspflege bei der Verfolgung mehrerer Tierposen.

Es verbessert die Genauigkeit der Poseverfolgung, indem es virtuelle Marker mit bestehenden Werkzeugen kombiniert. Unsere zukünftige Forschung wird diese Daten nutzen, um zu untersuchen, wie Gruppendynamiken soziales Verhalten bei Mäusen prägen.