Verwendung von vmTracking zur Verbesserung der Genauigkeit der Schätzung der Pose mehrerer Tiere in Studien zum Sozialverhalten von Nagetieren

Summary

Mit diesem Protokoll wird vmTracking eingeführt, eine Methode, die eine hochpräzise Posenverfolgung in Videos von mehreren frei beweglichen, markierungslosen Tieren ermöglicht, selbst unter überfüllten Bedingungen, in denen die Tiere dicht gruppiert sind. Dieser Ansatz liefert zuverlässige Daten für die Analyse sozialer Interaktionen, die in naturnahen Umgebungen stattfinden, in denen sich die Tiere frei bewegen können.

Abstract

In der Sozialverhaltensforschung mit Nagetieren besteht ein wachsender Bedarf, natürlichere interaktive Verhaltensweisen unter frei beweglichen Bedingungen zu bewerten. Zu diesem Zweck ist eine genaue Posenverfolgung mehrerer Tiere unerlässlich. Aktuelle markerlose Tools zur Verfolgung von Mehrtierposen stehen jedoch vor einer großen Herausforderung: Die Tracking-Genauigkeit nimmt unter Bedingungen von Okklusion und Gedränge tendenziell ab. Besonders ausgeprägt ist dieses Problem, wenn die Tiere visuell nicht voneinander zu unterscheiden sind. Um dieses Problem zu lösen, haben wir das virtuelle Marker-Tracking (vmTracking) entwickelt, eine Methode, die die Genauigkeit der Posenverfolgung mehrerer Tiere unter solch schwierigen Bedingungen verbessert, indem die individuelle Identität über Frames hinweg mithilfe virtueller Marker erhalten bleibt. vmTracking kann auch auf vorhandene markerlose Videodaten mit mehreren Tieren angewendet werden, indem zusätzliche Verarbeitungsschritte integriert werden, die individuelle Identitätsetiketten in Standard-Tracking-Workflows einfügen. Hier beschreiben wir sowohl die Methode zur Zuweisung virtueller Marker als auch das Protokoll zur Verfolgung von Tieren in den resultierenden beschrifteten Videos. Die hochgenaue Verfolgung mehrerer Tiere, die durch vmTracking ermöglicht wird, bietet eine zuverlässige Grundlage für nachfolgende quantitative Analysen sozialer Interaktionen unter naturnahen Bedingungen.

Introduction

Die Erforschung des Sozialverhaltens von Nagetieren hat sich zunehmend auf die Untersuchung von Interaktionen in naturalistischeren sozialen Kontexten konzentriert¹. Traditionelle Ansätze, wie z. B. der Drei-Kammer-Test, wurden häufig zur Bewertung von Geselligkeit und sozialer Präferenz verwendet², aber diese Paradigmen erfassen nur vereinfachte Aspekte sozialer Interaktion³. Um diesem Bedarf gerecht zu werden, sind DeepLabCut (maDLC)⁴ und Social LEAP Estimates Animal Poses (SLEAP)⁵ zu unverzichtbaren Werkzeugen für die markerlose Posenverfolgung mehrerer Tiere unter freien Bedingungen geworden und bieten eine fortschrittliche Deep-Learning-basierte Technologie für die markerlose Verfolgung von Posen mehrerer Tiere. In überfüllten Umgebungen, in denen sich Tiere in unmittelbarer Nähe befinden, sind diese Tools jedoch anfällig für Tracking-Fehler wie Vorhersagefehler und Identitätswechsel. Um unter solchen Bedingungen zuverlässige Daten zu erhalten, ist oft eine umfangreiche manuelle Korrektur erforderlich.

Die genaue Verfolgung der Posen mehrerer sich frei bewegender Tiere öffnet die Tür zur Untersuchung komplexerer sozialer Dynamiken. Detaillierte Tracking-Daten ermöglichen beispielsweise die Bewertung von Führungs-Verfolger-Beziehungen, Annäherungs-Vermeidungsverhalten während der Bewegung und anderen nuancierten Interaktionsmustern, die mit herkömmlichen Verhaltensassays nicht zuverlässig beurteilt werden können. Solche Fortschritte erweitern den Nutzen der Verfolgung mehrerer Tiere über relativ einfache deskriptive Verhaltensmaße hinaus und ermöglichen die Analyse komplexerer sozialer Interaktionen.

Ein Ansatz, um die Tracking-Genauigkeit zu verbessern, besteht darin, einzelne Tiere klar zu unterscheiden. Bordes⁶ demonstrierte beispielsweise die gleichzeitige Verfolgung einer weißen CD1-Maus und einer schwarzen C57BL/6N-Maus mit dem Einzeltier-DeepLabCut (saDLC)⁷. Diese Erkenntnis deutet darauf hin, dass eine genaue individuelle Verfolgung möglich ist, wenn Tiere visuell unterscheidbar sind. Die Verwendung von physischen Markern zur Identifizierung kann jedoch natürliche Verhaltensweisen verändern. Selbst minimalinvasive Methoden, wie die Implantation von Radiofrequenz-Identifikationsmarken⁸, geben Anlass zur Besorgnis über ihre möglichen Auswirkungen auf das Verhalten.

Hier stellen wir eine Methode zur Verfolgung mehrerer Tiere vor, die virtuelle Marker (vmTracking)⁹ zur nicht-invasiven Identifizierung von Individuen verwendet. Eine genaue Bewertung des Sozialverhaltens unter Berücksichtigung seines sozialen Kontexts erfordert hochpräzise Daten zur Verfolgung von Posen mehrerer Tiere. vmTracking wurde entwickelt, um diesem Bedarf gerecht zu werden, indem ein zuverlässiges Protokoll - anstelle einer neuen Software oder eines neuen Algorithmus - für die Gewinnung solch hochwertiger Tracking-Daten mit vorhandenen Tools wie DLC bereitgestellt wird. Daher würde eine auf diesen Daten basierende Analyse des sozialen Verhaltens den Rahmen dieses Protokolls sprengen. vmTracking umfasst zwei Hauptschritte: das Hinzufügen von virtuellen Markern zu markerlosen Videos und das Verfolgen der resultierenden virtuellen Marker-Videos. Diese Methode ermöglicht eine hochgenaue Posenverfolgung ohne die Notwendigkeit physischer Marker, selbst unter Bedingungen, an denen drei oder mehr visuell nicht unterscheidbare Tiere desselben Stammes beteiligt sind. Durch die Ermöglichung eines zuverlässigen Trackings unter semi-naturalistischen Bedingungen bietet vmTracking ein effektives Werkzeug für die Weiterentwicklung der Forschung zu komplexen sozialen Interaktionen mit potenziellen Anwendungen in den Verhaltenswissenschaften, der Psychologie und den Neurowissenschaften.

Protocol

Alle Versuchsverfahren wurden vom Ausschuss für Tierpflege und -verwendung der Doshisha Universität genehmigt (Zulassungsnummer A23068). C57BL/6J-Mäuse (siehe Materialtabelle) wurden in Gruppen von 2-3 pro Käfig unter kontrollierten Bedingungen von 24-26 °C gehalten, einem 12-stündigen Hell-Dunkel-Zyklus, mit ad libitum Zugang zu Futter und Wasser. Alle Verhaltensaufzeichnungen wurden während der Lichtphase gesammelt. Der gesamte Workflow des vmTracking-Prozesses ist zusammen mit Snapshots aus einem Beispiel in Abbildung 1 dargestellt.

HINWEIS: vmTracking ist keine neue Software oder ein neuer Algorithmus, sondern ein Protokoll, das vorhandene DLC-Funktionen verwendet, um die Genauigkeit der Verfolgung mehrerer Tiere zu maximieren. Folglich beschreibt ein wesentlicher Teil der folgenden Schritte spezifische GUI-Vorgänge (Graphical User Interface) innerhalb von DLC, um die Reproduzierbarkeit zu gewährleisten.

1. Aufbereitung von markerlosen Mehrtier-Videodaten

HINWEIS: Die experimentellen Parameter können entsprechend der spezifischen Studie angepasst werden.

1. Platzieren Sie drei C57BL/6J-Mäuse auf einem kreisförmigen offenen Feld mit weißem Boden und transparenten Wänden (31 cm Durchmesser × 17 cm Höhe; siehe Materialtabelle) und lassen Sie sie sich frei bewegen.
2. Nehmen Sie die Tiere mit einer Top-Down-Kameraansicht ca. 60 Minuten lang mit einer Auflösung von 460 × 460 Pixeln und einer Bildrate von 30 fps auf (siehe Materialtabelle).

2. Erstellung eines virtuellen Markierungsvideos

1. Führen Sie die standardmäßige markerlose Posenverfolgung mit maDLC in DLC Version 2.2.3 durch (Abbildung 2; siehe Materialtabelle).
   HINWEIS: In den folgenden Schritten werden die Menünamen und Parametereinstellungen der DLC-GUI-Registerkarten fett angezeigt, um die Vorgänge in DLC zu verdeutlichen. Alle Verfahren werden mit den Standardeinstellungen ausgeführt, sofern nicht anders angegeben. Detaillierte Anweisungen zur Verwendung von DLC finden Sie in der offiziellen Dokumentation¹⁰.
   1. Erstellen Sie ein Projekt mit mehreren Tieren in Projekt verwalten (Ergänzende Abbildung 1) für die markerlose Videoverfolgung. Ändern Sie die Felder "Individuen" und "Körperteile" in der Datei "config.yaml" entsprechend den Analyseanforderungen. In diesem Protokoll werden Individuum1 bis Individuum3 und Körperteil1 bis Körperteil6 verwendet. Alle anderen Einstellungen sind optional.
      HINWEIS: Die Parameter numframes2pick (Anzahl der extrahierten Frames ) und dotsize (Markergröße) können je nach Videobedingungen und Arbeitsbelastung des Experimentators angepasst werden. Andere Einstellungen wurden nicht systematisch unter allen möglichen Bedingungen getestet; Die erfolgreiche Nachverfolgung wurde jedoch mit Standardkonfigurationen bestätigt.
   2. Extrahieren Sie Frames aus dem Video in Frames extrahieren (Ergänzende Abbildung 1) für die anschließende Beschriftung und das Training. Setzen Sie alle anderen Parameter auf ihre Standardwerte.
   3. Beschriften Sie jeden extrahierten Frame in Beschriftungsdaten (Ergänzende Abbildung 1), und weisen Sie jeder sichtbaren Person die entsprechenden Körperteile zu, ohne konsistente IDs zwischen den Frames beizubehalten.
   4. Erstellen Sie ein Trainingsdataset aus den extrahierten Frames in Erstellen eines Trainingsdatasets (Ergänzende Abbildung 1). Legen Sie in diesem Protokoll das Netzwerk auf dlcrnet_ms5 fest. Setzen Sie alle anderen Parameter auf ihre Standardwerte.
   5. Beginnen Sie mit dem Training des Netzes in Train (Ergänzende Abbildung 1). In diesem Protokoll ist der Parameter Maximale Iterationen für das Training auf 200.000 festgelegt. Setzen Sie alle anderen Parameter auf ihre Standardwerte.
   6. Werten Sie das trainierte Netzwerk in Evaluate aus (Ergänzende Abbildung 1). Setzen Sie alle anderen Parameter auf ihre Standardwerte.
   7. Führen Sie die Posenschätzung für die ausgewählten Videos in "Videos analysieren" aus (Ergänzende Abbildung 1), und generieren Sie .h5-Koordinatendaten und andere Ausgabedateien im Ordner "Videos" im Projektordner. Setzen Sie alle anderen Parameter auf ihre Standardwerte.
      HINWEIS: Wenn das Trainingsdataset nicht ausreicht, kann es vorkommen, dass bei der Analyse .h5-Koordinatendateien nicht generiert werden können. Starten Sie in diesem Fall von Schritt 2.1.2 neu.
   8. Manuelle Überprüfung durch den Experimentator.
      1. Erstellen Sie ein gekennzeichnetes Tracking-Video in Erstellen von Videos (Ergänzende Abbildung 1). Wählen Sie in der DLC-GUI die Option Video mit farbiger Tier-ID erstellen aus, und generieren Sie ein beschriftetes Tracking-Video (Abbildung 2A, maDLC). Setzen Sie alle anderen Parameter auf ihre Standardwerte.
      2. Überprüfen Sie die beschrifteten Videos (Abbildung 2A, maDLC), um nach ID-Schaltern und fehlenden Vorhersagen zu suchen. Wenn auffällige Fehler festgestellt werden, führen Sie ein erneutes Training durch (siehe Schritt 2.1.8.3). Wenn kein erneutes Training durchgeführt wird, fahren Sie mit Schritt 2.2 fort.
         HINWEIS: Ein erneutes Training ist nicht obligatorisch, verbessert jedoch die Genauigkeit und reduziert die Arbeitsbelastung in späteren Schritten.
      3. Extrahieren und beschriften Sie zum erneuten Training Ausreißer-Frames in der Option Ausreißer extrahieren/verfeinern (Ergänzende Abbildung 1). Nachdem die Anmerkung abgeschlossen ist, klicken Sie auf die Schaltfläche Datensatz zusammenführen, um automatisch mit dem Erstellen eines Trainingsdatensatzes fortzufahren, und wiederholen Sie den Vorgang ab Schritt 2.1.4.
2. Korrigieren Sie die maDLC-Ergebnisse, um ein virtuelles Markierungsvideo zu erstellen (Abbildung 3).
   1. Behalten Sie mit der benutzerdefinierten GUI¹¹ (Abbildung 3B) nur die ausgewählten Schlüsselpunkte für virtuelle Marker bei, und ersetzen Sie alle anderen durch NaN in der .h5-Datei. Diese Reduzierung von Schlüsselpunkten verringert den Arbeitsaufwand für nachfolgende Korrekturschritte (Abbildung 3C,E). In diesem Protokoll werden die Körperteile 2 und 4 verwendet.
      HINWEIS: Es wird empfohlen, zwei Schlüsselpunkte auszuwählen, die den Körper-Achse-Vektor effizient definieren. Wenn Sie die anfängliche maDLC-Verfolgung nur mit den Schlüsselpunkten durchführen, die als virtuelle Marker vorgesehen sind, kann die .h5-Datei in Schritt 2.1.4 möglicherweise nicht generiert werden. Daher wird empfohlen, die anfängliche Nachverfolgung mit einer größeren Anzahl von Schlüsselpunkten durchzuführen.
   2. Korrigieren Sie mithilfe von Tracklets verfeinern (Ergänzende Abbildung 1) die .h5-Datei aus dem vorherigen Schritt, die nur die ausgewählten Keypoints enthält. Korrigieren Sie die Schlüsselpunkte, sodass jede Person im gesamten Video eine konsistente ID behält (Abbildung 3E, F). Speichern Sie die Datei. Die .h5-Datei im Ordner "Videos" wird automatisch aktualisiert.
   3. Erstellen Sie ein beschriftetes Video mit ID-Farbbeschriftungen aus den korrigierten Daten unter Erstellen von Videos (Ergänzende Abbildung 1, Abbildung 3A, Virtuelle Markierung). In DLC 2.2 verhindert ein vorhandenes beschriftetes Video im Videoordner, dass ein neues erstellt wird. Entfernen, benennen oder verschieben Sie die Datei, bevor Sie fortfahren. Legen Sie hier die Markierungsgröße in der Konfigurationsdatei auf 2 fest, wobei Sie die kleinste Größe verwenden, die eine Identifizierung ermöglicht, ohne das Tier in diesem Datensatz zu verdecken.
   4. Benennen Sie das erstellte Video in einen kurzen Dateinamen um, um Fehler bei der DLC-Verarbeitung beim Re-Tracking im nächsten Schritt mit saDLC zu vermeiden.

3. Führen Sie die Posenverfolgung von virtuellen Markervideos mit saDLC durch (Abbildung 4)

HINWEIS: Alle Verfahren werden mit den Standardeinstellungen der DLC-GUI ausgeführt, sofern nicht anders angegeben.

1. Erstellen Sie ein neues saDLC-Projekt in Projekt verwalten (Ergänzende Abbildung 2) für die Videoverfolgung virtueller Marker. Listen Sie in diesem Protokoll alle Kombinationen von Individuen und Körperteilen im Feld bodyparts der Datei config.yaml auf (z. B. individual1-bodypart1, individual2-bodypart1, ..., individual3-bodypart6). Alle anderen Einstellungen sind optional.
   HINWEIS: Wie in Schritt 2.1.1 können die Parameter numframes2pick und dotsize entsprechend den Videobedingungen und der Arbeitsbelastung des Experimentators angepasst werden. Die erfolgreiche Nachverfolgung wurde mit den Standardkonfigurationen bestätigt.
2. Extrahieren Sie Frames aus dem virtuellen Markierungsvideo in Frames extrahieren (Ergänzende Abbildung 2). Setzen Sie alle anderen Parameter auf ihre Standardwerte.
3. Beschriften Sie jeden extrahierten Frame in Beschriftungsdaten (Ergänzende Abbildung 2), indem Sie die virtuellen Marker verwenden, um einzelne IDs zuzuweisen, sodass sowohl IDs als auch Körperteile über Frames hinweg übereinstimmen (Abbildung 3B-D). Wenn die ID einer Person bekannt ist und ein Körperteil teilweise verborgen ist, schätzen Sie seine Position und platzieren Sie das Etikett entsprechend. Wenn einzelne IDs nicht eindeutig bestimmt werden können (z. B. virtuelle Marker für ≥2 Personen fehlen im Rahmen), beschriften Sie diese Körperteile nicht.
4. Erstellen Sie ein Trainingsdataset aus den extrahierten Frames in Erstellen eines Trainingsdatasets (Ergänzende Abbildung 2). Legen Sie in diesem Protokoll das Netzwerk auf efficientnet-b0 fest. Setzen Sie alle anderen Parameter auf ihre Standardwerte.
5. Beginnen Sie mit dem Training des Netzes in Train (Ergänzende Abbildung 2). Legen Sie in diesem Protokoll den Parameter Maximale Iterationen für das Training auf 200.000 fest. Setzen Sie alle anderen Parameter auf ihre Standardwerte.
6. Werten Sie das trainierte Netzwerk in Evaluate aus (Ergänzende Abbildung 2). Setzen Sie alle anderen Parameter auf ihre Standardwerte.
7. Führen Sie die Posenschätzung für die ausgewählten Videos in "Videos analysieren" aus (Ergänzende Abbildung 2), und generieren Sie .h5-Koordinatendaten und andere Ausgabedateien im Ordner "Videos". Setzen Sie alle anderen Parameter auf ihre Standardwerte.
8. Manuelle Überprüfung durch den Experimentator.
   1. Erstellen Sie ein gekennzeichnetes Tracking-Video unter Erstellen von Videos (Ergänzende Abbildung 2). Setzen Sie alle anderen Parameter auf ihre Standardwerte.
   2. Überprüfen Sie die beschrifteten Videos (Abbildung 4A, vmTracking), um sie auf Inkonsistenzen bei der Nachverfolgung zu überprüfen. Trainieren Sie erneut, bis der Experimentator mit den Ergebnissen zufrieden ist. Wenn keine erneute Schulung erforderlich ist, ist das Verfahren abgeschlossen.
      HINWEIS: Nachdem Sie sich mit zufriedenstellenden Tracking-Ergebnissen vergewissert haben, können Sie ein Video in Präsentationsqualität ohne virtuelle Marker erstellen (Abbildung 5) und die Tracking-Ergebnisse auf dem ursprünglichen markerlosen Video anstelle des virtuellen Markierungsvideos unter Videos erstellen ausgeben (Ergänzende Abbildung 2). Ersetzen Sie das Video der virtuellen Markierung im Ordner "Videos" durch das Video ohne Markierung, und benennen Sie es so um, dass es dem Dateinamen des virtuellen Markierungsvideos entspricht, der zuvor in der Analyse verwendet wurde. Stellen Sie bei DLC 2.2 sicher, dass keine beschrifteten Videos im Ordner vorhanden sind, bevor Sie den neuen Ordner erstellen (Abbildung 5B, C).
   3. Extrahieren und beschriften Sie zum erneuten Training Ausreißer-Frames in Outliers extrahieren/verfeinern (Ergänzende Abbildung 2). Nachdem die Anmerkung abgeschlossen ist, klicken Sie auf die Schaltfläche Datensatz zusammenführen, um automatisch mit dem Erstellen eines Trainingsdatensatzes fortzufahren, und wiederholen Sie den Vorgang ab Schritt 3.1.4.

Results

Die Tracking-Genauigkeit wurde durch Vergleich mit einer manuell generierten Ground Truth (GT) bewertet. Zwanzig 5- oder 10-s-Szenen wurden extrahiert und entweder als überfüllte (CR) Szenen klassifiziert, die Überlappungen enthielten, wie z. B. Mäuse, die sich kreuzen (12 Szenen; insgesamt 1.950 Frames), oder nicht überfüllte (nCR) Szenen ohne Überlappungen (8 Szenen; insgesamt 1.350 Frames). Tracking-Vorhersagen innerhalb von 10 Pixeln um die GT-Position wurden als Übereinstimmungen gezählt (Match); Vorhersagen, die ≥10 Pixel entfernt waren, wurden als falsch positive Ergebnisse (FP) gezählt; und fehlende Vorhersagen wurden als falsch negative Ergebnisse (FN) gezählt. Wenn sich die vorhergesagte Identität von der im unmittelbar vorhergehenden Frame unterschied, wurde sie als ID-Schalter gezählt.

Im Vergleich zu maDLC (Abbildung 6) zeigte vmTracking eine signifikante Verbesserung des Matches sowohl in der CR- als auch in der nCR-Szene (Abbildung 6A, CR: p < 0,001; Abbildung 6E, nCR: p < 0,01). In beiden Szenentypen traten keine FNs auf, und die Anzahl der FNs wurde mit vmTracking signifikant reduziert (Abbildung 6B, CR: p < 0,001; Abbildung 6F, nCR: p < 0,05). Die Zählungen der FP (Abbildung 6C und 6G) und des ID-Switches (Abbildung 6D,H) zeigten keine Änderungen in beiden Szenentypen. Es wird ein direkter Vergleich der Tracking-Ergebnisse vorgestellt, die mit vmTracking und herkömmlichem maDLC erzielt wurden, was die verbesserte Genauigkeit und Stabilität von vmTracking unter überfüllten Bedingungen hervorhebt (Ergänzendes Video 1).

Wir untersuchten auch die Beziehung zwischen der Anzahl der Annotationsrahmen und sowohl Match als auch FN für CR-Szenen in maDLC und vmTracking (Abbildung 6I). In maDLC stagnierte das Match bei etwa 85 % mit etwa 400 Anmerkungsrahmen, mit kaum weiteren Verbesserungen, als die Anzahl zunahm. Durch das Vergrößern der Anmerkungsrahmen für das Training wurden die FNs nicht reduziert. Im Gegensatz dazu zeigte vmTracking einen stetigen Anstieg der Übereinstimmungsrate mit mehr Anmerkungs-Frames und erreichte bei etwa 1.000 Frames etwa 95 %.

Virtuelle Marker wurden basierend auf ihren Zuweisungsmustern in sechs Kategorien eingeteilt, und der Anteil jeder Kategorie wurde als Index für die Genauigkeit virtueller Marker verwendet, um ihre Beziehung zur Tracking-Übereinstimmung zu untersuchen (Abbildung 6J). Szenen mit einem höheren Anteil an korrekt zugewiesenen virtuellen Markern zeigten tendenziell eine höhere Übereinstimmung. Einige Szenen, in denen der Anteil der richtigen Marker gering war, entweder aufgrund vieler falscher Zuordnungen oder vieler fehlender Markierungen, wiesen jedoch immer noch eine hohe Übereinstimmung auf (z. B. CR-Szenen 3 und 11).

Abbildung 1: Überblick über den vmTracking-Workflow. (A) Schematische Darstellung des vmTracking-Workflows. Führen Sie zunächst maDLC auf dem markerlosen Video (I) durch. Korrigieren Sie basierend auf den resultierenden maDLC-Tracking-Daten die Ausgabe, sodass jede Person im gesamten Video eine konsistente ID beibehält, und erstellen Sie ein beschriftetes Video, das nur eine ausgewählte Teilmenge der Schlüsselpunkte anzeigt (II). Wenn Sie die Beschriftungen in diesem Video als virtuelle Marker verwenden, verfolgen Sie das virtuelle Markierungsvideo mit saDLC (III). (B) Zwei Beispiele für vmTracking werden als Snapshots aus jeder Phase des Prozesses angezeigt. Das Bild ganz links zeigt die Vollansicht, und die Bilder rechts sind vergrößerte Ansichten der Bereiche, die von gelben Feldern umschlossen sind. Die orangefarbenen Balken in der unteren rechten Ecke der Bilder zeigen die Maßstäbe an: 5 cm für das Bild "Markerless (Overview)" und 1 cm für alle anderen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 2: Markerloser Workflow zur Verfolgung mehrerer Tiere mit maDLC. Diese Abbildung bezieht sich auf Protokollschritt 2.1. (A) Die Panels sind von Abbildung 1B übernommen und veranschaulichen den in Abbildung 1A gezeigten Prozess I (markerlose Verfolgung mehrerer Tiere). Der Übersichtlichkeit halber ist jedes Tier mit einer gestrichelten Linie umrandet. Der orangefarbene Balken in der unteren rechten Ecke jedes Bildes zeigt eine Maßstabsleiste von 1 cm an. (B-D) Schnappschüsse von Frames, die während der maDLC-Ausführung für die Beschriftung verwendet werden. Der orangefarbene Balken in der unteren rechten Ecke jedes Bildes zeigt eine Maßstabsleiste von 5 cm an. (B) Beispielrahmen vor dem Anwenden von Beschriftungen. (C) Gleicher Rahmen wie in B, nach der Beschriftung. (D) Beispiel für einen anderen beschrifteten Rahmen. Die Identität von Individuen zwischen den Frames C und D ist unbekannt, aber die individuelle Identität muss bei der Beschriftung nicht berücksichtigt werden. Wie in den Schnappschüssen zu sehen ist, reicht es aus, die Haltung jedes Tieres korrekt zu beschriften. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 3: Arbeitsablauf zum Erstellen eines virtuellen Markierungsvideos basierend auf maDLC-Ergebnissen. Diese Abbildung bezieht sich auf Protokollschritt 2.2. (A) Die Panels sind von Abbildung 1B übernommen und veranschaulichen den in Abbildung 1A gezeigten Prozess II (Erstellung virtueller Marker). Der Übersichtlichkeit halber ist jedes Tier mit einer gestrichelten Linie umrandet. Weiße Pfeile zeigen die Schlüsselpunkte an, die als virtuelle Marker verwendet werden (der 2. und 4. Schlüsselpunkt für jede ID). In diesem Beispiel werden virtuelle Marker in Graustufen ausgegeben: Violette, grüne und rote maDLC-Beschriftungen werden als schwarz, grau bzw. weiß angezeigt. In Beispiel 1 wurden maDLC-Ergebnisse ohne Korrektur direkt als virtuelle Marker ausgegeben. In Beispiel 2 wurden die violetten und roten IDs vor der Ausgabe vertauscht und korrigiert, da die ID in aufeinanderfolgenden Frames umgeschaltet wurde. Ein grüner Punkt im maDLC-Ergebnis, der hätte korrigiert werden müssen, wurde übersehen und ohne Modifikation ausgegeben. Der orangefarbene Balken in der unteren rechten Ecke jedes Bildes zeigt eine Maßstabsleiste von 1 cm an. (B) Python-basierte GUI zum Bearbeiten von h5-Koordinatendatendateien, um nur bestimmte Schlüsselpunkte beizubehalten und alle anderen durch NaN¹¹ zu ersetzen. (Ba) Erstes Menüfenster beim Programmstart. Wählen Sie die zu bearbeitende Datei über die Schaltfläche h5-Datei auswählen aus. (bb) Fenster nach Auswahl der h5-Datei. Aktivieren Sie die Schlüsselpunkte, die durch NaN ersetzt werden sollen (wird als einzelner Name-Körper-Teilename angezeigt), und geben Sie entweder Start- und Endzeiten (mit Framerate) oder Frame-Nummern für die NaN-Ersetzung an. Wenn Sie auf Daten verarbeiten klicken, wird die bearbeitete Datei im selben Ordner gespeichert und eine Sicherungskopie des Originals erstellt. (C) Aufeinanderfolgende Frames aus einer Szene, in der ein ID-Wechsel stattgefunden hat. (D) Beispiel für die Korrektur aller Tracking-Punkte von B. (E) Schnappschuss mit dem Ergebnis von B, wobei nur der 2. und 4. Schlüsselpunkt beibehalten wurden. (F) Beispiel für die Korrektur des Ergebnisses in E. Verglichen mit der Korrektur aller Schlüsselpunkte (C → D) reduziert die Beschränkung der Korrektur auf zwei Punkte (C → E → F) die Anzahl der erforderlichen Bearbeitungen. Der orangefarbene Balken in der unteren rechten Ecke jedes Bildes C-F zeigt eine Maßstabsleiste von 5 cm an. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 4: Workflow für die Verfolgung des virtuellen Markierungsvideos. Diese Abbildung bezieht sich auf Protokollschritt 3. (A) Die Panels sind von Abbildung 1B übernommen und veranschaulichen den in Abbildung 1A gezeigten Prozess III (Verfolgung des virtuellen Markervideos). Jede Person ist in einen gepunkteten Umriss eingeschlossen, um das Tracking-Ziel zu verdeutlichen. In diesem Beispiel werden Personen mit schwarzen, grauen und weißen virtuellen Markierungen als violette, grüne bzw. rote Beschriftungen verfolgt. In Beispiel 1 fehlt die graue virtuelle Markierung, aber vmTracking behält die korrekte Identitätsverfolgung bei. In Beispiel 2 wird die graue Markierung auf zwei Personen angezeigt, aber die Nachverfolgung bleibt korrekt. Der orangefarbene Balken in der unteren rechten Ecke jedes Bildes zeigt eine Maßstabsleiste von 1 cm an. (B-D) Snapshots von Frames, die für die Beschriftung während vmTracking verwendet werden. In diesem Schritt wird saDLC verwendet, wobei jeder Schlüsselpunkt so definiert ist, dass er sowohl Informationen über einzelne als auch über Körperteile enthält. Die Beschriftung gibt an, welcher Körperteil welcher Person dargestellt wird. Der orangefarbene Balken in der unteren rechten Ecke jedes Bildes zeigt eine Maßstabsleiste von 5 cm an. (B) Schnappschuss eines Rahmens vor dem Beschriften. (C) Schnappschuss des Rahmens in B nach der Beschriftung. (D) Schnappschuss eines anderen Frames als C nach der Beschriftung. Auch in unterschiedlichen Frames (z. B. C und D) behält die Beschriftung die individuelle Identität bei, indem der virtuelle Marker als Hinweis verwendet wird, was durch einheitliche Beschriftungsfarben angezeigt wird. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 5: Workflow zum Zusammenführen von Tracking-Ergebnissen mit einem Video ohne Markierung, um ein Tracking-Video ohne virtuelle Marker zu erstellen. Dies ist ein optionaler Schritt, der sich auf den HINWEIS in Schritt 3.8.2 bezieht. (A) Wenn Tracking-Ergebnisse auf das virtuelle Marker-Video angewendet werden, behält das resultierende Tracking-Video die virtuellen Marker bei (vmTracking^vm+). Gelbe Pfeile zeigen die virtuellen Marker an, die in der Ausgabe sichtbar sind. Wenn Sie die Tracking-Ergebnisse auf das ursprüngliche markerlose Video anwenden, entsteht stattdessen ein Tracking-Video ohne virtuelle Marker (vmTracking^vm-), das sich für Präsentationen oder andere Zwecke eignet. Der orangefarbene Balken in der unteren rechten Ecke jedes Bildes zeigt eine Maßstabsleiste von 1 cm an. (B,C) Dateiverwaltung im Ordner "videos" des Projektverzeichnisses beim Anwenden von vmTracking-Ergebnissen auf ein markerloses Video. Das orangefarbene Feld veranschaulicht schematisch den Inhalt des Ordners. (B) Der Ordner "videos" nach dem Generieren eines vmTracking-Tracking-Videos, indem die Tracking-Ergebnisse auf das virtuelle Marker-Video ausgegeben werden (schematisch dargestellt als '4. Beschriftungen auf dem virtuellen Markierungsvideo"). (C) Vorbereiten des Ordners "videos" für die Ausgabe der vmTracking-Ergebnisse auf das markerlose Video. Verschieben oder benennen Sie die Datei '1. Virtuelles Markierungsvideo" und "4. Beschriftungen auf "Virtual Marker"-Videodateien aus Bereich B, sodass sie aus dem Ordner ausgeschlossen werden. Das Problem sind nicht die Dateien selbst, sondern dass ihre ursprünglichen Dateinamen die Verarbeitung beeinträchtigen. Platzieren Sie dann die '5. "Markerloses Video" in den Ordner und benennt es so um, dass es dem ursprünglichen Dateinamen des virtuellen Markierungsvideos entspricht (z. B. VMvideo.MP4). In diesem Zustand wird durch erneutes Ausführen von "Videos erstellen " ein Überwachungsvideo erstellt, bei dem die Ergebnisse auf das markerlose Video angewendet werden ('6. Beschriftungen auf markerlosen Videos"). Diese Abbildung wurde von Azechi & Takahashi, 2025, PLOS Biology (CC BY 4.0)⁷ modifiziert. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 6: Bewertung der Tracking-Genauigkeit mit vmTracking. (A-H) Vergleich zwischen maDLC und vmTracking für die Anteile der Übereinstimmungen. (A), falsch negative (B), falsch positive Ergebnisse (C) und ID-Schalter (D) in 12 überfüllten (CR) Szenen und Übereinstimmungen (E), falsch negative Ergebnisse (F), falsch positive Ergebnisse (G) und ID-Schalter (H) in 8 nicht überfüllten (nCR) Szenen. Diagramme stellen die gemessenen Werte für jede Szene dar, und Balken stellen die daraus berechneten Mittelwerte dar. Statistische Vergleiche wurden mit dem Wilcoxon-Vorzeichen-Rang-Test durchgeführt. (I) Beziehung zwischen der Anzahl der annotierten Frames in CR und den Anteilen von Übereinstimmungen und falsch negativen Ergebnissen. Das grüne Feld auf der rechten Seite zeigt eine vergrößerte Ansicht des Bereichs, der von den grünen gestrichelten Linien im linken Bereich umschlossen wird. Diagramme stellen die Mittelwerte dar. (J) Beziehung zwischen der Genauigkeit virtueller Marker und der Verfolgung von Übereinstimmungen in CR- und nCR-Szenen. Die Genauigkeit der virtuellen Markierung wurde für jedes Markerpaar in sechs Typen eingeteilt: beide Punkte wurden korrekt der richtigen Person zugeordnet, ein richtiger und ein fehlender, ein richtiger und ein falscher, beide falsch, einer falsch und einer fehlt und beide fehlen. Für jede Szene werden die Proportionen dieser Kategorien als gestapelte Balken angezeigt, wobei die entsprechende Tracking-Übereinstimmung für diese Szene über jedem Balken angezeigt wird. Die Szenen werden in aufsteigender Reihenfolge der Tracking-Übereinstimmung von links nach rechts angeordnet, getrennt für CR- und nCR-Szenen. CR-Szenen: n = 12; nCR-Szenen: n = 8. p < 0,001, **p < 0,01, *p < 0,05. Diese Zahl wurde von Azechi und Takahashi (2025)⁹ modifiziert. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Ergänzende Abbildung 1: Schnappschuss des Hauptfensters in DeepLabCut mit mehreren Tieren, der die Position der einzelnen Bedienregisterkarten zeigt. Die Snapshots veranschaulichen mit Pfeilen die Registerkarten, die in den einzelnen Schritten des vmTracking-Verfahrens verwendet werden. Die Bilder wurden von der DeepLabCut-GUI (Version 2.2.3) erfasst. Bitte klicken Sie hier, um diese Abbildung herunterzuladen.

Ergänzende Abbildung 2: Schnappschuss des Hauptfensters in DeepLabCut für Einzeltiere, der die Position der einzelnen Bedienregisterkarten zeigt. Die Snapshots veranschaulichen mit Pfeilen die Registerkarten, die in den einzelnen Schritten des vmTracking-Verfahrens verwendet werden. Die Bilder wurden von der DeepLabCut-GUI (Version 2.2.3) erfasst. Bitte klicken Sie hier, um diese Abbildung herunterzuladen.

Ergänzendes Video 1: Vergleich von Mehrtier-DeepLabCut und vmTracking bei der Verfolgung von drei Mäusen. Dieses Vergleichsvideo zeigt die Leistung von DeepLabCut (maDLC; links) und vmTracking (rechts) bei der Verfolgung von drei Mäusen. Das vmTracking-Video wurde generiert, indem das virtuelle Marker-Video durch das ursprüngliche markerlose Video ersetzt wurde, wobei das in der Anmerkung zu Schritt 3.8.2 beschriebene Verfahren befolgt wurde, um die Tracking-Ergebnisse ohne virtuelle Marker darzustellen. Für jede Tracking-Methode werden einzelne Identitäten mit Farbetiketten derselben Farbfamilie gekennzeichnet, um den Vergleich zu erleichtern. Im gesamten Video zeigt vmTracking im Vergleich zu maDLC weniger Fälle, in denen Körperteile verschiedener Personen erkannt werden. Bemerkenswert ist, dass maDLC im Alter von etwa 15 bis 17 Sekunden die grün und rot gekennzeichneten Personen falsch identifiziert, was zu einem Wechsel der ihnen zugewiesenen Identitäten führt. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Discussion

Obwohl es einen wachsenden Bedarf an der Erforschung naturalistischer Formen sozialer Interaktion bei Nagetieren¹ gibt, bleibt es eine technische Herausforderung, zuverlässige Identitäts- und Poseninformationen für mehrere frei bewegliche Tiere zu erhalten - insbesondere bei engen Interaktionen oder Verschlüssen. vmTracking überwindet diese Einschränkung und ermöglicht eine genaue Nachverfolgung unter solchen Bedingungen. vmTracking erreicht zuverlässig eine hohe Tracking-Genauigkeit unter verschiedenen experimentellen Bedingungen, einschließlich überfüllter Umgebungen⁹, in denen herkömmliche Mehrtier-Tracker ^4,5 häufig versagen. Diese Robustheit beruht auf der Kombination der Erstellung virtueller Marker, die auf der Verfolgung mehrerer Tiere basiert, mit saDLC-Tracking, was eine präzise Identitäts- und Posenschätzung ermöglicht. Wichtig ist, dass die Methode auch dann eine hohe Leistung beibehielt, wenn die Genauigkeit der virtuellen Marker suboptimal war. Diese Toleranz gegenüber einem gewissen Grad an Unvollkommenheit in den virtuellen Markern stellt sicher, dass vmTracking für die zuverlässige Verfolgung mehrerer frei beweglicher Individuen praktikabel bleibt und damit die Erforschung sozialer Interaktionen von Nagetieren unter halbnatürlichen Bedingungen voranbringt.

Ein wichtiger Schritt in vmTracking ist die Korrektur der Ergebnisse der Verfolgung mehrerer Tiere während der Erstellung virtueller Marker. Dabei kann das Übersehen von Identitätswechseln oder falschen Labels dazu führen, dass saDLC diese Fehlidentifikationen während der nachfolgenden Nachverfolgung beibehält. Sollten solche Fehler später entdeckt werden, können sie korrigiert werden, indem die betroffenen Segmente überarbeitet, das virtuelle Markervideo neu generiert und das saDLC-Tracking erneut ausgeführt wird. In einigen Fällen können virtuelle Marker korrekt platziert werden, aber saDLC kann Individuen immer noch falsch identifizieren, wenn Marker auf verschiedenen Tieren bei überfüllten Interaktionen in die Nähe kommen. Solche Fehler können gemildert werden, indem die betroffenen virtuellen Marker während des Erstellungsschritts neu positioniert werden, um die Abstände zwischen den Markern zu maximieren und so die Verwechslungsgefahr in der nachfolgenden Tracking-Phase zu verringern.

Obwohl unser Protokoll für beide Schritte DLC ^4,7 verwendet, kann es auch mit SLEAP ^5,12 implementiert werden. Unserer Erfahrung nach ist SLEAP im Einzeltiermodus im Allgemeinen weniger stabil als saDLC, wobei die Leistung stärker vom Video abhängt⁹. Für den Schritt zur Erstellung virtueller Marker kann jedoch SLEAP oder idtracker.ai¹³ ebenso effektiv sein, und die optimale Wahl kann je nach Video variieren. Wenn das anfängliche maDLC-Tracking häufige ID-Wechsel oder einen starken Keypoint-Verlust bei der visuellen Inspektion zeigt, ist daher ein gemischter Ansatz möglich, z. B. das Erstellen virtueller Marker mit SLEAP oder idtracker.ai und das anschließende Verfolgen des resultierenden Videos mit saDLC.

Da vmTracking zwei Tracking-Schritte umfasst, mögen einige es als umständlich ansehen und sich fragen, warum physische Marker nicht einfach von Anfang an angebracht werden, so dass keine virtuelle Markererstellung erforderlich ist. Virtuelle Marker bieten jedoch klare Vorteile: Sie können nachträglich auf bestehende markerlose Videos aufgebracht werden, wodurch Verhaltenseffekte oder ethische Bedenken vermieden werden, die mit der Befestigung von Geräten an Tieren verbunden sind. Sie können überall platziert werden, fallen nie herunter und sind unabhängig von der Haltung oder engen Interaktionen, so dass sie positioniert und an das jeweilige Video angepasst werden können. Diese Flexibilität ermöglicht eine zuverlässigere Identifizierung von Einzelpersonen und damit eine verbesserte Tracking-Genauigkeit im Vergleich zu physischen Markern. Dadurch ermöglicht vmTracking, das virtuelle Marker verwendet, ein hochgenaues Tracking bei der Untersuchung frei beweglicher sozialer Interaktionen sowie bei der Re-Analyse von archivierten Videodaten, bei denen physische Marker nicht angewendet werden können. Die so gewonnenen hochpräzisen Tracking-Daten sind in allen Bereichen nützlich, die auf Verhaltensexperimenten beruhen, einschließlich Verhaltenswissenschaften, Psychologie und Neurowissenschaften.

vmTracking hat mehrere Einschränkungen. Erstens, da die individuelle Identifizierung auf Unterschieden in der Markerfarbe beruht, ist die Anzahl der verfolgbaren Individuen durch den endlichen Bereich der unterscheidbaren Farben begrenzt. Bisher haben wir eine Gruppe von zehn Fischen erfolgreich verfolgt⁹; Um diese Zahl zu erhöhen, muss jedoch die Vielfalt der virtuellen Marker erweitert werden, z. B. durch die Änderung von Markerformen oder die Untersuchung der Verwendung von Skelettstrukturen als zusätzliche Identifikatoren, obwohl diese Ansätze einer weiteren Validierung bedürfen. Zweitens beinhaltet vmTracking notwendigerweise einen zusätzlichen Schritt, bei dem virtuelle Marker zu jedem markerlosen Video hinzugefügt werden, was bei langen Aufzeichnungen oder Datensätzen mit vielen Personen arbeitsintensiv sein kann. Darüber hinaus kann diese Methode zwar prinzipiell auf verschiedene Spezies und Aufzeichnungsbedingungen angewendet werden, aber die Praktikabilität einer hochpräzisen Verfolgung kann abnehmen, wenn die experimentellen Parameter nicht optimiert werden können. Bei Aufnahmen von wilden oder sich frei bewegenden Tieren unter feldähnlichen Bedingungen, bei denen Beleuchtung, Kameraauflösung oder Aufnahmewinkel schwer zu kontrollieren sind, nimmt beispielsweise die manuelle Korrektur, die bei der virtuellen Markerzuweisung erforderlich ist, tendenziell zu, was möglicherweise die Leichtigkeit einschränkt, qualitativ hochwertige Tracking-Daten zu erhalten. In Zukunft wird die Rationalisierung und Automatisierung des Prozesses der virtuellen Markerzuweisung die Anwendbarkeit und Benutzerfreundlichkeit der Methode weiter verbessern.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Acrylrohr (klar, Dicke 5 mm, Innendurchmesser 31 cm)	Sugawarakougei Co., Ltd.	https://www.sugawarakougei.jp/	Gekauft bei Hazaiya (einem Online-Händler für Acrylmaterialien)
Acrylplatte (weiß, 3 mm dicke, 31 cm Durchmesser)	Sugawarakougei Co., Ltd.	https://www.sugawarakougei.jp/	Gekauft bei Hazaiya (einem Online-Händler für Acrylmaterialien)
C57BL/6J-Maus	Shimizu-Labormaterial, Co.LTD.	N/A
Kamera	Basler	acA3088-57uc
DeepLabCut 2.2.3	Mathis-Labor an der Eidgenössischen Technischen Hochschule Lausanne	https://www.mackenziemathislab.org/deeplabcut
Pylon Kamera Software Suite (Pylon Viewer)	Basler	N/A