Method Article

Entschlüsselung von natürlichem Verhalten aus neuroethologischer Einbettung

DOI:

10.3791/68668

October 3rd, 2025

In This Article

Summary

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dieses Protokoll bietet einen integrierten Rahmen, der auf fortschrittlichen computergestützten neuroethologischen Methoden basiert, um die Kodierung des Gehirns in naturalistischen Kontexten zu verstehen.

Abstract

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Tiere interagieren mit ihrer natürlichen Umgebung durch reichhaltige und dynamische Gehirnaktivität. Zu verstehen, wie die neuronale Populationsdynamik naturalistisches Verhalten kodiert, bleibt eine grundlegende Herausforderung in den systemischen Neurowissenschaften. Jüngste Fortschritte in der auf Deep Learning basierenden Verhaltensanalyse und der Miniatur-Fluoreszenzbildgebung haben neue Wege eröffnet, um zu untersuchen, wie das Gehirn natürliches Verhalten kodiert. Hier stellt diese Studie einen integrierten experimentellen und rechnerischen Rahmen vor, der den Social Behavior Atlas (SBeA), die Miniatur-Zwei-Photonen-Mikroskopie (mTPM) und Consistent EmBeddings of high-dimensional Recordings using Auxiliary variables (CEBRA) kombiniert, um komplexe Verhaltensweisen aus der Gehirndynamik zu entschlüsseln. Diese Studie nutzt naturalistische soziale Interaktionen zwischen sich frei bewegenden Mäusen als Modellsystem, das eine hochauflösende Verhaltensannotation bei gleichzeitiger neuronaler Bildgebung ermöglicht. Dieses Framework umfasst eine präzise Schätzung der Verhaltenspose, synchronisiertes Dual-Mouse-Tracking, neuronale Einbettungsausrichtung und Dekodierung von Verhaltensmerkmalen direkt aus neuronalen Hauptkomponenten. Diese Studie zeigt, dass dieser Ansatz eine Dekodierungsgenauigkeit von 3 erreicht. ± 1,5 Pixel für die Körperhaltung und 89 ± 6 % Genauigkeit für die Motivdekodierung bei Tieren, was die Robustheit und Generalisierbarkeit unterstreicht. Diese Methode bietet ein leistungsfähiges Werkzeug, um zu erforschen, wie die Gehirnaktivität strukturierte Verhaltenszustände widerspiegelt, und sie legt den Grundstein für zukünftige Studien über naturalistische neuronale Kodierungsprinzipien.

Introduction

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dieses Framework wurde entwickelt, um Verhaltens- und Neuroimaging-Daten von frei beweglichen Tieren in naturalistischen Versuchsumgebungen zu erfassen und zu entschlüsseln. Es besteht aus drei Schlüsselkomponenten: Deep-Learning-basierten Methoden zur Schätzung von Posen und Verhaltensklassifizierung, SBeA1, Miniatur-Fluoreszenzbildgebungsverfahren mTPM2 und einem kontrastiven lernbasierten neuroethologischen Einbettungsalgorithmus, CEBRA3. Neuere Studien haben die Komplexität neuromorphologischer Prozesse in frei beweglichen Tieren hervorgehoben, die die in kopffixierten experimentellen Paradigmen beobachteten übertrifft 4,5. Technische Einschränkungen und Variabilität haben jedoch die breite Anwendung dieser Ansätze auf breitere Untersuchungen des natürlichen Verhaltens behindert. Dieses Protokoll stellt einen stabilen und integrierten Rahmen dar, der die Zugänglichkeit von Verhaltens- und neuronalen Daten gewährleistet, die in naturalistischen Kontexten für eine Vielzahl von Forschungslabors gesammelt wurden.

Angesichts der Tatsache, dass sich Tiere in natürlichen Umgebungen frei bewegen, beinhaltet dieses Framework eine Deep-Learning-basierte Posenschätzung, um eine präzise Verfolgung der Körperhaltungen zu erreichen 6,7. Traditionelle, auf Bildverarbeitung basierende Tracking-Methoden sind im Vergleich zu Deep-Learning-basierten Ansätzen unzureichend für die Erfassung feinskaliger Bewegungen, wie z. B. der Dynamik von Gliedmaßen und Pfoten,8. Die vielfältigen und komplexen Verhaltensweisen frei beweglicher Tiere stellen eine Herausforderung für die Methoden zur Klassifizierung des überwachten Verhaltensdar 9, da vordefinierte Verhaltenskategorien oft nicht die gesamte Bandbreite natürlicher Verhaltensphänotypen abdecken10. Folglich eignen sich unüberwachte lernbasierte Klassifikationsmethoden besser für die Analyse von Verhalten in naturalistischen Umgebungen1. Sie können kontinuierliches Verhalten entsprechend ihren intrinsischen strukturellen Ähnlichkeiten umfassend in diskrete Subsekunden-Motive zerlegen, und dann werden ihre konsistenten Definitionen durch datengesteuerte Cluster gegeben.

Die Bildgebung des Gehirns bei sich frei bewegenden Tieren erfordert die Erfassung der umfangreichen Variabilität der Einzelneuronenaktivität 4,5. Elektrophysiologische Aufzeichnungen bei sich frei bewegenden Tieren sind in ihrer Fähigkeit, Neuronen mit überwiegend unterschwelliger Aktivität zu erkennen, eingeschränkt11. Darüber hinaus leidet die Einzelphotonenmikroskopie unter geringer Auflösung und geringem Kontrast, was es schwierig macht, konsistente Neuronenidentitäten über Bildgebungssitzungen hinweg aufrechtzuerhalten12. mTPM bietet im Vergleich zur Einzelphotonenmikroskopie eine überlegene Auflösung und einen überlegenen Kontrast, was es zu einem effektiveren Werkzeug für die Untersuchung der neuronalen Kodierung natürlicher Verhaltensweisen macht 2,13,14,15.

Die Etablierung einer robusten Zuordnung zwischen Verhalten und neuronalen Daten erfordert Methoden, die in der Lage sind, ihre gemeinsame Informationsstruktur offenzulegen16. Herkömmliche Techniken zur Dimensionalitätsreduktion, wie z. B. die Hauptkomponentenanalyse (PCA)17, die t-Distributed Stochastic Neighbor Embedding (t-SNE)18 und die Uniform Manifold Approximation and Projection (UMAP)19, können Verhaltens- und neuronale Daten nicht effektiv in einen gemeinsamen Merkmalsraum einbetten. Im Gegensatz dazu ermöglichen Deep-Learning-basierte Embedding-Ansätze, wie z. B. CEBRA, die Integration mehrerer Datenmodalitäten sowohl in überwachten als auch in selbstüberwachten Frameworks, wodurch qualitativ hochwertige latente Repräsentationen generiertwerden 3. Während in den letzten Jahren verschiedene alternative Methoden entstanden sind 20,21,22, priorisiert dieser vorgeschlagene Rahmen praktische Anwendungen, indem er etablierte Methoden einbezieht, die entweder kommerziell verfügbar sind oder durch umfassende Tutorials unterstützt werden.

Im Vergleich zu neueren Studien 4,5 bietet dieser Rahmen drei wichtige Fortschritte. Erstens beseitigt es die menschliche Voreingenommenheit bei der Verhaltensklassifizierung. Frühere Studien stützten sich auf die manuelle Verhaltenskennzeichnung, die arbeitsintensiv und anfällig für Inkonsistenzen ist, insbesondere da Annotatoren Ermüdung erleben 23,24,25. Im Gegensatz dazu verwendet dieser Rahmen eine unüberwachte Verhaltensklassifikation, die die natürliche Struktur von Verhaltensmustern beibehält, indem Verhaltensmotive objektiv zerlegt und gruppiert werden, bevor Definitionen zugewiesen werden26,27. Zweitens ermöglicht die Verwendung von mTPM die Erfassung komplizierterer neuronaler Dynamiken auf der Ebene einzelner Neuronen. Dieser methodische Vorteil erweitert die Anwendbarkeit dieses Frameworks auf die Dekodierung komplexer natürlicher Verhaltensweisen aus verschiedenen neuronalen Populationen, einschließlich solcher, die an der Unterschwellenkodierung beteiligt sind28. Drittens integriert dieses Framework Verhaltens- und neuronale Daten in einen einheitlichen Repräsentationsraum, anstatt UMAP zu verwenden, um jede Modalität separat einzubetten, oder Support Vector Machines zu verwenden, um eine starre Abbildung zwischen neuronaler Aktivität und Verhalten durchzusetzen, während ihre intrinsische Dynamik außer Acht gelassenwird 4,5. Dieser gemeinsame Embedding-Ansatz sorgt für eine umfassendere und biologisch sinnvollere Darstellung des Zusammenhangs zwischen Verhalten und Gehirnaktivität.

Dieses Framework eignet sich gut für Forschungsprojekte, bei denen es um die Aufzeichnung und Dekodierung von Verhaltens- und neuronalen Daten von frei beweglichen Tieren unter naturalistischen Versuchsbedingungen geht. Während die derzeitige Implementierung für Mausstudien optimiert ist, kann die Anpassung an andere Tiermodelle zusätzliche Entwicklungen erfordern. Da die in diesem Framework verwendeten Hardwarekomponenten kommerziell verfügbar sind, können einerseits die Gesamtkosten relativ hoch sein. Auf der anderen Seite reduziert diese kommerzielle Verfügbarkeit den Zeitaufwand für die Behebung logistischer Probleme erheblich und gewährleistet die effiziente Erzielung stabiler und zuverlässiger Ergebnisse.

Dieses Protokoll ist so konzipiert, dass es reproduzierbar und für neurowissenschaftliche Labore zugänglich ist, die für die Bildgebung und Verhaltensverfolgung von Kleintieren ausgestattet sind. Das komplette System integriert ein kommerziell erhältliches mTPM-Gerät mit einem Mehrwinkel-Verhaltenserfassungsaufbau. Typische neuronale Aufzeichnungen werden bei 4,84 Hz mit einer Auflösung von 512 × 512 Pixeln erfasst, und Verhaltensdaten werden mit 30 Bildern pro Sekunde erfasst. Die Datensynchronisation wird durch die TTL-Impulsausrichtung während der Vorverarbeitung erreicht. Training und Decodierung können auf einer Standard-Workstation mit einer GPU (z. B. NVIDIA RTX 3090 oder gleichwertig) durchgeführt werden, und die vollständige Pipeline benötigt ca. 100 GB Speicherplatz pro Experiment. Während die aktuelle Implementierung für frei bewegliche Mäuse optimiert ist, ermöglicht der modulare Aufbau des Workflows die Anpassung an andere Spezies, indem die Tracking-Kalibrierung und die Bildgebungsparameter basierend auf der Größe und Mobilität des Tieres angepasst werden. Diese praktischen Details unterstützen die Anpassungsfähigkeit und Reproduzierbarkeit des Protokolls in einer Reihe von experimentellen Umgebungen.

Protocol

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Das Komitee für Tierpflege und -verwendung am Shenzhen Institute of Advanced Technology der Chinesischen Akademie der Wissenschaften genehmigte alle Haltungs- und Versuchsverfahren.

1. Einrichtung der Plattform

HINWEIS: Die Plattform besteht aus zwei Hauptkomponenten: dem mTPM-Gerät und dem 3D-Verhaltensgerät (Abbildung 1A). Das mTPM-Gerät ermöglicht die Echtzeit-Synchronisation der mTPM-Bildgebung mit Verhaltensdaten und ermöglicht so die effiziente, stabile und kontinuierliche Erfassung hochwertiger Daten von frei beweglichen Tieren. Das 3D-Verhaltensgerät ist mit vier Kameras ausgestattet, um die gesamte Szene des Tierverhaltens zu erfassen, und einem automatischen Kalibrierungsmodul zur Rekonstruktion von 3D-Tierposen. Beide Geräte sind verpflichtet, Synchronisationsmodule in ihren jeweiligen Versionen zu integrieren.

  1. Geräte-Anbindung
    1. Entfernen Sie die äußere Hülle des 3D-Verhaltensgeräts. Platzieren Sie die restlichen Teile des 3D-Verhaltensgeräts, einschließlich vier Kameras und eines automatischen Kalibrierungsmoduls, in der Verhaltensaufzeichnungskammer des mTPM-Geräts.
    2. Verbinden Sie das USB-Kabel (Universal Serial Bus) des Synchronisationsmoduls des 3D-Verhaltensgeräts mit der Workstation des 3D-Verhaltensgeräts.
    3. Verbinden Sie das Synchronisationsmodul des mTPM-Geräts über ein SMA-Kabel (SubMiniature Version A) mit dem Controller des mTPM-Geräts.
    4. Verbinden Sie den TTL-Ausgangsport (Transistor-Transistor Logic) des Synchronisationsmoduls des 3D-Verhaltensgeräts über ein SMA-Bajonett-Neill-Concelman-Konvertierungskabel (BNC) mit dem TTL-Eingang des Synchronisationsmoduls des mTPM-Geräts.
  2. Zeitstempelaufzeichnung von mTPM-Frames
    1. Schalten Sie alle Netzteile des mTPM-Geräts ein.
    2. Starten Sie die mTPM-Aufzeichnungssoftware und die mTPM-Synchronisationssoftware.
    3. Legen Sie die Speicherpfade von mTPM-Frames und Synchronisationszeitstempeln fest.
      HINWEIS: Verwenden Sie keine nicht-englischen Buchstaben und Sonderzeichen, um Pfade zu benennen.
    4. Legen Sie die Anzahl der Aufnahmeframes der mTPM-Aufnahmesoftware fest. Die empfohlene Anzahl von Frames beträgt 6000, was ausreicht, um den Debugschritt für die Synchronisierung abzuschließen.
    5. Wählen Sie jeden Kanal der mTPM-Synchronisationssoftware aus.
    6. Starten Sie die Aufzeichnung von mTPM über die mTPM-Aufnahmesoftware. Schalten Sie vor dem Starten der Aufnahme alle Lichter im Raum aus, um das mTPM vor Lichtüberbrennung zu schützen. Die mTPM-Synchronisationssoftware wird automatisch ausgeführt, wenn der Benutzer die Aufzeichnung startet.
    7. Überprüfen Sie, ob die mTPM-Frame-Zeitstempel von der mTPM-Synchronisierungssoftware erfasst werden.
      HINWEIS: Bei den mTPM-Frame-Zeitstempeln, die in der mTPM-Synchronisationssoftware angezeigt werden, handelt es sich um scharfe TTL-Impulse. Jedes Imaging-Bild löst einen scharfen TTL-Impuls aus, der standardmäßig 4,84 Hz beträgt. Wenn auf dem Software-Panel kein Impuls angezeigt wird, gibt es 2 normale Probleme. Der erste ist, dass der Treiber des Controllers des mTPM-Geräts die Erfassung von Zeitstempeln nicht unterstützt. Die Verbesserung der Treiberversion zur Unterstützung der Zeitstempelerfassung kann das erste Problem lösen. Der zweite ist die schlechte Verbindung des SMA-Kabels. Stellen Sie sicher, dass die SMA-Anschlüsse fest angezogen sind. Bevor Sie die Zeitstempel überprüfen, kehren Sie zu 1.1.2 zurück und versuchen Sie es Schritt für Schritt.
    8. Warten Sie, bis die Aufzeichnung gestoppt ist. Überprüfen Sie, ob die .tif Datei mit mTPM-Frames, eine .tdms-Datei und eine .tdms_index Datei mit den Zeitstempeln gespeichert sind.
  3. Zeitstempel-Aufnahme von vier Kameras des 3D-Verhaltensgeräts
    1. Legen Sie den Speicherpfad der Videos und Verhaltenszeitstempel im benutzerdefinierten Kamerasynchronisierungsskript fest.
      HINWEIS: Der benutzerdefinierte Kamera-Synchronisationscode befindet sich unter https://github.com/YNCris/natural_behavior_device/blob/main/camera_code/mul_camera_save_video_event.py.
    2. Starten Sie die mTPM-Synchronisationssoftware. Legen Sie die Speicherpfade von mTPM-Synchronisationszeitstempeln fest.
    3. Starten Sie die Aufzeichnung der mTPM-Synchronisationssoftware. Führen Sie das benutzerdefinierte Kamerasynchronisierungsskript aus.
    4. Überprüfen Sie, ob die Verhaltenszeitstempel von der mTPM-Synchronisationssoftware erfasst werden.
      HINWEIS: Die in der mTPM-Synchronisationssoftware angezeigten Verhaltenszeitstempel sind scharfe TTL-Impulse. Für jeweils 30 Frames der Verhaltensvideo-Frame-Aufzeichnung wird ein Verhaltens-Zeitstempel an die mTPM-Synchronisationssoftware gesendet. Die Verhaltenszeitstempel werden auch auf der Workstation des 3D-Verhaltensgeräts gespeichert.
    5. Überprüfen Sie, ob vier .avi Dateien mit Verhaltensvideos, eine .txt Datei mit Verhaltenszeitstempeln auf dem 3D-Verhaltensgerät sowie eine .tdms-Datei und eine .tdms_index Datei mit den Verhaltenszeitstempeln in der mTPM-Workstation gespeichert sind.
  4. Kamerakalibrierung des 3D-Verhaltensgeräts
    1. Passen Sie den Aufnahmewinkel von vier Kameras an. Die vier Kameras sollten die gesamte Fläche des offenen Feldes abdecken und gleichzeitig ihr Sichtfeld um mindestens 20 cm über die äußerste Grenze des offenen Feldes erweitern, um sicherzustellen, dass Fälle, in denen sich die Maus aufbäumt, vollständig erfasst werden.
    2. Platzieren Sie das Kalibriermodul in der Mitte der Aufnahmebereiche. Führen Sie die Kamerakalibrierungssoftware aus. Schalten Sie vor dem Ausführen der Kamerakalibrierungssoftware alle Lichter aus.
      HINWEIS: Vier Kameras erfassen die Frames des beweglichen Schachbretts, das auf dem Kalibrierungsbildschirm angezeigt wird. Die Kamerakalibrierung basiert auf der Zhang-Kalibrierungsmethode29.
    3. Nach dem Ausführen der Kamerakalibrierungssoftware wird eine .mat-Datei gespeichert, die die Kameraprojektionsmatrix für die 3D-Posenrekonstruktion von Tieren enthält. Da die Indizierung der Verhaltensdaten im Schritt der Systemsynchronisierung auf der MAT-Kalibrierungsdatei basiert, stellen Sie sicher, dass der Schritt der Kamerakalibrierung vor dem Synchronisierungsschritt des gesamten Systems abgeschlossen ist.
  5. Synchronisation des gesamten Systems
    HINWEIS: Stellen Sie vor diesem Schritt sicher, dass Zeitstempel von mTPM-Frames und dem 3D-Verhaltensgerät von der mTPM-Synchronisierungssoftware separat empfangen werden können.
    1. Schalten Sie alle Netzteile des mTPM-Geräts und des 3D-Verhaltensgeräts ein.
    2. Starten Sie die mTPM-Aufzeichnungssoftware, die mTPM-Synchronisierungssoftware und das benutzerdefinierte Kamerasynchronisierungsskript.
    3. Legen Sie den Pfad und die Parameter fest, die sich auf Schritt 1.3.1 beziehen. Starten Sie die Aufzeichnung von mTPM über die mTPM-Aufnahmesoftware.
    4. Führen Sie das benutzerdefinierte Kamerasynchronisierungsskript aus. Stellen Sie sicher, dass der Start der Aufzeichnung von mTPM-Frames vor der Ausführung des Verhaltensaufzeichnungsskripts erfolgt, damit die mTPM-Synchronisierungssoftware die Zeitstempel vom 3D-Verhaltensgerät empfangen kann. Legen Sie die Endzeit der Aufzeichnung von mTPM-Frames auf eine längere Zeit als die Zeit der Verhaltensaufzeichnung fest, damit die mTPM-Synchronisationssoftware die Verhaltenszeitstempel verlustfrei erfassen kann.
      HINWEIS: Die Empfehlung für die Aufzeichnungszeit von mTPM-Frames ist länger als 5 Minuten nach der Verhaltensaufzeichnung. Wenn der Benutzer z. B. ein 15-minütiges Verhalten aufzeichnen möchte, sollte die Anzahl der mTPM-Frames auf 4,84 x (15+5) x 60 = 5808 Frames festgelegt werden.
    5. Warten Sie, bis die Aufnahme gestoppt ist. Nach der Aufzeichnung gibt es eine mTPM-Frame-.tif-Datei, zwei TDMS-Dateien für die mTPM-Synchronisierung, zwei .tdms_index-Dateien, vier .avi-Dateien für Verhaltensvideos und eine .txt-Datei mit einem Verhaltenszeitstempel.
    6. Führen Sie den benutzerdefinierten Synchronisierungscode aus, um den mTPM-Frame und die Verhaltensvideos auszurichten. Der angepasste Synchronisierungscode befindet sich unter https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step1_align_tpm_data.m.
      1. Organisieren Sie die Dateien vor dem Ausführen dieses Skripts manuell wie folgt:
        ----\Root path # Der Pfad zum Speichern aller Daten
        --------\behavior_all # Der Pfad zum Speichern von Verhaltensdaten
        ------------\A-B-C-D-E-caliParas.mat # Kamera-Kalibrierungsdatei
        ------------\A-B-C-D-E-camera-1.avi # Verhaltensvideo von Kamera 1
        ------------\A-B-C-D-E-camera-2.avi # Verhaltensvideo von Kamera 2
        ------------\A-B-C-D-E-camera-3.avi # Verhaltensvideo von Kamera 3
        ------------\A-B-C-D-E-camera-4.avi # Verhaltensvideo von Kamera 4
        ------------\A-B-C-D-E-event.txt # Zeitstempel des Verhaltens vom 3D-Verhaltensgerät
        ----\tpm_suite2p # Der Pfad zum Speichern von mTPM-Daten
        --------\sep # Der Pfad zum Speichern von mTPM-Frames und Zeitstempeln
        ------------\A-B-C-D-E-event # Der Pfad zum Ausrichten des Zeitstempels
        ----------------\beh.tdms # Die .tdms-Datei des Verhaltenskanals
        ----------------\beh.tdms_index #The Verhaltenskanal .tdms_index Datei
        ----------------\tpm.tdms # Die .tdms-Datei des mTPM-Kanals
        ----------------\tpm.tdms_index # Der mTPM-Kanal .tdms_index Datei
        ------------\A-B-C-D-E-tpm # Der Pfad zum Speichern von mTPM-Frames
        ----------------\F.tif # Die mTPM-Frames jeder Aufnahme
        --------\process # Der Pfad zum Extrahieren neuronaler Spuren
        ------------\C # Der Pfad jeder Maus
        ----------------\F.tif # Die mTPM-Frames jeder Maus
        A bis G sind Definitionen von Namensfeldern, wobei
        A bedeutet experimentelle Gruppen, z. B. freie,
        B bedeutet die Sequenz von Videos, z. B. seg1,
        C bedeutet die Identität von Tieren, z. B. 1tpmss,
        D bedeutet die Interaktionspartner, z. B. 1wt,
        E bedeutet das experimentelle Datum, z. B. 20220226, und
        F bedeutet den mTPM-Aufzeichnungs-Frame-Chunk (5000 Frames pro Chunk), z. B. social 1.
        HINWEIS: Die Bildrate des 3D-Verhaltensverfolgungssystems beträgt 30 Hz, während die des mTPM 4,84 Hz beträgt. Da die maximal erreichbare Synchronisationsgenauigkeit durch die niedrigste Bildrate (4,84 Hz) eingeschränkt wird, beträgt die zeitliche Auflösung der Synchronisation ca. 206 ms. Verhaltenszeitstempel dienen als Referenz, und jeder mTPM-Frame wird am nächstgelegenen Verhaltenszeitpunkt ausgerichtet. Intervalle zwischen aufeinanderfolgenden mTPM-Frames in Bezug auf die Verhaltenszeitachse werden mit einem schrittweisen Ansatz interpoliert.

2. Neuroethologische Datenerfassung

HINWEIS: Der Prozess der neuroethologischen Datenerfassung besteht aus vier Hauptschritten (Abbildung 1B).

  1. Montage von mTPM
    HINWEIS: Da die Details zum Mounten von mTPM im Tutorial des mTPM enthalten sind, werden hier nur die wichtigsten Schritte vorgestellt.
    1. Bereiten Sie das Schädelfenster vor.
      HINWEIS: Die Vorbereitung des Schädelfensters umfasst hauptsächlich die Injektion des Virus, die Implantation des Deckglases und die Fixierung der Metallplatte. Da die Bildgebungsstellen in verschiedenen Forschungen unterschiedlich sind, sind die Details der Präparation des Schädelfensters unterschiedlich. In diesem Fall wird die Präparation des Schädelfensters von einem Outsourcing-Service durchgeführt. Der bildgebende Hirnbereich in den Beispieldaten ist der primäre somatosensorische Kortex (S1).
    2. Befestigen Sie den Maus-Restrainer am mTPM-Mikromanipulator. Befestigen Sie den Kopf der Maus durch die Metallplatte an der Rückhaltemaschine.
    3. Ermitteln Sie die Fluoreszenz durch mTPM. Schalten Sie alle Leuchten aus, bevor Sie das mTPM-Imaging einschalten. Befestigen Sie das mTPM an der Halterung, bevor Sie die folgenden Schritte ausführen.
      1. Geben Sie einen Tropfen Carbomer Augengel auf die Oberseite des Schädelfensters. Bewegen Sie die Maus durch die Bewegungsplattform, wenn das Schädelfenster unter dem mTPM-Objektiv ausgerichtet ist.
      2. Bewegen Sie den Mikromanipulator vertikal, um die Bildgebungsebene zu finden. Bewegen Sie den Mikromanipulator in die Ebene, um die Bildgebungsebene zu zentrieren.
    4. Befestigen Sie die obere Basis am mTPM. Kleben Sie die untere Basis auf die obere Basis und das Schädelfenster.
      1. Um die strukturelle Stabilität zu gewährleisten, füllen Sie den Spalt zwischen den beiden Sockeln und der am Kopf der Maus befestigten Metallplattenhalterung und verkleben Sie sie mit einem Hochleistungs-Acrylat-Strukturkleber. Härten Sie den Kleber 30 Minuten lang aus, bevor Sie die Stabilität der Verbindung beurteilen, indem Sie die Basis vorsichtig mit einer Pinzette abtasten. Bei Bedarf wird zusätzlicher Kleber aufgetragen, bis eine sichere Fixierung erreicht ist.
        HINWEIS: Es ist wichtig, eine direkte Adhäsion zwischen der Basis und dem mTPM selbst zu vermeiden. Die obere und untere Basis sind kleine Aluminiumrahmen. Die obere Basis wird individuell angefertigt, um sich an die untere Kontur des mTPM-Gehäuses anzupassen. Untere Basen mit mehreren Höhenoptionen werden verwendet, um den Spalt zwischen der oberen Basis und dem Schädelfenster zu überbrücken. Alle unteren Basen haben die gleichen planaren Abmessungen wie die obere Basis, um die mechanische Kompatibilität zu gewährleisten, und unterscheiden sich nur in der Höhe, um den unterschiedlichen Abständen zwischen Schädel und oberer Basis gerecht zu werden.
    5. Geben Sie einen Tropfen Carbomer Augengel in die Basiskammer. Überprüfen Sie die neuronale Fluoreszenz durch mTPM. Wenn die neuronale Fluoreszenz nicht deutlich sichtbar ist, entfernen Sie den Klebstoff mit einem Schädelbohrer, um eine Trennung der Basis zu ermöglichen, wonach das obige Verfahren wiederholt wird, bis die Fluoreszenzklarheit erreicht ist.
    6. Befestigen Sie die Aluminiumfolie mit Klebeband zwischen der Faser von mTPM und dem Schädelfenster.
      HINWEIS: Dieser Schritt dient dazu, während des gesamten Aufnahmevorgangs eine ordnungsgemäße Lichtabschirmung aufrechtzuerhalten. Der Einsatz von Aluminiumfolie und Klebeband wurde minimiert, um das Gesamtgewicht zu reduzieren.
    7. Schalten Sie das Raumlicht ein und testen Sie die Klarheit von mTPM-Rahmen.
  2. Die Maus in ein freies Feld stecken
    HINWEIS: Bei diesem Schritt wird die Maus auf dem freien Feld platziert, während für ein korrektes Gewichtsgleichgewicht zwischen Faser und mTPM gesorgt wird.
    1. Blase mindestens 10 Heliumballons auf und binde sie separat mit Baumwollgarn zusammen. Lösen Sie die Metallplatte von der Maushalterung.
    2. Halten Sie die Maus mit einer Hand am Schwanz. Stützen Sie die mTPM-Faser mit der anderen Hand.
    3. Positionieren Sie die Maus vorsichtig in das freie Feld. Hängen Sie die Heliumballons mit Baumwollgarn an die Faser. Passen Sie die Anzahl der Sprechblasen an, bis sich die Maus frei bewegen und das offene Feld ohne Einschränkungen erkunden kann.
      HINWEIS: Die optimale Anzahl der Ballons wird bestimmt, wenn die Maus am Boden bleibt und ihre Vordergliedmaßen nicht durch den Auftrieb nach oben angehoben werden, während das Gewicht des mTPM immer noch ausreichend ausgeglichen wird, damit das Tier eine natürliche Kopfhaltung einnehmen und spontan aufrecht stehen kann. Das Baumwollgarn sollte in einer Höhe über dem offenen Feld gebunden werden, um eine ausreichende Faserlänge für eine uneingeschränkte Bewegung der Maus zu gewährleisten. Das Baumwollgarn wurde auf Höhe der optischen Faser gebunden, die ungefähr mit der Oberkante der Freifeldkammer ausgerichtet war. Im gegebenen Beispiel wird, sobald dieser Schritt abgeschlossen ist, eine unbehandelte Maus in das offene Feld eingeführt, um eine freie soziale Interaktion zu ermöglichen.
    4. Schließen Sie die Tür des mTPM-Gehäuses, um externe Störungen zu minimieren.
  3. mTPM-Aufzeichnung einschalten.
    1. Starten Sie die mTPM-Aufzeichnungssoftware und die mTPM-Synchronisationssoftware. Legen Sie ihren Pfad und ihre Parameter in Bezug auf den Schritt zur Einrichtung der Plattform fest.
    2. Starten Sie die Aufzeichnung von mTPM über die mTPM-Aufnahmesoftware. Überprüfen Sie das Vorhandensein von Zeitmarkierungen, die jedem Zwei-Photonen-Frame in der Synchronisationssoftware entsprechen.
    3. Beurteilen Sie, ob der Kontrast der Zwei-Photonen-Bilder unverändert bleibt, und vergewissern Sie sich, dass die Fortbewegung der Maus die Stabilität der aufgenommenen Bilder nicht beeinträchtigt. Wenn Probleme festgestellt werden, wiederholen Sie den Synchronisationsvorgang und den mTPM-Einbettungsvorgang, bis die Zwei-Photonen-Bildgebung klare Bilder mit genau ausgerichteten Zeitmarkierungen erzeugt.
  4. Verhaltensaufzeichnung einschalten
    1. Starten Sie das benutzerdefinierte Kamera-Synchronisationsskript.
      HINWEIS: Der benutzerdefinierte Kamera-Synchronisationscode befindet sich unter https://github.com/YNCris/natural_behavior_device/blob/main/camera_code/mul_camera_save_video_event.py.
    2. Legen Sie den Pfad und die Parameter für den Schritt zur Einrichtung der Plattform fest.
    3. Starten Sie die Aufzeichnung des Verhaltens über das benutzerdefinierte Kamera-Synchronisationsskript. Überprüfen Sie das Vorhandensein von Zeitmarkierungen, die jeweils 30 Verhaltensframes in der mTPM-Synchronisierungssoftware entsprechen.
    4. Überprüfen Sie, ob die vier Videostreams von den Kameras ordnungsgemäß synchronisiert sind, und überprüfen Sie die Videoaufnahmeparameter des 3D-Verhaltensverfolgungssystems.
      HINWEIS: In der obigen Konfiguration verwenden die Kameras eine Bildauflösung von 640 × 480 Pixeln, eine Bildrate von 30 Bildern pro Sekunde, RGB-Bilder und automatische Belichtung. Die automatische Belichtung ermöglicht es der Kamera, die Helligkeit dynamisch an die Umgebungslichtverhältnisse anzupassen. Da sich die Belichtungszeit direkt auf die erreichbare Bildrate auswirkt, insbesondere bei schlechten Lichtverhältnissen, bei denen längere Belichtungszeiten erforderlich sind, kann die Bildrate abnehmen. Um eine stabile Bildaufnahme bei 30 Hz zu gewährleisten, ist es wichtig, die Hintergrundbeleuchtung so zu steuern, dass die Belichtungszeit minimiert wird. Die Einstellungen für Kameraverstärkung und Binning werden während der gesamten Aufnahme auf ihren Standardwerten beibehalten.
    5. Die Verhaltensaufzeichnung wird automatisch gestoppt, sobald die vordefinierte Dauer erreicht ist. Schalten Sie nach Abschluss der Verhaltensaufzeichnung die mTPM-Aufzeichnung und -Synchronisierung manuell aus. Wenn Sie diese Schritte befolgen, wird ein einzelner Versuch der gleichzeitigen Erfassung von neuronalen und Verhaltensdaten abgeschlossen.

3. Neuroethologische Datenvorverarbeitung

HINWEIS: Wenn alle vorherigen Schritte erfolgreich abgeschlossen wurden, sollten drei Kategorien von Datendateien abgerufen werden: Zwei-Photonen-Bildrahmen (.tif), vier Verhaltensvideoaufzeichnungen (.avi) zusammen mit einer Kamerakalibrierungsdatei (.mat) und zwei Synchronisationszeitstempeldateien (.tdms) für die nachfolgende Datenvorverarbeitung (Abbildung 1C). Diese Daten sollten manuell umbenannt und in den Ordnern abgelegt werden, die sich auf Schritt 1.5.7 beziehen.

  1. Vorverarbeitung von mTPM-Daten
    1. Extrahieren Sie neuronale Signalverläufe aus mTPM-Frames über suite2p30. Behalten Sie die Parameter von suite2p auf ihren Standardwerten bei, um die Reproduzierbarkeit zu gewährleisten. Passen Sie die Bildrate nur an die mTPM-Aufnahmeeinstellungen an.
      HINWEIS: Da die nachfolgenden Schritte die Signalverarbeitung und die Qualitätskontrolle umfassen, ist es nicht erforderlich, die suite2p-Parameter in dieser Phase umfassend zu optimieren. Die Aufrechterhaltung der Konsistenz zwischen den Datensätzen ist von größerer Bedeutung.
    2. Führen Sie den angepassten Code aus, um die Zeitstempel zwischen den mTPM-Frames und den Verhaltensvideos auszurichten.
      HINWEIS: Dieses Skript gleicht die Zeitstempel von Verhaltensereignissen mit den entsprechenden mTPM-Erfassungszeiten ab. Es generiert und speichert Index-Mappings für jede Aufzeichnung und ermöglicht so eine synchronisierte Analyse von Verhaltens- und neuronalen Daten. Dieser angepasste Code befindet sich unter https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step1_align_tpm_data.m.
    3. Führen Sie den angepassten Code aus, um das Datenformat aus der suite2p-Ausgabe zu konvertieren.
      HINWEIS: Dieses Skript extrahiert und reorganisiert mTPM-Daten für einzelne Tiere, indem es relevante Rahmenindizes identifiziert und zuordnet. Es wählt die entsprechenden neuronalen Aktivitätsspuren aus und strukturiert sie in ein standardisiertes Datenformat um, was eine optimierte nachgelagerte Analyse segmentierter Aufzeichnungen ermöglicht. Dieser angepasste Code befindet sich unter https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step2_separate_tpm_data.m.
    4. Führen Sie den angepassten Code aus, um neuronale Signale neu zu berechnen, um sie an Verhaltensrahmen auszurichten.
      HINWEIS: Dieses Skript führt ein zeitliches Resampling von mTPM-Daten durch, um neuronale Aktivitätsspuren mit Verhaltenszeitstempeln abzugleichen. Es lädt zuvor segmentierte neuronale Daten und Synchronisationsindizes, extrahiert entsprechend neu abgetastete Traces und speichert die Ausgabe in einem standardisierten Format für die weitere Signalverarbeitung. Die Methode des temporalen Resamplings ist die schrittweise Interpolation. Dieser angepasste Code befindet sich unter https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step3_resample_tpm_data.m.
    5. Führen Sie den angepassten Code aus, um neuronale Trajektorien zu verfeinern.
      1. Da die schrittweise Interpolation zu Klingelartefakten und hochfrequentem Rauschen führen kann, sollten Sie einen Equiripple-Tiefpassfilter mit einer Durchlassfrequenz von 2 Hz und einer Stoppbandfrequenz von 2,2 Hz entwickeln, um diese Artefakte zu mildern. Die Reihenfolge des Filters ist 61.
      2. Verwenden Sie danach die Rauschunterdrückungsmethode von Weijian Zong, um die neu beprobten mTPM-Kalziumspurenzu verfeinern 13. Es schätzt lokale Ausgangswerte unter Verwendung von Perzentil- und lokalen Varianzkriterien und berechnet die ΔF/F-Signale. ΔF/F ist ein dimensionsloses Maß, das die relative Änderung der Fluoreszenzintensität gegenüber dem Ausgangswert darstellt und üblicherweise zur Quantifizierung der neuronalen Aktivität in der Kalziumbildgebung verwendet wird. Da sowohl der Zähler (ΔF) als auch der Nenner (F) in beliebigen Fluoreszenzeinheiten angegeben sind, hat der resultierende ΔF/F-Wert keine physikalische Einheit und wird als Verhältnis oder Prozentsatz ausgedrückt. Zellen mit extrem flachen oder gesättigten Signalen werden basierend auf den Schwellenwerten des Signalbereichs ausgeschlossen. Die resultierenden qualitativ hochwertigen neuronalen Aktivitätsspuren werden für die nachgelagerte Analyse gespeichert ( Abbildung 2A, Abbildung 3A und Abbildung 4A).
        HINWEIS: Der angepasste Code ist unter https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step4_filter_tpm_data.m verfügbar.
  2. Vorverarbeitung von Verhaltensdaten
    1. Extrahieren Sie Verhaltensposen aus Videoaufzeichnungen mit einem Anti-Drifted Pose Tracker (ADPT)7.
      HINWEIS: ADPT behebt das Problem der häufigen Punktdrift, die bei auf Faltungsneuronalen Netzen basierenden Methoden wie DeepLabCut6 und SLEAP22 beobachtet wird. ADPT eignet sich besonders gut für Szenarien mit neuronalen Aufzeichnungsgeräten, wie z. B. mTPM-Bildgebung bei frei beweglichen Tieren, da es die durch die Faserbewegung verursachte Punktdrift effektiv reduziert. Das Repository von ADPT befindet sich unter https://github.com/tangguoling/ADPT.
      1. Da der Versuchsaufbau zwei Mäuse umfasst, wobei das mTPM als Identifikator für eine von ihnen dient, trainieren Sie zwei unabhängige Einzelmaus-ADPT-Modelle, um die Posen jeder Maus separat zu schätzen.
      2. Kommentieren Sie für jedes Modell manuell 1,10,15,31 - einschließlich Nase, linkes Ohr, rechtes Ohr, Hals, linke und rechte vordere Gliedmaßen, linke und rechte Hintergliedmaßen, linke und rechte Vorderpfoten, linke und rechte Vorderpfoten, linke und rechte Hinterpfoten, Rücken, Schwanzansatz, mittlere Schwanz und Schwanzspitze - für ca. 600 Frames, wobei 150 Frames manuell pro Kameraansicht für ein 15-minütiges Video beschriftet werden.
      3. Trainieren Sie die ADPT-Modelle mit Standardparametern. Die Details zu den Trainings- und Vorhersageparametern finden Sie unter https://github.com/tangguoling/ADPT/blob/main/code/config.yaml und https://github.com/tangguoling/ADPT/blob/main/code/config_predict.yaml.
    2. Rekonstruktion von 3D-Tierposen. Wenden Sie nach dem Training die beiden Modelle unabhängig voneinander an, um die Posen jeder Maus aus jedem der Videos vorherzusagen, die von verschiedenen Kameras aufgenommen wurden. Führen Sie die resultierenden Daten zur weiteren Verarbeitung in einer einzigen Tabellendatei zusammen.
    3. Es wird eine 3D-Rekonstruktion der Verhaltenstrajektorien unter Verwendung der Triangulation in Kombination mit der Kamerakalibrierungsdatei32 durchgeführt. Nach der Rekonstruktion erhalten Sie die Bewegungsbahnen der Versuchsmaus (die das mTPM trägt, Abbildung 2B, Abbildung 3B, Abbildung 4B) und der Objektmaus (der interagierende Artgenosse, Abbildung 2C, Abbildung 3C, Abbildung 4C) für die nachfolgende Analyse.
    4. In der sozialen Interaktionsforschung dienen interindividuelle Distanzen als kritische Indikatoren für soziale Dynamiken33. Berechnen Sie die relativen Körperabstände zwischen den beiden Mäusen unter Verwendung paarweiser euklidischer Abstände zwischen den entsprechenden Körperpunkten, um quantitative Messungen für die weitere Analyse des Sozialverhaltens bereitzustellen ( Abbildung 2D, Abbildung 3D, Abbildung 4D).
    5. Zerlegen und klassifizieren Sie Verhaltensmotive.
      HINWEIS: Auch wenn die vorangegangenen Schritte zu feinkörnigen Posenverläufen führen, sagen sie uns noch nicht, was das Tier tut. Verhalten bezieht sich darauf, wie sich ein Tier über einen bestimmten Zeitraum bewegt, und das Zuordnen von Verhalten beinhaltet, jeder dieser Perioden ein bedeutungsvolles, vom Menschen interpretierbares Etikett zu geben. Der normale Weg ist die Verwendung von menschlichen Anmerkungen.
      1. Da Verhaltensaufzeichnungen oft zu lang sind, um sie vollständig manuell zu beschriften, sollten Sie Methoden des maschinellen Lernens verwenden.
        HINWEIS: Beim überwachten Lernen werden vordefinierte Beschriftungsregeln eingehalten: Menschliche Annotatoren weisen ausgewählten Verhaltenssegmenten Beschriftungen zu, die dann zum Trainieren von maschinellem Lernen oder KI-Modellen verwendet werden, um Beschriftungen über den gesamten Datensatz vorherzusagen. Dieser Ansatz verbessert zwar die Effizienz der Verhaltensklassifizierung, bleibt aber durch die begrenzte Anzahl von vom Menschen interpretierbaren Bezeichnungen eingeschränkt, eine besonders signifikante Einschränkung beim Umgang mit komplexen, naturalistischen Verhaltensweisen. Um die reiche Variabilität naturalistischer Verhaltensweisen zu erfassen, wurden Methoden zur Klassifizierung von unüberwachtem Verhalten entwickelt. Diese Ansätze identifizieren intrinsische Ähnlichkeiten zwischen Verhaltensmotiven über die Zeit hinweg und gruppieren sie in niedrigdimensionalen Merkmalsräumen, was eine effizientere und unvoreingenommenere menschliche Interpretation ermöglicht. Im Wesentlichen stützt sich die überwachte Klassifizierung auf vordefinierte menschliche Labels, um die Verhaltenserkennung zu steuern, während die unüberwachte Klassifizierung latente Verhaltensstrukturen ohne vorherige Beschriftung aufdeckt und so eine größere Flexibilität bei der Erfassung komplexer naturalistischer Dynamiken bietet.
      2. Identifizieren Sie im Rahmen des naturalistischen Verhaltens die Verhaltensmotive der beiden Mäuse mit Hilfe des Verhaltensatlas (BeA)10 und des Sozialverhaltensatlas (SBeA)1 ( Abbildung 2E, Abbildung 3E, Abbildung 4E), beides unüberwachte Clustering-Methoden, die für die Verhaltenssegmentierung entwickelt wurden. Diese Methoden zerlegen und gruppieren das Verhalten von Tieren auf der Grundlage ihrer intrinsischen dynamischen und hierarchischen Strukturen in Subsekunden-Motive34 und verknüpfen sie anschließend mit definierten Verhaltenskategorien.
    6. Extrahieren Sie Verhaltensmotive einzelner Mäuse mit BeA.
      1. Um das Rauschen zu reduzieren, wenden Sie einen Medianfilter mit einem Zeitfenster von 500 ms an. Führen Sie die Körperausrichtung mit den Schlüsselpunkten der Rücken- und Schwanzbasis durch, um die Zerlegung von nicht lokomotorischen Bewegungen zu erleichtern, während die Schlüsselpunkte der rechten vorderen Extremität, der linken vorderen Extremität, der rechten hinteren Gliedmaße und der linken hinteren Gliedmaße für die Normalisierung der Körpergröße verwendet werden.
      2. Verwenden Sie für die Verhaltenszerlegung 39 ausgerichtete Körperkoordinaten, darunter: Nase (x, y, z), linkes Ohr (x, y, z), rechtes Ohr (x, y, z), Hals (x, y, z), linkes vorderes Glied (x, y, z), rechtes vorderes Glied (x, y, z), linkes hinteres Glied (x, y, z), rechtes hinteres Glied (x, y, z), linke vordere Pfote (x, y, z), rechte Vorderpfote (x, y, z), linke Hinterpfote (x, y, z), rechte Hinterpfote (x, y, z), Rücken (z) und Schwanzansatz (x, z).
      3. Legen Sie den temporalen Reduktionsindex auf 5 mit einer Clusteringauflösung von 3 fest. Verwenden Sie für die Initialisierung spektrales Clustering unter Verwendung eines Gaußschen Kernels mit einem Bandbreitensigma von 30. Legen Sie die minimale und maximale Segmentierungslänge auf 500 ms bzw. 2000 ms fest.
      4. Wenden Sie für die Einbettung von Verhaltensmotiven UMAP mit 30 nächsten Nachbarn und einem Mindestabstand von 0,05 an. Gruppieren Sie die Motive durch hierarchisches Clustering unter Verwendung der Ward-Verknüpfung und des euklidischen paarweisen Abstands, um die Stabilität der Klassifikation zu verbessern. Das Repositorium von BeA befindet sich unter
      5. Identifizieren Sie Motive des Sozialverhaltens mit SBeA. Legen Sie die Initialisierungsparameter für SBeA so fest, dass sie mit denen in BeA konsistent sind, mit den folgenden Änderungen: Die mittlere Filterfenstergröße wird auf 1000 ms festgelegt, die minimale Segmentierungslänge wird auf 2000 ms erhöht, und die maximale Segmentierungslänge wird auf 5000 ms für die Zerlegung des Sozialverhaltens erweitert.
      6. Wenden Sie für die Motiveinbettung einen Gaußschen Kern mit einem Bandbreitensigma von 2 an. Die endgültige Anzahl der Sozialverhaltenscluster reicht von 16 (untere Grenze) bis 280 (obere Grenze). In den vorgestellten Beispielen werden nur die 16 größten Cluster zu Demonstrationszwecken verwendet. Das Repositorium von SBeA befindet sich unter https://github.com/YNCris/SBeA_release/blob/main/README_SBeA_mapper.md.

4. Neuroethologische Datenkartierung

  1. Bereiten Sie Zuordnungsdatensätze vor. Nach den oben genannten Vorbereitungen stehen sieben Datensätze für die neuroethologische Kartierung zur Verfügung, darunter neuronale Aktivitäten, Subjektposen, Objektposen, Körperabstände, Subjektverhaltensmotive, Objektverhaltensmotive und Sozialverhaltensmotive. Organisieren Sie diese Dateien manuell wie folgt:
    Datenpfad # Der Pfad zum Speichern aller Daten
    ----\A-B-C-D-E-neu.mat # Neuronale Aktivitäten
    ----\A-B-C-D-E-pose-tpm.mat # Posen
    ----\A-B-C-D-E-pose-free.mat # Objekt-Posen
    ----\A-B-C-D-E-rel_dist.mat # Körperabstände
    ----\A-B-C-D-E-mov-tpm.mat # Motive für das Verhalten von Subjekten
    ----\A-B-C-D-E-mov-free.mat # Motive für das Objektverhalten
    ----\A-B-C-D-E-sbea.mat # Motive für Sozialverhalten
    Die Definitionen der Felder A, B, C, D und E sind die gleichen wie in 1.5.7. Die Demo-Daten für die Reproduktion sind bei https://doi.org/10.6084/m9.figshare.29606795.v1.
  2. Erstellen Sie die Einbettungen des Mappings mit CEBRA.
    HINWEIS: Da CEBRA sowohl hypothesengetriebene als auch entdeckungsgetriebene Ansätze zur Konstruktion von Einbettungen integriert, eignet es sich gut für die Aufdeckung neuronaler Repräsentationen, die mit verschiedenen Hilfsvariablen verbunden sind (Abbildung 5A).
    1. Um einen systematischen Vergleich von Embeddings über verschiedene Modalitäten hinweg zu gewährleisten, standardisieren Sie die Parameter der CEBRA-Modelle. Die Modellarchitektur verwendet die 10 Offsets mit einer Batchgröße von 1024, einer Lernrate von 0,0001 und einem Temperaturparameter von 1.
    2. Legen Sie die Ausgabedimension auf 3 fest, und führen Sie das Training für maximal 15.000 Iterationen durch. Verwenden Sie den Kosinusabstand als Ähnlichkeitsmetrik, während die bedingte Variable als Zeitdelta mit einem Zeitversatz von 10 definiert ist. Verwenden Sie die Daten zur neuronalen Aktivität als Eingabe und Hilfsvariablen als Beschriftungen, um gemeinsame Einbettungen zu generieren.
  3. Für die Selbsteinbettung neuronaler Aktivitäten wenden Sie die gleichen CEBRA-Parameter an, verwenden jedoch nur neuronale Aktivitätsdaten als Eingabe.

Results

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Untersuchung des natürlichen Verhaltens stellt im Vergleich zu versuchsbasierten Experimenten eine größere Komplexität dar. Erstens fehlt unter natürlichen Bedingungen sowohl der neuronalen Aktivität als auch dem Verhalten eine feste Ausgangslinie. Diese Aktivitäten sind wiederkehrend, was bedeutet, dass sie von früheren Zuständen beeinflusst werden, und daher kann die Ausrichtung des Beginns spezifischer Verhaltensweisen zum Vergleich der neuronalen Aktivität die Auswirkungen früherer neuroethologischer Zustände nicht entwirren. Zweitens findet die neuronale Kodierung im natürlichen Verhalten hauptsächlich auf der Ebene der Grundgesamtheitstatt 4,5. Die Variabilität, die in einzelnen Neuronen beobachtet wird, ist groß genug, um als Rauschen betrachtet zu werden. Um dies zu validieren, führte dieser Teil eine Korrelationsanalyse zwischen neuronaler Aktivität und natürlichen Verhaltensposen durch (Abbildung 2F, Abbildung 3F, Abbildung 4F). Die resultierenden Korrelationskoeffizientenmatrizen zeigten keine neuronenspezifische Korrespondenz mit den Posenspuren. Insbesondere lagen die Korrelationskoeffizienten zwischen neuronalen Signalen und Probandenposen, Objektposen oder Zwischenkörperabständen im Bereich von -0,3 bis +0,3, was gemeinhin als schwache Korrelationen angesehen wird15 (Abbildung 2G, Abbildung 3G, Abbildung 4G). Diese Befunde deuten darauf hin, dass posenbezogene Informationen unter naturalistischen Bedingungen nicht neuronenspezifisch kodiert werden.

Angesichts dieser Faktoren bietet dieses Framework einen objektiven Ansatz zur Erfassung und Kartierung neuroethologischer Daten auf der Ebene der neuronalen Population. Die mTPM-Bildgebung stellt sicher, dass die Variabilität einzelner Neuronen weitestgehend erhalten bleibt. Darüber hinaus generiert die Verwendung von Deep-Learning-basierter Posenschätzung durch ADPT und unüberwachten Verhaltenszerlegungsmethoden wie BeA und SBeA umfangreiche Hilfsvariablen, die es CEBRA ermöglichen, die Variabilität innerhalb neuronaler Populationen effektiv zu interpretieren.

Diese Beispiele zeigen, dass die gemeinsamen CEBRA-Einbettungen in allen Hilfsvariablen vorhanden sind, einschließlich Probandenposen, Objektposen, Körperabständen, Motiven für das Verhalten von Subjekten, Motiven für Objektverhalten und Motiven für soziales Verhalten (Abbildung 5A). Um die Konsistenz von Verhaltensmotiven und neuronalen Einbettungen über Sitzungen oder Probanden hinweg zu überprüfen, wird die Prokrustes-Analyse35 an drei Mauspaaren verwendet (Abbildung 5B). Da CEBRA-Einbettungen auf einer Einheitskugel verteilt sind, war nur der Rotationsparameter in der Prokrustes-Analyse aktiviert. Da die CEBRA-Einbettungen mit natürlichem Verhalten keine klare Grundlinie haben, wurde in diesem Teil zunächst eine markierungsgesteuerte Ausrichtungsprobenahme an den Einbettungen durchgeführt, um konsistente Ankerpunkte sicherzustellen, bevor die Prokrustes-Analyse angewendet wurde. Visuell weisen diese CEBRA-Einbettungen eine gewisse Konsistenz auf, wobei Körperdistanz und soziale Motive die höchste Übereinstimmung aufweisen. Er entspricht der Quantifizierung des RMSE vor und nach der Prokrustes-Ausrichtung (Abbildung 5C). Anschließend wird die Dekodierungsgenauigkeit der Einbettung für Posen (Abbildung 5D) und Motive (Abbildung 5E) verglichen. Obwohl sich ihre Darstellungen unterscheiden, ist jede mit hoher Genauigkeit dekodierbar. Obwohl der Dekodierungs-RMSE des Körperabstands deutlich höher ist als der des Motivs und des Objekts, ist er nicht höher als die Tracking-Genauigkeit von ADPT7.

Um die Ursprünge dieser hypothesengetriebenen Einbettungen zu untersuchen, wurde eine selbstorganisierte Einbettung der neuronalen Aktivität durch CEBRA generiert (Abbildung 5A, rechte Spalte). Die Form der neuronalen Einbettung ist komplizierter als bei den anderen Gelenkeinbettungen und enthält Muster aus verschiedenen Gelenkeinbettungen. Zusätzlich wurden die Ähnlichkeiten zwischen neuronalen Einbettungen und Gelenkeinbettungen mit Hilfe der Prokrustes-Transformation verglichen und dann ihre Kosinus-Ähnlichkeiten verglichen (Abbildung 5F). Die Kosinusähnlichkeit wird pro Minute zwischen den ausgerichteten Einbettungen zu den entsprechenden Zeitpunkten abgeleitet.

Die gemeinsame Einbettung der S1-Probanden wurde als Grundlage für Ähnlichkeitsvergleiche ausgewählt, basierend auf der gut etablierten Rolle der S1 bei der Kodierung selbstorganisierter somatosensorischer Eingaben36. Diese Einbettung dient als biologisch bedeutsamer Bezugspunkt, um zu bewerten, wie andere Variablen - wie z.B. objektbezogene Motive - innerhalb desselben neuronalen Raums repräsentiert werden. Solche Vergleiche ermöglichen es uns, die relative Stärke der Kodierung für verschiedene Verhaltensdimensionen in Bezug auf eine selbstbezogene somatosensorische Grundlinie zu beurteilen.

Vergleicht man die Kosinusähnlichkeit von neuronalen Einbettungen mit den S1-Probanden-Posen Gelenkeinbettung als Ausgangsbasis, so zeigt diese Studie, dass die Gelenkeinbettungen für Objektmotive signifikant niedriger sind. Dies deutet darauf hin, dass während der 15-minütigen Periode der freien sozialen Interaktion in diesem Beispiel die S1-neuronalen Aktivitäten der Probandenmaus primär sowohl ihr Verhalten als auch die laufenden sozialen Interaktionen kodieren. Während diese Analyse als Demonstrationsfall dient, kann derselbe methodische Rahmen leicht auf detailliertere Untersuchungen angewendet werden, z. B. durch den Vergleich von Einbettungsstrukturen über verschiedene zeitliche Epochen hinweg, um dynamische Verschiebungen in der neuronalen Kodierung aufzudecken.

figure-results-1
Abbildung 1: Verfahren zur Erhebung neuroethologischer Daten. (A) Die Integration von Geräten. (B) Der Betrieb der Datenaufzeichnung. (C) Extraktion neuronaler Signale, 2D-Posenschätzung und 3D-Rekonstruktion der Körperbahn nach der Aufnahme. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-results-2
Abbildung 2: Vorverarbeitete Daten von Maus 1 für die weitere Analyse. (A) Neuronale Aktivitäten. (B) Posen des Subjekts. (C) Objektposen. (D) Körperabstand. (E) Verhaltensmotive. Von oben nach unten sind Subjekt-, Objekt- und Sozialverhaltensmotive zu sehen. (F) Die Korrelationskoeffizientenmatrizen zwischen neuronaler Aktivität und Posen. Links: die Korrelationskoeffizienten zwischen neuronaler Aktivität und Probandenposen. Mitte: die Korrelationskoeffizienten zwischen neuronaler Aktivität und Objektposen. Rechts: die Korrelationskoeffizienten zwischen neuronaler Aktivität und Körperentfernung. Die Korrelationskoeffizienten gelten für jede Neuronenspur und jede Posendimension. (G) Die Verteilungen der Korrelationskoeffizienten von F. Die Neuronenindizes sind nach den Korrelationskoeffizienten zwischen neuronaler Aktivität und Probandenposen sortiert. Abkürzungen: N & S = neuronale Aktivität und Subjektposen, N & O = neuronale Aktivität und Objektposen, N & B = neuronale Aktivität und Körperabstände, CC = Korrelationskoeffizienten. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-results-3
Abbildung 3: Vorverarbeitete Daten von Maus 2 für die weitere Analyse. (A) Neuronale Aktivitäten. (B) Posen des Subjekts. (C) Objektposen. (D) Körperabstand. (E) Verhaltensmotive. Von oben nach unten sind Subjekt-, Objekt- und Sozialverhaltensmotive zu sehen. (F) Die Korrelationskoeffizientenmatrizen zwischen neuronaler Aktivität und Posen. Links: die Korrelationskoeffizienten zwischen neuronaler Aktivität und Probandenposen. Mitte: die Korrelationskoeffizienten zwischen neuronaler Aktivität und Objektposen. Rechts: die Korrelationskoeffizienten zwischen neuronaler Aktivität und Körperentfernung. Die Korrelationskoeffizienten gelten für jede Neuronenspur und jede Posendimension. (G) Die Verteilungen der Korrelationskoeffizienten von F. Die Neuronenindizes sind nach den Korrelationskoeffizienten zwischen neuronaler Aktivität und Probandenposen sortiert. Abkürzungen: N & S = neuronale Aktivität und Subjektposen, N & O = neuronale Aktivität und Objektposen, N & B = neuronale Aktivität und Körperabstände, CC = Korrelationskoeffizienten. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-results-4
Abbildung 4: Vorverarbeitete Daten von Maus 3 für die weitere Analyse. (A) Neuronale Aktivitäten. (B) Posen des Subjekts. (C) Objektposen. (D) Körperabstand. (E) Verhaltensmotive. Von oben nach unten sind Subjekt-, Objekt- und Sozialverhaltensmotive zu sehen. (F) Die Korrelationskoeffizientenmatrizen zwischen neuronaler Aktivität und Posen. Links: die Korrelationskoeffizienten zwischen neuronaler Aktivität und Probandenposen. Mitte: die Korrelationskoeffizienten zwischen neuronaler Aktivität und Objektposen. Rechts: die Korrelationskoeffizienten zwischen neuronaler Aktivität und Körperentfernung. Die Korrelationskoeffizienten gelten für jede Neuronenspur und jede Posendimension. (G) Die Verteilungen der Korrelationskoeffizienten von F. Die Neuronenindizes sind nach den Korrelationskoeffizienten zwischen neuronaler Aktivität und Probandenposen sortiert. Abkürzungen: N & S = neuronale Aktivität und Subjektposen, N & O = neuronale Aktivität und Objektposen, N & B = neuronale Aktivität und Körperabstände, CC = Korrelationskoeffizienten. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-results-5
Abbildung 5: Analyse der CEBRA-Einbettungen neuroethologischer Daten. (A) CEBRA-Einbettungen. Von links nach rechts sind die gemeinsame Einbettung von S1 neuronaler Aktivität und Subjektposen, die gemeinsame Einbettung von S1 neuronaler Aktivität und Objektposen, die gemeinsame Einbettung von S1 neuronaler Aktivität und Körperabständen zwischen zwei Tieren, die gemeinsame Einbettung von S1 neuronaler Aktivität und Subjektverhaltensmotiven, die gemeinsame Einbettung von S1 neuronaler Aktivität und Objektverhaltensmotiven, die gemeinsame Einbettung von S1-Motiven für neuronale Aktivität und Sozialverhalten und die neuronale Einbettung von S1. (B) Die Prokrustes-Analyse richtet die obigen Einbettungen aus. Die grauen Kreise stellen das Mauspaar 1 dar und dienen als Referenzeinbettung. Die grünen Pluszeichen stehen für Mauspaar 2 und die orangefarbenen Kreuze für Mauspaar 3, die beide an Mauspaar 1 ausgerichtet sind. (C) Der mittlere quadratische Fehler (RMSE) vor (links) und nach (rechts) Prokrustes-Ausrichtung (gepaarter t-Test, n=3, mittlerer ± SEM). (D) Der RMSE der Posenrekonstruktion aus CEBRA-Einbettungen (unidirektionale ANOVA, gefolgt von Tukeys Mehrfachvergleichstest, n=3, Mittelwert ± SEM). (E) Die Genauigkeit der Motivrekonstruktion aus CEBRA-Einbettungen (unidirektionale ANOVA, gefolgt von Tukeys Mehrfachvergleichstest, n=3, Mittelwert ± REM). (F) Die Kosinusähnlichkeiten zwischen Gelenkeinbettungen und neuronaler Einbettung von S1 (unidirektionale ANOVA, gefolgt von Dunnetts Mehrfachvergleichstest, n=45, Mittelwert ± SEM). *p < 0,05, **p < 0,01, ***p < 0,001. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Nein.Beobachtetes ProblemMögliche UrsacheMögliche Lösungen
1Keine Verhaltens-Zeitstempel(1) Defekte SMA- oder BNC-Kabel(1) SMA- und BNC-Kabel austauschen
(2) Fehlender USB-zu-TTL-Treiber(2) Installieren Sie den Prolific PL2303 USB-Treiber.
(3) Falsche Auswahl des COM-Ports(3) Überprüfen Sie die COM-Portnummer im Geräte-Manager und aktualisieren Sie sie sowohl in der mTPM-Software als auch im Verhaltenskamera-Skript.
2Keine sichtbare Fluoreszenz bei der mTPM-Montage(1) Fehlende virale Expression(1) Verwenden Sie eine andere Maus
(2) Falsches Sichtfeld(2) Stellen Sie das Sichtfeld neu ein
(3) Unzureichende Laserleistung(3) Erhöhen Sie allmählich die Laserleistung
(4) Getrocknetes Carbomer-Gel(4) Tragen Sie frisches Carbomer-Gel erneut auf
3Die mTPM-Bildgebung zeigt einen komplett weißen Bildschirm(1) Lichtverlust(1) Wickeln Sie die Aluminiumfolie wieder ein, um sie richtig abzuschirmen
(2) Unzureichende Laserleistung(2) Erhöhen Sie allmählich die Laserleistung
(3) Vom mTPM-Kopf gelöste Faser(3) Setzen Sie die Faser wieder in das mTPM ein und ziehen Sie die Befestigungsschraube fest
4Ausgelassene Frames in verhaltensbasierten Videos(1) Schwache Umgebungsbeleuchtung(1) Erhöhen Sie die Hintergrundbeleuchtung
(2) Falscher USB-Anschluss(2) Verwenden Sie mindestens USB 3.0-Anschlüsse
(3) Unzureichende Computerleistung(3) Verwenden Sie ein Gerät mit Intel i7-9700K oder höher, Dual-Channel-RAM und SSD-Speicher.
5Keine Fortbewegung bei mTPM-gemounteten Mäusen(1) Wiederholte Verwendung derselben Maus(1) Vermeiden Sie die Wiederverwendung von Mäusen innerhalb von 3 Tagen
(2) Übermäßiger Gebrauch von Aluminiumfolie(2) Verwenden Sie nur minimale Folie, die für die Lichtabschirmung erforderlich ist
(3) Unzureichende Anzahl oder unzureichendes Volumen von Heliumballons(3) Passen Sie die Anzahl und das Aufblasen der Ballons an, um die mTPM-Faser zu stützen und gleichzeitig eine natürliche Haltung und Bewegung der Mäuse zu ermöglichen.
6Ungenaue Schätzung der 2D-Pose(1) Unzureichende Anzahl manuell beschrifteter Rahmen(1) Kommentieren Sie mindestens 200 Frames inkrementell
(2) Untertrainiertes ADPT-Modell(2) Erhöhen Sie die Trainingsepochen in der Datei config.yaml von ADPT
7Rekonstruktion abnormaler 3D-Posen(1) Unsachgemäße Kamerakalibrierung(1) Verbessern Sie den Kalibrierungskontrast und den Neigungswinkel
(2) Ungenaue Eingabe der 2D-Pose(2) Erhöhen Sie die Anzahl der erfassten Schachbrettrahmen
(3) Beheben Sie zuerst die Probleme mit der 2D-Pose (siehe Aufgabe 6)
8Fehlausrichtung zwischen neuronalen und verhaltensbezogenen Daten(1) Falsche Reihenfolge der Software-Initialisierung(1) Starten Sie die mTPM-Aufnahme immer vor der Verhaltenskamera
(2) Verworfene Verhaltensframes(2) Beheben Sie Probleme mit Frame-Drop-Problemen (siehe Problem 4)
(3) Stellen Sie sicher, dass ausreichend Speicherplatz verfügbar ist.
9Speicherüberlauf während der BeA/SBeA-Verarbeitung(1) Übermäßige Aufzeichnungsdauer(1) Teilen Sie die Aufnahmen in kürzere Segmente (5–60 Minuten) auf und führen Sie dann BeA/SBeA aus
(2) Begrenzter System-RAM(2) Erhöhung des zeitlichen Reduktionsfaktors (z. B. von 5 auf 10) in BeA
(3) Rüsten Sie den Arbeitsspeicher auf mindestens 64 GB auf
10CEBRA kann auf der GPU nicht ausgeführt werden(1) Nichtübereinstimmung zwischen CUDA und GPU-Treiber(1) Folgen Sie nicht direkt dem Tutorial zur Installation von CUDA 11.3
(2) Inkompatible PyTorch-Version(2) Überprüfen Sie Ihr GPU-Modell und Ihre Treiberversion (nvidia-smi)
(3) Installieren Sie entsprechend die korrekten CUDA- und PyTorch-Versionen und installieren Sie dann CEBRA über pip

Tabelle 1: Liste der Fehlerbehebung. Im Folgenden finden Sie eine Liste von 10 zuvor aufgetretenen nicht-trivialen Problemen und möglichen Lösungen.

Discussion

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dieses neuroethologische Aufzeichnungs- und Dekodierungs-Framework baut auf kommerziell erhältlichen Geräten auf und stellt sicher, dass die meisten Probleme bei der Fehlerbehebung von den jeweiligen Unternehmen gelöst werden können. Trotzdem enthält diese Studie eine Liste häufig auftretender Probleme, um die Referenz zu erleichtern und die Fehlerbehebung zu optimieren (Tabelle 1). Diese Zugänglichkeit macht das Framework für Neueinsteiger benutzerfreundlicher. Darüber hinaus ist das Framework hochflexibel, da die Synchronisierung zwischen neuronalen und verhaltensbezogenen Aufzeichnungen auf Standard-TTL-Signalen beruht. Dadurch ist es einfach, bei Bedarf weitere physiologische Aufzeichnungsgeräte in den Rahmen zu integrieren. Die nachfolgenden Analyseverfahren sind ebenfalls allgemein genug, um vollständig angepasste neuronale und verhaltensbezogene Aufzeichnungssysteme zu unterstützen.

Die mit diesem Framework, das auf kommerzialisierten Geräten basiert, verbundenen Kosten sind relativ hoch (~500.000 USD), was eine zusätzliche finanzielle Belastung für das Labor darstellt. Während neuere Open-Source-Tools wie MINI2P13 und Anipose37 dazu beitragen können, die Materialkosten zu senken, deutet diese Erfahrung darauf hin, dass die Gesamtkosten ähnlich bleiben werden, wenn die Personalkosten für das Debugging berücksichtigt werden. Eine weitere Einschränkung dieses Frameworks liegt in der Interpretierbarkeit von CEBRA-Einbettungen. Als Methode, die auf künstlichen neuronalen Netzen basiert, ist sie von Natur aus schwierig zu interpretieren. Während dieses Beispiel einen einfachen Ansatz zur Erklärung der Einbettungen bietet, müssen weitere Methoden von Fall zu Fall für verschiedene Projekte entwickelt werden. Eine mögliche Lösung für die weitere Interpretation von CEBRA-Einbettungen ist die Anwendung dynamischer Systeme38. Darüber hinaus kann das natürliche Verhalten in verschiedene Phasen unterteilt werden, z. B. Interaktionen, wenn die beiden Mäuse entweder entfernt oder nahe beieinander sind. Unterschiedliche wissenschaftliche Fragestellungen können die Entwicklung von maßgeschneiderten Datenanalyse-Workflows erfordern.

Während das aktuelle mTPM + 3D-Kamerasystem auf offenem Feld eingesetzt wird, ist seine Anwendung nicht auf diesen spezifischen Verhaltenskontext beschränkt. Die Haupteinschränkungen ergeben sich aus der physischen Anbindung des Bildgebungssystems, die das Ausmaß der Mobilität der Tiere einschränkt, und dem Sichtfeld der 3D-Kamera, das das verfolgbare Volumen einschränkt. Diese Faktoren können in zukünftigen Iterationen durch die Einbeziehung von drahtlosen Bildgebungsmodulen39 oder Fallenkamera-Arrays40 angegangen werden, um komplexere und naturalistischere Verhaltensparadigmen zu ermöglichen. Bemerkenswert ist, dass sowohl das mTPM-System als auch das 3D-Kamera-Setup in der Lage sind, eine kontinuierliche 24-Stunden-Datenerfassungdurchzuführen 10,41, wodurch sich die gesamte Pipeline gut für Langzeit-Verhaltens- und neuronale Aufzeichnungsstudien eignet.

Diese Studie verfolgt einen vollständig datengetriebenen Ansatz, um die neuronale Kodierung von spontanem Verhalten zu untersuchen, und verzichtet daher bewusst darauf, geclusterten Verhaltensmotiven vordefinierte semantische Bezeichnungen zuzuweisen. Diese Entscheidung basiert auf dem Ziel, die Generalisierbarkeit des neuronalen Verhaltensmapping-Frameworks zu erhalten, so dass es unabhängig von den von den Experimentatoren auferlegten Verhaltenskategorien arbeiten kann. Leser, die sich für die biologische Interpretierbarkeit und überwachte Klassifikation von Verhaltensmotiven interessieren, können sich auf frühere Arbeiten 1,10 sowie auf eine aktuelle Studie42 beziehen, in der unüberwachtes Motiv-Clustering systematisch mit manuell markierten Verhaltensweisen verglichen wurde, wobei das gleiche zugrundeliegende Verhaltensatlas-Framework verwendet wurde. Diese Studien bieten auch umfangreiche Visualisierungen, einschließlich 3D-Posensequenzen, Trajektorien und Einbettungen auf Motivebene, die über öffentliche Repositories verfügbar sind. Zusammen bieten diese Ressourcen komplementäre Einblicke in die semantische Struktur des Verhaltens und unterstützen gleichzeitig den flexiblen, generalisierbaren neuronalen Dekodierungsansatz, der hier verfolgt wird.

Diese Datenverarbeitungspipeline wurde unter Berücksichtigung von Modularität und Flexibilität entwickelt und ermöglicht eine Anpassung an verschiedene experimentelle Umgebungen und Benutzerpräferenzen. Jede Hauptkomponente der Pipeline, die von der 3D-Posenschätzung über das unüberwachte Clustering von Verhaltensmotiven, die Vorverarbeitung neuronaler Signale bis hin zur gemeinsamen neuroethologischen Einbettung reicht, wird als unabhängiges Modul mit klar definierten Ein- und Ausgabeschnittstellen implementiert. Diese Architektur ermöglicht es den Benutzern, alternative Werkzeuge oder Algorithmen in jeder Phase zu ersetzen (z. B. verschiedene Posenschätzungs-Frameworks 6,22, Verhaltens-Clustering-Algorithmen43,44 oder neuronale Decoder45,46), ohne den gesamten Arbeitsablauf zu unterbrechen. Obwohl diese Komponenten so konzipiert sind, dass sie interoperabel sind, wurden in dieser Studie nicht alle möglichen Kombinationen alternativer Methoden erschöpfend getestet, und die Benutzer müssen möglicherweise zusätzliche Optimierungen vornehmen, um die Kompatibilität in ihren spezifischen Anwendungen sicherzustellen. Eine solche Modularität erleichtert sowohl die Reproduzierbarkeit als auch die Erweiterbarkeit und ermöglicht es, das Framework auf Spezies, Aufzeichnungsmodalitäten oder Verhaltensparadigmen zuzuschneiden, die über die hier gezeigten hinausgehen. Um eine breitere Nutzung in der Community zu unterstützen, bietet diese Studie einen schematischen Überblick und eine Übersichtstabelle (Abbildung 1, Materialtabelle).

Die Parametereinstellungen, die für SBeA und CEBRA in dieser Pipeline verwendet werden, basieren auf einer Kombination aus Standardwerten und empirischem Tuning, die spezifisch für diesen experimentellen Kontext sind, wobei sich Mäuse unter natürlicher sozialer Interaktion frei bewegen. Diese Parameter wurden validiert, um alle in dieser Studie vorgestellten Ergebnisse zu reproduzieren, ohne dass weitere Anpassungen erforderlich sind. Während Benutzer möglicherweise bestimmte Parameter fein abstimmen möchten, um unterschiedliche Aufzeichnungskonfigurationen oder Verhaltensaufgaben zu berücksichtigen, sind solche Änderungen für die Replikation dieser Pipeline nicht erforderlich. Für Benutzer, die in anderen Kontexten arbeiten, wird empfohlen, die Originaldokumentation und Literatur für SBeA und CEBRA zu konsultieren, wo Parameterbereiche und aufgabenspezifische Anleitungen bereitgestellt werden. Diese Implementierung dient als robuste Referenzkonfiguration, die direkt angewendet oder bei Bedarf angepasst werden kann.

Die wichtigste Weiterentwicklung dieses Rahmens liegt in seiner Anwendung auf frei bewegliche Tiere. Bisherige Studien mit kopffixierten Tieren können in diesem Rahmen an die frei beweglichen Bedingungen angepasst werden. Zum Beispiel können Aufgaben wie die Go/No-Go-Aufgabe47 und die zweialternative erzwungene Wahl48 modifiziert und in diesen Rahmen integriert werden, basierend auf natürlichen Verhaltensparadigmen. Dieser Ansatz eliminiert Artefakte, die durch Kopfeinschränkung verursacht werden, und ermöglicht die Untersuchung der Beziehung zwischen Aufgabe und natürlichen Verhaltenszuständen. Dieser Rahmen gibt den Tieren mehr Autonomie bei der Entscheidungsfindung. Es unterstützt auch die Erforschung des Rückenmarks in naturalistischen Kontexten, indem es die mTPM-Methode zur Erfassung des Rückenmarkskombiniert 49. Darüber hinaus erleichtert es die Untersuchung des Verhaltens freier Gruppen, ein Phänomen, das in Head-Fixed-Setups nicht möglich ist. Der Datenanalyse-Workflow ermöglicht die Interpretation der Aktivität neuronaler Populationen über mehrere Variablen hinweg, wobei Einbettungen verwendet werden, um die Komplexität der Gehirnfunktion hinter neuronalen Populationen zu entschlüsseln.

Disclosures

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Autoren erklären, dass sie keine Interessenkonflikte haben.

Acknowledgements

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Diese Arbeit wurde unterstützt durch das Strategic Priority Research Program der Chinesischen Akademie der Wissenschaften (Grant No. XDB1010101 an P.W.), STI2030-Major Projects (Förderkennzeichen 2021ZD0203900 an P.W.), National Natural Science Foundation of China (Zuschuss Nr. 32222036 an P.W.), National Natural Science Foundation of China (Zuschuss Nr. T2394530 an P.W.) und Shenzhen Science and Technology Program (Zuschuss-Nr. KJZD20230923115114028 an P.W.). Die Autoren danken auch dem Nanjing Brain Observatory (NBO) und dem PKU-Nanjing Joint Institute of Translational Medicine (Nanjing 211800, China) für ihre Unterstützung und Hilfe beim Einsatz des Zwei-Photonen-Mikroskops.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
3D-VerhaltensaufzeichnungssystemBayONE ScientificBA-3D-MausIntegriertes Synchronisationsmodul
LuftballonAliExpressURL: https://tinyurl.com/3uex669sJeder Ballon, der leicht genug ist, um zu fliegen, wenn er mit Helioum gefüllt ist. Bei den Ballons handelt es sich um kugelförmige Folienballons mit einem Durchmesser von ca. 45 cm und selbstdichtenden Ventilen. Die URL enthält ein Beispiel für die Sprechblasen. 
Carbomer AugengelVidisicGleitgel für die Augen auf Carbomer 980-Basis10g
Baumwoll-BindfadenAliExpressURL: https://tinyurl.com/ywu7u754Dick und leicht, 1-2 mm Durchmesser. Die URL enthält ein Beispiel für das Baumwollgarn.
Schädel-BohrerRWD780010,8-, 1,4- und 2,1-mm-Bohrer
Benutzerdefiniertes Kameramodul konfigurierbarIntelRealSense D435/
Hochleistungs-Acryl-StrukturklebstoffHUITIAN1320490 ml
Maus für die BildgebungTRANSZENDIEREN VIVOSKOPURL: https://en.tv-scope.com/Die männliche Maus mit C57BL/6J-Hintergrund (10 Wochen alt) wurde in 1 Maus pro Käfig unter einem 12& thinsp; h Hell-Dunkel-Zyklus bei 22– 25&dünnsp; ° C mit 40%– 70% Luftfeuchtigkeit und durfte nach Belieben auf Wasser und Nahrung zugreifen. AAV9-CaMKII-GCaMP6s-Viren wurden in ihren primären somatosensorischen Kortex (AP, − 0,60 mm; ML, − 2,40 mm; DV, 2,00 mm). In unserer Studie wurden die Mäuse mit TRANSCEND VIVOSCOPE im Rahmen ihres professionellen Tierpräparationsdienstes präpariert. Dieser Service umfasst die Virusinjektion, die Implantation von Schädelfenstern und die Installation einer Basisplatte, die speziell auf das Miniatur-Zwei-Photonen-Mikroskopiesystem zugeschnitten ist.
Maus für InteraktionBayONE LACURL: https://lac.bayonesci.com/Die männlichen Mäuse mit C57BL/6J-Hintergrund (10 Wochen alt) wurden in 5 Mäusen pro Käfig unter einem 12  h Hell-Dunkel-Zyklus bei 22– 25&dünnsp; ° C mit 40– 70% Luftfeuchtigkeit und durften nach Belieben auf Wasser und Nahrung zugreifen. Alle Haltungs- und Versuchsverfahren wurden vom Animal Care and Use Committee des Shenzhen Institute of Advanced Technology der Chinesischen Akademie der Wissenschaften genehmigt.
mTPM neuronales AufzeichnungssystemTRANSZENDIEREN VIVOSKOPSUPERNOVA-600Das SUPERNOVA-600 ist ein voll integriertes Miniatur-Zwei-Photonen-Bildgebungssystem für sich frei bewegende Nagetiere, einschließlich aller wesentlichen optischen und Aufzeichnungskomponenten, jedoch ohne externe Stimulationsgeräte. Es sollte das integrierte Synchronisationsmodul enthalten. 

References

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Multi-animal 3d social pose estimation, identification and behaviour embedding with a few-shot learning framework. Nat Machine Intellig. 6 (1), 48-61 (2024).">Han, Y., et al. Multi-animal 3d social pose estimation, identification and behaviour embedding with a few-shot learning framework. Nat Machine Intellig. 6 (1), 48-61 (2024).
  2. Miniature two-photon microscopy for enlarged field-of-view, multi-plane and long-term brain imaging. Nat Methods. 18 (1), 46-49 (2021).">Zong, W., et al. Miniature two-photon microscopy for enlarged field-of-view, multi-plane and long-term brain imaging. Nat Methods. 18 (1), 46-49 (2021).
  3. Learnable latent embeddings for joint behavioural and neural analysis. Nature. 617 (7960), 360-368 (2023).">Schneider, S., Lee, J. H., Mathis, M. W. Learnable latent embeddings for joint behavioural and neural analysis. Nature. 617 (7960), 360-368 (2023).
  4. Neuroethology of natural actions in freely moving monkeys. Science. 387 (6730), 214-220 (2025).">Lanzarini, F., et al. Neuroethology of natural actions in freely moving monkeys. Science. 387 (6730), 214-220 (2025).
  5. Neural signatures of natural behaviour in socializing macaques. Nature. 628 (8007), 381-390 (2024).">Testard, C., et al. Neural signatures of natural behaviour in socializing macaques. Nature. 628 (8007), 381-390 (2024).
  6. Deeplabcut: Markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).">Mathis, A., et al. Deeplabcut: Markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
  7. Anti-drift pose tracker (adpt), a transformer-based network for robust animal pose estimation cross-species. Elife. 13, RP95709(2025).">Tang, G., et al. Anti-drift pose tracker (adpt), a transformer-based network for robust animal pose estimation cross-species. Elife. 13, RP95709(2025).
  8. A review of 28 free animal-tracking software applications: Current features and limitations. Lab Anim (NY). 50 (9), 246-254 (2021).">Panadeiro, V., Rodriguez, A., Henry, J., Wlodkowic, D., Andersson, M. A review of 28 free animal-tracking software applications: Current features and limitations. Lab Anim (NY). 50 (9), 246-254 (2021).
  9. Automated home-cage behavioural phenotyping of mice. Nat Commun. 1, 68(2010).">Jhuang, H., et al. Automated home-cage behavioural phenotyping of mice. Nat Commun. 1, 68(2010).
  10. A hierarchical 3d-motion learning framework for animal spontaneous behavior mapping. Nat Commun. 12 (1), 2784(2021).">Huang, K., et al. A hierarchical 3d-motion learning framework for animal spontaneous behavior mapping. Nat Commun. 12 (1), 2784(2021).
  11. Chronically implanted neuropixels probes enable high-yield recordings in freely moving mice. Elife. 8, e47188(2019).">Juavinett, A. L., Bekheet, G., Churchland, A. K. Chronically implanted neuropixels probes enable high-yield recordings in freely moving mice. Elife. 8, e47188(2019).
  12. Miniature fluorescence microscopy for imaging brain activity in freely-behaving animals. Neurosci Bull. 36 (10), 1182-1190 (2020).">Chen, S., et al. Miniature fluorescence microscopy for imaging brain activity in freely-behaving animals. Neurosci Bull. 36 (10), 1182-1190 (2020).
  13. Large-scale two-photon calcium imaging in freely moving mice. Cell. 185 (7), 1240-1256.e30 (2022).">Zong, W., et al. Large-scale two-photon calcium imaging in freely moving mice. Cell. 185 (7), 1240-1256.e30 (2022).
  14. Fast high-resolution miniature two-photon microscopy for brain imaging in freely behaving mice. Nat Methods. 14 (7), 713-719 (2017).">Zong, W., et al. Fast high-resolution miniature two-photon microscopy for brain imaging in freely behaving mice. Nat Methods. 14 (7), 713-719 (2017).
  15. Mousevenue3d: A markerless three-dimension behavioral tracking system for matching two-photon brain imaging in free-moving mice. Neurosci Bull. 38 (3), 303-317 (2022).">Han, Y., et al. Mousevenue3d: A markerless three-dimension behavioral tracking system for matching two-photon brain imaging in free-moving mice. Neurosci Bull. 38 (3), 303-317 (2022).
  16. Interpreting neural computations by examining intrinsic and embedding dimensionality of neural activity. Curr Opin Neurobiol. 70, 113-120 (2021).">Jazayeri, M., Ostojic, S. Interpreting neural computations by examining intrinsic and embedding dimensionality of neural activity. Curr Opin Neurobiol. 70, 113-120 (2021).
  17. Neural population dynamics during reaching. Nature. 487 (7405), 51-56 (2012).">Churchland, M. M., et al. Neural population dynamics during reaching. Nature. 487 (7405), 51-56 (2012).
  18. Visualizing data using t-sne. J Machine Learning Res. 9, 2579-2605 (2008).">Van Der Maaten, L., Hinton, G. Visualizing data using t-sne. J Machine Learning Res. 9, 2579-2605 (2008).
  19. Umap: Uniform manifold approximation and projection for dimension reduction. arXiv. , (2018).">Mcinnes, L., Healy, J., Melville, J. Umap: Uniform manifold approximation and projection for dimension reduction. arXiv. , (2018).
  20. Mapping the landscape of social behavior. Cell. 188 (8), 2249-2266.e23 (2025).">Klibaite, U., et al. Mapping the landscape of social behavior. Cell. 188 (8), 2249-2266.e23 (2025).
  21. Zhou, D., Wei, X. 34th Conference on Neural Information Processing Systems (NeurIPS), , (2020).
  22. Sleap: A deep learning system for multi-animal pose tracking. Nat Methods. 19 (4), 486-495 (2022).">Pereira, T. D., et al. Sleap: A deep learning system for multi-animal pose tracking. Nat Methods. 19 (4), 486-495 (2022).
  23. Big behavior: Challenges and opportunities in a new era of deep behavior profiling. Neuropsychopharmacology. 46 (1), 33-44 (2021).">Von Ziegler, L., Sturman, O., Bohacek, J. Big behavior: Challenges and opportunities in a new era of deep behavior profiling. Neuropsychopharmacology. 46 (1), 33-44 (2021).
  24. Quantifying behavior to understand the brain. Nat Neurosci. 23 (12), 1537-1549 (2020).">Pereira, T. D., Shaevitz, J. W., Murthy, M. Quantifying behavior to understand the brain. Nat Neurosci. 23 (12), 1537-1549 (2020).
  25. The mouse action recognition system (mars) software pipeline for automated analysis of social behaviors in mice. Elife. 10, e63720(2021).">Segalin, C., et al. The mouse action recognition system (mars) software pipeline for automated analysis of social behaviors in mice. Elife. 10, e63720(2021).
  26. Supervised and unsupervised learning technology in the study of rodent behavior. Front Behav Neurosci. 11, 141(2017).">Gris, K. V., Coutu, J. P., Gris, D. Supervised and unsupervised learning technology in the study of rodent behavior. Front Behav Neurosci. 11, 141(2017).
  27. Objective and comprehensive re-evaluation of anxiety-like behaviors in mice using the behavior atlas. Biochem Biophys Res Commun. 559, 1-7 (2021).">Liu, N., et al. Objective and comprehensive re-evaluation of anxiety-like behaviors in mice using the behavior atlas. Biochem Biophys Res Commun. 559, 1-7 (2021).
  28. Simultaneous two-photon imaging of action potentials and subthreshold inputs in vivo. Nat Commun. 12 (1), 7229(2021).">Bando, Y., Wenzel, M., Yuste, R. Simultaneous two-photon imaging of action potentials and subthreshold inputs in vivo. Nat Commun. 12 (1), 7229(2021).
  29. A flexible new technique for camera calibration. IEEE Transactions on pattern analysis and machine intelligence. 22 (11), 1330-1334 (2002).">Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on pattern analysis and machine intelligence. 22 (11), 1330-1334 (2002).
  30. Suite2p: Beyond 10,000 neurons with standard two-photon microscopy. bioRxiv. , (2017).">Pachitariu, M., et al. Suite2p: Beyond 10,000 neurons with standard two-photon microscopy. bioRxiv. , (2017).
  31. Han, Y., Huang, K., Chen, K., Wang, L., Wei, P. IEEE 11th Annual International Conference on CYBER Technology in Automation, Control, and Intelligent Systems (CYBER), , 306-310 (2021).
  32. 3d reconstruction toolbox for behavior tracked with multiple cameras. J Open Source Soft. 5 (45), 1849(2020).">Sheshadri, S., Dann, B., Hueser, T., Scherberger, H. 3d reconstruction toolbox for behavior tracked with multiple cameras. J Open Source Soft. 5 (45), 1849(2020).
  33. S-ketamine exposure in early postnatal period induces social deficit mediated by excessive microglial synaptic pruning. Mol Psychiatry. 30 (8), 3615-3631 (2025).">Zhong, H., et al. S-ketamine exposure in early postnatal period induces social deficit mediated by excessive microglial synaptic pruning. Mol Psychiatry. 30 (8), 3615-3631 (2025).
  34. Computational neuroethology: A call to action. Neuron. 104 (1), 11-24 (2019).">Datta, S. R., Anderson, D. J., Branson, K., Perona, P., Leifer, A. Computational neuroethology: A call to action. Neuron. 104 (1), 11-24 (2019).
  35. A generalized solution of the orthogonal procrustes problem. Psychometrika. 31 (1), 1-10 (1966).">Schönemann, P. H. A generalized solution of the orthogonal procrustes problem. Psychometrika. 31 (1), 1-10 (1966).
  36. Map plasticity in somatosensory cortex. Science. 310 (5749), 810-815 (2005).">Feldman, D. E., Brecht, M. Map plasticity in somatosensory cortex. Science. 310 (5749), 810-815 (2005).
  37. Anipose: A toolkit for robust markerless 3d pose estimation. Cell Rep. 36 (13), 109730(2021).">Karashchuk, P., et al. Anipose: A toolkit for robust markerless 3d pose estimation. Cell Rep. 36 (13), 109730(2021).
  38. Self-supervised contrastive learning performs non-linear system identification. arXiv. , (2024).">Laiz, R. G., Schmidt, T., Schneider, S. Self-supervised contrastive learning performs non-linear system identification. arXiv. , (2024).
  39. An open source, wireless capable miniature microscope system. J Neural Eng. 14 (4), 045001(2017).">Liberti, W. A., Perkins, L. N., Leman, D. P., Gardner, T. J. An open source, wireless capable miniature microscope system. J Neural Eng. 14 (4), 045001(2017).
  40. Perspectives in machine learning for wildlife conservation. Nat Commun. 13 (1), 792(2022).">Tuia, D., et al. Perspectives in machine learning for wildlife conservation. Nat Commun. 13 (1), 792(2022).
  41. 24-hour simultaneous MPFC's miniature 2-photon imaging, EEG-EMG, and video recording during natural behaviors. Sci Data. 12 (1), 1226(2025).">Han, J., et al. 24-hour simultaneous MPFC's miniature 2-photon imaging, EEG-EMG, and video recording during natural behaviors. Sci Data. 12 (1), 1226(2025).
  42. Hierarchical behavioral analysis framework as a platform for standardized quantitative identification of behaviors. Cell Rep. 44 (2), 115239(2025).">Ye, J., et al. Hierarchical behavioral analysis framework as a platform for standardized quantitative identification of behaviors. Cell Rep. 44 (2), 115239(2025).
  43. Keypoint-moseq: Parsing behavior by linking point tracking to pose dynamics. Nat Methods. 21 (7), 1329-1339 (2024).">Weinreb, C., et al. Keypoint-moseq: Parsing behavior by linking point tracking to pose dynamics. Nat Methods. 21 (7), 1329-1339 (2024).
  44. self-supervised features extraction of animal behaviors. Elife. 11, e76218(2022).">Jia, Y., et al. self-supervised features extraction of animal behaviors. Elife. 11, e76218(2022).
  45. Marble: Interpretable representations of neural population dynamics using geometric deep learning. Nat Methods. 22 (3), 612-620 (2025).">Gosztolai, A., Peach, R. L., Arnaudon, A., Barahona, M., Vandergheynst, P. Marble: Interpretable representations of neural population dynamics using geometric deep learning. Nat Methods. 22 (3), 612-620 (2025).
  46. Rastermap: A discovery method for neural population recordings. Nat Neurosci. 28 (1), 201-212 (2025).">Stringer, C., et al. Rastermap: A discovery method for neural population recordings. Nat Neurosci. 28 (1), 201-212 (2025).
  47. Custom-built operant conditioning setup for calcium imaging and cognitive testing in freely moving mice. eNeuro. 9 (1), (2022).">Vassilev, P., et al. Custom-built operant conditioning setup for calcium imaging and cognitive testing in freely moving mice. eNeuro. 9 (1), (2022).
  48. Basal ganglia output (entopeduncular nucleus) coding of contextual kinematics and reward in the freely moving mouse. Elife. 13, RP98159(2025).">Verma Rodriguez, A. K., Ramírez-Jarquin, J. O., Rossi-Pool, R., Tecuapetla, F. Basal ganglia output (entopeduncular nucleus) coding of contextual kinematics and reward in the freely moving mouse. Elife. 13, RP98159(2025).
  49. Long-term two-photon imaging of spinal cord in freely behaving mice. bioRxiv. , (2022).">Ju, F., et al. Long-term two-photon imaging of spinal cord in freely behaving mice. bioRxiv. , (2022).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Neural Population DynamicsNatural Behavior DecodingTwo Photon MicroscopySocial Behavior AtlasBehavioral Pose EstimationNeural Embedding AlignmentFreely Moving MiceDeep Learning BehaviorDual Mouse TrackingNeural Coding Principles

Related Articles