$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Um das Potenzial dieser Analysepipeline zu demonstrieren, wurden Verhaltensvideos von weiblichen Mäusen mit festem Kopf - insbesondere von Müttern und Jungfrauen - aufgenommen, während den Mäusen während funktioneller Magnetresonanztomographie (fMRT)-Scans auditive Reize präsentiert wurden. Die Reize bestanden aus Welpenrufen und reinen Tönen, die passiv präsentiert wurden, also ohne jegliche angewiesene Verhaltensausgaben. Bei den Jungtierrufen handelte es sich um Aufzeichnungen von Ultraschalllauten, die von 6 Tage alten Mäusewelpen ausgestoßen wurden, die vorübergehend von ihrem Nest isoliert waren. Diese Jungtierrufe lösen in der Regel den mütterlichen Akt des Welpenappierens aus, bei dem die Mutter das Jungtier lokalisiert, sich auf es zubewegt, es untersucht, dann aufhebt und in die Sicherheit des Nestes zurückbringt – ein Verhalten, das jungfräuliche Weibchen normalerweise nicht zeigen11. Frühere Arbeiten haben gezeigt, dass Welpenrufe eine robuste evozierte Aktivität im primären auditorischen Kortex von Müttern, aber nicht von Jungfrauen, hervorrufen, während reine Tonreaktionen keine Gruppenunterschiede zeigen12. Daher wurde die Hypothese aufgestellt, dass Gruppenunterschiede in den Verhaltensreaktionen auf Welpenrufe, nicht aber in reinen Tönen, identifiziert werden könnten. Es gibt jedoch nur wenig Literatur über das spezifische Verhalten weiblicher Mäuse als Reaktion auf Jungtiersignale in einer kopfstarren Umgebung. Daher wurde kein spezifischer Verhaltensoutput erwartet, was dieses Experiment zum perfekten Test für die vorgeschlagenen datengetriebenen Verhaltensanalysen macht.
Im Laufe von acht Tagen wurden alle Tiere allmählich an den Umgang mit dem Versuchsator, die Kopffixierung und die MRT-Umgebung gewöhnt. Die Gewöhnung an die Kopffixierung und die experimentelle Umgebung ist entscheidend für die Beurteilung von Verhaltensreaktionen auf präsentierte Reize. Wenn Tiere nicht richtig an die Umwelt gewöhnt sind, können sie nur Stressreaktionen zeigen und alle reizgesteuerten Effekte austrocknen, die sonst durch Videografie analysiert werden könnten.
Während die Einrichtung des Verhaltensapparates im Allgemeinen bei jeder Datenerfassungssitzung gleich war, ist es möglich, dass sich das Sichtfeld (FOV) der Kamera jedes Mal leicht verschoben hat, wenn ein Tier für fMRT-Scans auf den Kopf gerichtet wurde (siehe Beispiel-FOVs in Abbildung 1A). Dies war wahrscheinlich auf geringfügige Änderungen in der Positionierung der Kamerahalterung sowie auf individuelle Variationen in der Schädelbefestigung zwischen Kopf und Pfosten für jedes Tier zurückzuführen. Daher mussten die Videos aus den Scans über eine lineare Koregistrierung miteinander abgeglichen werden, um einen Vergleich der räumlichen Informationen zu ermöglichen, die sie über die Scans und die Tiere hinweg enthielten. Die Koregistrierung wurde auf die repräsentativen Daten zugeschnitten. An einem Standard-Scan-Tag wurden beispielsweise 3-4 Scans pro Tier aufgenommen, was zu 3-4 Videos pro Tier und Tag führte. Zwischen den einzelnen Scans gab es keine Bewegung der Halterungskomponenten, einschließlich der Kamera- und Kopffixierungskomponenten. Sobald also die Koregistrierungstransformation für ein Video pro Tier und Tag bestimmt war, konnte sie auf die anderen 2-3 Videos dieses Tieres am selben Tag angewendet werden. Während dies im Coregistrierungsschritt dieser Pipeline Zeit sparte, können räumliche Transformationen bei Bedarf auch für jedes Video einzeln berechnet werden. Drei Merkmale, die in jedem Video vorhanden sind, wurden als Punkte für die Beschriftung und Berechnung der räumlichen Transformation ausgewählt. In den gezeigten repräsentativen Daten waren diese drei Punkte die Mitte des Kopfpfostens, die Frontalansicht des rechten Auges des Tieres und die Profilansicht des rechten Auges des Tieres (sichtbar in einem Spiegel, der in einem 45-Grad-Winkel platziert ist). Beispiele für die Video-Koregistrierung sind in Abbildung 1A, B dargestellt und zeigen den durchschnittlichen Frame, der aus allen Videos berechnet wurde, die während dieses Experiments sowohl vor als auch nach der Koregistrierung aufgenommen wurden, um die Wirkung dieses Schritts zu demonstrieren.
Diese Pipeline stützt sich stark auf den optischen Fluss, ein Computer-Vision-Verfahren, das verwendet wird, um die Bewegung von Objekten in einem Video zu schätzen, indem ihre scheinbaren Geschwindigkeiten zwischen aufeinanderfolgenden Bildern13 geschätzt werden. Der optische Fluss wurde gewählt, weil er die Quantifizierung von Bewegung ermöglicht – ein Proxy für Verhaltensreaktionen – ohne vorgegebene Körperteile oder Aktionen, die von Interesse sind. Darüber hinaus war diese Methode für die eingeschränkte Bildqualität der repräsentativen Videos geeignet, die mit der einzigen MR-kompatiblen Kamera aufgenommen wurden, die zum Zeitpunkt des Experiments verfügbar war. In dieser Pipeline wird der Horn-Schunck-Algorithmus zur globalen, dichten optischen Flussschätzung verwendet; Andere Algorithmen, wie z.B. der Lucas-Kanade-Algorithmus, können jedoch mit geringfügigen Änderungen an den bereitgestellten MATLAB-Skripten 14,15,16 problemlos eingesetzt werden. Abbildung 2A zeigt ein Beispiel-Videobild mit relativen Vektoren der optischen Flussgeschwindigkeit, die für jedes Pixel überlagert sind. Beachten Sie, dass die größeren Vektoren in Bereichen erscheinen, in denen man Bewegung erwarten würde, wie z. B. die Schnauze und die Pfoten des Tieres.
Während die Pipeline den optischen Fluss für alle Videos über das gesamte Sichtfeld schätzte, wurden die verbleibenden Analyseschritte in Bezug auf die Rechenlast und den Datenspeicherbedarf durch die Auswahl einer Region of Interest (ROI) innerhalb des Sichtfelds viel einfacher überschaubar gemacht. Der ROI kann je nach Experiment und vorgegebenen Verhaltensweisen von Interesse oder durch einen stärker datengesteuerten Ansatz ausgewählt werden. Da die repräsentativen Daten keine spezifischen Verhaltensergebnisse enthielten, die a priori verfolgt werden konnten, wurde ein datengesteuerter Ansatz verfolgt. Die Standardabweichung der Größe des optischen Flusses wurde für alle Videos an jedem Pixel berechnet, wie in Abbildung 2B dargestellt. Zu den Bereichen mit der höchsten Standardabweichung gehörten die Konturen des Tieres, wie z. B. um das Auge und die Schnauze, die die Gewissheit vermitteln, dass die beobachteten Schwankungen des optischen Flusses durch die Bewegung der Tiere und nicht durch das Rauschen in den Videos gesteuert wurden. Zu den Bereichen mit geringerer Standardabweichung gehörten die Konturen der Halterung, die das Ergebnis kleiner Vibrationen in der Kamera und der Halterung sein könnten, die während des Scannens auftraten. Die MRT-Umgebung ist während der Datenerfassung aufgrund des Schaltens von Gradienten unweigerlich von Vibrationen geprägt, die sich in optischen Flussschwankungen äußern können, die in reflektierenden Komponenten der Halterung beobachtet werden. Glücklicherweise sind diese Schwingungen während der gesamten Datenerfassung konstant, also unabhängig von den Reizbedingungen und es ist nicht zu erwarten, dass sie die Ergebnisse der Verhaltensanalyse beeinflussen. Besonders erhöhte Standardabweichungen des optischen Flusses wurden in den Pixeln des Spiegels beobachtet, die der Profilansicht des Gesichts des Tieres entsprechen und die Auswahl des ROI für die repräsentativen Daten leiteten. Dies war auch eine Region, in der Verhaltensreaktionen wie Quirlen und Schnüffeln als Teil des typischen Verhaltensrepertoires weiblicher Mäuse erwartet werden konnten, die ein isoliertes Jungtier suchten, das Welpenrufe ausstieß17.
Nach der Auswahl eines ROI und der Extraktion der durchschnittlichen frameweisen Größe des optischen Flusses für alle Videos konnte der optische Fluss während der interessierenden Epochen über Gruppen und Bedingungen hinweg verglichen werden. Beachten Sie, dass die ersten 20 Sekunden (s) des optischen Flussvektors jedes Videos zur Helligkeitsstabilisierung maskiert wurden. Dies kann jedoch an experimentelle Bedürfnisse angepasst werden. Für jedes Video wurde der bildweise optische Flussvektor für den gewählten ROI mit Z bewertet, dann wurde er nach früheren Arbeiten zur Klassifizierung von Gesichtsausdrücken bei 5 Hertz (Hz) tiefpassgefiltert, um zu berücksichtigen, dass die 30-Hz-Bildrate der Kamera schneller ist als alle erwarteten Verhaltensschwankungen2. Schließlich wurden die Z-bewerteten und gefilterten Vektoren in Stimuluspräsentationsepochen unterteilt, um den Effekt der Stimuluspräsentation auf den optischen Fluss zu bewerten. Für jede Epoche wurde das mittlere Ausgangssignal vor dem Stimulus subtrahiert, um den optischen Fluss auf die Vor-Stimulus-Periode zu normalisieren. Abbildung 3A zeigt beispielhafte Zeitreihen des optischen Flusses für zwei Videos, eine Mutter und eine Jungfrau, mit zusammenfassenden Gruppendaten in Abbildung 3B-E. Abbildung 3B und Abbildung 3D zeigen den kumulativen optischen Fluss über die Zeit während der Stimuluspräsentation im Vergleich zum Ausgangswert, während Abbildung 3C und Abbildung 3E den kumulativen optischen Fluss 2,5 s nach Stimulusbeginn zusammenfassen. Der kumulative optische Fluss wurde so berechnet, dass er die Gesamtbewegung über die Zeit erfasst, ohne davon auszugehen, dass spontane Verhaltensreaktionen zeitgebunden auftreten würden. Insgesamt zeigen diese repräsentativen Ergebnisse, dass die Rufe der Jungen, aber nicht die reinen Töne, signifikant unterschiedliche Verhaltensreaktionen bei mütterlichen und jungfräulichen weiblichen Mäusen hervorriefen, wie vorhergesagt (Mann-Whitney U-Test zwischen den Gruppen: Jungenrufe: p = 0,026; reine Töne: p = 0,093). Dieser Stimuluseffekt überlebte jedoch eine 2-Wege-ANOVA nicht, während der Gruppeneffekt dies tat (Stimulus: F(1,10) = 0,19, p = 0,67; Gruppe: F(1,10) = 8,61, p = 0,015). Insgesamt deuten diese Ergebnisse darauf hin, dass Mütter im Vergleich zu Jungfrauen eine höhere reizevozierte Bewegung zeigten, wobei die mütterliche Reaktion auf Welpenrufe konsistenter war als auf reine Töne. Dies könnte eine erhöhte Aufmerksamkeit oder Stress bei Müttern widerspiegeln, sowie die Verhaltensrelevanz von Welpenrufen, die im Gegensatz zu reinen Tönen die Reaktion des Welpenappholens bei Müttern in naturalistischen Umgebungen hervorrufen. Zusammengenommen deuten diese repräsentativen Ergebnisse darauf hin, dass die Schätzung des optischen Flusses während der externen Reizpräsentation Informationen über nuancierte, spontane Verhaltensreaktionen extrahieren kann.
Schließlich wurde eine explorativere Analyse durchgeführt, um die räumlichen Eigenschaften des in den repräsentativen Daten erfassten Verhaltens aufzudecken. Um zu untersuchen, welche Pixel im ROI während der Stimuluspräsentation koordiniert schwankten, wurde eine Hauptkomponentenanalyse (PCA) der räumlichen optischen Flussinformationen über die Zeit durchgeführt. Diese Analyse ergab Pixel, die am meisten zum ersten PC beitrugen, sowie Pixel, die Gruppenunterschiede für jede Stimulusbedingung zeigten, wie in Abbildung 4 dargestellt. Die Felder ganz rechts in Abbildung 4A,B deuten darauf hin, dass Mütter im Vergleich zu Jungfrauen während der Präsentation beider Stimulustypen mehr Bewegung in der Nase zeigten. Über die beiden Gruppen und zwei Stimulusbedingungen hinweg erklärte der erste PC 5,41 % ± 0,59 % der Gesamtvarianz in der optischen Flussanalyse. Während der Spiegel-ROI für diesen Teil unserer Analyse beibehalten wurde, könnten zukünftige Analysen auf einen breiteren Teil des FOV ausgeweitet werden, um koordinierte Bewegungen jenseits des Gesichts als Reaktion auf Reize zu charakterisieren. Zum Beispiel kann der Vergleich der Pfotenbewegung signifikantere Gruppenunterschiede aufdecken, da die Rufe der Jungtiere in der Regel bei Müttern, aber nicht bei Jungfrauen das Apportieren der Jungen auslösen und dass sich die Pfoten freier bewegen können als der Kopf des Tieres.
Während die bisherigen repräsentativen Ergebnisse darauf hindeuteten, dass diese Pipeline ungerichtete Verhaltensreaktionen auf äußere Reize in eingeschränkten Videografieumgebungen bewerten kann, blieb die Frage, ob die beobachteten Fluktuationen des optischen Flusses wirklich bedeutungsvolles Verhalten der Tiere widerspiegeln. Um diese Frage zu beantworten, wurde ein separater Validierungsdatensatz mit derselben Pipeline analysiert. In einem separaten Experiment wurden männliche Mäuse mit eingeschränktem Wassermangel so trainiert, dass sie einen Lichtreiz entweder mit der Abgabe einer Wasserbelohnung von 6 μl ("hohe Belohnung") oder 1 μl ("niedrige Belohnung") assoziierten. Bemerkenswert ist, dass dieses Experiment im Gegensatz zum Experiment zur auditiven Stimulation eine a priori Verhaltensanzeige hatte: die Leckrate. Es wurde ein Lickometer über eine videobasierte Erkennung von Lecks etabliert, die durch die Analyse der Pixelhelligkeit in der Nähe des Wasserspeiers erleichtert wurde. Die vom Lickometer gelieferte Verhaltensanzeige könnte daher verwendet werden, um die Verhaltensanzeige dieser Pipeline zu vergleichen, die durch die optische Flussschätzung geliefert wird, was ihre Gültigkeit bei der Erkennung spontaner Verhaltensweisen unterstützt. Nach der Video-Koregistrierung, der Schätzung des optischen Flusses, der ROI-Auswahl (wieder mit dem Spiegel-FOV) und der Quantifizierung des optischen Flusses zeigte der Vergleich der Größe des optischen Flusses einen signifikanten Unterschied zwischen den Verhaltensreaktionen auf hohe und niedrige Belohnungen. Die Ergebnisse dieser Analyse sind in Abbildung 5A,B dargestellt, wobei Abbildung 5A die gemittelte Zeitreihe der Gruppe zeigt und Abbildung 5B den kumulativen optischen Fluss 2,5 s nach Stimulusbeginn zusammenfasst (zwischen den Bedingungen gepaarter Wilcoxon-Vorzeichen-Rang-Test: p = 0,031). Es ist zu beachten, dass die Werte des optischen Flusses im Vergleich zu dem in den repräsentativen Daten aufgezeichneten spontanen Verhalten größer waren, was die Herausforderung der Bewertung unangewiesener, nuancierter Verhaltensreaktionen weiter unterstreicht. Abbildung 5C zeigt die tatsächliche Leckrate, die vom Lickometer für jede der beiden Belohnungsbedingungen aufgezeichnet wird, während Abbildung 5D zeigt, dass innerhalb von 2,5 s nach der Belohnungsabgabe mehr Licks während der Bedingung mit hoher Belohnung im Vergleich zu einer Bedingung mit niedriger Belohnung aufgezeichnet werden (Wilcoxon-Test mit Vorzeichenrang zwischen den Bedingungen: p = 0,031). Insgesamt zeigten beide Analysen einen ähnlichen Trend beim Vergleich von Reaktionen mit hohen und niedrigen Belohnungen, was die vorgestellte Videoanalyse-Pipeline für die Erfassung signifikanter Unterschiede im Verhalten der Tiere unter verschiedenen Bedingungen validiert.
Zusammengenommen deuten die hier gezeigten repräsentativen Ergebnisse darauf hin, dass die Präsentation von Welpenrufen signifikant unterschiedliche Reaktionen bei mütterlichen und jungfräulichen weiblichen Mäusen hervorrief, während dies bei reinen Tönen nicht der Fall war. Die Analyse eines Validierungsdatensatzes gibt die Zuversicht, dass die beobachteten Unterschiede im optischen Fluss signifikante Unterschiede in den Verhaltensreaktionen auf externe Reize widerspiegeln.

Abbildung 1: Video-Koregistrierung. (A) Beispiele für Video-Koregistrierungen, die vorgegebene Merkmale darstellen (Mitte des Kopfpfostens, Frontalansicht des rechten Auges, Profilansicht des rechten Auges), beschriftet in drei Frames, die jeweils aus verschiedenen Videos verschiedener Tiere stammen. Beachten Sie im Overlay, wie die drei Punkte nicht ausgerichtet waren, und zeigen Sie, wie sich das Verhalten zwischen den Datenerfassungssitzungen leicht änderte. (B) Der durchschnittliche Frame über die letzten 10 s jedes Videos vor (links) und nach (rechts) der Video-Coregistrierung. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 2: Schätzung des optischen Flusses. (A) Beispielrahmen mit relativ optischen Flussvektoren, die blau überlagert sind. (B) Die durchschnittliche pixelweise Standardabweichung des optischen Flusses über alle Videos hinweg. Der gewählte ROI um die Profilansicht des Gesichts des Tieres über den Spiegel ist magenta umrandet. Der Farbbalken entspricht der Standardabweichung. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 3: Visualisierung und Vergleich des optischen Flusses über Gruppen und Bedingungen hinweg. (A) Beispielhafte Z-bewertete und 5 Hz tiefpassgefilterte Zeitreihen des optischen Flusses für ein Video einer Mutter und ein Video einer Jungfrau. (B) und (D) Kumulativer optischer Fluss, gemessen während der Stimulusperiode von Welpenrufen (B) und reinen Tönen (D). Die Schattierung stellt den Standardfehler des Mittelwerts (SEM) dar. (C) und (E) Kumulativer optischer Fluss während der ersten 2,5 s der Stimuluspräsentation für Welpenrufe (C) und reine Töne (E). * Zeigt p < 0,05 an, Mann-Whitney-U-Test zwischen den Gruppen (pup-Rufe: p = 0,026; reine Töne: p = 0,093), N = 6 pro Gruppe. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 4: Vergleich von PC1 über Gruppen hinweg. (A,B) Karten, die die Ladungen der ersten Hauptkomponente (PC1) des optischen Flusses während der Pup-Rufe (A) und der reinen Töne (B) über Gruppen hinweg darstellen, statistisch mit einem Schwellenwert von p < 0,05 ohne Korrektur für Mehrfachvergleiche. Die Heatmap gibt an, wie stark die Fluktuation des optischen Flusses jedes Pixels im Verhältnis zu anderen Pixeln zu PC1 beigetragen hat. Kleiner schwarzer Text zeigt den prozentualen Prozentsatz der Varianz an, der durch PC1 erklärt wird (Mütter rufen: 4,95 % ± 0,72 %; jungfräuliche Jungtiere rufen: 4,44 % ± 0,59 %; reine Töne der Mütter: 4,95 % ± 0,39 %; reine Töne von Jungfrauen: 4,72 % ± 1,24 % (mittlere ± Standardabweichung)). Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 5: Validierung der Verhaltensanalyse-Pipeline. (A) Durchschnittlicher Z-Score, subtrahierte Basislinie vor dem Stimulus und 5 Hz tiefpassgefilterte Zeitreihen des optischen Flusses während der Abgabe hoher und niedriger Belohnungen. Die Schattierung stellt das REM dar, die weiße vertikale Linie zeigt die Belohnung an und die roten Sternchen zeigen temporäre optische Flussartefakte aufgrund des Beginns und der Verschiebung des Lichthinweises an. (B) Zusammenfassung des kumulativen optischen Flusses während der ersten 2,5 s nach der Belohnungsabgabe. * Zeigt p < 0,05 an, Wilcoxon-Test mit vorzeichenbehaftetem Rang zwischen den Bedingungen (p = 0,031). (C) Durchschnittliche Leckrate, ermittelt durch das Lickometer, während der Lieferung mit hoher und niedriger Belohnung. Die Schattierung steht für SEM, und die weiße vertikale Linie zeigt die Belohnungslieferung an. (D) Anzahl der Licks, die in den ersten 2,5 s nach der Belohnung aufgezeichnet wurden. * Zeigt p < 0,05 an, Wilcoxon-Test mit vorzeichenbehaftetem Rang zwischen Bedingungen (p = 0,031), N = 6. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Video 1: Beispielvideo 1. PCR_Br011_20231015_1842_output.avi. Bitte klicken Sie hier, um dieses Video herunterzuladen.
Video 2: Beispielvideo 2. PCR_Br014_20231015_1722_output.avi. Bitte klicken Sie hier, um dieses Video herunterzuladen.
Ergänzende Datei 1: Event-Timing-Datei für Video 1. PCR_Br011_20231015_1842_output_videoTimestamps.mat. Bitte klicken Sie hier, um diese Datei herunterzuladen.
Ergänzende Datei 2: Event-Timing-Datei für Video 2. PCR_Br014_20231015_1722_output_videoTimestamps.mat. Bitte klicken Sie hier, um diese Datei herunterzuladen.
Ergänzende Codierungsdatei 1: script1_videocoreg.m. Dieses Skript richtet alle Videos über die Coregistrierung räumlich zueinander aus. Bitte klicken Sie hier, um diese Datei herunterzuladen.
Ergänzende Codierungsdatei 2: script2_optflow_roiselect.m. Dieses Skript schätzt den optischen Fluss für das gesamte Sichtfeld jedes transformierten Videos und ermöglicht die Auswahl eines ROI für den Rest der Pipeline. Bitte klicken Sie hier, um diese Datei herunterzuladen.
Ergänzende Codierungsdatei 3: script3_optflow_analysis.m. Dieses Skript vergleicht die Größe des optischen Flusses über verschiedene Gruppen/Bedingungen für den ausgewählten ROI. Bitte klicken Sie hier, um diese Datei herunterzuladen.
Ergänzende Codierungsdatei 4: script4_optflow_pca.m. Dieses Skript führt eine PCA für den geschätzten optischen Fluss des ausgewählten ROI durch. Bitte klicken Sie hier, um diese Datei herunterzuladen.
Ergänzende Codierungsdatei 5: script5_optflow_pca_analysis.m. Dieses Skript vergleicht die PCA-Ergebnisse über Gruppen/Bedingungen hinweg für den ausgewählten ROI. Bitte klicken Sie hier, um diese Datei herunterzuladen.