$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Aby zademonstrować potencjał tego procesu analizy, nagrano filmy behawioralne samic myszy z głową - szczególnie matek i dziewic - podczas gdy myszom prezentowano bodźce słuchowe podczas skanów funkcjonalnego rezonansu magnetycznego (fMRI). Bodźce składały się z nawoływań szczeniąt i czystych tonów prezentowanych pasywnie, a więc bez żadnych instruowanych wyjść behawioralnych. Odgłosy szczeniąt były nagraniami ultradźwiękowych wokalizacji emitowanych przez 6-dniowe młode myszy tymczasowo odizolowane od gniazda. Te odgłosy szczeniąt zazwyczaj wywołują matczyny akt aportowania młodych, w którym matka lokalizuje, zbliża się, bada, a następnie podnosi szczenię i zwraca je do bezpiecznego gniazda - zachowanie, którego dziewicze samice zazwyczaj nie wykazują11. Wcześniejsze prace wykazały, że odgłosy szczeniąt wywołują silną aktywność wywołaną w pierwotnej korze słuchowej matek, ale nie dziewic, podczas gdy odpowiedzi czysto dźwiękowe nie wykazują różnic grupowych12. W związku z tym postawiono hipotezę, że zidentyfikowane zostaną różnice grupowe w reakcjach behawioralnych na nawoływania szczeniąt, ale nie czyste tony. Jednak istnieje niewiele literatury na temat specyficznych zachowań samic myszy w odpowiedzi na sygnały szczeniąt w środowisku skupionym na głowie. W związku z tym nie oczekiwano żadnych konkretnych wyników behawioralnych, co czyni ten eksperyment idealnym testem dla proponowanych analiz behawioralnych opartych na danych.
W ciągu ośmiu dni wszystkie zwierzęta stopniowo przyzwyczajały się do obsługi przez eksperymentatora, fiksacji głowy i środowiska MRI. Przyzwyczajenie do fiksacji głowy i środowiska eksperymentalnego jest kluczowe dla oceny reakcji behawioralnych na prezentowane bodźce. Jeśli zwierzęta nie są odpowiednio przyzwyczajone do środowiska, mogą wykazywać jedynie reakcje stresowe, wypłukując wszelkie efekty napędzane bodźcami, które w przeciwnym razie można by przeanalizować za pomocą wideoografii.
Chociaż ustawienie aparatury behawioralnej było generalnie takie samo dla każdej sesji zbierania danych, możliwe jest, że pole widzenia kamery (FOV) zmieniało się nieznacznie za każdym razem, gdy zwierzę było skupione na głowie podczas skanów fMRI (zobacz przykładowe FOV w Rysunek 1A). Było to prawdopodobnie spowodowane niewielkimi zmianami w ustawieniu mocowania kamery, a także indywidualnymi różnicami w mocowaniu czaszki do słupka głowy dla każdego zwierzęcia. W związku z tym filmy ze skanów musiały zostać wyrównane ze sobą za pomocą liniowej korejestracji, aby umożliwić porównanie informacji przestrzennych, które zawierały w skanach i zwierzętach. Korejestracja została dostosowana do reprezentatywnych danych. Na przykład w standardowym dniu skanowania na zwierzę przypadały 3–4 skany, co dawało 3–4 filmy na zwierzę dziennie. Pomiędzy każdym skanowaniem nie było żadnego ruchu elementów kołyski, w tym kamery i elementów mocujących głowę. W związku z tym, po ustaleniu transformacji korejestracji dla jednego filmu na zwierzę dziennie, można ją było zastosować do pozostałych 2–3 filmów z tym zwierzęciem tego samego dnia. Chociaż zaoszczędziło to czas na etapie korejestracji tego potoku, w razie potrzeby można również obliczyć transformacje przestrzenne osobno dla każdego filmu. Trzy cechy obecne w każdym filmie zostały wybrane jako punkty do oznaczania i obliczania transformacji przestrzennej. W przedstawionych reprezentatywnych danych tymi trzema punktami były: środek słupka głowy, widok z przodu prawego oka zwierzęcia oraz widok z profilu prawego oka zwierzęcia (widoczny w lustrze umieszczonym pod kątem 45 stopni). Przykłady korejestracji wideo są przedstawione na stronie Rysunek 1A,B, pokazujący średnią klatkę obliczoną na podstawie wszystkich filmów nagranych podczas tego eksperymentu, zarówno przed, jak i po korejestracji, aby zademonstrować efekt tego kroku.
Ten potok opiera się głównie na przepływie optycznym, metodzie widzenia komputerowego używanej do szacowania ruchu obiektów w filmie poprzez szacowanie ich prędkości pozornych między kolejnymi klatkami13. Przepływ optyczny został wybrany, ponieważ pozwala na kwantyfikację ruchu – wskaźnika zastępczego reakcji behawioralnych – bez żadnych z góry określonych części ciała lub interesujących działań. Dodatkowo, metoda ta była przystosowana do ograniczonej jakości obrazu reprezentatywnych filmów, które zostały uzyskane za pomocą jedynej kamery kompatybilnej z rezonansem magnetycznym dostępnej w czasie eksperymentu. W tym potoku wykorzystywany jest algorytm Horna-Schuncka globalnego, gęstego szacowania przepływu optycznego; jednak inne algorytmy, takie jak algorytm Lucasa-Kanade'a, można łatwo zastosować z niewielkimi zmianami w dostarczonych skryptach MATLAB14,15,16. Rysunek 2A przedstawia przykładową klatkę wideo ze względnymi wektorami prędkości przepływu nałożonymi na każdy piksel. Zauważ, że większe wektory pojawiają się w miejscach, w których można by się spodziewać ruchu, takich jak pysk i łapy zwierzęcia.
Podczas gdy potok oszacował przepływ optyczny dla wszystkich filmów w pełnym polu widzenia, pozostałe etapy analizy stały się znacznie łatwiejsze do opanowania pod względem obciążenia obliczeniowego i potrzeb przechowywania danych, wybierając obszar zainteresowania (ROI) w obrębie FOV. Zwrot z inwestycji można wybrać zgodnie z eksperymentem i z góry określonymi zachowaniami lub za pomocą podejścia bardziej opartego na danych. Biorąc pod uwagę, że reprezentatywne dane nie zawierały żadnych konkretnych wyników behawioralnych, które można by śledzić a priori, zastosowano podejście oparte na danych. Odchylenie standardowe wielkości przepływu optycznego zostało obliczone dla wszystkich filmów w każdym pikselu, jak pokazano w Rysunek 2B. Obszary o najwyższym odchyleniu standardowym obejmowały kontury zwierzęcia, takie jak okolice oka i pyska, co daje pewność, że obserwowane fluktuacje przepływu optycznego były kierowane przez ruch zwierzęcia, a nie hałas na nagraniach. Obszary o mniejszym odchyleniu standardowym obejmowały kontury kołyski, które mogły być wynikiem niewielkich drgań w aparacie i podstawce, które wystąpiły podczas skanowania. Środowisko MRI jest nieuchronnie obciążone wibracjami podczas pozyskiwania danych z powodu przełączania gradientów, które mogą objawiać się fluktuacjami przepływu optycznego obserwowanymi w odbijających światło elementach kołyski. Na szczęście wibracje te są stałe przez cały czas pozyskiwania danych, a więc niezależne od stanu bodźca i nie powinny wpływać na wyniki analizy behawioralnej. Szczególnie zwiększone odchylenia standardowe przepływu optycznego zaobserwowano w pikselach lustra, odpowiadających widokowi profilu twarzy zwierzęcia, który kierował wyborem ROI dla reprezentatywnych danych. Był to również region, w którym można było spodziewać się reakcji behawioralnych, takich jak trzepanie i wąchanie, jako części typowego repertuaru behawioralnego samic myszy poszukujących odizolowanego szczeniaka emitującego odgłosy szczeniąt17.
Po wybraniu ROI i wyodrębnieniu średniej wielkości przepływu optycznego dla wszystkich filmów, przepływ optyczny w interesujących nas epokach może być porównany między grupami i warunkami. Zwróć uwagę, że pierwsze 20 sekund (s) wektora przepływu optycznego każdego filmu było zamaskowane w celu stabilizacji jasności; Można to jednak dostosować do potrzeb eksperymentalnych. Dla każdego filmu wektor przepływu optycznego w klatce dla wybranego ROI został oceniony Z, a następnie, zgodnie z wcześniejszymi pracami nad klasyfikacją mimiki twarzy, został przefiltrowany dolnoprzepustowy przy 5 Hz, aby uwzględnić częstotliwość odświeżania kamery 30 Hz, która jest szybsza niż jakiekolwiek oczekiwane fluktuacje behawioralne2. Na koniec wektory z punktacją Z i filtrowane podzielono na epoki prezentacji bodźców, aby ocenić wpływ prezentacji bodźca na przepływ optyczny. Dla każdej epoki średni sygnał wyjściowy przed bodźcem został odjęty w celu znormalizowania przepływu optycznego do okresu przed bodźcem. Rysunek 3A pokazuje przykładowy szereg czasowy przepływu optycznego dla dwóch filmów, jednego matki i jednego dziewicy, z podsumowaniem danych grupy w Rysunek 3B-E. Rysunek 3B i Rysunek 3D pokazuje skumulowany przepływ optyczny w czasie podczas prezentacji bodźca w stosunku do linii bazowej, podczas gdy Rysunek 3C i Rysunek 3E podsumowują skumulowany przepływ optyczny 2,5 s po rozpoczęciu bodźca. Obliczono, że skumulowany przepływ optyczny uchwycił ogólny ruch w czasie bez zakładania, że spontaniczne reakcje behawioralne wystąpią w sposób zablokowany w czasie. Ogólnie rzecz biorąc, te reprezentatywne wyniki pokazują, że nawoływania szczeniąt, ale nie czyste tony, wywoływały znacząco różne reakcje behawioralne samic myszy matczynych i dziewiczych, zgodnie z przewidywaniami (międzygrupowy test U Manna-Whitneya: nawoływania szczeniąt: p = 0,026; czyste tony: p = 0,093). Jednak ten efekt bodźca nie przetrwał dwukierunkowej ANOVA, podczas gdy efekt grupowy przetrwał (bodziec: F(1,10) = 0,19, p = 0,67; grupa: F(1,10) = 8,61, p = 0,015). Ogólnie rzecz biorąc, wyniki te sugerują, że matki wykazywały wyższy ruch wywołany bodźcem w porównaniu z dziewicami, przy czym reakcja matki na wołanie szczeniąt była bardziej spójna niż na czyste tony. Może to odzwierciedlać zwiększoną uważność lub stres u matek, a także behawioralne znaczenie nawoływań szczeniąt, które, w przeciwieństwie do czystych tonów, wywołują reakcję aportowania szczeniąt u matek w naturalistycznych warunkach. Podsumowując, te reprezentatywne wyniki sugerują, że estymacja przepływu optycznego podczas prezentacji bodźca zewnętrznego może wydobyć informacje dotyczące zniuansowanych, spontanicznych reakcji behawioralnych.
Na koniec, przeprowadzono bardziej eksploracyjną analizę, aby odkryć przestrzenne cechy zachowania uchwycone w reprezentatywnych danych. Aby zbadać, które piksele w ROI zmieniały się w skoordynowany sposób podczas prezentacji bodźca, przeprowadzono analizę głównych składowych (PCA) przestrzennych informacji o przepływie optycznym w czasie. Analiza ta ujawniła piksele, które w największym stopniu przyczyniły się do powstania pierwszego komputera, a także piksele, które wykazywały różnice grupowe dla każdego warunku bodźca, jak pokazano na rysunku Rysunek 4. Skrajne prawe panele Rysunek 4A,B sugerują, że matki wykazywały więcej ruchu w nosie w porównaniu do dziewic podczas prezentacji obu typów bodźców. W dwóch grupach i dwóch warunkach bodźca, pierwszy PC wyjaśnił 5,41% ± 0,59% całkowitej wariancji w analizie przepływu optycznego. Chociaż lustrzany zwrot z inwestycji został utrzymany w tej części naszej analizy, przyszłe analizy mogą rozszerzyć się na szerszą część pola widzenia, aby scharakteryzować skoordynowane ruchy poza twarzą w odpowiedzi na bodźce. Na przykład porównanie ruchów łap może ujawnić bardziej znaczące różnice grupowe, biorąc pod uwagę, że odgłosy szczeniąt zazwyczaj inicjują aportowanie szczeniąt u matek, ale nie u dziewic, oraz że łapy mogą poruszać się swobodniej niż głowa zwierzęcia.
Podczas gdy dotychczasowe reprezentatywne wyniki sugerowały, że ten potok może oceniać nieinstruowane reakcje behawioralne na bodźce zewnętrzne w ograniczonych środowiskach wideograficznych, pozostało pytanie, czy obserwowane fluktuacje w przepływie optycznym rzeczywiście odzwierciedlają znaczące zachowanie zwierząt. Aby odpowiedzieć na to pytanie, przy użyciu tego samego potoku przeanalizowano oddzielny zestaw danych walidacyjnych. W oddzielnym eksperymencie samce myszy z ograniczoną ilością wody zostały przeszkolone, aby kojarzyły świetlną wskazówkę z dostarczeniem nagrody w postaci wody w wysokości 6 μl ("wysoka nagroda") lub 1 μl ("niska nagroda"). Warto zauważyć, że w przeciwieństwie do eksperymentu ze stymulacją słuchową, ten eksperyment miał a priori odczyt behawioralny: szybkość lizania. Lizometr został stworzony dzięki wideowizualnemu wykrywaniu lizawek, co było ułatwione dzięki analizie jasności pikseli w pobliżu wylewki wody. Odczyt behawioralny dostarczony przez lizometr może być zatem wykorzystany do porównania odczytu behawioralnego tego rurociągu dostarczonego przez optyczne oszacowanie przepływu, co potwierdza jego trafność w wykrywaniu spontanicznych zachowań. Po korejestracji wideo, oszacowaniu przepływu optycznego, wyborze ROI (po raz kolejny zawierającym lustrzane pole widzenia) i kwantyfikacji przepływu optycznego, porównanie wielkości przepływu optycznego ujawniło istotną różnicę między reakcjami behawioralnymi na wysokie i niskie nagrody. Wyniki tej analizy są pokazane w Rysunek 5A,B, gdzie Rysunek 5A pokazuje uśredniony szereg czasowy grupy, a Rysunek 5B podsumowuje skumulowany przepływ optyczny 2,5 s po wystąpieniu bodźca (test rangi ze znakiem Wilcoxona między stanami: p= 0,031). Należy zauważyć, że wartości przepływu optycznego były większe w porównaniu ze spontanicznym zachowaniem zarejestrowanym w reprezentatywnych danych, co dodatkowo podkreśla wyzwanie oceny nieinstruowanych, zniuansowanych reakcji behawioralnych. Rysunek 5C przedstawia rzeczywistą szybkość lizania zarejestrowaną przez likometr dla każdego z dwóch warunków nagrody, podczas gdy Rysunek 5D pokazuje, że więcej liźnięć jest rejestrowanych podczas warunku wysokiej nagrody w porównaniu do warunku niskiej nagrody w ciągu 2,5 s po dostarczeniu nagrody (test rangi ze znakiem Wilcoxona między warunkami: p = 0,031). Obie analizy wykazały podobny trend w porównaniu reakcji o wysokiej i niskiej nagrodzie, co potwierdza poprawność przedstawionego procesu analizy wideo w celu uchwycenia znaczących różnic w zachowaniu zwierząt w różnych warunkach.
Podsumowując, reprezentatywne wyniki pokazane tutaj sugerują, że prezentacja odgłosów szczeniąt wywołała znacząco różne reakcje u samic myszy matczynych i dziewiczych, podczas gdy czyste tony nie. Analiza zestawu danych walidacyjnych daje pewność, że obserwowane różnice w przepływie optycznym odzwierciedlają znaczące różnice w reakcjach behawioralnych na bodźce zewnętrzne.

Rysunek 1: Rejestracja wideo. (A) Przykłady korejestracji wideo przedstawiających z góry określone cechy (środek słupka na głowie, widok z przodu prawego oka, widok z profilu prawego oka) oznaczone w trzech klatkach, z których każda pochodzi z różnych filmów przedstawiających różne zwierzęta. Zauważ w nakładce, że te trzy punkty nie były wyrównane, pokazując, jak konfiguracja behawioralna zmieniła się nieznacznie między sesjami pozyskiwania danych. (B) Średnia klatka w ciągu ostatnich 10 sekund każdego filmu przed (po lewej) i po (po prawej) wspólnej rejestracji wideo. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 2: Szacowanie przepływu optycznego. (A) Przykładowa ramka ze względnymi wektorami przepływu optycznego nałożonymi na kolor niebieski. (B) Średnie odchylenie standardowe przepływu optycznego w pikselach we wszystkich filmach. Wybrany zwrot z inwestycji wokół widoku z profilu twarzy zwierzęcia przez lustro jest obrysowany w kolorze magenta. Kolorowy pasek odpowiada odchyleniu standardowemu. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 3: Wizualizacja i porównanie przepływu optycznego między grupami i warunkami. (A) Przykładowy szereg czasowy przepływu optycznego z filtrem dolnoprzepustowym Z i 5 Hz dla jednego filmu matki i jednego filmu dziewicy. (B) i (D) Skumulowany przepływ optyczny mierzony w okresie bodźca nawoływań szczeniąt (B) i czystych tonów (D). Cieniowanie reprezentuje błąd standardowy średniej (SEM). (C) i (E) Skumulowany przepływ optyczny podczas pierwszych 2,5 s prezentacji bodźca dla nawoływań szczeniąt (C) i czystych tonów (E). * Wskazuje p < 0,05, międzygrupowy test U Manna-Whitneya (odgłosy szczeniąt: p = 0,026; czyste tony: p = 0,093), N = 6 na grupę. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 4: Porównanie PC1 między grupami. (A,B) Mapy przedstawiające obciążenia pierwszego głównego składnika (PC1) przepływu optycznego podczas nawoływania szczeniąt (A) i czystych tonów (B) w różnych grupach, statystycznie progowe na poziomie p < 0,05 bez poprawki dla wielokrotnych porównań. Mapa cieplna wskazuje stopień, w jakim fluktuacja przepływu optycznego każdego piksela przyczyniła się do PC1 w stosunku do innych pikseli. Mała czcionka wskazuje procent wariancji wyjaśnionej przez PC1 (nawoływania młodych matek: 4,95% ± 0,72%; nawoływania młodych dziewic: 4,44% ± 0,59%; czyste tony matek: 4,95% ± 0,39%; czyste tony dziewic: 4,72% ± 1,24% (średnia ± odchylenia standardowego)). Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 5: Walidacja potoku analizy behawioralnej. (A) Średnia punktacja Z, odjęta linia bazowa przed bodźcem i przefiltrowane dolnoprzepustowe szeregi czasowe przepływu optycznego 5 Hz podczas dostarczania wysokiej i niskiej nagrody. Cieniowanie reprezentuje SEM, biała pionowa linia wskazuje dostarczenie nagrody, a czerwone gwiazdki wskazują tymczasowe artefakty przepływu optycznego spowodowane początkiem i przesunięciem sygnału świetlnego. (B) Podsumowanie skumulowanego przepływu optycznego w ciągu pierwszych 2,5 s po dostarczeniu nagrody. * Wskazuje p < 0,05, sparowany test rangi ze znakiem Wilcoxona między warunkami (p = 0,031). (C) Średnia szybkość lizania, uzyskana za pomocą lizometru, podczas dostarczania wysokiej i niskiej nagrody. Cieniowanie reprezentuje SEM, a biała pionowa linia wskazuje dostarczenie nagrody. (D) Liczba liźnięć zarejestrowanych w ciągu pierwszych 2,5 s po dostarczeniu nagrody. * Wskazuje p < 0,05, sparowany test rangi ze znakiem Wilcoxona między warunkami (p = 0,031), N = 6. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.
Wideo 1: Przykładowy film 1. PCR_Br011_20231015_1842_output.avi. Kliknij tutaj, aby pobrać ten film.
Wideo 2: Przykładowe wideo 2. PCR_Br014_20231015_1722_output.avi. Kliknij tutaj, aby pobrać ten film.
Plik uzupełniający 1: Plik czasu zdarzenia dla filmu 1. PCR_Br011_20231015_1842_output_videoTimestamps.mat. Kliknij tutaj, aby pobrać ten plik.
Plik uzupełniający 2: Plik czasu zdarzenia dla Wideo 2. PCR_Br014_20231015_1722_output_videoTimestamps.mat. Kliknij tutaj, aby pobrać ten plik.
Dodatkowy plik kodowania 1: script1_videocoreg.m. Ten skrypt przestrzennie wyrównuje wszystkie filmy do siebie za pomocą korejestracji. Kliknij tutaj, aby pobrać ten plik.
Dodatkowy plik kodowania 2: script2_optflow_roiselect.m. Ten skrypt szacuje przepływ optyczny dla pełnego pola widzenia każdego przekształconego wideo i pozwala na wybór zwrotu z inwestycji dla pozostałej części potoku. Kliknij tutaj, aby pobrać ten plik.
Dodatkowy plik kodowania 3: script3_optflow_analysis.m. Ten skrypt porównuje wielkość przepływu optycznego w różnych grupach/warunkach dla wybranego zwrotu z inwestycji. Kliknij tutaj, aby pobrać ten plik.
Dodatkowy plik kodowania 4: script4_optflow_pca.m. Ten skrypt wykonuje PCA na szacowanym przepływie optycznym wybranego zwrotu z inwestycji. Kliknij tutaj, aby pobrać ten plik.
Dodatkowy plik kodowania 5: script5_optflow_pca_analysis.m. Ten skrypt porównuje wyniki PCA w różnych grupach/warunkach dla wybranego zwrotu z inwestycji. Kliknij tutaj, aby pobrać ten plik.