Aby zademonstrować potencjał tego potoku analizy, pozyskano nagrania wideo zachowań samic myszy z unieruchomioną głową — konkretnie matek oraz osobników dziewiczych — podczas prezentowania im bodźców słuchowych w trakcie funkcjonalnego obrazowania rezonansem magnetycznym (fMRI). Bodźce składały się z głosów piskląt oraz tonów czystych prezentowanych pasywnie, czyli bez żadnych instruowanych reakcji behawioralnych. Głosy piskląt stanowiły nagrania wokalizacji ultradźwiękowych emitowanych przez 6-dniowe pisklęta myszy tymczasowo odizolowane od gniazda. Głosy te zazwyczaj wywołują macierzyński odruch odzyskiwania pisklęcia, w którym matka lokalizuje, kieruje się w stronę, bada, a następnie podnosi pisklę i przenosi je z powrotem w bezpieczne miejsce w gnieździe — zachowanie to zazwyczaj nie występuje u samic dziewiczych11. Wcześniejsze badania wykazały, że głosy piskląt wywołują silną aktywność w pierwotnej korze słuchowej matek, ale nie samic dziewiczych, podczas gdy odpowiedzi na tony czyste nie wykazują różnic między grupami12. Przypuszczano zatem, że zidentyfikowane zostaną różnice grupowe w reakcjach behawioralnych na głosy piskląt, ale nie na tony czyste. Niemniej jednak w literaturze istnieje niewiele informacji na temat specyficznych zachowań samic myszy w odpowiedzi na sygnały piskląt w środowisku z unieruchomioną głową. W związku z tym nie oczekiwano żadnych konkretnych wyników behawioralnych, co czyni ten eksperyment idealnym testem dla proponowanych analiz behawioralnych opartych na danych.
W ciągu ośmiu dni wszystkie zwierzęta były stopniowo habituowane do obchodzenia przez eksperymentatora, stabilizacji głowy oraz środowiska MRI. Habituacja do stabilizacji głowy i warunków eksperymentalnych jest kluczowa dla oceny reakcji behawioralnych na prezentowane bodźce. W przypadku braku właściwej habituacji do środowiska, zwierzęta mogą wykazywać jedynie reakcje stresowe, co zniosłoby wszelkie efekty wywołane bodźcami, które w przeciwnym razie można by wyodrębnić poprzez wideonagrania.
Choć konfiguracja aparatury behawioralnej była zazwyczaj taka sama dla każdej sesji pozyskiwania danych, możliwe jest, że pole widzenia (FOV) kamery ulegało niewielkim przesunięciom przy każdym unieruchomieniu głowy zwierzęcia do skanów fMRI (patrz przykładowe FOV na Rysunku 1A). Wynikało to prawdopodobnie z niewielkich zmian w rozmieszczeniu uchwytu kamery, a także z indywidualnych różnic w mocowaniu trzpienia do czaszki każdego zwierzęcia. W związku z tym nagrania wideo ze skanów musiały zostać wyrównane względem siebie poprzez liniową korejestrację, aby umożliwić porównanie zawartych w nich informacji przestrzennych pomiędzy skanami i zwierzętami. Korejestrację dostosowano do reprezentatywnych danych. Na przykład w standardowym dniu skanowania u każdego zwierzęcia wykonywano 3–4 skany, co skutkowało uzyskaniem 3–4 filmów na zwierzę na dzień. Pomiędzy poszczególnymi skanami nie następowało przemieszczenie elementów podstawy, w tym kamery oraz komponentów do unieruchamiania głowy. Zatem po wyznaczeniu transformacji korejestracji dla jednego filmu na zwierzę na dzień, można ją było zastosować do pozostałych 2–3 filmów tego zwierzęcia z tego samego dnia. Choć pozwoliło to zaoszczędzić czas na etapie korejestracji w tym schemacie analizy, transformacje przestrzenne można również obliczać indywidualnie dla każdego filmu, jeśli jest to konieczne. Jako punkty do etykietowania i obliczania transformacji przestrzennej wybrano trzy cechy obecne na każdym filmie. W prezentowanych reprezentatywnych danych trzema tymi punktami były: środek trzpienia głownego, widok frontalny prawego oka zwierzęcia oraz widok profilowy prawego oka zwierzęcia (widoczny w lustrze ustawionym pod kątem 45 stopni). Przykłady korejestracji wideo przedstawiono na Rysunku 1A,B, gdzie pokazano średnią klatkę obliczoną ze wszystkich filmów nagranych podczas tego eksperymentu, zarówno przed, jak i po korejestracji, aby zademonstrować efekt tego etapu.
Ten proces opiera się w dużej mierze na przepływie optycznym (optical flow), metodzie wizji komputerowej stosowanej do szacowania ruchu obiektów w wideo poprzez wyznaczanie ich pozornych prędkości pomiędzy kolejnymi klatkami13. Wybrano przepływ optyczny, ponieważ pozwala on na kwantyfikację ruchu — będącego wskaźnikiem reakcji behawioralnych — bez konieczności uprzedniego definiowania interesujących nas części ciała lub konkretnych czynności. Ponadto metoda ta była odpowiednia przy ograniczonej jakości obrazu w reprezentatywnych nagraniach, które zostały zarejestrowane jedyną dostępną w czasie eksperymentu kamerą kompatybilną z MR. W tym procesie zastosowano algorytm Horna-Schuncka do globalnej, gęstej estymacji przepływu optycznego; jednak inne algorytmy, takie jak algorytm Lucasa-Kanade, mogą zostać łatwo wdrożone po wprowadzeniu niewielkich zmian w dostarczonych skryptach MATLAB14,15,16. Rysunek 2A przedstawia przykładową klatkę wideo z nałożonymi wektorami względnej prędkości przepływu optycznego dla każdego piksela. Należy zauważyć, że większe wektory pojawiają się w obszarach, w których oczekiwany jest ruch, takich jak pysk i łapy zwierzęcia.
Podczas gdy potok przetwarzania szacował przepływ optyczny dla wszystkich filmów w całym polu widzenia (FOV), pozostałe kroki analizy stały się znacznie bardziej przystępne pod kątem obciążenia obliczeniowego i zapotrzebowania na przechowywanie danych dzięki wyborowi obszaru zainteresowania (ROI) w obrębie FOV. ROI można wybrać zgodnie z eksperymentem i wcześniej określonymi interesującymi zachowaniami lub poprzez podejście bardziej oparte na danych. Biorąc pod uwagę, że reprezentatywne dane nie zawierały konkretnych wyników behawioralnych do śledzenia a priori, zastosowano podejście oparte na danych. Odchylenie standardowe wielkości przepływu optycznego obliczono dla wszystkich filmów w każdym pikselu, co przedstawiono na Ryc. 2B. Obszary najwyższego odchylenia standardowego obejmowały kontury zwierzęcia, takie jak okolice oka i pyska, co daje pewność, że obserwowane fluktuacje przepływu optycznego były wywołane ruchem zwierzęcia, a nie szumem w filmach. Obszary o mniejszym odchyleniu standardowym obejmowały kontury podstawki, co mogło być wynikiem niewielkich wibracji kamery i podstawki występujących podczas skanowania. Środowisko MRI jest nieuchronnie obciążone wibracjami podczas akwizycji danych ze względu na przełączanie gradientów, co może objawiać się fluktuacjami przepływu optycznego obserwowanymi w refleksyjnych elementach podstawki. Na szczęście wibracje te są stałe w trakcie całej akwizycji danych, a zatem niezależne od warunków stymulacji i nie powinny wpływać na wyniki analizy behawioralnej. Szczególnie wysokie odchylenia standardowe przepływu optycznego zaobserwowano w pikselach lustra, odpowiadających widokowi profilowemu pyska zwierzęcia, co pokierowało wyborem ROI dla danych reprezentatywnych. Był to również obszar, w którym można było spodziewać się reakcji behawioralnych, takich jak ruchy wibrysami i węszenie, jako części typowego repertuaru behawioralnego samic myszy szukających odizolowanego młodego emitującego głosy17.
Po wybraniu ROI i wyodrębnieniu średniej klatkowej wielkości przepływu optycznego dla wszystkich filmów, przepływ optyczny podczas istotnych epok mógł zostać porównany między grupami i warunkami. Należy zauważyć, że pierwsze 20 sekund (s) wektora przepływu optycznego każdego filmu zostało zamaskowane w celu stabilizacji jasności; można to jednak dostosować do potrzeb eksperymentalnych. Dla każdego filmu klatkowy wektor przepływu optycznego dla wybranego ROI został znormalizowany za pomocą wyniku Z, a następnie, zgodnie z wcześniejszymi pracami w zakresie klasyfikacji ekspresji twarzy, poddano go filtrowaniu dolnoprzepustowemu przy 5 hercach (Hz), aby uwzględnić fakt, że częstotliwość klatek kamery wynosząca 30 Hz jest szybsza niż jakiekolwiek oczekiwane fluktuacje behawioralne2. Ostatecznie wektory z wynikiem Z i przefiltrowane zostały podzielone na epoki prezentacji bodźca, aby ocenić wpływ prezentacji bodźca na przepływ optyczny. Dla każdej epoki odjęto średni sygnał bazowy przed bodźcem, aby znormalizować przepływ optyczny względem okresu przed bodźcem. Rysunek 3A przedstawia przykładowe serie czasowe przepływu optycznego dla dwóch filmów, jednego z matką i jednego z dziewiczą samicą, natomiast zbiorcze dane grupowe znajdują się na Rysunku 3B-E. Rysunek 3B i Rysunek 3D pokazują skumulowany przepływ optyczny w czasie podczas prezentacji bodźca w stosunku do linii bazowej, podczas gdy Rysunek 3C i Rysunek 3E podsumowują skumulowany przepływ optyczny 2,5 s po wystąpieniu bodźca. Skumulowany przepływ optyczny obliczono, aby uchwycić ogólny ruch w czasie, nie zakładając, że spontaniczne reakcje behawioralne wystąpią w sposób zablokowany czasowo. Ogólnie rzecz biorąc, te reprezentatywne wyniki pokazują, że wołania młodych, a nie tony czyste, wywołały znacząco różne reakcje behawioralne u myszy matek w porównaniu z myszami dziewiczymi, zgodnie z przewidywaniami (test U Manna-Whitneya między grupami: wołania młodych: p = 0,026; tony czyste: p = 0,093). Jednak efekt bodźca nie utrzymał się w dwuczynnikowej analizie ANOVA, podczas gdy efekt grupy tak (bodziec: F(1,10) = 0,19, p = 0,67; grupa: F(1,10) = 8,61, p = 0,015). Ogólnie wyniki te sugerują, że matki wykazywały większy ruch wywołany bodźcem w porównaniu z dziewiczymi samicami, przy czym reakcja matek na wołania młodych była bardziej spójna niż na tony czyste. Może to odzwierciedlać zwiększoną uważność lub stres u matek, a także behawioralną istotność wołań młodych, które, w przeciwieństwie do tonów czystych, wywołują u matek w warunkach naturalnych reakcję wydobywania młodych. Podsumowując, te reprezentatywne wyniki sugerują, że szacowanie przepływu optycznego podczas prezentacji bodźca zewnętrznego może pozwolić na wyodrębnienie informacji dotyczących subtelnych, spontanicznych reakcji behawioralnych.
Na koniec przeprowadzono analizę eksploracyjną w celu ujawnienia charakterystyki przestrzennej zachowań zarejestrowanych w reprezentatywnych danych. Aby zbadać, które piksele w ROI wykazywały skoordynowane fluktuacje podczas prezentacji bodźca, przeprowadzono analizę głównych składowych (PCA) czasowych informacji o przestrzennym przepływie optycznym. Analiza ta ujawniła piksele, które miały największy wkład w pierwszą składową główną (PC), a także piksele wykazujące różnice między grupami dla każdego rodzaju bodźca, co przedstawiono na Rysunku 4. Panele po prawej stronie Rysunku 4A,B sugerują, że matki wykazywały większy ruch w obrębie nosa w porównaniu z osobnikami dziewiczymi podczas prezentacji obu rodzajów bodźców. W obu grupach i obu warunkach bodźcowych pierwsza PC wyjaśniała 5,41% ± 0,59% całkowitej wariancji w analizie przepływu optycznego. Choć w tej części analizy utrzymano ROI lustra, przyszłe badania mogłyby objąć szerszą część pola widzenia (FOV), aby scharakteryzować skoordynowane ruchy poza obszarem twarzy w odpowiedzi na bodźce. Na przykład porównanie ruchów łap może ujawnić bardziej znaczące różnice między grupami, biorąc pod uwagę, że wołania młodych zazwyczaj inicjują zachowanie odzyskiwania potomstwa u matek, a nie u osobników dziewiczych, oraz że łapy mogą poruszać się swobodniej niż głowa zwierzęcia.
Choć reprezentatywne wyniki uzyskane do tej pory sugerowały, że ten potok przetwarzania pozwala ocenić nieinstruowane reakcje behawioralne na bodźce zewnętrzne w ograniczonych środowiskach wideograficznych, pozostało pytanie, czy obserwowane fluktuacje przepływu optycznego rzeczywiście odzwierciedlały istotne zachowania zwierząt. Aby odpowiedzieć na to pytanie, przeanalizowano osobny zestaw danych walidacyjnych przy użyciu tego samego potoku. W oddzielnym eksperymencie samce myszy z ograniczonym dostępem do wody przeszkolono w kojarzeniu sygnału świetlnego z podaniem nagrody wodnej w ilości 6 μL („wysoka nagroda”) lub 1 μL („niska nagroda”). Co istotne, w przeciwieństwie do eksperymentu ze stymulacją słuchową, ten eksperyment posiadał behawioralny odczyt a priori: częstotliwość lizania. Lickometr skonstruowano via detekcję lizania opartą na wideo, co ułatwiła analiza jasności pikseli w pobliżu dyszy z wodą. Odczyt behawioralny dostarczony przez lickometr mógł zatem posłużyć do porównania odczytu behawioralnego z tego potoku przetwarzania, uzyskanego poprzez estymację przepływu optycznego, co potwierdziło jego zasadność w wykrywaniu spontanicznych zachowań. Po korejestracji wideo, estymacji przepływu optycznego, wyborze ROI (ponownie obejmującego FOV lustra) oraz kwantyfikacji przepływu optycznego, porównanie wielkości przepływu optycznego ujawniło istotną różnicę między reakcjami behawioralnymi na wysokie a niskie nagrody. Wyniki tej analizy przedstawiono na Rysunku 5A,B, gdzie Rysunek 5A przedstawia uśrednione dla grupy szeregi czasowe, a Rysunek 5B podsumowuje skumulowany przepływ optyczny 2,5 s po wystąpieniu bodźca (parzysty test znaków Wilcoxona między warunkami: p = 0,031). Należy zauważyć, że wartości przepływu optycznego były większe w porównaniu do zachowań spontanicznych zarejestrowanych w danych reprezentatywnych, co dodatkowo podkreśla trudność w ocenie nieinstruowanych, subtelnych reakcji behawioralnych. Rysunek 5C przedstawia rzeczywistą częstotliwość lizania zarejestrowaną przez lickometr dla każdego z dwóch warunków nagrody, natomiast Rysunek 5D pokazuje, że w ciągu 2,5 s po podaniu nagrody zarejestrowano więcej liznięć w warunku wysokiej nagrody w porównaniu do warunku niskiej nagrody (parzysty test znaków Wilcoxona między warunkami: p = 0,031). Łącznie obie analizy ujawniły podobną tendencję w porównaniu reakcji na wysoką i niską nagrodę, co waliduje zaprezentowany potok analizy wideo w zakresie wychwytywania istotnych różnic w zachowaniu zwierząt pomiędzy warunkami.
Wzięte razem, przedstawione tutaj reprezentatywne wyniki sugerują, że prezentacja głosów piskląt wywołała znacząco odmienne reakcje u samic myszy będących matkami w porównaniu z samicami dziewiczymi, podczas gdy czyste tony nie wywołały takich różnic. Analiza zbioru danych walidacyjnych potwierdza, że zaobserwowane różnice w przepływie optycznym odzwierciedlają istotne różnice w odpowiedziach behawioralnych na bodźce zewnętrzne.

Rycina 1: Korejestracja wideo. (A) Przykłady korejestracji wideo przedstawiające określone wcześniej cechy (środek uchwytu głowy, widok przedni prawego oka, widok boczny prawego oka) oznaczone na trzech klatkach, z których każda pochodzi z innego nagrania różnych zwierząt. Zauważ na nałożeniu, że trzy punkty nie były wyrównane, co pokazuje, jak układ behawioralny nieznacznie zmieniał się pomiędzy sesjami pozyskiwania danych. (B) Średnia klatka z ostatnich 10 s każdego filmu przed (lewo) i po (prawo) wykonaniu korejestracji wideo. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.

Rysunek 2: Szacowanie przepływu optycznego. (A) Przykładowa klatka z naniesionymi na niebiesko wektorami względnego przepływu optycznego. (B) Średnie odchylenie standardowe przepływu optycznego dla poszczególnych pikseli we wszystkich filmach. Wybrany obszar ROI wokół widoku profilowego pyska zwierzęcia poprzez lustro został obramowany kolorem purpurowym. Pasek kolorów odpowiada odchyleniu standardowemu. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.

Rysunek 3: Wizualizacja i porównanie przepływu optycznego w różnych grupach i warunkach. (A) Przykładowe serie czasowe przepływu optycznego poddane standaryzacji Z-score i filtrowaniu dolnoprzepustowemu 5 Hz dla jednego nagrania wideo matki i jednego nagrania wideo dziewicy. (B) i (D) Skumulowany przepływ optyczny mierzony podczas okresu stymulacji wołaniami szczeniąt (B) oraz tonami czystymi (D). Zacieniowanie reprezentuje błąd standardowy średniej (SEM). (C) i (E) Skumulowany przepływ optyczny podczas pierwszych 2,5 s prezentacji bodźca dla wołań szczeniąt (C) i tonów czystych (E). * Oznacza p < 0,05, międzygrupowy test U Manna-Whitneya (wołania szczeniąt: p = 0,026; tony czyste: p = 0,093), N = 6 na grupę. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.

Rycina 4: Porównanie PC1 między grupami. (A,B) Mapy przedstawiające ładunki pierwszej głównej składowej (PC1) przepływu optycznego podczas wołań szczeniąt (A) oraz tonów czystych (B) w różnych grupach, z progiem statystycznym p < 0,05 bez korekty na wielokrotne porównania. Mapa ciepła wskazuje stopień, w jakim fluktuacja przepływu optycznego każdego piksela przyczyniła się do PC1 w stosunku do innych pikseli. Mały czarny tekst wskazuje procent wariancji wyjaśnionej przez PC1 (matki, wołania szczeniąt: 4,95% ± 0,72%; dziewice, wołania szczeniąt: 4,44% ± 0,59%; matki, tony czyste: 4,95% ± 0,39%; dziewice, tony czyste: 4,72% ± 1,24% (średnia ± odchylenie standardowe)). Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rycina 5: Walidacja potoku analizy behawioralnej. (A) Średnie serie czasowe przepływu optycznego podczas dostarczania wysokiej i niskiej nagrody, znormalizowane za pomocą Z-score, z odjętą linią bazową przed bodźcem i przefiltrowane filtrem dolnoprzepustowym 5 Hz. Zacieniowanie reprezentuje SEM, biała pionowa linia oznacza moment dostarczenia nagrody, a czerwone gwiazdki wskazują tymczasowe artefakty przepływu optycznego wynikające z rozpoczęcia i zakończenia sygnału świetlnego. (B) Podsumowanie skumulowanego przepływu optycznego podczas pierwszych 2,5 s po dostarczeniu nagrody. * Oznacza p < 0.05, parowy test znaków rang Wilcoxona między warunkami (p = 0.031). (C) Średnia częstotliwość lizania, uzyskana za pomocą likometru, podczas dostarczania wysokiej i niskiej nagrody. Zacieniowanie reprezentuje SEM, a biała pionowa linia oznacza moment dostarczenia nagrody. (D) Liczba liznięć zarejestrowanych podczas pierwszych 2,5 s po dostarczeniu nagrody. * Oznacza p < 0.05, parowy test znaków rang Wilcoxona między warunkami (p = 0.031), N = 6. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Wideo 1: Przykładowe wideo 1. PCR_Br011_20231015_1842_output.avi. Kliknij tutaj, aby pobrać to wideo.
Wideo 2: Przykładowe wideo 2. PCR_Br014_20231015_1722_output.avi. Kliknij tutaj, aby pobrać to wideo.
Plik uzupełniający 1: Plik z czasem zdarzeń dla filmu 1. PCR_Br011_20231015_1842_output_videoTimestamps.mat. Kliknij tutaj, aby pobrać ten plik.
Plik uzupełniający 2: Plik z czasem zdarzeń dla filmu 2. PCR_Br014_20231015_1722_output_videoTimestamps.mat. Kliknij tutaj, aby pobrać ten plik.
Uzupełniający plik z kodem 1: script1_videocoreg.m. Ten skrypt wyrównuje przestrzennie wszystkie filmy względem siebie poprzez korejestrację. Kliknij tutaj, aby pobrać ten plik.
Dodatkowy plik z kodem 2: script2_optflow_roiselect.m. Ten skrypt szacuje przepływ optyczny dla pełnego pola widzenia (FOV) każdego przetransformowanego filmu i umożliwia wybór obszaru zainteresowania (ROI) dla pozostałych etapów procedury. Kliknij tutaj, aby pobrać ten plik.
Uzupełniający plik z kodem 3: script3_optflow_analysis.m. Ten skrypt porównuje wielkość przepływu optycznego w różnych grupach/warunkach dla wybranego ROI. Prosimy kliknąć tutaj, aby pobrać ten plik.
Uzupełniający plik z kodem 4: script4_optflow_pca.m. Ten skrypt wykonuje analizę PCA na oszacowanym przepływie optycznym wybranego ROI. Kliknij tutaj, aby pobrać ten plik.
Uzupełniający plik z kodem 5: script5_optflow_pca_analysis.m. Ten skrypt porównuje wyniki analizy PCA pomiędzy grupami/warunkami dla wybranego ROI. Kliknij tutaj, aby pobrać ten plik.