Artykuł metodologiczny

Oczami psa: dekodowanie fMRI naturalistycznych filmów z kory psa

9.2K wyświetleń

⸱

DOI:

10.3791/64442

⸱

13 września 2022

 ,  ,  , 
1Psychology Department, Emory University

W tym artykule

Podsumowanie

Algorytmy uczenia maszynowego zostały przeszkolone do używania wzorców aktywności mózgu do "dekodowania" bodźców prezentowanych ludziom. Tutaj pokazujemy, że ta sama technika może zdekodować naturalistyczną treść wideo z mózgów dwóch psów domowych. Okazało się, że dekodery oparte na działaniach na filmach były skuteczne u psów.

Streszczenie

Ostatnie osiągnięcia wykorzystujące uczenie maszynowe i funkcjonalne obrazowanie metodą rezonansu magnetycznego (fMRI) do dekodowania bodźców wzrokowych z kory mózgowej człowieka i nie-człowieka zaowocowały nowymi spostrzeżeniami na temat natury percepcji. Jednak podejście to nie zostało jeszcze zasadniczo zastosowane do zwierząt innych niż naczelne, co rodzi pytania o naturę takich reprezentacji w całym królestwie zwierząt. W tym przypadku użyliśmy fMRI na jawie, u dwóch psów domowych i dwóch ludzi, uzyskanych podczas oglądania specjalnie stworzonych filmów naturalistycznych odpowiednich dla psów. Następnie przeszkoliliśmy sieć neuronową (Ivis), aby sklasyfikować zawartość wideo na podstawie łącznie 90 minut zarejestrowanej aktywności mózgu z każdej z nich. Przetestowaliśmy zarówno klasyfikator oparty na obiektach, próbując rozróżnić kategorie, takie jak pies, człowiek i samochód, jak i klasyfikator oparty na działaniu, próbujący rozróżnić kategorie, takie jak jedzenie, wąchanie i mówienie. W porównaniu z dwoma ludźmi, dla których oba typy klasyfikatorów działały znacznie powyżej przypadku, tylko klasyfikatory oparte na działaniu były skuteczne w dekodowaniu treści wideo od psów. Wyniki te pokazują pierwsze znane zastosowanie uczenia maszynowego do dekodowania naturalistycznych filmów z mózgu mięsożercy i sugerują, że spojrzenie na świat z perspektywy psa może być zupełnie inne niż nasze.

Wprowadzenie

Mózgi ludzi, podobnie jak inne naczelne, demonstrują podział strumienia wzrokowego na ścieżki grzbietowe i brzuszne z wyraźnymi i dobrze znanymi funkcjami - "co" i "gdzie" obiektów1. Ta dychotomia co/gdzie była użyteczną heurystyką przez dziesięciolecia, ale obecnie wiadomo, że jej anatomiczne podstawy są znacznie bardziej złożone, a wielu badaczy faworyzuje parcelację opartą na rozpoznawaniu kontra działaniu ("co" vs. "jak")2,3,4,5. Ponadto, podczas gdy nasze zrozumienie organizacji układu wzrokowego naczelnych jest nadal udoskonalane i dyskutowane, wiele pozostaje niewiadomych na temat tego, w jaki sposób mózgi innych gatunków ssaków reprezentują informacje wizualne. Po części ta luka jest wynikiem historycznego skupienia się na kilku gatunkach w neuronauce wizualnej. Nowe podejścia do obrazowania mózgu otwierają jednak możliwość nieinwazyjnego badania układów wzrokowych szerszego grona zwierząt, co może dostarczyć nowych informacji na temat organizacji układu nerwowego ssaków.

Psy (Canis lupus familiaris) stanowią bogatą okazję do badania reprezentacji bodźców wzrokowych u gatunku ewolucyjnie odległego od naczelnych, ponieważ mogą być jedynym zwierzęciem, które można wyszkolić do wspólnego udziału w skanowaniu MRI bez potrzeby sedacji lub ograniczeń6,7,8. Ze względu na ich koewolucję z ludźmi w ciągu ostatnich 15 000 lat, psy zamieszkują również nasze środowisko i są narażone na wiele bodźców, z którymi ludzie spotykają się na co dzień, w tym ekrany wideo, które są preferowanym sposobem prezentowania bodźców w skanerze MRI. Mimo to psy mogą przetwarzać te powszechne bodźce środowiskowe w sposób zupełnie inny niż ludzie, co nasuwa pytanie, jak zorganizowana jest ich kora wzrokowa. Podstawowe różnice, takie jak brak dołka środkowego lub bycie dichromatem, mogą mieć znaczące konsekwencje nie tylko dla percepcji wzrokowej niższego poziomu, ale także dla reprezentacji wzrokowej wyższego poziomu. Kilka badań fMRI na psach wykazało istnienie zarówno regionów przetwarzania twarzy, jak i obiektów, które wydają się podążać za ogólną architekturą strumienia grzbietowego/brzusznego obserwowaną u naczelnych, chociaż pozostaje niejasne, czy psy mają regiony przetwarzania twarzy per se, czy też regiony te są selektywne dla morfologii głowy (np. pies vs. człowiek)9, 10,11,12,13. Niezależnie od tego, mózg psa, który jest mniejszy niż większość naczelnych, byłby mniej modularny14, więc może być więcej mieszania typów informacji w strumieniach lub nawet uprzywilejowanie niektórych typów informacji, takich jak działania. Zasugerowano na przykład, że ruch może być bardziej istotną cechą psiej percepcji wzrokowej niż tekstura lub kolor15. Dodatkowo, ponieważ psy nie mają rąk, jednego z podstawowych środków, za pomocą których wchodzimy w interakcję ze światem, ich przetwarzanie wzrokowe, zwłaszcza przedmiotów, może być zupełnie inne niż u naczelnych. W związku z tym niedawno znaleźliśmy dowody na to, że interakcja z obiektami za pomocą ust i łap skutkowała większą aktywacją w regionach selektywnych obiektów w mózgu psa16.

Chociaż psy mogą być przyzwyczajone do ekranów wideo w swoim środowisku domowym, nie oznacza to, że są przyzwyczajone do oglądania obrazów w warunkach eksperymentalnych w taki sam sposób, jak zrobiłby to człowiek. Użycie bardziej naturalistycznych bodźców może pomóc w rozwiązaniu niektórych z tych pytań. W ciągu ostatniej dekady algorytmy uczenia maszynowego odniosły znaczny sukces w dekodowaniu naturalistycznych bodźców wizualnych z aktywności ludzkiego mózgu. Wczesne sukcesy koncentrowały się na adaptacji klasycznych, blokowych projektów w celu wykorzystania aktywności mózgu zarówno do klasyfikowania typów bodźców, które dana osoba widziała, jak i sieci mózgowych, które kodowały te reprezentacje17,18,19. Wraz z rozwojem potężniejszych algorytmów, zwłaszcza sieci neuronowych, można było dekodować bardziej złożone bodźce, w tym naturalistyczne filmy20,21. Te klasyfikatory, które są zwykle trenowane na reakcjach neuronalnych na te filmy, uogólniają się na nowe bodźce, co pozwala im zidentyfikować, co dany podmiot obserwował w czasie odpowiedzi fMRI. Na przykład, niektóre rodzaje działań w filmach mogą być dokładnie odkodowane z ludzkiego mózgu, takie jak skakanie i obracanie się, podczas gdy inne (np. przeciąganie) nie mogą22. Podobnie, chociaż wiele typów obiektów można zdekodować z odpowiedzi fMRI, ogólne kategorie wydają się być trudniejsze. Dekodowanie mózgu nie ogranicza się do ludzi, zapewniając potężne narzędzie do zrozumienia, w jaki sposób informacje są zorganizowane w mózgach innych gatunków. Analogiczne eksperymenty fMRI z naczelnymi innymi niż ludzie wykazały wyraźne reprezentacje w płacie skroniowym dla wymiarów animacji i łatwości/cielesności, co jest równoległe do tego u ludzi23.

Jako pierwszy krok w kierunku zrozumienia reprezentacji naturalistycznych bodźców wizualnych u psów, fMRI na jawie zostało użyte u dwóch psów domowych o wysokiej biegłości w MRI do pomiaru reakcji kory mózgowej na filmy odpowiednie dla psów. W tym badaniu wykorzystano naturalistyczne filmy ze względu na ich potencjalnie większe znaczenie ekologiczne dla psa oraz ze względu na ich wykazany sukces w sieciach neuronowych, które mapują treść wideo na ruch psa24. W ciągu trzech oddzielnych sesji uzyskano 90 minut danych fMRI z odpowiedzi każdego psa na 256 unikalnych klipów wideo. Dla porównania, ten sam zabieg przeprowadzono na dwóch ochotnikach. Następnie, korzystając z sieci neuronowej, wytrenowaliśmy i przetestowaliśmy klasyfikatory, aby rozróżniały "obiekty" (np. człowiek, pies, samochód) lub "działania" (np. mówienie, jedzenie, wąchanie) przy użyciu różnej liczby klas. Cele tego badania były dwojakie: 1) ustalenie, czy naturalistyczne bodźce wideo można zdekodować z kory mózgowej psa; oraz 2) jeśli tak, proszę najpierw sprawdzić, czy organizacja była podobna do ludzkiej.

Protokół

Badanie na psach zostało zatwierdzone przez IACUC Uniwersytetu Emory (PROTO201700572), a wszyscy właściciele wyrazili pisemną zgodę na udział swojego psa w badaniu. Procedury badania na ludziach zostały zatwierdzone przez IRB Uniwersytetu Emory, a wszyscy uczestnicy wyrazili pisemną zgodę przed skanowaniem (IRB00069592).

1. Uczestnicy

  1. Wybierz uczestników (psy i ludzi), którzy nie mieli wcześniej ekspozycji na bodźce przedstawione w badaniu.
    UWAGA: Psami biorącymi udział były dwa lokalne psy domowe, które zostały ochotniczo zgłoszone przez swoich właścicieli do udziału w szkoleniu fMRI i skanowaniu zgodnie z wcześniej opisanym 7. Bhubo był 4-letnim mieszańcem boksera, a Daisy 11-letnią mieszańcem boston terriera. Oba psy brały wcześniej udział w kilku badaniach fMRI (Bhubo: 8 badań, Daisy: 11 badań), z których niektóre obejmowały oglądanie bodźców wizualnych wyświetlanych na ekranie podczas przebywania w skanerze. Zostały one wybrane ze względu na ich zademonstrowaną zdolność do pozostawania w skanerze bez poruszania się przez długi czas, gdy ich właściciel jest poza zasięgiem wzroku. W badaniu wzięło również udział dwóch ludzi (jeden mężczyzna w wieku 34 lat i jedna kobieta w wieku 25 lat). Ani psy, ani ludzie nie mieli wcześniej ekspozycji na bodźce pokazane w tym badaniu.

2. Bodźce

  1. Filmuj filmy (1920 pikseli x 1440 pikseli, 60 klatek na sekundę [fps]) zamontowane na ręcznym gimbalu stabilizującym.
    UWAGA: W tym badaniu filmy zostały nakręcone w Atlancie w stanie Georgia w 2019 roku.
    1. Nagrywaj naturalistyczne filmy z "widoku psa", trzymając gimbala mniej więcej na wysokości kolan. Zaprojektuj filmy tak, aby uwiecznić codzienne scenariusze z życia psa.
      UWAGA: Obejmowały one sceny spacerów, karmienia, zabawy, interakcji ludzi (ze sobą i z psami), psów wchodzących ze sobą w interakcje, pojazdów w ruchu i zwierząt niebędących psami (Rysunek 1A; Film uzupełniający 1). W niektórych klipach osoby na filmie wchodziły w bezpośrednią interakcję z kamerą, na przykład pieszcząc ją, wąchając lub bawiąc się nią, podczas gdy w innych kamera była ignorowana. Dodatkowy materiał filmowy z jeleniami uzyskano z lokalnie umieszczonej fotopułapki (1920 x 1080 pikseli, 30 kl./s).
    2. Edytuj filmy w 256 unikalnych "scenach" z 7 sekund. Każda scena przedstawiała pojedyncze wydarzenie, takie jak przytulanie się ludzi, biegający pies lub spacer z jeleniem. Przypisz każdej scenie unikalny numer i etykietę zgodnie z jej treścią (patrz poniżej).
  2. Zmontuj sceny w pięć większych kompilacji wideo, z których każda trwa około 6 minut. Używaj kompilacji filmów zamiast jednego długiego filmu, aby przedstawić po kolei szeroką gamę bodźców.
    UWAGA: Przedstawienie szerokiej gamy bodźców byłoby trudne do osiągnięcia, gdyby filmy zostały uchwycone w jednym długim "ujęciu". Jest to zgodne z badaniami dekodowania fMRI na ludziach20,22. Dodatkowo, prezentacja kompilacji krótkich klipów pozwoliła na łatwiejsze stworzenie zestawu przytrzymującego, na którym można było przetestować wytrenowany algorytm (patrz sekcja 7, Analizy, poniżej), ponieważ możliwe było wytrzymanie pojedynczych klipów zamiast jednego długiego filmu. Cztery kompilacje wideo zawierały 51 unikalnych scen, a jeden miał 52. Nie było przerw ani pustych ekranów między scenami.
  3. Wybierz sceny półlosowo, aby upewnić się, że każdy film zawiera przykłady ze wszystkich głównych kategorii wytwórni - psy, ludzie, pojazdy, zwierzęta inne niż ludzie i interakcje.
    UWAGA: Podczas procesu kompilacji wszystkie sceny były próbkowane w dół do rozdzielczości 1920 x 1080 pikseli przy 30 kl./s, aby dopasować rozdzielczość projektora MRI.

3. Projekt eksperymentalny

  1. Zeskanuj uczestników w skanerze MRI 3T, oglądając kompilację filmów wyświetlanych na ekranie zamontowanym z tyłu otworu MRI.
  2. Odtwarzaj filmy bez dźwięku.
  3. W przypadku psów osiągnij stabilną pozycję głowy poprzez wcześniejsze szkolenie, aby umieścić głowę w specjalnie wykonanej podbródku, uformowanej do dolnej szczęki od połowy pyska do tyłu żuchwy.
    1. Przymocuj podbródek do drewnianej półki, która rozciąga się na zwoju, ale pozostawia wystarczająco dużo miejsca na łapy pod spodem, w wyniku czego każdy pies przyjmuje pozycję "sfinksa" (Rysunek 1B). Nie stosowano żadnych środków przymusu. Więcej informacji na temat protokołu treningowego można znaleźć w poprzednich badaniach nad psami na fali fMRI7.
  4. Pozwól badanym uczestniczyć w pięciu biegach na sesję, z których każda składa się z jednej kompilacji wideo oglądanej od początku do końca, przedstawionej w losowej kolejności. W przypadku psów rób krótkie przerwy między każdym biegiem. Podczas tych przerw dostarczaj psu nagrody w postaci jedzenia.
  5. Niech każdy z badanych weźmie udział w trzech sesjach w ciągu 2 tygodni. Dzięki temu badany może obejrzeć każdy z pięciu unikalnych filmów kompilacyjnych trzy razy, co daje łączny czas fMRI wynoszący 90 minut na osobę.

4. Obrazowanie

  1. Skanuj uczestników z psami zgodnie z protokołem zgodnym z tym stosowanym w poprzednich badaniach na psach na jawie fMRI7,25.
    1. Uzyskaj skany funkcjonalne za pomocą jednostrzałowej sekwencji obrazowania echo-płaskiego w celu uzyskania objętości 22 sekwencyjnych warstw 2,5 mm z 20% odstępem (TE = 28 ms, TR = 1,430 ms, kąt odwrócenia = 70°, matryca 64 x 64, rozmiar woksela w płaszczyźnie 2,5 mm, FOV = 160 mm).
    2. W przypadku psów należy ustawić plastry grzbietowo do mózgu w kierunku kodowania fazowego od prawej do lewej, ponieważ psy siedzą w rezonansie magnetycznym w pozycji "sfinksa", z szyją w jednej linii z mózgiem. Kodowanie fazowe od prawej do lewej pozwala uniknąć zawijania artefaktów od szyi do przodu głowy. Ponadto główny artefakt podatności w skanowaniu psów pochodzi z zatoki czołowej, co powoduje zniekształcenie płata czołowego.
  2. W przypadku ludzi należy uzyskać wycinki osiowe z kodowaniem fazowym w kierunku przednio-tylnym.
    1. Aby umożliwić porównanie ze skanami psów (ten sam TR/TE), użyj wielopasmowej akwizycji wycinków (CMRR, University of Minnesota) dla ludzi ze współczynnikiem przyspieszenia wielopasmowego 2 (GRAPPA = 2, TE = 28 ms, TR = 1,430 ms, kąt odwrócenia = 55°, matryca 88 x 88, woksele 2,5 mm w płaszczyźnie, czterdzieści cztery wycinki 2,5 mm z 20% odstępem).
  3. W przypadku psów należy również uzyskać T2-zależny obraz strukturalny całego mózgu dla każdego uczestnika za pomocą sekwencji turbo spin-echo z izotropowymi wokselami 1,5 mm. W przypadku uczestników należy użyć sekwencji MPRAGE ważonej T1 z izotropowymi wokselami 1 mm.
    UWAGA: W ciągu trzech sesji uzyskano około 4,000 objętości funkcjonalnych dla każdego uczestnika.

5. Etykiety bodźców

  1. Aby wytrenować model w celu klasyfikowania zawartości prezentowanej w filmach wideo, najpierw oznacz sceny. Aby to zrobić, podziel sceny z 7 sekund, które składają się na każdą kompilację wideo, na klipy 1,4 s. Krótkie klipy należy oznaczać raczej niż pojedyncze klatki, ponieważ istnieją elementy wideo, których nie można uchwycić za pomocą nieruchomych klatek, z których niektóre mogą być szczególnie istotne dla psów, a zatem przydatne w dekodowaniu, takie jak ruch.
    UWAGA: Wybrano długość klipu 1,4 s, ponieważ była ona wystarczająco długa, aby uchwycić te dynamiczne elementy i ściśle odpowiadała TR wynoszącej 1,43 s, co pozwala na klasyfikację na podstawie objętości po objętości.
  2. Losowo rozdaj te klipy 1,4 s (n = 1,280) członkom laboratorium, aby ręcznie oznaczyć każdy klip za pomocą wstępnie zaprogramowanego formularza przesyłania w stylu pola wyboru.
    UWAGA: Wybrano 94 etykiety, aby objąć jak najwięcej kluczowych cech filmów, w tym między innymi tematy (np. pies, człowiek, kot), liczbę tematów (1, 2, 3+), przedmioty (np. samochód, rower, zabawka), działania (np. jedzenie, wąchanie, rozmowa), interakcje (np. człowiek-człowiek, człowiek-pies) i otoczenie (w pomieszczeniu, na zewnątrz). W ten sposób utworzono 94-wymiarowy wektor etykiety dla każdego klipu (tabela uzupełniająca 1).
  3. W ramach sprawdzania spójności wybierz losowy podzbiór do ponownego etykietowania przez drugiego członka laboratorium. W tym przypadku okazało się, że etykiety są bardzo spójne u różnych osób (>95%). W przypadku tych etykiet, które nie były spójne, pozwól dwóm członkom laboratorium ponownie obejrzeć dany klip i dojść do konsensusu w sprawie etykiety.
  4. Dla każdego uruchomienia należy użyć plików dziennika ze znacznikami czasowymi, aby określić początek bodźca wideo w stosunku do pierwszego woluminu skanowania.
  5. Aby uwzględnić opóźnienie między prezentacją bodźca a odpowiedzią BOLD, należy skonwoltować etykiety za pomocą podwójnej funkcji odpowiedzi hemodynamicznej gamma (HRF) i interpolować do TR obrazów funkcjonalnych (1,430 ms) za pomocą funkcji Pythona numpy.convolve() i interp().
    UWAGA: Efektem końcowym była matryca zwiniętych etykiet według całkowitej liczby objętości skanów dla każdego uczestnika (94 etykiety x 3,932, 3,920, 3,939 i 3,925 objętości odpowiednio dla Daisy, Bhubo, Human 1 i Human 2).
  6. W razie potrzeby pogrupuj te etykiety, aby utworzyć makroetykiety do dalszej analizy. Na przykład połącz wszystkie wystąpienia chodzenia (spacer z psem, spacer z człowiekiem, spacer z osłem), aby utworzyć etykietę "chodzenie".
  7. Aby jeszcze bardziej usunąć nadmiarowość w zestawie etykiet, oblicz współczynnik inflacji wariancji (VIF) dla każdej etykiety, z wyłączeniem makroetykiet, które są oczywiście silnie skorelowane.
    UWAGA: VIF jest miarą wieloliniowości w zmiennych predyktorowych, obliczaną przez regresję każdego predyktora względem drugiego. Wyższe VIF-y wskazują na bardziej skorelowane predyktory. W badaniu tym zastosowano próg VIF wynoszący 2, redukując 94 etykiety do 52 unikalnych, w dużej mierze nieskorelowanych etykiet (Tabela uzupełniająca 1).

6. Wstępne przetwarzanie fMRI

  1. Przetwarzanie wstępne obejmuje korekcję, cenzurę i normalizację ruchu przy użyciu pakietu AFNI (NIH) i powiązanych z nim funkcji26,27. Użyj dwuprzebiegowej, sześcioparametrowej korekcji ruchu ciała sztywnego, aby wyrównać objętość do objętości docelowej, która jest reprezentatywna dla średniej pozycji głowy uczestnika w różnych seriach.
  2. Wykonaj cenzurowanie, aby usunąć woluminy z przesunięciem większym niż 1 mm między skanami, a także te, w których intensywność sygnału wokseli jest większa niż 0,1%. W przypadku obu psów ponad 80% woluminów zostało zachowanych po ocenzurowaniu, a w przypadku ludzi ponad 90% zostało zachowanych.
  3. Aby poprawić stosunek sygnału do szumu poszczególnych wokseli, wykonaj łagodne wygładzanie przestrzenne za pomocą 3dmerge i jądra Gaussa o średnicy 4 mm przy połowie maksymalnej szerokości na całej szerokości.
  4. Aby kontrolować wpływ cech wizualnych niskiego poziomu, takich jak ruch lub prędkość, które mogą się różnić w zależności od bodźca, oblicz przepływ optyczny między kolejnymi klatkami klipów wideo22,28. Oblicz przepływ optyczny za pomocą algorytmu Farneback w OpenCV po zmniejszeniu próbkowania do 10 klatek na sekundę29.
  5. Aby oszacować energię ruchu w każdej klatce, oblicz sumę kwadratów przepływu optycznego każdego piksela i weź pierwiastek kwadratowy z wyniku, efektywnie obliczając średni euklidesowy przepływ optyczny z jednej klatki do drugiej28,30. To generuje przebiegi czasowe energii ruchu dla każdej kompilacji wideo.
  6. Ponownie próbkuj je, aby dopasować je do rozdzielczości czasowej danych fMRI, skonwolucjonując się z podwójną funkcją odpowiedzi hemodynamicznej gamma (HRF), jak powyżej i połączone, aby dostosować się do prezentacji bodźca dla każdego badanego.
  7. Użyj tego przebiegu czasowego, wraz z parametrami ruchu wygenerowanymi z korekcji ruchu opisanej powyżej, jako jedynymi regresorami do ogólnego modelu liniowego (GLM) oszacowanymi dla każdego woksela za pomocą 3dDeconvolve AFNI. Użyj reszt tego modelu jako danych wejściowych do algorytmu uczenia maszynowego opisanego poniżej.

7. Analizy

  1. Zdekoduj te obszary mózgu, które znacząco przyczyniają się do klasyfikacji bodźców wizualnych, trenując model dla każdego uczestnika, który można następnie wykorzystać do klasyfikowania treści wideo na podstawie danych mózgowych uczestników. Użyj algorytmu uczenia maszynowego Ivis, nieliniowej metody opartej na syjamskich sieciach neuronowych (SNN), która okazała się skuteczna w przypadku wielowymiarowych danych biologicznych31.
    UWAGA: Sieci SNN zawierają dwie identyczne podsieci, które są używane do uczenia się podobieństwa wejść w trybie nadzorowanym lub nienadzorowanym. Chociaż sieci neuronowe zyskały na popularności w dekodowaniu mózgu ze względu na ich ogólnie większą moc nad metodami liniowymi, takimi jak maszyny wektorów nośnych (SVM), użyliśmy tutaj SNN ze względu na jego odporność na nierównowagę klas i potrzebę mniejszej liczby przykładów. W porównaniu z maszynami wektorów nośnych (SVM) i klasyfikatorami lasu losowego (RF) wytrenowanymi na tych samych danych, stwierdziliśmy, że Ivis jest bardziej skuteczny w klasyfikowaniu danych mózgu w wielu kombinacjach etykiet, określonych przez różne wskaźniki, w tym średni wynik F1, precyzję, kompletność i dokładność testu (patrz poniżej).
  2. Dla każdego uczestnika przekonwertuj pozostałości całego mózgu na format odpowiedni do wprowadzenia do sieci neuronowej Ivis. Połącz i zamaskuj pięć przebiegów w każdej z trzech sesji, zachowując tylko woksele mózgu.
  3. Spłaszcz wymiar przestrzenny, co spowoduje powstanie dwuwymiarowej macierzy wokseli według czasu.
  4. Połącz zwinięte etykiety filmów wyświetlanych w każdym przebiegu, odpowiadając w ten sposób przebiegom fMRI.
  5. Ocenzuruj zarówno dane fMRI, jak i odpowiadające im etykiety zgodnie z woluminami oznaczonymi w przetwarzaniu wstępnym.
  6. Wybierz etykiety docelowe do dekodowania — zwane dalej "klasami" — i zachowaj tylko te woluminy, które zawierają te klasy. Dla uproszczenia traktuj klasy jako wzajemnie się wykluczające i nie dołączaj woluminów należących do wielu klas do dekodowania, pozostawiając tylko czyste wzorce.
  7. Podziel dane na zestawy treningowe i testowe. Użyj pięciokrotnego podziału, losowo wybierając 20% scen, które będą działać jako zestaw testowy.
    UWAGA: Oznaczało to, że jeśli dana scena została wybrana do zestawu testowego, wszystkie klipy i objętości funkcjonalne uzyskane podczas tej sceny były trzymane z zestawu treningowego. Gdyby podział został przeprowadzony niezależnie od sceny, woluminy z tej samej sceny pojawiłyby się zarówno w zbiorze treningowym, jak i w zestawie testowym, a klasyfikator musiałby tylko dopasować je do tej konkretnej sceny, aby pomyślnie je sklasyfikować. Jednak, aby poprawnie sklasyfikować woluminy wstrzymane z nowych scen, klasyfikator musiał dopasować je do bardziej ogólnej, niezależnej od sceny klasy. Był to bardziej solidny test uogólnienia sukcesu klasyfikatora w porównaniu z trzymaniem pojedynczych klipów.
  8. Zrównoważ zestaw treningowy, zmniejszając liczbę woluminów w każdej klasie, aby dopasować ją do najmniejszej klasy przy użyciu pakietu scikit-learn imbalanced-learn.
  9. Dla każdego uczestnika trenuj i testuj algorytm Ivis w 100 iteracjach, za każdym razem przy użyciu unikalnego podziału test-pociąg (parametry Ivis: k = 5, model = "maaten", n_epochs_without_progress = 30, supervision_weight = 1). Te wartości parametrów zostały w dużej mierze wybrane na podstawie rozmiaru i złożoności zbioru danych, zgodnie z zaleceniami autorów algorytmu w jego documentation32. "Liczba epok bez postępu" i "waga nadzoru" (0 dla nienadzorowanych, 1 dla nadzorowanych) zostały poddane dodatkowemu dostrojeniu parametrów w celu optymalizacji modelu.
  10. Aby zredukować liczbę funkcji używanych do trenowania klasyfikatora z całego mózgu tylko do najbardziej pouczających wokseli, użyj losowego klasyfikatora lasu (RFC) za pomocą scikit-learn, aby uszeregować każdy woksel zgodnie z jego ważnością funkcji.
    UWAGA: Chociaż RFC sam w sobie nie działał ponad przypadek, służył użytecznemu celowi odsiewania nieinformacyjnych wokseli, które przyczyniłyby się tylko do szumu w algorytmie Ivis. Jest to podobne do używania testów F do wyboru funkcji przed przekazaniem do klasyfikatora33. Tylko 5% najlepszych wokseli z zestawu treningowego zostało wykorzystanych w treningu i testowaniu. Preferowana liczba wokseli została wybrana jako 5% jako próg konserwatywny w celu zmniejszenia liczby wokseli nieinformacyjnych przed trenowaniem sieci neuronowej. Jakościowo podobne wyniki uzyskano również dla ludzi, jak i psów przy użyciu większej ilości wokseli. Chociaż ludzkie mózgi są większe niż mózgi psów, modele ludzkie odniosły sukces również wtedy, gdy zostały wyszkolone na bezwzględnej liczbie wokseli równej tej zawartej w modelach psów, znacznie mniejszej niż 5% wokseli (~250 wokseli; wszystkie średnie wyniki LRAP >99. percentyl). Aby zachować spójność, przedstawiamy wyniki przy użyciu górnych 5% wokseli dla obu gatunków.
  11. Znormalizuj średnią 5% najbardziej pouczających wokseli we wszystkich 100 przebiegach, przekształć ją w przestrzeń strukturalną każdego uczestnika, a następnie w przestrzeń atlasu grupowego (atlasy: humans34 i dogs35) i zsumuj je między uczestnikami dla każdego gatunku. Nałóż ważność funkcji na atlasy i pokoloruj je zgodnie z oceną ważności za pomocą ITK-SNAP36.

Wyniki

Najczęstsze wskaźniki oceny wydajności modelu w analizach uczenia maszynowego obejmują precyzję (precision), dokładność (accuracy), pełność (recall) oraz wynik F1 (F1 score). Dokładność to ogólny procent poprawnych przewidywań modelu w odniesieniu do prawdziwych danych. Precyzja to procent pozytywnych przewidywań modelu, które są faktycznie pozytywne (tj. wskaźnik prawdziwie dodatnich), natomiast pełność to procent prawdziwie dodatnich przypadków w pierwotnych danych, które model był w stanie skutecznie przewidzieć. Wynik F1 jest średnią ważoną precyzji i pełności i służy jako alternatywna miara dokładności, która jest bardziej odporna na niezrównoważenie klas. Jednak Ivis różni się od innych powszechnie stosowanych algorytmów uczenia maszynowego tym, że jego wyjście nie jest binarne. Dla konkretnego zestawu wejściowych wokseli mózgu każdy element wyjściowy reprezentuje prawdopodobieństwa odpowiadające każdej z klas. Obliczenie dokładności, precyzji, pełności i wyniku F1 dla tych wyników wymagało ich binaryzacji w trybie „zwycięzca bierze wszystko” (winner takes all), w którym klasa o najwyższym prawdopodobieństwie była uznawana za klasę przewidywaną dla danego obszaru. Podejście to eliminowało istotne informacje o rankingu tych prawdopodobieństw, które były kluczowe dla oceny jakości modelu. Dlatego, mimo że nadal obliczaliśmy te tradycyjne wskaźniki, jako główną miarę dokładności modelu na zbiorze testowym wykorzystaliśmy wskaźnik średniej precyzji rankingu etykiet (Label Ranking Average Precision, LRAP). Metryka ta mierzy w zasadzie, w jakim stopniu klasyfikator przypisał wyższe prawdopodobieństwa do prawdziwych etykiet37.

Klasyfikator sieci neuronowej odniósł sukces w przypadku zarówno ludzi, jak i psów, choć w różnym stopniu. W przypadku ludzi algorytm był w stanie klasyfikować zarówno obiekty, jak i czynności, przy czym modele trzyklaśowe dla obu kategorii osiągnęły średnią dokładność na poziomie 70%. Do obliczenia dokładności modelu na zbiorze testowym wykorzystano wskaźnik LRAP jako główną miarę; wskaźnik ten określa, w jakim stopniu klasyfikator przypisał wyższe prawdopodobieństwa do prawdziwych etykiet37. Dla obu ludzi medianowe wyniki LRAP były wyższe niż 99. percentyl z zestawu etykiet przemieszanych losowo dla wszystkich testowanych modeli (Tabela 1; Rysunek 2). W przypadku psów tylko model czynności wykazał medianowy ranking percentylowy LRAP istotnie wyższy niż poziom przypadkowy u obu uczestników (Tabela 1; p = 0,13 dla obiektów i p < 0,001 dla czynności; średni wynik LRAP dla trzyklaśowego modelu czynności u psów = 78. percentyl). Wyniki te były prawdziwe dla wszystkich badanych indywidualnie, a także po pogrupowaniu według gatunków.

Biorąc pod uwagę sukces klasyfikatora, przeprowadziliśmy trening i testy z dodatkowymi klasami, aby określić granice modelu. Obejmowało to obliczenie macierzy dysymulacji dla wszystkich 52 potencjalnych klas zainteresowania przy użyciu algorytmu klastrowania hierarchicznego z pakietu Python scipy, który grupował klasy na podstawie podobieństwa odpowiedzi mózgowej osobnika na każdą z nich, zdefiniowanej przez korelację parzystą. spośród przetestowanych dodatkowych modeli, model z najwyższym medianowym rankingiem percentylowym LRAP u obu psów obejmował pięć klas: oryginalne „talking” (mówienie), „eating” (jedzenie) i „sniffing” (wąchanie) oraz dwie nowe klasy: „petting” (głaskanie) i „playing” (zabawa) (Rysunek 2). Model ten wykazał medianowy ranking percentylowy LRAP znacznie wyższy niż przewidywany przez przypadek dla wszystkich uczestników (Tabela 1; p < 0,001 dla psów i ludzi; średni wynik LRAP dla modelu pięciu klas czynności u psów = 81. percentyl).

Po ponownym naniesieniu na odpowiednie atlasy mózgu, wyniki istotności cech wokseli ujawniły szereg skupisk informatywnych wokseli w korze potylicznej, ciemieniowej i skroniowej zarówno u psów, jak i u ludzi (Rysunek 3). U ludzi modele oparte na obiektach i oparte na działaniu ujawniły bardziej ogniskowy wzorzec niż u psów, w obszarach zazwyczaj kojarzonych z rozpoznawaniem obiektów, choć z niewielkimi różnicami w lokalizacji przestrzennej wokseli opartych na obiektach i wokseli opartych na działaniu.

Sprawdziliśmy, czy różnice między gatunkami nie wynikały z ruchu skorelowanego z zadaniem, polegającego na tym, że psy bardziej poruszały się przy niektórych typach filmów niż przy innych (np. przy filmach przedstawiających inne obiekty niż psy, np. samochody). Obliczyliśmy normę euklidesową sześciu parametrów ruchu i dopasowaliśmy liniowy model efektów mieszanych przy użyciu pakietu lme4 w programie R, przyjmując klasę jako efekt stały oraz numer serii jako efekt losowy dla każdego psa. W każdym z końcowych modeli nie stwierdzono istotnego wpływu typu klasy na ruch ani u Daisy (F(2, 2252) = 0,83, p = 0,44 dla klas opartych na obiektach i F(4, 1235) = 1,87, p = 0,11 dla klas opartych na działaniach), ani u Bhubo (F(2, 2231) = 1,71, p = 0,18 dla klas opartych na obiektach i F(4, 1221) = 0,94, p = 0,45 dla klas opartych na działaniach).

Rycina A: Badanie śledzenia psa w środowisku naturalnym; Rycina B: Układ fMRI ze stymulacją środowiskową.
Rycina 1: Naturalistyczne filmy i ich prezentacja w gantry MRI. (A) Przykładowe klatki z klipów wideo wyświetlanych uczestnikom. (B) Bhubo, 4-letni pies w typie boksera, oglądający filmy podczas badania fMRI w stanie czuwania. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Wykres histogramu analizujący rozkład częstotliwości w klasach obiektów i czynności; zawiera linię mediany.
Rycina 2: Wydajność modelu u psów i ludzi. Rozkład wyników LRAP, przedstawiony jako rankingi percentylowe ich rozkładów zerowych, w ciągu 100 iteracji trenowania i testowania algorytmu uczenia maszynowego Ivis dla modelu opartego na trzech klasach obiektów, modelu opartego na trzech klasach czynności oraz modelu opartego na pięciu klasach czynności, w których modele próbowały klasyfikować odpowiedzi BOLD na naturalistyczne bodźce wideo uzyskane poprzez fMRI w stanie czuwania u psów i ludzi. Wyniki są zagregowane według gatunków. Wynik LRAP o bardzo wysokim rankingu percentylowym wskazuje, że osiągnięcie takiego wyniku LRAP przez model byłoby bardzo mało prawdopodobne w przypadku losowości. Model działający nie lepiej niż przez przypadek miałby medianę rankingu percentylowego wyniku LRAP na poziomie ~50. Linie przerywane reprezentują medianę rankingu percentylowego wyniku LRAP dla każdego gatunku we wszystkich 100 uruchomieniach. Proszę kliknąć tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Schemat analizy aktywności mózgu; istotność cech, model obiekt vs działanie, wizualizacja SSM.
Rysunek 3: Obszary istotne dla rozróżniania modeli obiektów trzyklasowych i działań pięcioklasowych. (A) uczestnicy ludzcy i (B) psy. Voksele zostały uszeregowane zgodnie z ich istotnością cech przy użyciu klasyfikatora lasów losowych, uśredniając wyniki ze wszystkich iteracji modeli. Przedstawiono tutaj 5% najwyżej ocenionych vokseli (tj. tych wykorzystanych do trenowania modeli), zagregowanych według gatunków i przekształconych do przestrzeni grupowej w celu wizualizacji (atlasy: ludzie34 i psy35). Etykiety wskazują obszary mózgu psa o wysokich wartościach istotności cech, na podstawie tych zidentyfikowanych przez Johnsona i wsp.35. Skrót: SSM = zakręt ponadsylwijski. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.

Typ modeluDokładność treningowaDokładność testowaWynik F1PrecyzjaCzułośćMedianowy percentyl wyniku LRAP
Człowiek 1Obiekt (3 klasy)0.980.690.480.520.49>99
Działanie (3 klasy)0.980.720.510.540.54>99
Działanie (5 klas)0.970.510.280.370.27>99
Człowiek 2Obiekt (3 klasy)0.980.680.450.50.47>99
Działanie (3 klasy)0.980.690.460.50.48>99
Działanie (5 klas)0.970.530.30.40.27>99
BhuboObiekt (3 klasy)0.990.610.380.410.3957
Działanie (3 klasy)0.980.630.380.40.487
Działanie (5 klas)0.990.450.160.290.1388
DaisyObiekt (3 klasy)10.610.380.430.3943
Działanie (3 klasy)0.970.620.350.380.3560
Działanie (5 klas)0.990.440.160.270.1376

Tabela 1: Zagregowane metryki algorytmu uczenia maszynowego Ivis w ciągu 100 iteracji trenowania i testowania na odpowiedziach BOLD na naturalistyczne bodźce wideo uzyskane poprzez fMRI w stanie czuwania u psów i ludzi. Modele obiektów posiadały trzy klasy docelowe („pies”, „człowiek”, „samochód”), a modele czynności posiadały trzy lub pięć klas (trzy klasy: „mówienie”, „jedzenie”, „wąchanie”; pięć klas: „mówienie”, „jedzenie”, „wąchanie”, „głaskanie”, „zabawa”). Wartości istotnie większe od przypadkowych przedstawiono pogrubioną czcionką.

Tabela uzupełniająca 1: Etykiety klas.** Proszę kliknąć tutaj, aby pobrać ten plik.

Film uzupełniający 1: Przykładowy klip wideo. Kliknij tutaj, aby pobrać ten plik.

Dyskusja

Wyniki tego badania pokazują, że naturalistyczne filmy indukują reprezentacje w mózgach psów, które są na tyle stabilne podczas wielu sesji obrazowania, że można je zdekodować za pomocą fMRI - podobnie jak wyniki uzyskane zarówno u ludzi, jak i małp20,23. Podczas gdy poprzednie badania fMRI psiego układu wzrokowego prezentowały okrojone bodźce, takie jak twarz lub obiekt na neutralnym tle, wyniki pokazują, że naturalistyczne filmy, z wieloma osobami i obiektami wchodzącymi ze sobą w interakcje, indukują wzorce aktywacji w korze psa, które można zdekodować z wiarygodnością zbliżoną do tej obserwowanej w korze ludzkiej. Takie podejście otwiera nowe możliwości badań nad tym, jak zorganizowany jest układ wzrokowy psa.

Chociaż dziedzina fMRI psów szybko się rozwinęła, do tej pory eksperymenty te opierały się na stosunkowo ubogich bodźcach, takich jak zdjęcia ludzi lub przedmiotów na neutralnym tle 10,12,13. Dodatkowo, podczas gdy eksperymenty te zaczęły identyfikować obszary mózgu analogiczne do wrzecionowatego obszaru twarzy naczelnych (FFA), zaangażowanego w przetwarzanie twarzy, oraz bocznej kory potylicznej (LOC), do przetwarzania obiektów, pozostaje niezgoda co do natury tych reprezentacji, takich jak to, czy psy mają obszary twarzy per se reagujące na podobne istotne cechy jak naczelne, czy też mają oddzielne reprezentacje dla psów i ludzi, czy twarze i głowy. Na przykład 9,13. Psy oczywiście nie są naczelnymi i nie wiemy, jak interpretują te sztuczne bodźce oderwane od ich zwykłych wielozmysłowych kontekstów z dźwiękami i zapachami. Niektóre dowody sugerują, że psy nie traktują obrazów przedmiotów jako reprezentacji rzeczywistych rzeczy12. Chociaż nie jest możliwe stworzenie prawdziwego doświadczenia multisensorycznego w skanerze, zastosowanie naturalistycznych filmów może złagodzić część sztuczności, dostarczając dynamicznych bodźców, które bardziej pasują do świata rzeczywistego, przynajmniej dla psa. Z tych samych powodów zastosowanie bodźców naturalistycznych w badaniach fMRI u ludzi zyskało na popularności, wykazując na przykład, że sekwencje zdarzeń w filmie są reprezentowane w korze mózgowej w wielu skalach czasowych i że filmy są skuteczne w wywoływaniu niezawodnej aktywacji emocji38. W związku z tym, podczas gdy naturalistyczne filmy pozostają stosunkowo ubogimi bodźcami, ich sukces w ludzkiej neuronauce nasuwa pytanie, czy podobne wyniki można uzyskać u psów.

Nasze wyniki pokazują, że klasyfikator sieci neuronowych odniósł sukces w dekodowaniu niektórych rodzajów naturalistycznych treści z mózgów psów. Ten sukces jest imponującym wyczynem, biorąc pod uwagę złożoność bodźców. Co ważne, ponieważ klasyfikator został przetestowany na niewidocznych klipach wideo, model dekodujący wychwycił szerokie kategorie, które można było zidentyfikować w klipach, a nie właściwości charakterystyczne dla poszczególnych scen. Należy zauważyć, że istnieje wiele wskaźników służących do ilościowego określania wydajności klasyfikatora uczenia maszynowego (tabela 1). Ponieważ naturalistyczne filmy, ze względu na swoją naturę, nie będą miały jednakowego występowania we wszystkich klasach, przyjęliśmy ostrożne podejście, konstruując rozkład zerowy na podstawie losowej permutacji etykiet i oceniając znaczenie, do którego się odnosi. Następnie odkryliśmy, że sukces modeli psów był statystycznie istotny, osiągając wyniki 75-90 percentyla, ale tylko wtedy, gdy filmy były kodowane na podstawie obecnych działań, takich jak zabawa lub rozmowa.

Zestawy testowe, w przeciwieństwie do zestawów treningowych, nie były zbalansowane między klasami. Niedostateczne próbkowanie do najmniejszej wielkości klasy, obejmujące tylko 20% danych, skutkowałoby bardzo małymi rozmiarami próby dla każdej klasy, tak że wszelkie obliczone statystyki byłyby niewiarygodne. Aby uniknąć możliwości zawyżenia dokładności wynikającej z tej nierównowagi, rozkład zerowy LRAP został obliczony poprzez losowe permutacje kolejności klas 1000 razy dla każdej iteracji modelu. Ten rozkład zerowy służył jako odniesienie do tego, jak dobrze model prawdopodobnie będzie działał przypadkowo. Następnie rzeczywista wartość LRAP została przekonwertowana na klasyfikację percentyla w tym rozkładzie zerowym. Bardzo wysoki ranking percentylowy, na przykład 95%, wskazywałby, że tak wysoki wynik powstał tylko w 5% przypadków w 1000 losowych permutacjach. Można zatem uznać, że taki model działa znacznie powyżej przypadku. Aby określić, czy te rankingi percentylów są znacznie większe niż oczekiwane losowo - czyli 50. percentyl - statystycznie obliczono medianę rankingu percentyla LRAP we wszystkich 100 iteracjach dla każdego modelu i przeprowadzono test rangi podpisanej przez Wilcoxona dla jednej próby.

Chociaż głównym celem było opracowanie dekodera naturalistycznych bodźców wzrokowych dla psów, porównań do ludzi nie da się uniknąć. W tym miejscu zauważamy dwie zasadnicze różnice: dla każdego typu klasyfikatora modele ludzkie działały lepiej niż modele psów; Modele ludzkie działały dobrze zarówno w modelach opartych na obiektach, jak i działaniach, podczas gdy modele psie działały tylko w modelach opartych na działaniu. Doskonała wydajność modeli ludzkich może wynikać z kilku czynników. Ludzkie mózgi są około 10 razy większe niż mózgi psów, więc istnieje więcej wokseli, z których można zbudować klasyfikator. Aby zrównać modele na równych prawach, należy użyć tej samej liczby wokseli, ale może to być zarówno w sensie bezwzględnym, jak i względnym. Chociaż ostateczny model opierał się na górnych 5% wokseli informacyjnych w każdym mózgu (miara względna), podobne wyniki uzyskano przy użyciu ustalonej liczby wokseli. W związku z tym bardziej prawdopodobne wydaje się, że różnice w wydajności są związane z tym, jak ludzie i psy odbierają bodźce wideo. Jak wspomniano powyżej, podczas gdy zarówno psy, jak i ludzie są wielozmysłowi w swojej percepcji, bodźce mogą być bardziej zubożałe dla psa niż dla człowieka. Wskazówki dotyczące rozmiaru, na przykład, mogą zostać utracone, a wszystko wydaje się być zabawkową wersją prawdziwego świata. Istnieją pewne dowody na to, że psy kategoryzują przedmioty na podstawie rozmiaru i tekstury przed kształtem, co jest prawie przeciwieństwem ludzi39. Dodatkowo, zapach, który nie jest tutaj brany pod uwagę, jest prawdopodobnie ważnym źródłem informacji o dyskryminacji obiektów u psów, szczególnie w identyfikacji współplemieńców lub ludzi 40,41,42. Jednak nawet przy braku wskazówek dotyczących wielkości lub zapachu, w niezwykłym środowisku skanera MRI, fakt, że klasyfikator w ogóle działał, mówi, że nadal istniały informacje istotne dla psów, które można było odzyskać z ich mózgów. Mając tylko dwa psy i dwóch ludzi, różnice gatunkowe mogą wynikać również z różnic indywidualnych. Te dwa psy reprezentowały jednak najlepsze psy wyszkolone w rezonansie magnetycznym i doskonale radziły sobie z utrzymaniem się w bezruchu podczas oglądania filmów. Podczas gdy większa liczebność próby z pewnością pozwoliłaby na bardziej wiarygodne rozróżnienie między gatunkami, niewielka liczba psów, które są w stanie wykonać badanie fMRI na jawie i które będą oglądać filmy przez wystarczająco długi czas, zawsze ograniczy możliwość uogólnienia na wszystkie psy. Chociaż możliwe jest, że wyspecjalizowane rasy, takie jak charty, mogą mieć bardziej precyzyjnie dostrojone reakcje wzrokowe mózgu, uważamy, że indywidualny temperament i trening są bardziej prawdopodobne, że będą głównymi determinantami tego, co można odzyskać z mózgu psa.

Te różnice gatunkowe rodzą pytanie, na jaki aspekt filmów psy zwracały uwagę. Jednym z podejść do odpowiedzi na to pytanie są prostsze bodźce wideo. Następnie, używając odizolowanych obrazów, powiedzmy, ludzi, psów i samochodów, zarówno indywidualnie, jak i razem na neutralnym tle, możemy być w stanie odtworzyć istotne wymiary psa. Jest to jednak zarówno metodologicznie nieefektywne, jak i jeszcze bardziej zubaża bodźce ze świata rzeczywistego. Kwestię uwagi można rozwiązać za pomocą samego podejścia dekodującego, w efekcie wykorzystując wydajność modelu do określenia, co jest przedmiotemuwagi. Idąc tym tropem, wyniki sugerują, że podczas gdy ludzie zwracali uwagę zarówno na aktorów, jak i na działania, psy były bardziej skoncentrowane na samych działaniach. Może to wynikać z różnic w cechach ruchu na niskim poziomie, takich jak częstotliwość ruchu, gdy osoby bawią się w porównaniu z jedzeniem, lub może to być spowodowane kategoryczną reprezentacją tych czynności na wyższym poziomie. Rozkład informacyjnych wokseli w korze psa sugeruje, że te reprezentacje nie są tylko cechami niskiego poziomu, które w przeciwnym razie byłyby ograniczone do obszarów wizualnych. Dalsze badania z wykorzystaniem szerszej gamy bodźców wideo mogą rzucić światło na rolę ruchu w dyskryminacji kategorii przez psy.

Podsumowując, badanie to wykazało możliwość odzyskania naturalistycznych informacji wizualnych z kory psa za pomocą fMRI w taki sam sposób, jak ma to miejsce w przypadku kory ludzkiej. Demonstracja ta pokazuje, że nawet bez dźwięku i zapachów, istotne wymiary złożonych scen są kodowane przez psy oglądające filmy i że wymiary te mogą być odzyskane z ich mózgów. Po drugie, biorąc pod uwagę niewielką liczbę psów, które mogą wykonywać tego typu zadania, informacje mogą być szerzej dystrybuowane w korze mózgowej niż zwykle obserwowane u ludzi, a rodzaje działań wydają się być łatwiejsze do odzyskania niż tożsamość aktorów lub obiektów. Wyniki te otwierają nowy sposób badania, w jaki sposób psy postrzegają środowisko, które dzielą z ludźmi, w tym ekrany wideo, i sugerują bogate możliwości przyszłej eksploracji tego, jak one i inne zwierzęta inne niż naczelne "widzą" świat.

Podziękowania

Dziękujemy Kate Revill, Raveenie Chhibber i Jonowi Kingowi za ich pomocne spostrzeżenia w rozwoju tej analizy, Markowi Spivakowi za pomoc w rekrutacji i szkoleniu psów do MRI, oraz Phyllis Guo za pomoc w tworzeniu i etykietowaniu filmów. Dziękujemy również naszym oddanym właścicielom psów, Rebecce Beasley (Daisy) i Ashwinowi Sakhardande (Bhubo). Badania na ludziach były wspierane przez grant z National Eye Institute (Grant R01 EY029724 dla D.D.D.).

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
Skaner MRI 3 TSiemensTrio
Nagrania audio hałasu skaneradomowej robotybrak
Gimbal kameryHohemiSteady PRO 3
Filmy odpowiednie dla psówdomowej robotybrak
Oprogramowanie do przetwarzania fMRIAFNI20.3.01
Makieta komponentów skaneradomowej robotybrakMakieta cewki głowicy i rurki skanera
Oprogramowanie sieci neuronowychIvis1.7.1
Oprogramowanie przepływu optycznegoOpenCV4.2.0.34
System projekcyjny do skaneradomowej robotybrak
Trophy Cam HDBushnell119874
Kamera wideoGoProHERO7
Oprogramowanie do wizualizacjiITK-SNAP3.6.0
Edytor wideo systemu Windows WersjaMicrosoftWindows 11

Bibliografia

  1. Mishkin, M., Ungerleider, L. G., Macko, K. A. Object vision and spatial vision: Two cortical pathways. Trends in Neurosciences. 6, 414-417 (1983).
  2. de Haan, E. H. F., Cowey, A. On the usefulness of 'what' and 'where' pathways in vision. Trends in Cognitive Sciences. 15 (10), 460-466 (2011).
  3. Freud, E., Plaut, D. C., Behrmann, M. What' is happening in the dorsal visual pathway. Trends in Cognitive Sciences. 20 (10), 773-784 (2016).
  4. Goodale, M. A., Milner, A. D. Separate visual pathways for perception and action. Trends in Neurosciences. 15 (1), 20-25 (1992).
  5. Schenk, T., McIntosh, R. D. Do we have independent visual streams for perception and action? Do we have independent visual streams for perception and action. Cognitive Neuroscience. 1 (1), 52-78 (2010).
  6. Andics, A., Gácsi, M., Faragó, T., Kis, A., Miklós, Á Report voice-sensitive regions in the dog and human brain are revealed by comparative fMRI. Current Biology. 24 (5), 574-578 (2014).
  7. Berns, G. S., Brooks, A. M., Spivak, M. Functional MRI in awake unrestrained dogs. PLoS One. 7 (5), 38027(2012).
  8. Karl, S., et al. Training pet dogs for eye-tracking and awake fMRI. Behaviour Research Methods. 52, 838-856 (2019).
  9. Bunford, N., et al. Comparative brain imaging reveals analogous and divergent patterns of species and face sensitivity in humans and dogs. Journal of Neuroscience. 40 (43), 8396-8408 (2020).
  10. Cuaya, L. V., Hernández-Pérez, R., Concha, L. Our faces in the dog's brain: Functional imaging reveals temporal cortex activation during perception of human faces. PLoS One. 11 (3), 0149431(2016).
  11. Dilks, D. D., et al. Awake fMRI reveals a specialized region in dog temporal cortex for face processing. PeerJ. 2015 (8), 1115(2015).
  12. Prichard, A., et al. 2D or not 2D? An fMRI study of how dogs visually process objects. Animal Cognition. 24 (5), 1143-1151 (2021).
  13. Thompkins, A. M., et al. Separate brain areas for processing human and dog faces as revealed by awake fMRI in dogs (Canis familiaris). Learning & Behavior. 46 (4), 561-573 (2018).
  14. Zhang, K., Sejnowski, T. J. A universal scaling law between gray matter and white matter of cerebral cortex. Proceedings of the National Academy of Sciences of the United States of America. 97 (10), 5621-5626 (2000).
  15. Bradshaw, J., Rooney, N. Dog Social Behavior and Communication. The Domestic Dog: Its Evolution, Behavior and Interactions with People. Serpell, J. , Cambridge University Press. Cambridge, UK. 133-160 (2017).
  16. Prichard, A., et al. The mouth matters most: A functional magnetic resonance imaging study of how dogs perceive inanimate objects. The Journal of Comparative Neurology. 529 (11), 2987-2994 (2021).
  17. Haxby, J. V., Connolly, A. C., Guntupalli, J. S. Decoding neural representational spaces using multivariate pattern analysis. Annual Review of Neuroscience. 37, 435-456 (2014).
  18. Kamitani, Y., Tong, F. Decoding the visual and subjective contents of the human brain. Nature Neuroscience. 8 (5), 679-685 (2005).
  19. Kay, K. N., Naselaris, T., Prenger, R. J., Gallant, J. L. Identifying natural images from human brain activity. Nature. 452 (7185), 352-355 (2008).
  20. Nishimoto, S., et al. Reconstructing visual experiences from brain activity evoked by natural movies. Current Biology. 21 (19), 1641-1646 (2011).
  21. vander Meer, J. N., Breakspear, M., Chang, L. J., Sonkusare, S., Cocchi, L. Movie viewing elicits rich and reliable brain state dynamics. Nature Communications. 11 (1), 5004(2020).
  22. Huth, A. G., De Heer, W. A., Griffiths, T. L., Theunissen, F. E., Gallant, J. L. Natural speech reveals the semantic maps that tile human cerebral cortex. Nature. 532 (7600), 453-458 (2016).
  23. Kriegeskorte, N., et al. Matching categorical object representations in inferior temporal cortex of man and monkey. Neuron. 60 (6), 1126-1141 (2008).
  24. Ehsani, K., Bagherinezhad, H., Redmon, J., Mottaghi, R., Farhadi, A. Who let the dogs out? Modeling dog behavior from visual data. Proceedings of the IEEE Conference on Computer Vision and Pattern. 2018, 4051-4060 (2018).
  25. Berns, G. S., Brooks, A., Spivak, M. Replicability and heterogeneity of awake unrestrained canine fMRI responses. PLoS One. 9 (5), 98421(2013).
  26. Cox, R. W. AFNI: Software for analysis and visualization of functional magnetic resonance neuroimages. Computers and Biomedical Research. 29 (3), 162-173 (1996).
  27. Prichard, A., Chhibber, R., Athanassiades, K., Spivak, M., Berns, G. S. Fast neural learning in dogs: A multimodal sensory fMRI study. Scientific Reports. 8, 14614(2018).
  28. Russ, B. E., Kaneko, T., Saleem, K. S., Berman, R. A., Leopold, D. A. Distinct fMRI responses to self-induced versus stimulus motion during free viewing in the macaque. The Journal of Neuroscience. 36 (37), 9580-9589 (2016).
  29. Farnebäck, G. Two-Frame Motion Estimation Based on Polynomial Expansion. In Image Analysis. Scandinavian Conference on Image Analysis. Lecture Notes in Computer Science. Bigun, J., Gustavsson, T. 2749, Springer. Berlin, Heidelberg. 363-370 (2003).
  30. Elias, D. O., Land, B. R., Mason, A. C., Hoy, R. R. Measuring and quantifying dynamic visual signals in jumping spiders). Journal of Comparative Physiology A. 192, 799-800 (2006).
  31. Szubert, B., Cole, J. E., Monaco, C., Drozdov, I. Structure-preserving visualisation of high dimensional single-cell datasets. Scientific Reports. 9, 8914(2019).
  32. Tian, H., Tao, P. IVIS dimensionality reduction framework for biomacromolecular simulations. Journal of Chemical Information and Modeling. 60 (10), 4569-4581 (2020).
  33. Hebart, M. N., Gorgen, K., Haynes, J. The decoding toolbox (TDT): A versatile software package for multivariate analyses of functional imaging data. Frontiers in Neuroinformatics. 8, 88(2015).
  34. Mazziotta, J., et al. A probabilistic atlas and reference system for the human brain: International Consortium for Brain Mapping (ICBM). Philosophical Transactions of the Royal Society B: Biological Sciences. 356 (1412), 1293-1322 (2001).
  35. Johnson, P. J., et al. Stereotactic cortical atlas of the domestic canine brain. Scientific Reports. 10, 4781(2020).
  36. Yushkevich, P. A., et al. User-guided 3D active contour segmentation of anatomical structures: Significantly improved efficiency and reliability. NeuroImage. 31 (3), 1116-1128 (2006).
  37. Fürnkranz, J., Hüllermeier, E., Loza Mencía, E., Brinker, K. Multilabel classification via calibrated label ranking. Machine Learning. 73 (2), 133-153 (2008).
  38. Sonkusare, S., Breakspear, M., Guo, C. Naturalistic stimuli in neuroscience: Critically acclaimed. Trends in Cognitive Sciences. 23 (8), 699-714 (2019).
  39. vander Zee, E., Zulch, H., Mills, D. Word generalization by a dog (Canis familiaris): Is shape important. PLoS One. 7 (11), 49382(2012).
  40. Bekoff, M. Observations of scent-marking and discriminating self from others by a domestic dog (Canis familiaris): Tales of displaced yellow snow. Behavioural Processes. 55 (2), 75-79 (2001).
  41. Berns, G. S., Brooks, A. M., Spivak, M. Scent of the familiar: An fMRI study of canine brain responses to familiar and unfamiliar human and dog odors. Behavioural Processes. 110, 37-46 (2015).
  42. Schoon, G. A. A., de Bruin, J. C. The ability of dogs to recognize and cross-match human odours. Forensic Science International. 69 (2), 111-118 (1994).
  43. Kamitani, Y., Tong, F. Decoding seen and attended motion directions from activity in the human visual cortex. Current Biology. 16 (11), 1096-1102 (2006).

Przedruki i uprawnienia

Tagi

fMRI u ps wdekodowanie wizualneuczenie maszynoweklasyfikacja za pomoc sieci neuronowychklasyfikator oparty na dzia aniuklasyfikator oparty na obiektachaktywno m zgureprezentacja percepcji

Ten artykuł został opublikowany

Film wkrótce dostępny

Skontaktuj się z nami
Poleć bibliotece

Prywatność

Warunki korzystania z usługi

Zasady

Prawa autorskie © 2026 MyJoVE Corporation. Wszelkie prawa zastrzeżone.