Wielowymiarowa analiza wzorców intermodalnych

Celem poniższego eksperymentu jest wykorzystanie wielowymiarowej analizy wzorców funkcjonalnych danych MRI do zbadania przetwarzania multimodalnego w ludzkim mózgu. Osiąga się to poprzez stworzenie najpierw określonego rodzaju bodźców sensorycznych, które są prezentowane badanym za pomocą jednej modalności sensorycznej. Na przykład to, co wizualne, ale implikuje silne skojarzenia w innej modalności.

Na przykład słuch, podczas gdy badani postrzegają takie bodźce aktywność neuronalną w częściach mózgu związanych z modalnością skojarzenia. Kora słuchowa w tym przykładzie jest rejestrowana za pomocą FMRI. Zarejestrowana aktywność jest analizowana za pomocą wielowymiarowej analizy wzorców w celu przewidzenia, który z kilku bodźców badany postrzegał w pierwotnej modalności.

Wyniki pokazują, że bodźce jednomodalne zawierające informacje odnoszące się do więcej niż jednej modalności mogą indukować aktywność neuronalną specyficzną dla treści we wczesnych korach czuciowych modalności innych niż ta, za pomocą której są prezentowane. Technika, którą dzisiaj wprowadzamy, którą nazywamy wielowymiarową analizą wzorców intermodalnych, stanowi naturalne rozszerzenie konwencjonalnej analizy wzorców wielowymiarowych z tą różnicą, że sensoryczne STEMI są klasyfikowane w poprzek, a nie w obrębie modalności sensorycznych. Po raz pierwszy wpadliśmy na pomysł tej metody, gdy próbowaliśmy uzyskać empiryczne dowody na istnienie struktury neuroarchitektonicznej wprowadzonej przez Demio ponad dwie dekady temu.

W tym filmie przedstawimy Ci nie tylko techniczne aspekty analizy wzorców wielowymiarowych, w skrócie MVPA, ale także te ramy teoretyczne. W pierwszej kolejności wskażemy na kilka kluczowych różnic między MVPA a konwencjonalną jednowymiarową analizą FMRI. Rozważ następujące kwestie.

Na przykład, jeśli badanemu przedstawiono dwa różne bodźce wizualne, takie jak jabłko i pomarańcza, to oba bodźce uśrednione w wielu próbach indukują określony wzorzec aktywności neuronalnej. W pierwszorzędowej korze wzrokowej symbolizowane tutaj przez poziomy aktywacji sześciu hipotetycznych wokseli. W konwencjonalnej analizie FMRI istnieją zasadniczo dwie metody analizy tych wzorców.

Pierwszym z nich jest porównanie średniego poziomu aktywności bodźców wywołanych w całym obszarze zainteresowania. Różnica między średnimi może jednak nie być znacząca. Drugą metodą jest ustalenie kontrastu odejmowania dla każdego woksela.

Poziom aktywacji w stanie jabłka jest odejmowany od poziomu aktywacji w stanie pomarańczowym, a wynikowa różnica dla każdego woksela może być wizualizowana na całym obrazie kontrastowym mózgu. Również w tym przypadku różnice te mogą być niewielkie i mogą osiągać wymagane kryterium statystyczne tylko dla kilku wokseli. Jednak w przeciwieństwie do metod analizy jednowymiarowej, MVPA jest w stanie wykryć wzorce w wokselach, biorąc pod uwagę poziomy aktywacji wszystkich wokseli jednocześnie.

Podczas gdy tylko kilka różnic w aktywacji może być znaczących w izolacji, te dwa wzorce, rozpatrywane jako całość, mogą być rzeczywiście statystycznie różne. Inną istotną różnicą między konwencjonalną analizą FMRI a MVPA jest to, że ta druga metoda wykorzystuje tak zwane wnioskowanie odwrotne. W konwencjonalnej analizie FMRI badacz zazwyczaj zadaje pytanie typu dwa różne bodźce wzrokowe.

Na przykład obraz twarzy i obraz domu prowadzą do różnych poziomów aktywności w określonym obszarze zainteresowania, takim jak wrzecionowaty obszar twarzy. W przeciwieństwie do tego, MVPA jest zwykle wyrażane w kategoriach odwrotnego wnioskowania lub dekodowania i, na podstawie wzorca aktywności neuronalnej w określonym regionie mózgu, czy będziemy w stanie przewidzieć, który z dwóch bodźców wizualnych postrzegany jest badany. Należy jednak zauważyć, że ze statystycznego punktu widzenia jest to równoznaczne ze stwierdzeniem, że dwa bodźce prowadzą do różnych wzorców aktywności w danym regionie mózgu i stwierdzeniem, że wzorzec aktywności w tym obszarze mózgu pozwala przewidzieć bodziec indukujący.

Innymi słowy, czułość MVPA jest wyższa niż w przypadku analiz jednowymiarowych, ponieważ uwzględnia kilka wokseli jednocześnie, a nie dlatego, że postępuje w odwrotnym kierunku. Wracając do wcześniejszego przykładu, rozważmy typowy paradygmat MVPA, który ocenia, czy widzenie jabłka wywołuje inny wzorzec aktywności neuronalnej w pierwszorzędowej korze wzrokowej niż widzenie pomarańczy. W pierwszym etapie dane FMRI są rejestrowane, gdy badany widzi dużą liczbę bodźców, które mają być dyskryminowane.

Pozyskane dane są następnie dzielone na zestaw danych treningowych i zestaw danych testowych. Dane z zestawu treningowego są wprowadzane do klasyfikatora wzorców, który próbuje wykryć cechy we wzorcach neuronowych, które odróżniają te dwa typy prób od siebie. Następnie klasyfikatorowi prezentowane są nieoznaczone dane z zestawu testowego i na podstawie wzorców wykrytych w zestawie danych treningowych przypisuje najbardziej prawdopodobną etykietę do każdej z prób testowych dla każdego bodźca.

Odgadnięcie klasyfikatora jest następnie porównywane z poprawną etykietą bodźca, a wydajność klasyfikatora jest obliczana jako procent poprawnych odgadnięć. Jak widzieliśmy, klasyfikator w przykładzie redukuje prawidłowe etykiety bodźców w dziewięciu z 12 przypadków, czyli 75% jako wydajność szansy. W taki dwukierunkowy sposób dyskryminacja wynosiłaby 50%Sugeruje to, że rzeczywiście istnieją stałe różnice między wzorcami neuronalnymi wywołanymi w V jeden przez bodźce pomarańczowe i jabłkowe.

Oczywiście, istotność tego wyniku musiałaby zostać udowodniona statystycznie. Jedną z ważnych kwestii, o których należy pamiętać w takim eksperymencie klasyfikacyjnym, jest to, że zestawy danych treningowych i testowych są od siebie całkowicie niezależne, ponieważ tylko w takim przypadku można wyciągnąć jakiekolwiek wnioski co do możliwości uogólnienia wzorców, które zostały poznane podczas sesji treningowej. Z tego powodu paradygmaty MVPA często wykorzystują tak zwany paradygmat walidacji krzyżowej.

Chociaż procedura ta służy maksymalizacji liczby prób treningowych i testowych, które można uzyskać z danego zestawu danych, zapewnia ona jednocześnie, że zestawy treningowe i testowe nie nakładają się na siebie podczas poszczególnych etapów klasyfikacji. Rozważmy następujący eksperyment MVPA z ośmioma przebiegami funkcjonalnymi. W pierwszym kroku krzyżowej walidacji klasyfikator jest trenowany na danych z przebiegów od pierwszego do siódmego i testowany na danych z przebiegu ósmego.

W drugim kroku klasyfikator jest następnie trenowany w przebiegach od pierwszego do szóstego, a także w przebiegu ósmym, a następnie testowany w przebiegu siódmym. Zgodnie z tym schematem przeprowadzanych jest osiem kroków krzyżowej walidacji, z których każdy przebieg służy dokładnie jako przebieg testu. Po uzyskaniu wydajności klasyfikatora dla każdego kroku krzyżowej walidacji i uśrednieniu tych wyników uzyskuje się ogólną wydajność.

W Internecie dostępne są bezpłatnie pakiety oprogramowania do wykonywania MVPA, takie jak pi MVPA i zestaw narzędzi oferowany przez Princeton Neuroscience Institute. Paradygmaty eksperymentalne, takie jak ten właśnie opisany, były z powodzeniem stosowane do przewidywania bodźców percepcyjnych na podstawie aktywności neuronalnej w odpowiednich częściach kory mózgowej, a więc na przykład do przewidywania bodźców wzrokowych na podstawie aktywności w korze wzrokowej lub bodźcach słuchowych. Opierając się na aktywności w korze słuchowej, chcielibyśmy teraz przedstawić rozszerzenie tej podstawowej idei, w której bodźce percepcyjne są przewidywane nie tylko w obrębie modalności, ale także między nimi.

Nasz pomysł opiera się na fakcie, że percepcja jest ściśle związana z przywoływaniem wspomnień. Na przykład bodziec wzrokowy, który ma silne implikacje słuchowe, taki jak miejsce rozbicia szklanej podstawy o ziemię. Automatycznie uruchomi w naszym umyśle obraz słuchowy, który jest podobny do obrazów słuchowych, których doświadczyliśmy podczas poprzednich spotkań z tłuczonym szkłem.

Zgodnie z ramami wprowadzonymi przez Theo pod koniec lat osiemdziesiątych, asocjacja pamięciowa między miejscem rozpadającej się podstawy a odpowiadającym jej dźwiękiem jest przechowywana w tak zwanych strefach dywergencji konwergencji lub płytach CD dla krótkiej konwergencji. Strefy dywergencji są konceptualizowane jako zespoły neuronów, które znajdują się na różnych poziomach hierarchicznych systemów sensorycznych. Jak sama nazwa wskazuje.

CD na każdym poziomie otrzymują zbieżne projekcje od dołu do góry z kory korowej niższego rzędu i zwrotu. Wysłali rozbieżne projekcje odgórne do tych samych kory niższego rzędu ze względu na zbieżne projekcje oddolne. Płyty CD mogą być aktywowane przez reprezentacje percepcyjne w wielu modalnościach, na przykład zarówno przez miejsce, jak i dźwięk rozpadającej się podstawy z powodu rozbieżnych projekcji odgórnych.

Następnie mogą promować rekonstrukcję powiązanych obrazów, sygnalizując z powrotem do wczesnej kory czuciowej dodatkowe modalności. Rozważ sekwencję aktywacji jako czysto wizualny, ale dźwiękowy bodziec sugerujący zostanie wywołany zgodnie z tymi ramami. Bodziec najpierw indukuje specyficzny wzorzec aktywności neuronalnej we wczesnej korze wzrokowej poprzez zbieżne projekcje oddolne.

Wczesna kora wzrokowa aktywuje pierwszy poziom płyt CD, CDZ. W zależności od dokładnego wzorca aktywności w odpowiednim wczesnym sektorze kory mózgowej, CDZ może zostać aktywowany lub może pozostać nieaktywny. Jedynki CDZ rzutują w górę na dwójki cdz, tak jak wykryto dwójki CDZ.

Wzorce aktywności we wczesnej korze wzrokowej, dwójki cdz wykrywają wzorce aktywności wśród dwójek cdz, kilka dwójek cdz może zostać aktywowanych, ale dla uproszczenia tylko jeden jest tutaj przedstawiony za pomocą projekcji odgórnych. Cdz mogą w tym samym czasie uzupełniać wzorzec aktywności we wczesnej korze wzrokowej poprzez kilka dodatkowych poziomów c DZs CDZ dwójki. Projekt dwójki do CDZ kończy się stowarzyszeniem multimodalnym. Kora mózgowa.

Ponownie, wiele końcówek CDZ może zostać aktywowanych, ale tylko jeden jest przedstawiony dla uproszczenia. Ponownie, dwójki CD Z również sygnalizują wstecz do dwójek CDZ, co z kolei może dalej modyfikować wzorzec pierwotnie indukowany we wczesnej korze wzrokowej. CDZ kończy sygnał z powrotem do dwójek CZ wszystkich modalności.

W korze słuchowej zostanie skonstruowany wzorzec neuronalny, który pozwoli badanemu doświadczyć w uchu umysłu obrazu słuchowego związanego z bodźcem wizualnie przedstawionym. Przedstawiona sygnalizacja odgórna do modalności somatosensorycznej odzwierciedla fakt, że prawie każdy bodziec wzrokowy implikuje również pewne skojarzenia dotykowe. W związku z tym ramy przewidują, że dźwięk sugerujący bodziec wizualny doprowadziłby do specyficznego dla treści wzorca aktywności neuronalnej.

We wczesnej korze słuchowej. Analizując ten wzorzec neuronalny za pomocą MVPA, powinno być możliwe przewidzenie, który z kilku dźwięków sugerujących bodźce wizualne widział badany. W pierwszym eksperymencie aktywność neuronalna została zarejestrowana z wczesnej kory słuchowej, podczas gdy badani oglądali dziewięć różnych klipów wideo z obiektami i zdarzeniami, które implikowały dźwięk.

Obszarem zainteresowania w tym eksperymencie był ograniczony obszar na płaszczyźnie Semala, który obejmował pierwszorzędową korę słuchową i bardzo wczesną korę asocjacyjną słuchową. W drugim eksperymencie aktywność neuronalna była rejestrowana z pierwotnej kory somatosensorycznej, podczas gdy badani oglądali pięć różnych klipów wideo, które sugerowały dotyk. W tym eksperymencie obszar zainteresowania obejmował pierwszorzędową korę somatosensoryczną znajdującą się w zakręcie postcentralnym.

W obu badaniach wzięło udział osiem osób w badaniu słuchowym. Klasyfikator MVPA działał powyżej poziomu prawdopodobieństwa 50% dla wszystkich możliwych dwukierunkowych dyskryminacji między parami bodźców. W 26 z 36 przypadków dyskryminacji wyniki klasyfikatora różniły się istotnie od poziomu prawdopodobieństwa wynoszącego 0,5.

Podobnie w badaniu somatosensorycznym klasyfikator osiągnął wynik powyżej przypadku we wszystkich dyskryminacjach dwukierunkowych, a osiem z dziesięciu dyskryminacji osiągnęło istotność statystyczną. Jak widać, korzystając z wielowymiarowej analizy wzorców intermodalnych, byliśmy w stanie wykazać, że percepcja bodźców wizualnych, które implikują dźwięk lub dotyk, prowadzi do specyficznych dla treści reprezentacji neuronalnych we wczesnej korze słuchowej i somatosensorycznej, zgodnie z wprowadzonymi wcześniej ramami teoretycznymi. Oczywiście, przedstawiony przez nas paradygmat eksperymentalny nie musi ograniczać się do modalności wykorzystywanych w naszych własnych eksperymentach, ale może być rozszerzony również na inne modalności sensoryczne.

Mamy więc nadzieję, że inne grupy dołączą do nas w rozszerzaniu tego rodzaju badań, próbując poszerzyć naszą wiedzę na temat tego, jak wprowadzać w procesy bodźce multimodalne z otoczenia.