Name: Wielowymiarowa analiza wzorców intermodalnych (Wideo) | JoVE Journal
Uploaded: 2011-11-09T13:00:00.000+00:00
Duration: 13 min 51 s
Description: Poznaj analizę wzorców wielowymiarowych MVPA w badaniach mózgu człowieka przy użyciu fMRI. Ta metoda pozwala przewidywać bodźce zmysłowe na podstawie aktywności neuronalnej.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Praca ta była wspierana przez granty przyznane przez Mathers Foundation oraz National Institutes of Health (numer grantu 5P50NS019632-27) dla Antonio i Hanna Damasio.

<ol><li>Haynes, J. -D., Rees, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Decoding+mental+states+from+brain+activity+in+humans%5BTitle%5D)+AND+%22Nat.+Rev.+Neurosci%22%5BJournal%5D)">Decoding mental states from brain activity in humans.</a> Nat. Rev. Neurosci. 7, 523-534 (2006).</li>
<li>Norman, K. A., Polyn, S. M., Detre, G. J., Haxby, J. V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Beyond+mind-reading%3A+multi-voxel+pattern+analysis+of+fMRI+data%5BTitle%5D)+AND+%22Trends.+Cogn.+Sci%22%5BJournal%5D)">Beyond mind-reading: multi-voxel pattern analysis of fMRI data.</a> Trends. Cogn. Sci. 10, 424-430 (2006).</li>
<li>Kriegeskorte, N., Bandettini, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Analyzing+for+information%2C+not+activation%2C+to+exploit+high-resolution+fMRI%5BTitle%5D)+AND+%22NeuroImage%22%5BJournal%5D)">Analyzing for information, not activation, to exploit high-resolution fMRI.</a> NeuroImage. 38, 649-662 (2007).</li>
<li>Mur, M., Bandettini, P. A., Kriegeskorte, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Revealing+representational+content+with+pattern-information+fMRI+-+an+introductory+guide%5BTitle%5D)+AND+%22Soc.+Cogn.+Affect.+Neurosci%22%5BJournal%5D)">Revealing representational content with pattern-information fMRI - an introductory guide.</a> Soc. Cogn. Affect. Neurosci. 4, 101-109 (2009).</li>
<li>Kamitani, Y., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Decoding+the+visual+and+subjective+contents+of+the+human+brain%5BTitle%5D)+AND+%22Nat.+Neurosci%22%5BJournal%5D)">Decoding the visual and subjective contents of the human brain.</a> Nat. Neurosci. 8, 679-685 (2005).</li>
<li>Formisano, E., De Martino, F., Bonte, M., Goebel, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((%22Who%22+is+saying+%22what%22%3F+Brain-based+decoding+of+human+voice+and+speech%3F%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">"Who" is saying "what"? Brain-based decoding of human voice and speech?</a> Science. 322, 970-973 (2008).</li>
<li>Meyer, K., Kaplan, J. T., Essex, R., Webber, C., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Predicting+visual+stimuli+on+the+basis+of+activity+in+auditory+cortices%5BTitle%5D)+AND+%22Nat.+Neurosci%22%5BJournal%5D)">Predicting visual stimuli on the basis of activity in auditory cortices.</a> Nat. Neurosci. 13, 667-668 (2010).</li>
<li>Meyer, K., Kaplan, J. T., Essex, R., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Seeing+touch+is+correlated+with+content-specific+activity+in+primary+somatosensory+cortex%5BTitle%5D)+AND+%22Cereb.+Cortex%22%5BJournal%5D)">Seeing touch is correlated with content-specific activity in primary somatosensory cortex.</a> Cereb. Cortex. 21, 2113-2121 (2011).</li>
<li>Damasio, A. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Time-locked+multiregional+retroactivation%3A+a+systems-level+proposal+for+the+neural+substrates+of+recall+and+recognition%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Time-locked multiregional retroactivation: a systems-level proposal for the neural substrates of recall and recognition.</a> Cognition. 33, 25-62 (1989).</li>
<li>Meyer, K., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Convergence+and+divergence+in+a+neural+architecture+for+recognition+and+memory%5BTitle%5D)+AND+%22Trends.+Neurosci%22%5BJournal%5D)">Convergence and divergence in a neural architecture for recognition and memory.</a> Trends. Neurosci. 32, 376-382 (2009).</li>
<li>Friston, K. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modalities%2C+modes%2C+and+models+in+functional+neuroimaging%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Modalities, modes, and models in functional neuroimaging.</a> Science. 326, 399-403 (2009).</li>
<li>Hanke, M., Halchenko, Y. O., Sederberg, P. B., Hanson, S. J., Haxby, J. V., Pollmann, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((PyMVPA%3A+a+Python+toolbox+for+multivariate+pattern+analysis+of+fMRI+data%5BTitle%5D)+AND+%22Neuroinformatics%22%5BJournal%5D)">PyMVPA: a Python toolbox for multivariate pattern analysis of fMRI data.</a> Neuroinformatics. 7, 37-53 (2009).</li>
<li>Harrison, S. A., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Decoding+reveals+the+contents+of+visual+working+memory+in+early+visual+areas%5BTitle%5D)+AND+%22Nature%22%5BJournal%5D)">Decoding reveals the contents of visual working memory in early visual areas.</a> Nature. 458, 632-635 (2009).</li>
<li>Serences, J. T., Ester, E. F., Vogel, E. K., Awh, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Stimulus-specific+delay+activity+in+human+primary+visual+cortex%5BTitle%5D)+AND+%22Psych+Sci%22%5BJournal%5D)">Stimulus-specific delay activity in human primary visual cortex.</a> Psych Sci. 20, 207-214 (2009).</li>
</ol>

Nie zadeklarowano żadnych konfliktów interesów.

Wyniki naszych poprzednich badań wykazują, że między-modalna MVPA jest użytecznym narzędziem do badania neuronalnych korelatów obrazów mentalnych doświadczanych w „słuchu wewnętrznym” oraz „dotyku wewnętrznym”. W szczególności wyniki pokazują, że treść takich obrazów koreluje odpowiednio z aktywnością neuronalną w pierwotnej korze słuchowej i somatosensorycznej, co stanowi bezpośrednie empiryczne wsparcie dla koncepcji stref konwergencji i dywergencji Damasio.
Opisany przez nas podstawowy paradygmat można rozszerzyć na kilka sposobów. Najbardziej oczywistym jest przeprowadzenie podobnych badań z wykorzystaniem różnych kombinacji modalności sensorycznych. W tym względzie możliwe jest, że ustanowienie określonych skojarzeń cross-modalnych przed eksperymentem zwiększy szanse na sukces. Na przykład, aby zbadać reprezentacje cross-modalne w korze węchowej, można poddać badanych torowaniu (primingowi) poprzez jednoczesną ekspozycję na obraz i zapach kilku produktów spożywczych. Krótko potem, wewnątrz skanera fMRI, wspomnienia węchowe tych zapachów zostałyby wywołane bodźcami wzrokowymi, a MVPA mogłoby zostać wykorzystane w próbie przypisania prób do odpowiednich produktów spożywczych wyłącznie na podstawie aktywności w korze węchowej. 
Kolejną interesującą kwestią jest to, czy wzorce aktywności wywołane międzymodalnie w pierwotnych korach sensorycznych wykazują podobieństwo do wzorców indukowanych podczas rzeczywistego doświadczania dźwięku lub dotyku; innymi słowy, czy widok rozbijającego się szklanego wazonu wywołuje w pierwotnych korach słuchowych podobny wzorzec aktywności neuronalnej, jak faktyczne słyszenie tego samego zdarzenia? To pytanie można ponownie rozważyć za pomocą MVPA: czy klasyfikator wytrenowany na danych zarejestrowanych podczas słuchania przez badanych określonych dźwięków jest w stanie poprawnie rozpoznać dane zarejestrowane podczas oglądania przez nich odpowiadających im klipów wideo? W naszym badaniu słuchowym podjęliśmy próbę takiej klasyfikacji, jednak wyniki były niejednoznaczne (patrz Ryc. 3 w ref. 7). W tamtym badaniu powiązania słuchowe uczestników nie były jednak w żaden sposób kontrolowane; innymi słowy, nie wiemy, jak bardzo obrazy słuchowe, które każdy z badanych kojarzył z filmami, były podobne do ścieżek dźwiękowych użytych do trenowania klasyfikatora. Ponownie, interesujące mogłoby być rozważenie tego samego pytania po uprzednim przygotowaniu konkretnych powiązań międzymodalnych u badanych, tak jak opisano to powyżej w przypadku powiązania wzrokowo-węchowego. Pozwoliłoby to na bardziej niezawodną kontrolę doświadczenia mentalnego badanych podczas prób z wideo, a tym samym mogłoby zwiększyć skuteczność predykcyjną klasyfikatora.
Podsumowując, wprowadziliśmy rozszerzenie klasycznego paradygmatu MVPA, wykazując, że bodźce można przewidzieć nie tylko w obrębie jednej, ale także pomiędzy różnymi modalnościami sensorycznymi. Tym samym pokazujemy, że zastosowanie MVPA nie ogranicza się do badania korelatów reprezentacji percepcyjnych indukowanych bezpośrednio przez zewnętrzną stymulację sensoryczną. MVPA może również służyć do oceny substratu neuronalnego obrazów mentalnych wywoływanych wewnętrznie: zgodnie z koncepcją stref konwergencji-dywergencji Damasio, nasze wyniki sugerują, że świadome doświadczanie obrazów mentalnych rekonstruowanych na podstawie wspomnień jest skorelowane ze specyficznymi dla treści reprezentacjami neuronalnymi w wczesnych korach sensorycznych.

krosmodalna wielowymiarowa analiza wzorców

Cross-Modal Multivariate Pattern Analysis

Wielowymiarowa analiza wzorców (MVPA) jest coraz popularniejszą metodą analizy danych z funkcjonalnego obrazowania rezonansem magnetycznym (fMRI)1-4. Zazwyczaj metoda ta jest wykorzystywana do identyfikacji doświadczeń percepcyjnych badanego na podstawie aktywności neuronalnej w określonych obszarach mózgu. Na przykład stosowano ją do przewidywania orientacji postrzeganych przez badanego prążków wizualnych na podstawie aktywności w wczesnych korach wzrokowych5 lub, analogicznie, treści mowy na podstawie aktywności w wczesnych korach słuchowych6.
W niniejszej pracy przedstawiamy rozszerzenie klasycznego paradygmatu MVPA, zgodnie z którym bodźce percepcyjne nie są przewidywane w obrębie jednego systemu sensorycznego, lecz pomiędzy różnymi systemami. W szczególności opisana przez nas metoda odnosi się do pytania, czy bodźce wywołujące asocjacje pamięciowe w modalnościach innych niż ta, za pośrednictwem której są prezentowane, indukują specyficzne dla treści wzorce aktywności w korach sensorycznych tych pozostałych modalności. Na przykład oglądanie wyciszonego klipu wideo przedstawiającego szklny wazon rozbijający się o ziemię automatycznie wywołuje u większości obserwatorów słuchowy obraz powiązanego z tym dźwięku; czy doświadczenie tego obrazu w „słuchu wewnętrznym” koreluje ze specyficznym wzorcem aktywności neuronalnej w wczesnych korach słuchowych? Co więcej, czy wzorzec aktywności ten różni się od wzorca, który można by zaobserwować, gdyby badany oglądał zamiast tego klip wideo przedstawiający wyjącego psa?
W dwóch poprzednich badaniach7,8 udało nam się przewidzieć klipy wideo sugerujące dźwięk oraz dotyk, opierając się odpowiednio na aktywności neuronalnej w wczesnych korach słuchowej i somatosensorycznej. Nasze wyniki są zgodne z modelem neuroarchitektonicznym zaproponowanym przez Damasio9,10, według którego doświadczanie obrazów mentalnych opartych na wspomnieniach – takich jak słyszenie w „umyśle słuchowym” dźwięku rozbijającego się wazonu podczas oglądania odpowiadającego mu klipu wideo – jest wspierane przez rekonstrukcję specyficznych dla danej treści wzorców aktywności neuronalnej we wczesnych korach sensorycznych.

Klasyczna wielowymiarowa analiza wzorców pozwala na przewidywanie bodźców sensorycznych odbieranych przez badanego na podstawie aktywności neuronalnej w odpowiadających im korach (np. bodźców wzrokowych na podstawie aktywności w korze wzrokowej). W niniejszej pracy stosujemy analizę wzorców w sposób między Modalnym i wykazujemy, że bodźce wzrokowe sugerujące dźwięk oraz dotyk mogą być przewidywane odpowiednio na podstawie aktywności w korze słuchowej i somatosensorycznej.

Krosmodalna wielowymiarowa analiza wzorców

Wielowymiarowa analiza wzorców (MVPA) jest coraz popularniejszą metodą analizy danych z funkcjonalnego obrazowania rezonansem magnetycznym (fMRI)1-4. Zazwyczaj...

Celem następnego eksperymentu jest wykorzystanie wielowymiarowej analizy wzorców danych fMRI do zbadania przetwarzania multimodalnego w ludzkim mózgu. Osiąga się to poprzez stworzenie specyficznego rodzaju bodźców sensorycznych, które są prezentowane badanym za pomocą jednej modalności sensorycznej. Na przykład bodźce wzrokowe, które sugerują silne powiązania z inną modalnością.Na przykład, gdy badani postrzegają takie bodźce, w częściach mózgu odpowiadających za daną modalność występuje aktywność neuronalna związana z tą asocjacją. W tym przykładzie aktywność kory słuchowej jest rejestrowana za pomocą fMRI. Nagrana aktywność jest analizowana przy użyciu wielowymiarowej analizy wzorców (MVPA) w celu przewidzenia, który z kilku bodźców został postrzeżony przez badanego w oryginalnej modalności.Wyniki pokazują, że bodźce unimodalne zawierające informacje istotne dla więcej niż jednej modalności mogą indukować specyficzną dla treści aktywność neuronalną we wczesnych korach sensorycznych innych modalności niż ta, za pośrednictwem której są prezentowane. Technika, którą przedstawiamy dzisiaj, określana jako Crossmodal multivariate pattern analysis, stanowi naturalne rozszerzenie konwencjonalnej analizy wielowymiarowych wzorców (multivariate pattern analysis), z tą różnicą, że sensoryczne STEMI są klasyfikowane pomiędzy modalnościami sensorycznymi, a nie w obrębie jednej z nich. Pomysł na tę metodę pojawił się po raz pierwszy podczas próby dostarczenia dowodów empirycznych dla ram neuroarchitektonicznych wprowadzonych przez Demio ponad dwie dekady temu.W tym filmie przedstawimy Państwu nie tylko techniczne aspekty wielowymiarowej analizy wzorców (ang. multivariate pattern analysis, w skrócie MVPA), ale także ramy teoretyczne tej metody. W pierwszej kolejności wskażemy najważniejsze różnice między MVPA a konwencjonalną jednowymiarową analizą fMRI. Proszę rozważyć następujące kwestie.Na przykład, jeśli badanemu zaprezentowano dwa różne bodźce wzrokowe, takie jak jabłko i pomarańcza, to oba bodźce uśrednione z wielu prób indukują specyficzny wzorzec aktywności neuronalnej w pierwotnej korze wzrokowej, symbolizowanej tutaj przez poziomy aktywacji sześciu hipotetycznych wokseli. W konwencjonalnej analizie fMRI istnieją w zasadzie dwie metody analizy tych wzorców.Pierwsza metoda polega na porównaniu średniego poziomu aktywności wywołanej przez bodźce w całym obszarze zainteresowania. Różnica między średnimi może być jednak nieistotna. Druga metoda polega na ustaleniu kontrastu odejmowania dla każdego woksela.Poziom aktywacji podczas warunku z jabłkiem jest odejmowany od poziomu aktywacji podczas warunku z pomarańczą, a wynikająca z tego różnica dla każdego woksela może zostać zwizualizowana na obrazie kontrastowym całego mózgu. Ponownie jednak różnice te mogą być niewielkie i mogą osiągnąć wymagane kryterium statystyczne tylko dla kilku wokseli. Jednak w przeciwieństwie do jednowymiarowych metod analizy, MVPA jest w stanie wykryć wzorce w obrębie wokseli, uwzględniając poziomy aktywacji wszystkich wokseli jednocześnie.Choć tylko niewielka część różnic w aktywacji może być istotna w izolacji, dwa wzorce rozpatrywane jako całość mogą rzeczywiście różnić się statystycznie. Kolejną istotną różnicą między konwencjonalną analizą FMRI a MVPA jest fakt, że ta druga metoda wykorzystuje tzw. wnioskowanie odwrotne. W konwencjonalnej analizie FMRI badacz zazwyczaj stawia pytanie typu: czy dwa różne bodźce wzrokowe.Na przykład obraz twarzy oraz obraz domu prowadzą do różnych poziomów aktywności w konkretnym obszarze zainteresowania, takim jak obszar twarzy w zakręcie wrzecionowatym. Z kolei MVPA jest zazwyczaj wyrażane w kategoriach wnioskowania wstecznego lub dekodowania i stawia pytanie, czy na podstawie wzorca aktywności neuronalnej w konkretnym regionie mózgu będziemy w stanie przewidzieć, który z dwóch bodźców wzrokowych został odebrany przez badanego. Należy jednak zauważyć, że z punktu widzenia statystycznego stwierdzenie, że dwa bodźce prowadzą do odrębnych wzorców aktywności w danym regionie mózgu, jest równoznaczne z twierdzeniem, że wzorzec aktywności w tym regionie mózgu pozwala na przewidzenie bodźca indukującego.Innymi słowy, czułość MVPA jest wyższa niż w przypadku analiz jednowymiarowych, ponieważ uwzględnia ona jednocześnie kilka wokseli, a nie dlatego, że przebiega w przeciwnym kierunku. Wracając do wcześniejszego przykładu, rozważmy typowy paradygmat MVPA, który ocenia, czy widok jabłka wywołuje w pierwotnej korze wzrokowej inny wzorzec aktywności neuronalnej niż widok pomarańczy. W pierwszym kroku rejestrowane są dane fMRI podczas gdy badany ogląda dużą liczbę bodźców, które mają zostać rozróżnione.Pozyskane dane są następnie podzielone na zbiór treningowy i zbiór testowy. Dane ze zbioru treningowego są wprowadzane do klasyfikatora wzorców, który próbuje wykryć cechy w wzorcach neuronalnych odróżniające od siebie dwa rodzaje prób. Następnie klasyfikator otrzymuje nieoznaczone dane ze zbioru testowego i na podstawie wzorców wykrytych w zbiorze treningowym przypisuje najbardziej prawdopodobną etykietę do każdej z prób testowych dla każdego bodźca.Następnie wynik klasyfikatora jest porównywany z poprawną etykietą bodźca, a wydajność klasyfikatora jest obliczana jako procent poprawnych prób. Jak widzieliśmy, klasyfikator w przykładzie poprawnie zidentyfikował etykiety bodźców w dziewięciu z 12 przypadków, co daje 75%. W przypadku dyskryminacji dwukierunkowej wynik losowy wynosiłby 50%. Sugeruje to, że w obszarze V1 istnieją rzeczywiście spójne różnice między wzorcami neuronalnymi indukowanymi przez bodźce w postaci pomarańczy i jabłka.Oczywiście znaczenie tego wyniku musiałoby zostać udowodnione statystycznie. Ważną kwestią, o której należy pamiętać w takim eksperymencie klasyfikacyjnym, jest to, aby zbiory danych treningowych i testowych były całkowicie od siebie niezależne, ponieważ tylko w takim przypadku można wyciągnąć wnioski co do uogólnialności wzorców wyuczonych podczas sesji treningowej. Z tego powodu w paradygmatach MVPA często stosuje się tak zwaną walidację krzyżową.Choć procedura ta służy maksymalizacji liczby prób treningowych i testowych, które można uzyskać z danego zestawu danych, zapewnia ona jednocześnie, że zbiory treningowe i testowe nie pokrywają się podczas poszczególnych etapów klasyfikacji. Rozważmy następujący eksperyment MVPA z ośmioma przebiegami funkcjonalnymi. W pierwszym kroku walidacji krzyżowej klasyfikator jest trenowany na danych z przebiegów od pierwszego do siódmego, a następnie testowany na danych z ósmego przebiegu.W drugim kroku klasyfikator jest trenowany na seriach od pierwszej do szóstej oraz na serii ósmej, a następnie testowany na serii siódmej. Zgodnie z tym schematem przeprowadza się osiem kroków walidacji krzyżowej, w których każda seria służy dokładnie raz jako seria testowa. Po uzyskaniu wyników działania klasyfikatora dla każdego kroku walidacji krzyżowej, wyciągnięcie z nich średniej pozwala określić ogólną wydajność.W internecie dostępne są bezpłatne pakiety oprogramowania do przeprowadzania analizy MVPA, takie jak pi MVPA oraz zestaw narzędzi oferowany przez Princeton Neuroscience Institute. Paradygmaty eksperymentalne, takie jak opisany powyżej, były z sukcesem wykorzystywane do przewidywania bodźców percepcyjnych na podstawie aktywności neuronalnej w odpowiadających im obszarach kory mózgowej, na przykład w celu przewidzenia bodźców wzrokowych na podstawie aktywności w korze wzrokowej lub bodźców słuchowych na podstawie aktywności w korze słuchowej. Chcielibyśmy teraz przedstawić rozszerzenie tej podstawowej koncepcji, w której bodźce percepcyjne są przewidywane nie tylko w obrębie jednej, ale pomiędzy różnymi modalnościami.Nasza koncepcja opiera się na fakcie, że percepcja jest ściśle powiązana z przywoływaniem wspomnień. Przykładem może być bodziec wizualny o silnej konotacji słuchowej, taki jak widok rozbijającego się o ziemię dna szklanki. Wywoła on w naszej wyobraźni słuchowej automatycznie obraz dźwiękowy, który wykazuje podobieństwo do obrazów słuchowych doświadczonych podczas poprzednich spotkań z tłuczonym szkłem.Zgodnie z koncepcją wprowadzoną przez Theo pod koniec lat 80. XX wieku, asocjacja pamięciowa pomiędzy miejscem uderzenia w podstawę a odpowiadającym mu dźwiękiem jest przechowywana w tak zwanych strefach konwergencji i dywergencji, w skrócie CD. Strefy konwergencji i dywergencji są konceptualizowane jako zespoły neuronów zlokalizowane na różnych poziomach hierarchicznych systemów sensorycznych. Jak wynika z ich nazwy.CD na każdym poziomie otrzymują zbieżne projekcje wznoszące (bottom-up) z kory niższych rzędów. Z kolei przesyłają one rozbieżne projekcje zstępujące (top-down) z powrotem do tych samych obszarów kory niższych rzędów. Dzięki zbieżnym projekcjom wznoszącym CD mogą być aktywowane przez reprezentacje percepcyjne w wielu modalnościach, na przykład zarówno przez widok, jak i dźwięk rozbijającej się wazy, co wynika z rozbieżnych projekcji zstępujących.Mogą one następnie promować rekonstrukcję powiązanych obrazów poprzez przesyłanie sygnałów zwrotnych do wczesnych kory sensorycznych innych modalności. Rozważmy sekwencję aktywacji, jaką zgodnie z tym schematem wywoła bodziec czysto wizualny, lecz sugerujący dźwięk. Bodziec ten indukuje najpierw specyficzny wzorzec aktywności neuronalnej we wczesnych korach wizualnych poprzez zbieżne projekcje typu bottom-up.Wczesne kory wzrokowe aktywują pierwszy poziom CD, czyli jednostki CDZ1. W zależności od dokładnego wzorca aktywności w odpowiadającym im wczesnym sektorze korowym, CDZ1 może zostać aktywowana lub pozostać nieaktywna. Jednostki CDZ1 rzutują w górę do jednostek CDZ2, podobnie jak wykryły to jednostki CDZ1.Wzorce aktywności w wczesnych korach wzrokowych, cdz twos wykrywają wzorce aktywności wśród cdz ones, kilka jednostek cdz twos może zostać aktywowanych, lecz dla uproszczenia przedstawiono tutaj tylko jedną za pomocą projekcji zstępujących. Jednostki cdz ones mogą jednocześnie uzupełniać wzorzec aktywności we wczesnych korach wzrokowych poprzez kilka dodatkowych poziomów c DZs CDZ twos. Jednostki twos rzutują dalej do CDZ ends w multimodalnych korach asocjacyjnych.Ponownie, aktywowanych może zostać wiele końcówek CDZ, jednak dla uproszczenia przedstawiono tylko jedną. Ponownie, drugorzędowe CDZ sygnalizują wstecz do pierwszorzędowych CDZ, które z kolei mogą dalej modyfikować wzorzec pierwotnie indukowany w wczesnych korach wzrokowych. Końcówki CDZ przesyłają sygnały zwrotne do drugorzędowych CZ wszystkich modalności.W korze słuchowej zostanie zbudowany wzorzec neuronalny, który pozwoli badanemu doświadczyć w „umyśle słyszącym” obrazu słuchowego powiązanego z bodźcem przedstawionym wizualnie. Przedstawione sygnałowanie odgórne do modalności somatosensorycznej odzwierciedla fakt, że niemal każdy bodziec wizualny wiąże się również z pewnymi asocjacjami dotykowymi. Zatem przyjęte ramy teoretyczne przewidują, że dźwięk sugerujący bodziec wizualny doprowadzi do powstania specyficznego dla treści wzorca aktywności neuronalnej.W początkowych obszarach kory słuchowej. Analiza tego wzorca neuronalnego za pomocą MVPA powinna zatem umożliwić przewidzenie, który z kilku sugerujących dźwięk bodźców wizualnych został dostrzeżony przez badanego. W pierwszym eksperymencie rejestrowano aktywność neuronalną z początkowych obszarów kory słuchowej podczas oglądania przez badanych dziewięciu różnych klipów wideo przedstawiających obiekty i zdarzenia sugerujące dźwięk.Obszarem zainteresowania w tym eksperymencie był ograniczony obszar na płaszczyźnie Semala, obejmujący pierwotną korę słuchową oraz bardzo wczesne kory asocjacyjne słuchowe. W drugim eksperymencie aktywność neuronalną rejestrowano z pierwotnej kory somatosensorycznej podczas gdy badani oglądali pięć różnych klipów wideo sugerujących dotyk. W tym eksperymencie obszar zainteresowania obejmował pierwotną korę somatosensoryczną zlokalizowaną w zakręcie sięciemowym.W obu badaniach w części słuchowej uczestniczyło ośmioro ochotników. Klasyfikator MVPA osiągnął wyniki powyżej poziomu przypadkowego wynoszącego 50% dla wszystkich możliwych dwukierunkowych rozróżnień między parami bodźców. W 26 z 36 rozróżnień wydajność klasyfikatora różniła się istotnie od poziomu przypadkowego wynoszącego 0,5.Podobnie w badaniu somatosensorycznym klasyfikator uzyskał wynik powyżej poziomu przypadku we wszystkich rozróżnieniach dwukierunkowych, a osiem z 10 rozróżnień osiągnęło istotność statystyczną. Jak widać, stosując wielowymiarową analizę wzorców międzymodalnych, udało nam się wykazać, że percepcja bodźców wizualnych sugerujących dźwięk lub dotyk prowadzi do specyficznych dla treści reprezentacji neuronalnych w wczesnych korach słuchowej i somatosensorycznej, zgodnie z wcześniej przedstawionymi ramami teoretycznymi. Ewidentnie zaprezentowany przez nas paradygmat eksperymentalny nie musi ograniczać się do modalności wykorzystanych w naszych badaniach, lecz może zostać rozszerzony również o inne modalności sensoryczne.Mamy zatem nadzieję, że inne grupy dołączą do nas w rozszerzaniu tego rodzaju badań w próbie pogłębienia naszej wiedzy na temat tego, w jaki sposób procesy te integrują multimodalne bodźce z otoczenia.

cross-modal-multivariate-pattern-analysis

Research

JoVE Journal

Neuroscience

Neuronauka

Analiza wielomodalnych wzorców wielowymiarowych

Niniejszy artykuł opisuje podstawy analizy wielowymiarowej i przeciwstawia ją częściej stosowanej jednowymiarowej analizie wokselowej. Oba rodzaje analizy zostały zastosowane do zbioru danych z zakresu neuronauki klinicznej. Uzupełniające symulacje metodą split-half wykazują lepszą replikowalność wyników wielowymiarowych w niezależnych zbiorach danych.

Podstawy analizy wielowymiarowej w danych neuroobrazowych

Techniki wielowymiarowe, w tym analiza głównych składowych (PCA), zostały wykorzystane do identyfikacji wzorców sygnatur zmian regionalnych w funkcjonalnych obrazach mózgu. Opracowaliśmy algorytm identyfikacji powtarzalnych biomarkerów sieciowych do diagnostyki chorób neurodegeneracyjnych, oceny progresji choroby oraz obiektywnej oceny efektów leczenia w populacjach pacjentów.

Identyfikacja wzorców kowariancji przestrzennej związanych z chorobą przy użyciu danych neuroobrazowych

Demonstrujemy metody wykrywania zniekształceń architektonicznych w poprzednich mammografach. Zorientowane struktury są analizowane za pomocą filtrów Gabora i portretów fazowych w celu wykrycia miejsc promieniowania wzorców tkankowych. Każde miejsce jest scharakteryzowane i sklasyfikowane za pomocą miar reprezentujących wzory spikulacyjne. Metody te powinny pomóc w wykrywaniu raka piersi.

Wykrywanie zniekształceń architektonicznych we wcześniejszych mammografiach poprzez analizę zorientowanych wzorców

Łączność informacyjna mierzy zgodność między przebiegami czasowymi informacji wielowokselowych w różnych regionach mózgu. Szeregi czasowe dyskryminacji wzorców wielowokselowych są wyodrębniane z regionów i porównywane, ujawniając sieci, które nie są identyfikowane w typowym podejściu do łączności funkcjonalnej.

Wykorzystanie łączności informacyjnej do pomiaru synchronicznego pojawiania się informacji o wielu wokselach fMRI w czasie

Protokół przedstawia eksperymentalny paradygmat psychofizyczny w celu uzyskania dużej ilości ocen podobieństwa oraz towarzyszący mu przepływ pracy. Paradygmat bada efekty kontekstowe i umożliwia modelowanie danych o podobieństwie w odniesieniu do przestrzeni euklidesowych o co najmniej pięciu wymiarach.

Paradygmat psychofizyczny do zbierania i analizy sądów o podobieństwie

Prezentujemy metodę elastycznej chemicznej i multimodalnej stymulacji oraz rejestrowania jednoczesnej aktywności neuronalnej wielu robaków Caenorhabditis elegans. Metoda ta wykorzystuje mikrofluidykę, sprzęt i oprogramowanie typu open source oraz nadzorowaną automatyczną analizę danych, aby umożliwić pomiar zjawisk neuronalnych, takich jak adaptacja, hamowanie czasowe i przesłuchy bodźców.

Zautomatyzowana stymulacja multimodalna i jednoczesna rejestracja neuronów z wielu małych organizmów

Tutaj używamy HD-MEA, aby zagłębić się w dynamikę obliczeniową dużych zespołów neuronalnych, szczególnie w hipokampie, obwodach opuszki węchowej i ludzkich sieciach neuronowych. Uchwycenie aktywności czasoprzestrzennej w połączeniu z narzędziami obliczeniowymi zapewnia wgląd w złożoność zespołu neuronalnego. Metoda ta pomaga lepiej zrozumieć funkcje mózgu, potencjalnie identyfikując biomarkery i metody leczenia zaburzeń neurologicznych.

Rejestrowanie i analizowanie multimodalnej dynamiki zespołów neuronalnych na zintegrowanej z CMOS matrycy mikroelektrod o dużej gęstości

Prezentujemy elastyczny, rozszerzalny przepływ pracy oparty na laboratorium Jupyter do nienadzorowanej analizy złożonych zestawów danych multi-omicznych, który łączy różne etapy wstępnego przetwarzania, oszacowanie modelu analizy czynnikowej multi-omicznej i kilka dalszych analiz.

Zastosowanie nienadzorowanej analizy czynników multiomicznych w celu odkrycia wzorców zmienności i procesów molekularnych związanych z chorobami sercowo-naczyniowymi

W niniejszym artykule opisujemy prostą metodę izolacji pojedynczych komórek z pierwotnych kultur neuronalnych szczura oraz późniejszą analizę transkryptomu z wykorzystaniem amplifikacji aRNA. Metoda ta może zostać zastosowana do każdego typu komórek.

Analiza transkryptomu pojedynczych komórek

Niniejszy artykuł przedstawia protokół testów w labiryncie T z wykorzystaniem zmodyfikowanego zautomatyzowanego aparatu do oceny funkcji uczenia się i pamięci u myszy.

Zadania wymuszonej alternacji w labiryncie T oraz dyskryminacji lewo-prawo w celu oceny pamięci operacyjnej i referencyjnej u myszy

Poznaj analizę wzorców wielowymiarowych MVPA w badaniach mózgu człowieka przy użyciu fMRI. Ta metoda pozwala przewidywać bodźce zmysłowe na podstawie aktywności neuronalnej.

Krosmodalna wielowymiarowa analiza wzorców

Przeglądaj więcej filmów