Dekodowanie obrazów słuchowych za pomocą analizy wzorców wielowokselowych

Obrazowanie słuchowe to proces, który powoduje doświadczanie dźwięków słyszenia, nawet jeśli nie ma zewnętrznych bodźców słuchowych.

Pomyśl na przykład o tym, że słyszysz dźwięk dzwoniącego telefonu komórkowego. Podczas gdy informacje zawarte w pamięci leżą u podstaw tego wyimaginowanego wydarzenia, dowody sugerują, że mózg jednostki wykorzystuje te same mechanizmy wyobraźni, co te, które są zaangażowane w rzeczywistą percepcję.

Już po wyobrażeniu sobie dzwonienia, aktywują się obszary w korze słuchowej. Jednakże, nawet jeśli dotyczy to bodźców akustycznych, ważne jest, w jaki sposób kodowane są dźwięki, aby umożliwić szczegółowe przetwarzanie różnych dźwięków - takich jak rozróżnienie między dzwonkiem do drzwi a piosenką odtwarzaną w radiu.

Opierając się na wcześniejszych pracach Meyera i współpracowników, film ten pokazuje, jak połączyć funkcjonalne obrazowanie metodą rezonansu magnetycznego – fMRI – z prezentacjami różnych niemych filmów, aby zbadać, jak mózg reaguje na obrazy słuchowe.

Opiszemy również, jak korzystać z metody zwanej analizą wzorców wielowokselowych? W skrócie MVPA - do przewidywania, co wyobrażali sobie badani, analizując wzorce aktywacji uzyskane podczas sesji fMRI.

W tym eksperymencie uczestnicy leżą w skanerze fMRI i pokazuje im się serię niemych filmów. Każdy z nich – niezależnie od tego, czy jest to pianie koguta, piła łańcuchowa przecinająca drzewo, czy osoba grająca na pianinie – wywołuje charakterystyczne i żywe obrazy słuchowe, a dzieci są proszone o wyobrażenie sobie dźwięków podczas każdej prezentacji.

Procedura akwizycji obrazowania opiera się na rzadkim próbkowaniu czasowym, w którym pojedyncza objętość fMRI jest pozyskiwana od 4 do 5 s po każdym bodźcu. Takie taktowanie pozwala uchwycić szczyt odpowiedzi hemodynamicznej i zmniejsza prawdopodobieństwo, że sygnały zostaną zamaskowane przez szum skanera.

Oczekuje się, że każdy wyobrażony dźwięk wywoła subtelne, ale charakterystyczne wzorce aktywności neuronalnej, szczególnie w korze słuchowej. Klasyczny sposób analizy tych danych wykorzystuje podejście jednowymiarowe, w którym poszczególne woksele – reprezentujące pewien poziom aktywacji – są zwijane w jedną średnią.

Wartości te są następnie porównywane między dźwiękami i mogą nie powodować żadnych znaczących różnic w poziomach aktywacji.

Zamiast tego, przy użyciu analizy wielowymiarowej, wiele wokseli jest układanych dla każdego dźwięku, a poziomy aktywacji mogą być porównywane zbiorczo we wszystkich wokselach - przyczyniając się do unikalnego ogólnego wzorca dla każdego wyobrażonego dźwięku.

Dzięki temu podejściu do analizy wzorców wielowokselowych (MVPA), jeśli wzorce są rzeczywiście wrażliwe na określoną treść, możliwe jest, że można je wykorzystać do przewidywania pierwotnego bodźca. Zgadza się? MVPA jest często określana jako technika czytania w myślach!

Aby osiągnąć ten aspekt predykcji, po zebraniu uczestników należy przeprowadzić bardziej intensywne przetwarzanie? dane, które są podzielone na zestawy treningowe i testowe.

Oznaczone dane z zestawu treningowego są najpierw poddawane obliczeniom uczenia maszynowego, w szczególności algorytmowi maszyny wektorów nośnych. Proces ten służy do dokładnego klasyfikowania danych poprzez rozpoznawanie cech wzorców neuronowych, które mogą odróżniać od siebie trzy typy dźwięków.

Po tym, jak klasyfikator nauczy się funkcji umożliwiających dokładną identyfikację typów, prezentowane są mu nieoznaczone dane ze zbioru testowego, a jego domysły są następnie porównywane z prawidłowymi etykietami bodźców.

W tym przypadku wydajność klasyfikacji służy jako zmienna zależna – rejestrowana jako dokładność klasyfikatora – która jest również porównywana z wokselami wywoływanymi w innym miejscu w mózgu, takim jak biegun czołowy.

Oczekuje się, że klasyfikator będzie przewidywał identyfikację obrazów słuchowych, ujawniając znaczenie MVPA w wykrywaniu aktywności specyficznej dla treści w korze słuchowej.

Zgodnie z wymogami eksperymentalnymi i dotyczącymi bezpieczeństwa, sprawdź, czy wszyscy uczestnicy są praworęczni, mają normalne lub skorygowane do normalnego widzenia, nie mają historii zaburzeń neurologicznych lub klaustrofobii i nie posiadają żadnego metalu w swoim ciele. Upewnij się również, że wypełnili niezbędne formularze zgody.

Zanim przejdziesz dalej, wyjaśnij, że zobaczą w skanerze kilka krótkich, niemych filmów, które mogą wywołać dźwięk w ich umyśle. Poproś ich, aby skupili się na wyimaginowanych dźwiękach, "słyszeli" je najlepiej, jak potrafią i pozostawali nieruchomo przez cały czas trwania zadania.

Teraz przygotuj uczestnika do wejścia do skanera. Aby zapoznać się ze szczegółowymi krokami, zapoznaj się z innym filmem fMRI wyprodukowanym w tej kolekcji.

Po przygotowaniu wyrównaj uczestnika i wyślij go do wnętrza otworu. W sąsiednim pomieszczeniu najpierw zbierz skan anatomiczny o wysokiej rozdzielczości. Następnie zsynchronizuj początek cichej prezentacji wideo z początkiem skanowania funkcjonalnego.

Aby uzyskać rzadkie próbkowanie czasowe, ustaw czas akwizycji objętości MRI na 2 s, z 9-sekundowym opóźnieniem pomiędzy nimi.

Co ważne, skoordynuj początek każdego 5-sekundowego klipu wideo, aby rozpocząć się 4 sekundy po rozpoczęciu poprzedniego akwizycji MRI, aby uchwycić aktywność hemodynamiczną, która odpowiada środkowi filmu.

Prezentuj każdy film 10 razy, w kolejności losowej, generując jedną sesję skanowania, która trwa 5,5 minuty. Powtórz tę sekwencję akwizycji funkcjonalnej jeszcze trzy razy.

Po wykonaniu czterech funkcjonalnych skanów wyjmij uczestnika ze skanera i odpraw go, aby zakończyć badanie.

Aby zdefiniować obszary zainteresowania, użyj skanów anatomicznych o wysokiej rozdzielczości każdego uczestnika i śledź woksele na powierzchni płata skroniowego, które odpowiadają wczesnej korze słuchowej, znanej również jako płaszczyzna skroniowa. Ponadto utwórz maskę zawierającą woksele w płacie czołowym, który będzie używany jako obszar kontrolny.

Następnie wstępnie przetworzyć dane, wykonując korekcję ruchu w celu zmniejszenia artefaktów ruchu i filtrowanie czasowe w celu usunięcia dryfu sygnału.

Następnie podziel dane na dwa zestawy: trenowanie i testowanie. W jednym zestawie danych wytrenuj klasyfikator – algorytm maszyny wektorów nośnych – upewniając się, że dane z dwóch regionów mózgu są oddzielone dla każdego badanego.

W drugim zestawie oceń, czego nauczył się klasyfikator – jego zdolność do prawidłowego odgadnięcia tożsamości nieoznaczonych danych – i zarejestruj dokładność algorytmu we wszystkich przebiegach. Wykonaj tę procedurę w sumie cztery razy, za każdym razem pomijając jedno skanowanie funkcjonalne jako dane testowe - proces zwany walidacją krzyżową.

Aby zwizualizować dane, należy przedstawić na wykresie uśrednione dokładności klasyfikatora w czterech fałdach walidacji krzyżowej dla każdego uczestnika.

Wykreśl te średnie zarówno dla głównego obszaru zainteresowania - płaszczyzny skroniowej - i obszaru kontrolnego - bieguna czołowego - aby porównać swoistość ogniskową klasyfikatora, zakres, w jakim określony obszar, taki jak kora słuchowa, jest selektywnie przewidywany jako zaangażowany w wyobraźnię słuchową.

W takim przypadku uruchom statystykę nieparametryczną, test rangi ze znakiem Wilcoxona, aby przetestować wydajność w stosunku do przypadku, która wynosi 33%. Zauważ, że średnia dokładność klasyfikatora w korze słuchowej wynosiła 59%, co znacznie różni się od poziomu przypadku.

Natomiast średnia wydajność w masce bieguna czołowego wyniosła 33%, co nie różni się znacząco od przypadku.

Co więcej, zauważ, że wydajność klasyfikatora różniła się u poszczególnych osób. Po użyciu testu permutacji do obliczenia nowego progu statystycznego wynoszącego 42%, zobacz, że 19 z 20 badanych miało wartości dokładności znacznie większe niż ten poziom przy użyciu wokseli z płaszczyzny skroniowej, podczas gdy żaden nie miał wydajności większej niż szansa przy użyciu wokseli z bieguna czołowego.

Ogólnie rzecz biorąc, wyniki te sugerują, że techniki MVPA dokładnie przewidziały, które z trzech dźwięków wyobrażali sobie uczestnicy na podstawie wzorców aktywności neuronalnej. Takie przewidywania zostały dokonane tylko w obrębie kory słuchowej, co sugeruje, że treść akustyczna nie jest reprezentowana globalnie w całym mózgu.

Teraz, gdy wiesz już, jak zastosować analizę wzorców wielowokselowych do badania obrazów słuchowych, przyjrzyjmy się, jak neuropsycholodzy wykorzystują techniki wielowymiarowe, aby rozwinąć futurystyczne podejście do czytania w myślach – dekodowania stanów psychicznych – w innych dziedzinach.

Klasyfikatory zostały wykorzystane na danych fMRI uzyskanych z brzusznej kory skroniowej do przewidywania rodzajów obiektów oglądanych przez uczestników, na przykład rozróżniając domy i twarze.

Idąc o krok dalej, można nawet przewidzieć, czy dana osoba kupi ten dom, czy uzna go za przyjemny. Choć brzmi to przerażająco, te implikacje neuromarketingowe nie są daleko idące!

To samo podejście można również zastosować do wykrywania stanów emocjonalnych po obejrzeniu serialu – uznając, że przerażający film jest rzeczywiście przerażający – lub nawet gatunku filmowego; Na przykład, przerażający ruch może angażować ciało migdałowate bardziej przewidywalnie niż kontemplacyjny, który niezawodnie angażowałby korę przedczołową.

Ponadto interfejsy mózg-komputer mogą przekształcać stany psychiczne w sygnały, które poprawią komunikację, w przypadku osób poddawanych terapii logopedycznej lub ruchomości, u osób, które ucierpiały z powodu amputacji kończyny.

Właśnie obejrzałeś film JoVE na temat rozumienia obrazów słuchowych za pomocą analizy wzorców wielowokselowych. Teraz powinieneś dobrze zrozumieć, jak projektować i przeprowadzać eksperyment z obrazowaniem słuchowym w połączeniu z funkcjonalnym neuroobrazowaniem, a w końcu, jak analizować i interpretować określone wzorce aktywności mózgu.

Dzięki za oglądanie!