Połączenie eksperymentów behawioralnych opartych na grach komputerowych z EEG o dużej gęstości i śledzeniem wzroku w podczerwieni

Opisano procedury rejestrowania danych EEG i spojrzenia o dużej gęstości podczas zadań poznawczych opartych na grach komputerowych. Wykorzystanie gry wideo do prezentowania zadań poznawczych zwiększa ważność ekologiczną bez poświęcania kontroli eksperymentalnej.

Ten film demonstruje procedurę uzyskiwania jednoczesnego śledzenia wzroku i nagrań EEG o wysokiej gęstości od badanych podczas wykonywania angażujących i ekologicznie ważnych zadań poznawczych osadzonych w grze komputerowej. Najpierw elektrody są przymocowane do obiektu. Kamera śledząca wzrok jest następnie kalibrowana.

Badany gra w grę, podczas gdy rejestrowane są dane EEG i Gaze. Uzyskuje się potencjały związane ze zdarzeniami i perturbacje widmowe związane ze zdarzeniem, które są odwoływane przez zdarzenia w grze. Główną zaletą tej techniki w porównaniu z istniejącymi metodami, na przykład pakietami prezentacji bodźców, takimi jak ePrime lub prezentacja, jest to, że osadzenie eksperymentów w grze komputerowej łagodzi niepokój związany z wydajnością poprzez odejście od wyraźnego kontekstu testowego i pomaga badanym pozostać zmotywowanym i zaangażowanym w zadania podczas długiej sesji eksperymentalnej.

Obejmuje szeroki zakres zadań poznawczych. Cechy te są szczególnie ważne dla populacji pediatrycznych i klinicznych, w których uwaga i motywacja mogą stanowić przeszkodę w złożonych lub długich sesjach eksperymentalnych. Nazywam się Keith Yoder i jestem asystentem naukowym w Laboratorium Beaumont.

Dzisiaj będzie mi pomagał David Post, technik laboratoryjny i absolwent UAUA na Wydziale Rozwoju Człowieka. Będziemy używać 128-kanałowego biosu, półaktywnego systemu pomiarowego z dwoma kanałami pomiarowymi oraz trackera podczerwieni iLink 1000 firmy SR Research Zanim rozpocznie się połączony eksperyment z grą komputerową i EEG, elektrody powinny zostać wyważone, aby upewnić się, że mają małe przesunięcia w zakresie plus minus 20 mikrowoltów na godzinę przed przybyciem pacjenta. W eksperymencie EEG zrównoważ elektrody, mocząc je przez pięć do 10 minut w kąpieli solnej składającej się z jednej łyżeczki soli na litr wody destylowanej.

Nie pozostawiaj elektrod w żadnym płynie na dłużej niż 10 minut. Po wyjęciu elektrod z kąpieli solnej użyj butelki z rozpylaczem wypełnionej wodą destylowaną, aby wypłukać je tuż przed przybyciem obiektu. Włącz konwertery kamer śledzących spojrzenie i komputery, aby jednocześnie śledzić wzrok i EEG, pamiętaj, aby użyć soczewki o długości 16 milimetrów w kamerze śledzącej spojrzenie.

Konfiguracja wykorzystuje cztery komputery, jeden dedykowany komputer do śledzenia wzroku, jeden dedykowany komputer do akwizycji EEG, jeden dedykowany komputer do prezentacji bodźców oraz jeden komputer do akwizycji wideo i analizy danych. Dwie skrzynki konwerterów. Manipuluj wyjściami VGA z komputera śledzącego spojrzenie i komputera prezentacji bodźców, a następnie wyślij złożony sygnał wideo do komputera akwizycji wideo.

W ten sposób komputer do akwizycji wideo może nagrywać ekran gry widziany przez obiekt, na który nałożony jest kursor reprezentujący bieżącą fiksację wzroku i znacznik czasu. Ta nakładka wideo jest zapisywana na dysku file na komputerze do pobierania wideo. Zobaczmy teraz konfigurację EEG.

Rozpocznij przygotowania do eksperymentu EEG od zmierzenia obwodu osoby badanej. Omiń okolice brwi i wnęki i wybierz nasadkę elektrody o odpowiednim rozmiarze. Umieść nasadkę na głowie fotografowanej osoby, upewniając się, że znacznik znajduje się poza nasadką spoczywającą na szyi fotografowanej osoby.

Zmień położenie nasadki, aż jedna elektroda A zostanie wyśrodkowana w stosunku do nasion inion i lewej małżowiny usznej, prawy kołpak es i linia środkowa nasadki będzie leżeć wzdłuż linii środkowej głowy badanego. Nasionem jest wgłębienie między nosem a brwią. Wgłębienie to guzek kostny na linii środkowej z tyłu głowy, a małżowina uszna to płat chrząstki rozciągający się po przedniej stronie otworu przewodu słuchowego.

Gdy nasadka jest na swoim miejscu, przyłóż pierścień samoprzylepny do plastikowej obudowy elektrod. Ex pięć i ex sześć. Dopasuj otwór pierścienia do osadu elektrody.

Usuń papierowy podkład z pierścienia samoprzylepnego i pokryj styk elektrody żelem przewodzącym. Umieść EX sześć na prawym wyrostku sutkowatym podmiotu i EX pięć na lewym wyrostku sutkowatym podmiotu. Użyj strzykawki, aby umieścić żel przewodzący w każdym uchwycie elektrody w nasadce.

Porusz końcówką strzykawki, aby rozdzielić włosy badanego. Następnie jednocześnie naciśnij tłok w dół i odciągnij strzykawkę od główki, tak jakbyś dekorował ciasto. Napełniaj, aż żel zostanie przepłukany górną częścią plastikowej obudowy.

Pamiętaj, aby nie przepełnić. Lepiej jest mieć za mało żelu, niż zbyt dużo nadmiaru żelu może krwawić między miejscami elektrod, powodując mostkowanie elektrody. Jeśli elektrody zostaną zmostkowane, nie ma na to nic.

Ale aby zdjąć nasadkę, poproś osobę badaną o umycie i wysuszenie włosów, a następnie zacznij od nowa, z wtyczkami przewodów elektrod zwisającymi przez ramię, a końcówki czujnika w jednej ręce delikatnie umieść każdą elektrodę w odpowiednim uchwycie w nasadce elektrody. Chwyć tylko plastikową obudowę elektrod i bardzo uważaj, aby nie zacisnąć przewodów. Bardzo ważne jest, aby nie dotykać końcówek elektrod.

Kontakt ze skórą, odzieżą lub jakimkolwiek materiałem innym niż żel przewodzący pogorszy jakość elektrod. Umieść żel przewodzący na X od pierwszego do X czwartego i użyj samoprzylepnych pierścieni, aby przymocować go do twarzy fotografowanej osoby. Umieść X jeden i X dwa około jednego centymetra poziomo od lewej i prawej zewnętrznej canthi fotografowanej osoby.

Umieść X trzy i DX cztery około jednego centymetra poniżej środka lewego i prawego oka badanego na kościach jarzmowych. Delikatnie zbierz przewody elektrod za obiektem i luźno owiń przewód C-M-S-D-R-L wokół pozostałych. Aby stworzyć kucyk, umieść opaski na rzepy u góry i u dołu kucyka, aby utrzymać smycze na miejscu i użyj taśmy medycznej, aby przymocować kucyk do tyłu koszulki z przedmiotem.

Upewnij się, że w tych przewodach jest wystarczająco luźno, aby szyja fotografowanej osoby mogła wygodnie wygiąć się do przodu. Teraz przygotuj elektrody GSR, nakładając roztwór chlorku potasu na każdą elektrodę. Użyj taśmy medycznej, aby przymocować elektrody GSR do drugiego i trzeciego palca na niedominującej dłoni badanego lub w dowolnej ręce, która nie będzie używana podczas eksperymentu.

Aby zasygnalizować reakcje behawioralne po ustawieniu wszystkich elektrod, poproś badanego, aby usiadł na nieruchomym krześle bez odchylania. Przed monitorem prezentacji bodźca podłącz wszystkie elektrody do skrzynki konwertera i sprawdź komputer akwizycji EEG, aby upewnić się, że przesunięcia elektrod mieszczą się w zakresie plus minus 40 mikrowoltów. Jeśli elektroda ma bardzo duże przesunięcie lub jest głośna, delikatnie zdejmij elektrodę z nasadki.

Włóż więcej żelu do obudowy i wymień elektrodę. Jeśli problem będzie się powtarzał w pojedynczej elektrodzie lub jeśli pojedyncza elektroda zostanie zanieczyszczona artefaktem impulsu, kanał ten powinien zostać interpolowany z otaczających elektrod. Po zakończeniu nagrywania skonfiguruj śledzenie spojrzenia, umieszczając najpierw naklejkę docelową nad brwią septyczną przyśrodkowo do oka.

Uruchom aplikację do kalibracji wyskakujących okienek na komputerze prezentującym bodźce. Rozpocznij nową sesję i zmień menu rozwijane typu na CMD. Po wprowadzeniu odpowiedniego polecenia naciśnij przycisk wysyłania, aby włączyć rejestrowanie zdarzeń z poziomu aplikacji do kalibracji wyskakujących okienek, które uruchamiają konfigurację kamery.

Ustaw aparat tak, aby naklejka celu i I obiektu były wyśrodkowane do automatycznego progu. Naciśnij A na klawiaturze komputera prezentującego bodźce. Dostosuj ostrość, obracając obiektyw aparatu, aż I, które ma być śledzone, będzie wyraźne.

Rozpocznij kalibrację systemu śledzenia wzroku do obiektu, naciskając C na klawiaturze komputera do prezentacji bodźców. Kropka pojawi się w dziewięciu różnych miejscach na ekranie w losowej kolejności. Tester powinien patrzeć na kropkę, gdy się pojawi, zamiast przewidywać położenie następnej kropki.

Aby zatwierdzić kalibrację, naciśnij V. Kropki pojawią się ponownie w losowej kolejności. Jeśli kalibracja była dobra, wzrok obiektu zostanie odwzorowany na każdej kropce walidacji.

Jeśli kalibracja nie powiedzie się, upewnij się, że progi odbicia źrenicy i rogówki są odpowiednie. Progi źrenicy i rogówki można regulować na ekranie ustawień kamery na komputerze hosta wyspy w lewym górnym rogu ekranu, klikając strzałki źrenicy i rogówki, odpowiednio zwiększając i zmniejszając progi. Upewnij się, że częstotliwość próbkowania jest ustawiona na 500 Hz, klikając przycisk 500 Hz.

Zminimalizuj wyskakujące okienko aplikacji kalibracyjnej na komputerze prezentującym bodźce i rozpocznij rejestrowanie danych spojrzenia, klikając prawym przyciskiem myszy ikonę iLink na pasku zadań i wybierając Rozpocznij nagrywanie. Rozpocznij nagrywanie wideo na komputerze do akwizycji wideo za pomocą oprogramowania Black Magic Media Express. Następnie rozpocznij zapis EEG na komputerze akwizycji EEG, klikając przycisk pauzy.

Teraz, jeśli chodzi o prezentację bodźca, komputer uruchomił grę, ponieważ polus jest grą na zamówienie, zaprojektowaną w celu zapewnienia ekologicznej ważności Bez poświęcania kontroli eksperymentalnej w jednej grze, badani muszą uratować zaatakowany statek towarowy. Zadanie typu go no-go jest realizowane poprzez wprowadzenie tunelu czasoprzestrzennego, z którego wyłania się albo przyjaciel, który pomaga graczowi, albo wróg, który szkodzi graczowi. Graczy. Wykonaj także zadanie spójności ruchu kropki, sterując statkiem kosmicznym przez dryfujące pola gwiazd podczas innej gry.

Badani muszą użyć lunety radarowej do zebrania planetoid w zmodyfikowanym zadaniu Posnera, cztery sektory, w których asteroidy mogą się pojawiać, migoczą na różnych częstotliwościach podstawowych. Zmiany w zawartości spektralnej EEG mogą następnie ocenić uwagę na podstawie amplitud częstotliwości, które oznaczają każdy sektor. Inna gra prosi badanych o pomoc w zawarciu galaktycznego traktatu poprzez zidentyfikowanie emocji przedstawionych na twarzach.

Każda z pięciu twarzy musi zostać umieszczona w pustych miejscach na planszy, aby utworzyć rząd lub kolumnę trzech twarzy wyrażających tę samą emocję. Czwarta gra implementuje test Sally Anne dla graczy z teorii umysłu. Obserwuj, jak kapitan Sally umieszcza swój ładunek na jednej z czterech planet.

W rolę Anny wciela się kosmiczny pirat, który przenosi ładunek na inną planetę. Na koniec admirał obserwuje zarówno kapitana, jak i pirata i przekazuje kapitanowi informacje o działaniach pirata. Gracze muszą następnie wyznaczyć kursy przechwytywania dla kapitana i pirata, wnioskując, gdzie każdy z nich będzie szukał ładunku, a tym samym wdrażając teorię umysłu pierwszego i drugiego rzędu w kontrastach między kilkoma warunkami.

Ostatnie wyniki interakcji człowiek-komputer wskazują na moc kontekstu gry w tworzeniu i utrzymywaniu motywacji w zadaniach, które w przeciwnym razie mogłyby nie wydawać się angażujące w ten sposób. Wiele zadań poznawczych w wielu powtarzających się próbach można wykonać podczas jednej sesji eksperymentalnej bez zmęczenia pacjenta. Jest to szczególnie ważne, ponieważ aby uzyskać wystarczającą liczbę prób do uśredniania EEG, badani powinni zgromadzić około stu prób każdego warunku bodźca W przypadku bodźców słuchowych należy wymienić głośniki bierne na komputerze prezentującym bodźce na głośniki o dużej mocy.

Następnie podłącz i włącz wzmacniacz. Ustaw głośność na poziom 60. Jest to konieczne, aby osiągnąć maksymalny poziom dźwięku 80 decybeli SPL, gdy podmiot zakończył granie w gry.

Wyjdź z gry i zatrzymaj nagrywanie danych, naciskając przycisk stop w interfejsie graficznym. Na każdym z komputerów do akwizycji wideo, śledzenia wzroku i akwizycji EEG. Wyłącz konwerter EEG i odłącz od niego wszystkie przewody.

Zdejmij pierścienie samoprzylepne i umieść je w ciepłej wodzie destylowanej. Użyj butelki z rozpylaczem wypełnionej wodą destylowaną, aby usunąć żel pozostały na elektrodach i użyj ciepłej wody z kranu i mydła, aby usunąć żel z nasadki elektrody. Teraz pokażemy kilka reprezentatywnych wyników EEG.

Oto wykres perturbacji widmowej związany ze zdarzeniem uzyskany z czołowej elektrody linii środkowej fz. W tej grze obecny wróg odpowiada pojawieniu się wrogiego okrętu lub warunku odejścia, a obecny przyjacielski odpowiada pojawieniu się przyjaznego okrętu lub warunku zakazu startu podczas stanu no-go. Zazwyczaj rozwijające się dzieci wykazywały znacznie większą moc EEG w paśmie gamma niż dzieci ze spektrum autyzmu.

Podczas wykonywania tej procedury ważne jest, aby unikać dotykania styków elektrody, zaciskania przewodów lub używania zbyt dużej ilości żelu.