Monitorowanie ruchów gałek ocznych (lub eyetracking) pozwala określić, w których obszarach przestrzeni wzrok zatrzymuje się, kiedy i na jak długo. W niniejszym materiale demonstrujemy, w jaki sposób eyetracking może być wykorzystany do badania sprawności pamięci w wielu grupach uczestników, bez konieczności uzyskiwania raportów werbalnych lub innych form jawnych odpowiedzi.
Subskrypcja JoVE jest wymagana do oglądania tego materiału. Zaloguj się lub rozpocznij bezpłatny okres próbny.
Artykuł metodologiczny
Monitorowanie ruchów gałek ocznych w badaniach pamięci
W tym artykule
Informacja o sprostowaniu
Important: There has been an erratum issued for this article. View Erratum Notice
Podsumowanie
Streszczenie
Wyraźne (często werbalne) relacje są zwykle stosowane do badania pamięci (np. „Powiedz mi, co pamiętasz o osobie, którą widziałeś wczoraj w banku.”), jednak takie relacje mogą być często niezawodne lub podatne na błędy odpowiedzi1, a mogą być niedostępne w przypadku niektórych grup uczestników. Co więcej, jawne relacje ujawniają jedynie moment, w którym informacja osiągnęła świadomość, i nie pozwalają określić, kiedy wspomnienia były przetwarzane, niezależnie od tego, czy informacja była później świadomie przetwarzana. Monitorowanie ruchów oczu (śledzenie oczu) dostarcza narzędzia umożliwiającego zbadanie pamięci bez pytania uczestników o treść ich wspomnień, a dostęp do takich wspomnień może być ujawniony na bieżąco2,3. Systemy eye-trackingowe oparte na wideo (głowowe lub zdalne) wykorzystują zestaw kamer i markerów podczerwonych do analizy źrenicy oraz odbicia rogówki w każdym oku, gdy uczestnik obserwuje ekran monitora. W przypadku systemów głowowych markery podczerwieni służą również do określenia pozycji głowy, co pozwala na jej ruch i bardziej precyzyjne lokalizowanie pozycji oka. W niniejszym opracowaniu prezentujemy zastosowanie głowowego systemu eye-trackingowego do badania wydolności pamięci u dorosłych z zachowaną funkcją neurologiczną oraz u osób z uszkodzeniami neurologicznymi. Procedury monitorowania ruchów oczu rozpoczynają się od założenia urządzenia eye-trackingowego na uczestnika oraz ustawienia kamer rejestrujących głowę i oczy. Przeprowadza się kalibrację i walidację, aby zapewnić dokładność rejestracji pozycji oka. Następnie rzeczywiste w czasie rzeczywistym zapisy pozycji współrzędnych X,Y na ekranie są przetwarzane i wykorzystywane do opisu okresów, w których oko pozostaje nieruchome (tzw. fiksacje) w porównaniu z okresami ruchu (tzw. skoki sakkadowe). Fiksacje i skoki sakkadowe są zsynchronizowane czasowo z momentem pojawienia się lub zniknięcia bodźca wizualnego albo z innym zdarzeniem zewnętrznym (np. naciśnięciem przycisku). Manipulacje eksperymentalne są projektowane w celu zbadania, w jaki sposób i kiedy wzorce fiksacji i skoków sakkadowych zmieniają się pod wpływem różnego rodzaju wcześniejszego doświadczenia. Wpływ pamięci ujawnia się w stopniu, w jakim wzorce skanowania nowych obrazów różnią się od wzorców skanowania obrazów, które były wcześniej prezentowane2, 4-5. Pamięć można również badać pod kątem jej specyficzności; na przykład różnice w wzorcach ruchów oczu między identyczną a zmienioną wersją wcześniej przeanalizowanego obrazu ujawniają przechowywanie zmienionego szczegółu w pamięci2-3, 6-8. Te wskaźniki pamięci mogą być porównywane między różnymi populacjami uczestników, stanowiąc tym samym potężne narzędzie do badania organizacji pamięci u osób zdrowych oraz konkretnych zmian zachodzących w pamięci na skutek uszkodzenia neurologicznego lub jej upośledzenia2-3, 8-10.
Protokół
Sprzęt użyty podczas pozyskiwania danych
Okulograf
Okulograf użyty w niniejszym protokole to system EyeLink II (SR Research Ltd; Mississauga, Ontario, Kanada). Ten montowany na głowie, oparty na obrazie wideo okulograf rejestruje pozycję oka w układzie współrzędnych X, Y z częstotliwością próbkowania 50 lub 250 Hz, z rozdzielczością przestrzenną < 0.1°. Jedna kamera służy do monitorowania pozycji głowy poprzez wysyłanie markerów podczerwieni do czujników umieszczonych w czterech rogach monitora wyświetlacza, na który patrzą uczestnicy. Dwie dodatkowe kamery są zamontowane na opasce na głowę, poniżej każdego z oczu, a iluminatory podczerwieni są wykorzystywane do rejestracji odbić z źrenicy i rogówki. Pozycja oka może być wyznaczana na podstawie odbić z źrenicy i rogówki lub wyłącznie na podstawie źrenicy. Wyściełana opaska okulografu może być regulowana w dwóch płaszczyznach, aby komfortowo dopasować ją do rozmiaru głowy dorosłego uczestnika. Okulograf jest kompatybilny z większością okularów oraz soczewkami kontaktowymi.
Komputery
Do rejestracji ruchów gałek ocznych wykorzystuje się dwa komputery PC. Jeden komputer służy jako komputer wyświetlacza, który prezentuje uczestnikom ekrany kalibracyjne, niezbędne instrukcje do zadań oraz obrazy wykorzystywane w paradygmacie eksperymentalnym. Komputer wyświetlacza określa parametry zbierania danych, które są następnie sterowane przez drugi, komputer główny. Komputer główny oblicza w czasie rzeczywistym pozycję spojrzenia i rejestruje dane o ruchach gałek ocznych do późniejszej analizy, a także wszelkie reakcje uczestnika w postaci naciśnięć przycisków lub klawiatury. Konfiguracja uczestnika oraz obsługa eyetrackera odbywają się za pośrednictwem głównego komputera PC.
Oprogramowanie
W niniejszym protokole czas i kolejność prezentacji bodźców eksperymentalnych uczestnikom oraz sposób gromadzenia pozycji oka przez komputer nadrzędny są programowane za pomocą Experiment Builder, oprogramowania opracowanego specjalnie przez SR Research Ltd w celu komunikacji z komputerem sterującym eye trackerem. Prezentacja bodźców może być jednak przeprowadzona również za pomocą innych programów (np. Presentation, Neurobehavioral Systems; Albany, CA). Konwersja danych o ruchach gałek ocznych na serię zdarzeń fiksacji i sakad, które są zsynchronizowane czasowo z prezentacją bodźca (lub innym zdarzeniem zewnętrznym), odbywa się za pomocą komputera nadrzędnego i może być analizowana w programie Data Viewer opracowanym przez SR Research Ltd; niemniej jednak do wyznaczenia wymaganych parametrów ruchów gałek ocznych można wykorzystać również inne programy. W tym przypadku detekcja fiksacji i sakad zależy od parsera online, który rozdziela surowe próbki ruchów oczu na znaczące stany (sakady, mrugnięcia i fiksacje). Jeśli prędkość dwóch następujących po sobie próbek ruchu oka przekracza 2 stopnie na sekundę na dystansie 0.1°, próbki te są klasyfikowane jako sakada. Jeśli źrenica jest niewidoczna przez 3 lub więcej próbek, aktywność oka w strumieniu danych jest oznaczana jako mrugnięcie. Aktywność niebędąca sakadą ani mrugnięciem jest uznawana za fiksację.
Procedury okulografii.
Poniżej szczegółowo opisujemy procedury pozyskiwania zapisów ruchów gałek ocznych dla każdego uczestnika.
- Zgoda. Przed przygotowaniem uczestników prezentowana jest im opaska z okularym eye-trackery. Eksperymentator wyjaśnia uczestnikom, że pozycja głowy i oczu jest monitorowana za pomocą kamer znajdujących się w opasce.
- W przypadku danego paradygmatu eksperymentalnego uczestnicy siedzą w stałej odległości od monitora, aby zachować ten sam kąt widzenia u wszystkich badanych.
- Konfiguracja kamer eyetrackera. Hełm eytrackera zostaje dopasowany tak, aby ściśle przylegał do głowy i nie przemieszczał się, lecz nie powodował dyskomfortu. Hełm jest dalej regulowany w taki sposób, aby kamera głowowa mogła wysyłać promieniowanie podczerwone do markerów zewnętrznych znajdujących się na monitorze wyświetlacza. Każda z kamer oka jest osadzona na oddzielnym ramieniu wysuniętym z hełmu, co umożliwia regulację we wszystkich osiach. Kamery oka są rozmieszczone tuż poniżej i lekko oddalone od każdego oka, w sposób niezasłaniający uczestnikowi widoku monitora wyświetlacza (patrz Rysunek 1). Ostrość kamer jest ustawiana tak, aby uzyskać wyraźny i stabilny obraz źrenicy oraz odblasków rogówkówki. Panele stanu w komputerze sterującym wskazują, czy obraz źrenicy i odblasków rogówki są rejestrowane. Próg podświetlenia można dostosować, aby uzyskać najstabilniejszy zapis źrenicy i odblasków rogówki. Następnie eksperymentator wybiera odpowiedni paradygmat eksperymentalny i nadaje nazwę plikowi dla nadchodzących zapisów ruchów gałek ocznych.
Rycina 1. Przykład nałożonego na głowę eyetrackera wideo (po lewej) oraz monitora i komputera sterującego (po prawej). Należy zwrócić uwagę, że monitor wyświetlany przed uczestnikiem pokazuje położenie źrenicy (niebieska kropka z celownikiem) i odbicia rogówkowego (żółta kropka z celownikiem), co ułatwia konfigurację kamery. - Kalibracja. Aby uzyskać dokładne zapisy pozycji oka na monitorze, po konfiguracji kamery uruchamia się procedurę kalibracji. Podczas procedury kalibracji uczestnicy otrzymują polecenie patrzenia na serię punktów odniesienia pojawiających się w różnych miejscach na wyświetlaczu. Zazwyczaj wykorzystuje się dziewięć lokalizacji punktów odniesienia, jednak kalibrację można przeprowadzić przy użyciu nawet trzech takich punktów. Na podstawie tych dziewięciu zarejestrowanych lokalizacji można interpolować pozycję oka w dowolnym punkcie ekranu.
- Walidacja. Po kalibracji stosowana jest procedura walidacji w celu sprawdzenia dokładności rejestracji ruchów gałek ocznych. Uczestnik ponownie fiksuje te same dziewięć lokalizacji celów, a następnie obliczana jest różnica między bieżącą pozycją fiksacji a poprzednio zarejestrowaną pozycją fiksacji. Jeśli średnia dokładność rejestracji pozycji dla jednego (lub obu) oczu przekracza dopuszczalne poziomy (średni błąd < 0.5° or maksymalny błąd w dowolnym punkcie < 1.0°), ponownie przeprowadza się procedury kalibracji i walidacji. Po zaakceptowaniu poziomów dokładności badacz może określić, czy rejestracja ruchów gałek ocznych powinna być monokularna czy binokularna. W przypadku rejestracji monokularnej badacz może wskazać oko, z którego mają być rejestrowane dane, lub komputer sterujący może automatycznie wybrać oko o niższym średnim i maksymalnym błędzie. Choć kalibracja i walidacja mogą odbywać się przy niewielkich ruchach głowy, korzystne jest, aby uczestnicy siedzieli tak nieruchomo, jak to możliwe. Uczestnicy otrzymują również instrukcję, aby nie antycypować nadchodzących lokalizacji celów, lecz przemieszczać wzrok i świadomie fiksować go na celach dopiero w momencie ich pojawienia się oraz utrzymywać fiksację na celu aż do jego zniknięcia.
- Paradygmat eksperymentalny. Uczestnikowi prezentowane są instrukcje właściwe dla danego paradygmatu (np. „Proszę swobodnie oglądać każde z poniższych zdjęć”), a następnie rozpoczyna się rejestrację danych dla danej sesji.
- Korekcja dryftu. Przed rozpoczęciem każdego bodźca eksperymentalnego można przeprowadzić korekcję dryftu, prosząc uczestników o patrzenie na centralny punkt fiksacji przy jednoczesnym naciskaniu przycisku na joypadzie lub klawiaturze w celu zatwierdzenia pozycji fiksacji. W przypadku zastosowania korekcji dryftu próba nie rozpocznie się, dopóki uczestnik nie ustali pomyślnie fiksacji w centralnym obszarze fiksacji w ramach 2.0° punktu centralnego celu. Jeśli uczestnik konsekwentnie fiksuje wzrok powyżej 2.0°uczestnik musi ponownie przejść procedury kalibracji i walidacji. Każda różnica mniejsza niż 2.0° Różnica między zarejestrowaną pozycją oka a początkową pozycją fiksacji uzyskaną podczas pomiarów kalibracyjnych/walidacyjnych jest następnie odnotowywana jako błąd i uwzględniana w danych.
- Prezentacja bodźca. Pozycję oka, w tym zdarzenia fiksacyjne i sakadyczne, rejestruje się po przeprowadzeniu procedur korekcji dryfu dla każdej prezentacji bodźca. Eksperymentator może monitorować dokładność rejestracji w czasie rzeczywistym, dokonując inspekcji na komputerze głównym.
- Po zakończeniu sesji rejestracji ruchów gałek ocznych, za pomocą różnych pakietów oprogramowania, takich jak Data Viewer firmy SR Research Ltd, można wyznaczyć miary charakteryzujące wzorce skanowania podczas ruchów gałek ocznych dla różnych typów obrazów (np. nowych, powtarzanych). Ponadto analizę patrzenia na konkretne obszary bodźca (np. niezmienione, zmodyfikowane) można przeprowadzić poprzez analizę ruchów gałek ocznych w odniesieniu do wyznaczonych przez eksperymentatora obszarów zainteresowania (regions of interest), które są tworzone dla każdego obrazu albo na etapie programowania paradygmatu, albo po zebraniu danych.
- Po zakończeniu sesji uczestnicy zostali poinformowani o celu eksperymentu.
Reprezentatywne wyniki
Z rejestracji ruchów gałek ocznych można wyprowadzić wiele miar, w tym wskaźniki opisujące ogólne oglądanie obrazu (w tym charakterystykę każdego utrwalenia wzroku/sakady) oraz miary opisujące wzorzec oglądania skierowany na konkretny obszar zainteresowania w obrębie obrazu 3. Miary ogólnego oglądania obrazu mogą obejmować (między innymi): liczbę utrwaleń wzroku i liczbę sakad wykonanych na obrazie, średni czas trwania każdego utrwalenia oraz całkowity czas oglądania poświęcony na fiksację obrazu. Miary opisujące wzorzec oglądania konkretnego obszaru zainteresowania mogą obejmować (między innymi): liczbę utrwaleń wzroku w obszarze zainteresowania, czas spędzony w obszarze zainteresowania oraz liczbę przejść do obszaru zainteresowania lub z niego. Ponadto z rejestracji ruchów gałek ocznych można wyprowadzić miary określające czas (tj. jak wcześnie) wystąpienia konkretnego zdarzenia ruchowego, takie jak moment utrwalenia wzroku na określonym obszarze zainteresowania po pojawieniu się bodźca, moment wykonania pierwszej sakady na obrazie oraz entropię (stopień ograniczenia/losowości) właściwą dla sekwencji wzorców ruchów gałek ocznych.
W przypadku każdego obrazu pomiary ruchów gałek ocznych mogą szczegółowo określić, gdzie wzrok był utrwalony, kiedy i jak długo. Aby uzyskać wskaźnik pamięci, możemy poddać obserwatorów różnym typom lub ilościom ekspozycji na odmienne zestawy obrazów, a następnie porównać wzorce oglądania między tymi zestawami oraz między uczestnikami. Na przykład, aby zbadać pamięć dotyczącą powtórzenia obrazu, można zestawić wzorce skanowania obrazów nowych z obrazami, które były oglądane wielokrotnie w trakcie sesji testowej. Wielokrotne oglądanie obrazów w trakcie sesji testowej prowadzi do zmniejszenia całkowitego czasu oglądania obrazu 2, 4-5, 8. Można to zaobserwować na Rysunku 2. W tym reprezentatywnym wyniku z pracy Riggs i wsp. 1 uczestnicy oglądali nowe zdjęcia twarzy raz w każdym z pięciu bloków testowych; wraz ze wzrostem ekspozycji zmniejszała się liczba fiksacji, które obserwatorzy kierowali na twarze. Aby zbadać pamięć dotyczącą szczegółów obrazu, można zestawić wzorce skanowania obrazów, które były wielokrotnie oglądane w ich oryginalnej, niezmienionej formie (obrazy powtórzone), z obrazami, które były analogicznie oglądane wielokrotnie w trakcie sesji testowej, ale podczas ostatniej ekspozycji wprowadzono zmianę w niektórych elementach sceny (obrazy manipulowane). W takich przypadkach wzorce skanowania są w różny sposób przyciągane do obszaru, który został zmieniony w obrazie manipulowanym, w porównaniu z tym samym, niezmienionym obszarem w obrazach powtórzonych 2-3, 7-8. Jednakże takie wskaźniki pamięci oparte na ruchach gałek ocznych nie występują w niektórych populacjach, na przykład gdy ocenia się pamięć relacji przestrzennych między obiektami w scenach u zdrowych osób starszych oraz u pacjentów z amnezją spowodowaną uszkodzeniem przyśrodkowego płata skroniowego, co przedstawiono na Rysunku 3 2, 8. Zatem wyniki monitorowania ruchów gałek ocznych mogą być wykorzystywane do kontrastowania pamięci w grupach uczestników o różnym stanie neuropsychologicznym 2-3, 8-10.
Rycina 2. Ruchy gałek ocznych ujawniają pamięć o powtórzeniu. W tym reprezentatywnym wyniku z naszego laboratorium [11] uczestnicy oglądali twarze w ciągu 5 bloków badawczych; wraz ze wzrostem liczby wyświetleń (od 1 do 5), liczba fiksacji na twarzach uległa zmniejszeniu.
Rysunek 3. Ruchy gałek ocznych ujawniają pamięć o zmienionych szczegółach. Młodzi dorośli [2 (eksperymenty 1, 2), 8 (warunek swobodnego oglądania)] kierowali większą proporcję całkowitych fiksacji wzroku na krytyczny obszar w manipulowanym obrazie, który uległ zmianie w porównaniu z poprzednim oglądaniem, niż w przypadku, gdy obszar ten nie uległ zmianie, jak ma to miejsce w obrazach nowych i powtarzanych. Takie efekty pamięciowe nie wystąpiły u zdrowych starszych dorosłych [8 (warunek swobodnego oglądania)] oraz u pacjentów z amnezją [2].
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Dyskusja
Monitorowanie ruchów gałek ocznych jest wydajnym i użytecznym narzędziem służącym do oceny funkcji pamięci w różnych grupach populacyjnych. Niniejszy protokół opisuje zastosowanie zamontowanego na głowie eyetrackera wideo, jednak procedurę można łatwo dostosować do urządzeń do zdalnego śledzenia wzroku, ponieważ eyetrackery zdalne eliminują konieczność dopasowania kasku i upraszczają regulację kamer. Jednak w przypadku zdalnego eyetrackera ruchy głowy muszą być ograniczone, aby zachować dokładność zapisów ruchów oczu. Pr...
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Oświadczenia
Nie zgłoszono żadnych konfliktów interesów.
Podziękowania
Autorzy pragną podziękować współpracownikom za badania wykorzystujące monitorowanie ruchów gałek ocznych w badaniu pamięci, ze szczególnymi podziękowaniami dla Eyala Reingolda, Jiye Shen, Neala J. Cohena, Roberta R. Althoffa, Deborah Hannuli i Dave'a Warrena. Praca ta była wspierana przez Natural Sciences and Engineering Research Council of Canada (NSERC), Canadian Institutes of Health Research (CIHR), Canada Research Chairs Program oraz Canadian Foundation for Innovation (CFI).
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Materiały
| Eye tracker | SR Research Ltd. | Eyelink II | |
| Oprogramowanie do kontroli eksperymentu | SR Research Ltd. | Experiment Builder | |
| Program do analizy ruchów gałek ocznych | SR Research Ltd. | Data Viewer |
Bibliografia
- Bradfield, A. L., Wells, G. L., Olsen, E. A. The damaging effect of confirming feedback on the relation between eyewitness certainty and identification accuracy. J. Appl. Psychol. 87 (1), 112-120 (2002).
- Ryan, J. D., Althoff, R. R., Whitlow, S., Cohen, N. J. Amnesia is a deficit in relational memory. Psych. Sci. 11 (6), 454-461 (2000).
- Ryan, J. D., Cohen, N. J. The nature of change detection and online representations of scenes. J. Exp. Psych. Hum. Percept. Perfor. 30, 98-1015 (2004).
- Althoff, R. R., Cohen, N. J. Eye-movement-based memory effect: a re-processing effect in face perception. J. Exp. Psychol. Learn Mem. Cog. 25 (4), 997-1010 (1999).
- Heisz, J. J., Shore, D. More efficient scanning for familiar faces. J. Vis. 8 (1), 1-10 (2008).
- Parker, R. E. Picture processing during recognition. J. Exp. Psych. Hum. Percept. Perfor. 4, 284-293 (1978).
- Hollingworth, A., Williams, C. C., Henderson, J. M. To see and remember: Visually specific information is retained in memory from previously attended objects in natural scenes. Psychon Bull. Rev. 8, 761-768 (2001).
- Ryan, J. D., Leung, G., Turk-Browne, N. B., Hasher, L. Assessment of age-related changes in inhibition and binding using eye movement monitoring. Psychol. Aging. 22 (2), 239-250 (2007).
- Hannula, D. E., Ryan, J. D., Tranel, D., Cohen, N. J. Rapid onset relational memory effects are evident in eye movement behavior, but not in hippocampal amnesia. J. Cog. Neuro. 19 (10), 1690-1705 (2007).
- Bate, S., Haslam, C., Tree, J. J., Hodgson, T. L. Evidence of an eye movement-based memory effect in congenital prosopsagnosia. Cortex. 44 (7), 806-819 (2008).
- Riggs, L., McQuiggan, D., Chan, J., Anderson, A. K., Ryan, J. D. Emotion- modulated viewing of faces by association. , Forthcoming Forthcoming.
- Kramer, A. F., McCarley, J. S. Oculomotor behaviour as a reflection of attention and memory processes: Neural mechanisms and applications to human factors. Theor. Issues Ergon. Sci. 4 (1), 21-55 (2003).
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Przedruki i uprawnienia
Sprostowanie
Formal Correction: Erratum: Eye Movement Monitoring of Memory
Posted by JoVE Editors on 9/16/2010. Citeable Link.
A correction was made to Eye Movement Monitoring of Memory. There was an error in the author, Douglas A. McQuiggan's, name. The author's name has been corrected to:
Douglas A. McQuiggan
instead of:
Doug McQuiggan
