Spojrzenie w akcji: śledzenie dynamicznej uwagi wzrokowej dzieci na głowie podczas zachowań naturalistycznych

Podsumowanie

Małe dzieci nie obserwują świata biernie, ale raczej aktywnie eksplorują i angażują się w swoje otoczenie. Protokół ten zawiera zasady przewodnie i praktyczne zalecenia dotyczące korzystania z urządzeń śledzących ruch gałek ocznych montowanych na głowie do rejestrowania dynamicznego środowiska wzrokowego niemowląt i małych dzieci oraz uwagi wzrokowej w kontekście naturalnego zachowania.

Streszczenie

Środowisko wizualne małych dzieci jest dynamiczne, zmienia się z chwili na chwilę, gdy dzieci fizycznie i wizualnie eksplorują przestrzenie i obiekty oraz wchodzą w interakcje z ludźmi wokół nich. Śledzenie ruchu gałek ocznych na głowie daje wyjątkową możliwość uchwycenia dynamicznych, egocentrycznych poglądów dzieci i sposobu, w jaki alokują one uwagę wzrokową w tych widokach. Protokół ten zawiera zasady przewodnie i praktyczne zalecenia dla badaczy korzystających z urządzeń śledzących ruch gałek ocznych montowanych na głowie zarówno w warunkach laboratoryjnych, jak i bardziej naturalistycznych. Śledzenie ruchu gałek ocznych na głowie uzupełnia inne metody eksperymentalne, zwiększając możliwości gromadzenia danych w bardziej ekologicznych kontekstach dzięki zwiększonej przenośności i swobodzie ruchów głowy i ciała w porównaniu ze śledzeniem ruchu gałek ocznych na ekranie. Protokół ten można również zintegrować z innymi technologiami, takimi jak śledzenie ruchu i monitorowanie tętna, aby zapewnić multimodalny zestaw danych o dużej gęstości do badania naturalnych zachowań, uczenia się i rozwoju, niż było to wcześniej możliwe. Niniejszy artykuł ilustruje rodzaje danych generowanych przez śledzenie ruchu gałek ocznych zamontowanych na głowie w badaniu mającym na celu zbadanie uwagi wzrokowej w jednym naturalnym kontekście dla małych dzieci: swobodnej zabawce zabawką z rodzicem. Udane wykorzystanie tego protokołu pozwoli naukowcom na zebranie danych, które można wykorzystać do udzielenia odpowiedzi nie tylko na pytania dotyczące uwagi wzrokowej, ale także szerokiego zakresu innych umiejętności percepcyjnych, poznawczych i społecznych oraz ich rozwoju.

Wprowadzenie

W ciągu ostatnich kilku dekad obserwuje się rosnące zainteresowanie badaniem rozwoju uwagi wzrokowej u niemowląt i małych dzieci. Zainteresowanie to wynikało w dużej mierze z wykorzystania pomiarów czasu patrzenia jako podstawowego sposobu oceny innych funkcji poznawczych w okresie niemowlęcym i przekształciło się w samodzielne badanie uwagi wzrokowej niemowląt. Współczesne badania nad uwagą wzrokową niemowląt i małych dzieci mierzą przede wszystkim ruchy gałek ocznych podczas zadań śledzenia ruchu gałek ocznych na ekranie. Niemowlęta siedzą na krześle lub kolanach rodzica przed ekranem, podczas gdy ich ruchy gałek ocznych są monitorowane podczas prezentacji statycznych obrazów lub zdarzeń. Takie zadania nie są jednak w stanie uchwycić dynamicznej natury naturalnej uwagi wzrokowej i środków, za pomocą których generowane jest naturalne środowisko wizualne dzieci - aktywnej eksploracji.

Niemowlęta i małe dzieci to aktywne stworzenia, poruszające rękami, głowami, oczami i ciałami, aby eksplorować obiekty, ludzi i przestrzenie wokół nich. Każdemu nowemu rozwojowi w morfologii ciała, zdolnościach motorycznych i zachowaniu - czołganie się, chodzenie, podnoszenie przedmiotów, angażowanie się w relacje z partnerami społecznymi - towarzyszą towarzyszące zmiany we wczesnym środowisku wizualnym. Ponieważ to, co robią niemowlęta, determinuje to, co widzą, a to, co widzą, służy temu, co robią w wizualnie kierowanym działaniu, badanie naturalnego rozwoju uwagi wzrokowej najlepiej przeprowadzać w kontekście naturalnego zachowania¹.

Urządzenia do śledzenia wzroku montowane na głowie (ETs) zostały wynalezione i używane dla dorosłych od dziesięcioleci^2,3. Dopiero niedawno postęp technologiczny sprawił, że technologia śledzenia ruchu gałek ocznych montowana na głowie jest odpowiednia dla niemowląt i małych dzieci. Uczestnicy są wyposażeni w dwie lekkie kamery na głowie, kamerę sceniczną skierowaną na zewnątrz, która rejestruje perspektywę pierwszej osoby uczestnika, oraz kamerę oka skierowaną do wewnątrz, która rejestruje obraz oka. Procedura kalibracji dostarcza dane treningowe do algorytmu, który jak najdokładniej odwzorowuje zmieniające się pozycje odbicia źrenicy i rogówki (CR) na obrazie oka do odpowiednich pikseli na obrazie sceny, które były obserwowane wizualnie. Celem tej metody jest uchwycenie zarówno naturalnego środowiska wizualnego niemowląt, jak i aktywnej wizualnej eksploracji tych środowisk przez niemowlęta, gdy niemowlęta poruszają się swobodnie. Takie dane mogą pomóc odpowiedzieć na pytania nie tylko dotyczące uwagi wzrokowej, ale także szerokiego zakresu rozwoju percepcyjnego, poznawczego i społecznego^4,5,6,7,8. Zastosowanie tych technik zmieniło rozumienie wspólnej uwagi^7,8,9, sustained attention¹⁰, zmieniając doświadczenia wizualne wraz z wiekiem i rozwojem motorycznym^4,6,11, oraz rola doświadczeń wizualnych w uczeniu się słów¹². Niniejszy artykuł zawiera zasady przewodnie i praktyczne zalecenia dotyczące przeprowadzania eksperymentów ze śledzeniem ruchu gałek ocznych na głowie u niemowląt i małych dzieci oraz ilustruje rodzaje danych, które można wygenerować z ruchu gałek ocznych zamontowanych na głowie w jednym naturalnym dla małych dzieci: swobodnej zabawie zabawkami z rodzicem.

Protokół

Ten samouczek opiera się na procedurze zbierania danych o śledzeniu ruchu gałek ocznych u małych dzieci, zatwierdzonej przez Institutional Review Board na Uniwersytecie Indiana. Świadoma zgoda rodziców została uzyskana przed udziałem maluchów w eksperymencie.

1. Przygotowanie do badania

1. Sprzęt do śledzenia ruchu gałek ocznych. Wybierz jeden z kilku montowanych na głowie systemów śledzenia ruchu gałek ocznych, które są dostępne na rynku, albo jeden sprzedawany jako przeznaczony specjalnie dla dzieci, albo zmodyfikuj system tak, aby działał z wykonaną na zamówienie czepkiem dla niemowląt, na przykład, jak pokazano na rysunkach 1 i 2. Upewnij się, że system śledzenia ruchu gałek ocznych ma funkcje niezbędne do testowania niemowląt i/lub małych dzieci, wykonując następujące czynności:
   1. Wybierz kamerę sceniczną, która jest regulowana pod względem położenia i ma wystarczająco szeroki kąt, aby uchwycić pole widzenia odpowiednie do odpowiedzi na pytania badawcze. Aby uchwycić większość aktywności malucha w warunkach swobodnej zabawy, takich jak opisane tutaj, wybierz kamerę, która rejestruje pole widzenia o przekątnej co najmniej 100 stopni.
   2. Wybierz kamerę do oczu, która jest regulowana pod względem położenia i ma diodę LED na podczerwień wbudowaną w kamerę lub przylegającą do kamery i umieszczoną w taki sposób, aby rogówka oka odbijała to światło. Należy pamiętać, że niektóre modele śledzące ruch gałek ocznych mają stałe pozycjonowanie, ale zalecane są modele z elastycznymi regulacjami.
   3. Wybierz system śledzenia ruchu gałek ocznych, który jest tak dyskretny i lekki, jak to tylko możliwe, aby zapewnić największą szansę, że niemowlęta/małe dzieci będą tolerować noszenie sprzętu.
      1. Osadź system w czapce, przymocowując kamery sceny i oka do paska na rzep, który jest przymocowany po przeciwnej stronie rzepu przyszytego do czapki i umieszczając kamery poza środkiem pola widzenia malucha.
         UWAGA: Systemy zaprojektowane tak, aby były podobne do okularów, nie są optymalne. Morfologia twarzy malucha różni się od morfologii twarzy osoby dorosłej, a części, które spoczywają na nosie lub uszach malucha, mogą rozpraszać i być niewygodne dla uczestnika.
      2. Jeśli ET jest podłączony do komputera, zwiń i trzymaj je za plecami uczestnika, aby zapobiec rozproszeniu uwagi lub potknięciu. Alternatywnie można skorzystać z samodzielnego systemu, który przechowuje dane na urządzeniu pośrednim, takim jak telefon komórkowy, które można umieścić na dziecku, co pozwala na większą mobilność.
   4. Wybierz pakiet oprogramowania do kalibracji, który umożliwia kalibrację w trybie offline.
2. Środowisko nagrywania.
   1. Zastanów się, w jakim stopniu dziecko będzie poruszać się w przestrzeni podczas zbierania danych. Jeśli preferowana jest jedna pozycja, wspomnij o tym opiekunowi dziecka, aby mógł pomóc dziecku pozostać w wybranym miejscu. Usuń z przestrzeni wszystkie potencjalne rozpraszacze z wyjątkiem tych, z którymi dziecko powinno wchodzić w interakcje, które powinny być w zasięgu.
   2. Użyj kamery trzecioosobowej, aby pomóc w późniejszym kodowaniu zachowania dzieci, a także zidentyfikować momenty, w których istoty pozaziemskie mogą zostać przemieszczone. Jeśli dziecko będzie poruszać się po całej przestrzeni, rozważ również dodatkowe kamery.

2. Zbierz dane śledzenia ruchu gałek ocznych.

1. Personel i aktywność. Niech obecnych jest dwóch eksperymentatorów, jeden do interakcji z dzieckiem i zajęcia się nim, a drugi do umieszczenia i ustawienia ET.
   1. W pełni zaangażuj dziecko w aktywność, która zajmuje ręce dziecka, tak aby dziecko nie sięgało w górę, aby się przesunąć lub chwycić ET, gdy jest ono umieszczane na jego głowie. Pomyśl o zabawkach, które zachęcają do działań manualnych i małych książeczkach, które dziecko może trzymać, podczas gdy eksperymentator lub rodzic czyta dziecku.
2. Umieść ET na dziecku. Ponieważ tolerancja małych dzieci na noszenie ET montowanych na głowie jest różna, postępuj zgodnie z poniższymi zaleceniami, aby promować sukces w zakładaniu i utrzymywaniu ET u dziecka:
   1. W czasie poprzedzającym badanie poproś opiekunów, aby ich dziecko nosiło w domu czapkę lub czapkę z daszkiem, podobną do tej, która jest używana z ET, aby przyzwyczaić je do noszenia czegoś na głowie.
   2. Podczas badania należy mieć do dyspozycji różne rodzaje nasadek, do których można przymocować ET. Dostosuj czapki, kupując różne rozmiary i style czapek, takie jak czapka z daszkiem, którą można nosić do tyłu lub czapkę ze zwierzęcymi uszami, a także dodając rzep, do którego można przymocować system śledzenia oczu, zamontowany po przeciwnej stronie rzepu. Rozważ również posiadanie czapek, które będą noszone przez opiekuna i eksperymentatorów, aby zachęcić dziecko do zainteresowania i chęci noszenia czapki.
      1. Zanim założysz dziecku czepek, poproś eksperymentatora, aby znieczulił malucha na dotyk głowy, delikatnie dotykając włosów kilka razy, gdy uwaga i zainteresowanie malucha skierowane jest na zabawkę.
   3. Aby umieścić ET na dziecku, bądź z tyłu lub z boku dziecka (patrz Rysunek 2A). Umieść ET na dziecku, gdy jego ręce są zajęte, na przykład gdy dziecko trzyma zabawkę w każdej ręce.
      1. Jeśli dziecko patrzy w kierunku eksperymentatora umieszczającego ET, przywitaj się i daj dziecku znać, co jest robione, jednocześnie przystępując do szybkiego umieszczenia ET na głowie dziecka. Unikaj poruszania się zbyt wolno podczas umieszczania ET, co może powodować niepokój dziecka i może prowadzić do złego ułożenia, ponieważ dziecko ma większą możliwość poruszania głową lub sięgania po ET.
      2. Aby skrócić czas poświęcany na regulację kamery po umieszczeniu, przed umieszczeniem ET na uczestniku, ustaw kamery tak, aby znajdowały się w przewidywanej pozycji, gdy znajdują się na głowie dziecka (patrz sekcje 2.3.1 i 2.3.2).
3. Ustaw kamery sceny i oczu istot pozaziemskich. Gdy ET znajdzie się na głowie dziecka, dokonaj regulacji pozycji sceny i kamer oczu, jednocześnie monitorując obrazy z tych kamer:
   1. Ustaw kamerę sceny nisko na czole, aby jak najlepiej przybliżyć pole widzenia dziecka (patrz Rysunek 1B); wyśrodkuj widok kamery sceny na tym, na co dziecko będzie patrzeć podczas badania.
      1. Należy pamiętać, że ręce i trzymane przedmioty będą zawsze znajdować się bardzo blisko dziecka i nisko w widoku z kamery sceny, podczas gdy dalsze obiekty będą znajdować się w tle i wyżej w widoku z kamery sceny. Ustaw kamerę sceny tak, aby jak najlepiej uchwycić typ widoku najbardziej odpowiedni dla pytania badawczego.
      2. Przetestuj położenie kamery sceny, zwracając uwagę dziecka na określone miejsca w jego polu widzenia za pomocą małej zabawki lub wskaźnika laserowego. Upewnij się, że te lokalizacje znajdują się w przewidywanej odległości oglądania od obszarów, które będą przedmiotem zainteresowania podczas badania (patrz Rysunek 3).
      3. Unikaj przechylania, sprawdzając, czy powierzchnie poziome są płaskie w widoku kamery sceny. Zaznacz pionową orientację kamery sceny, aby zminimalizować możliwość przypadkowego odwrócenia kamery podczas zmiany położenia, ale pamiętaj, że dodatkowe czynności podczas przetwarzania końcowego mogą w razie potrzeby przywrócić obrazy do prawidłowej orientacji.
   2. Aby uzyskać wysokiej jakości dane dotyczące spojrzenia, ustaw kamerę oka tak, aby wykrywała zarówno odbicie źrenicy, jak i rogówki (CR) (patrz Rysunek 2).
      1. Ustaw kamerę oka tak, aby była wyśrodkowana na źrenicy dziecka, bez zasłaniania przez policzki lub rzęsy w całym zakresie ruchu oka (patrz Rysunek 2C-F dla przykładów dobrych i złych obrazów oka). Aby w tym pomóc, umieść kamerę oka poniżej oka, w pobliżu policzka, kierując ją do góry, trzymając kamerę poza centrum pola widzenia dziecka. Alternatywnie umieść kamerę oka poniżej i po zewnętrznej stronie oka, kierując się do wewnątrz.
      2. Upewnij się, że kamera znajduje się na tyle blisko oka, aby jej ruch powodował stosunkowo duże przemieszczenie źrenicy na obrazie z kamery oka.
      3. Unikaj pochylenia, upewniając się, że kąciki oka na obrazie oka mogą tworzyć poziomą linię (patrz Rysunek 2C).
      4. Upewnij się, że kontrast między źrenicą a tęczówką jest stosunkowo wysoki, aby źrenica mogła być dokładnie odróżniona od tęczówki (patrz Rysunek 2C). Aby w tym pomóc, dostosuj położenie diody LED (jeśli znajduje się obok kamery oka) lub odległość kamery oka od oka (jeśli dioda LED nie jest regulowana niezależnie). Aby zwiększyć wykrywanie źrenicy, ustaw światło LED pod kątem, a nie prosto w oko. Upewnij się, że wszelkie zmiany w świetle LED nadal dają wyraźny CR (patrz Rysunek 2C).
4. Zdobywanie punktów w trakcie badania do kalibracji w trybie offline.
   1. Gdy obrazy sceny i oczu będą tak wysokiej jakości, jak to tylko możliwe, zbierz dane kalibracyjne, zwracając uwagę dziecka na różne miejsca w jego polu widzenia.
      1. Uzyskaj punkty kalibracji na różnych powierzchniach za pomocą czegokolwiek, co wyraźnie kieruje uwagę dziecka na mały, wyraźny punkt w jego polu widzenia (patrz Rysunek 3). Na przykład użyj wskaźnika laserowego na jednolitym tle lub powierzchni z małymi, niezależnie aktywowanymi diodami LED.
      2. Ogranicz obecność innych interesujących obiektów w polu widzenia dziecka, aby upewnić się, że dziecko patrzy na cele kalibracji.
   2. Na przemian zwracaj uwagę na różne miejsca, które wymagają dużych przemieszczeń kątowych oka.
      1. Zakryj równomiernie pole widzenia i nie poruszaj się zbyt szybko między punktami, co pomoże w znalezieniu wyraźnych sakkad od dziecka podczas kalibracji offline, aby pomóc wywnioskować, kiedy patrzyło na następną lokalizację.
      2. Jeśli dziecko nie spojrzy od razu na nowe podświetlone miejsce, zwróć jego uwagę na to miejsce, poruszając laserem, wyłączając/włączając diody LED lub dotykając miejsca palcem.
      3. Jeśli to możliwe, uzyskaj więcej punktów kalibracji niż to konieczne, na wypadek, gdyby niektóre z nich okazały się później bezużyteczne.
   3. Upewnij się, że pozycja ciała dziecka podczas kalibracji jest zgodna z pozycją, która będzie używana podczas badania.
      1. Na przykład nie należy zbierać punktów kalibracji, gdy dziecko siedzi, jeśli oczekuje się, że dziecko będzie później stać.
      2. Upewnij się, że odległość między dzieckiem a wzorcami kalibracji jest podobna do odległości między dzieckiem a obszarami, które będą przedmiotem zainteresowania podczas badania.
      3. Nie umieszczaj punktów kalibracji bardzo blisko ciała dziecka, jeśli podczas eksperymentu dziecko będzie przede wszystkim patrzeć na obiekty znajdujące się dalej. Jeśli ktoś jest zainteresowany zarówno bliskimi, jak i dalekimi obiektami, powinien rozważyć uzyskanie dwóch różnych zestawów punktów kalibracji, które można później wykorzystać do stworzenia unikalnych kalibracji dla każdej odległości oglądania (więcej informacji można znaleźć w sekcji 3.1).
         UWAGA: Obuoczne śledzenie ruchu gałek ocznych to rozwijająca się technologia^13,14, która obiecuje postęp w szczegółowym śledzeniu wzroku.
   4. Aby uwzględnić dryft lub ruch ET podczas badania, należy zebrać punkty kalibracji co najmniej na początku i na końcu badania. Jeśli to możliwe, zbieraj dodatkowe punkty kalibracji w regularnych odstępach czasu podczas sesji.
5. Monitoruj transmisje wideo ET i wideo z trzeciej osoby podczas badania.
   1. Jeśli ET zostanie wybrzuszony lub niewspółosiowy z powodu innych ruchów/działań, należy zwrócić uwagę na to, kiedy w badaniu to się wydarzyło, ponieważ może być konieczne ponowne skalibrowanie i zakodowanie części badania przed i po zderzaniu/niewspółosiowości oddzielnie (patrz sekcja 3.1.1).
   2. Jeśli to możliwe, należy przerwać badanie po każdym wybrzuszeniu/niewspółosiowości w celu zmiany położenia sceny i kamery oka (zob. sekcja 2.3), a następnie uzyskać nowe punkty do kalibracji (zob. sekcja 2.4).

3. Po zakończeniu badania skalibruj dane ET za pomocą oprogramowania do kalibracji.

Uwaga: Na rynku dostępne są różne pakiety oprogramowania do kalibracji.

1. Rozważ utworzenie wielu kalibracji. Dostosuj punkty kalibracji do różnych segmentów wideo, aby zmaksymalizować dokładność śledzenia spojrzenia, nie podając algorytmowi nieprawidłowo niedopasowanych danych.
   1. Jeśli ET zmienił pozycję w dowolnym momencie badania, należy utworzyć oddzielne kalibracje dla porcji przed i po zmianie pozycji ET.
   2. Jeśli interesuje Cię zwracanie uwagi na obiekty znajdujące się w bardzo różnych odległościach oglądania, utwórz osobne kalibracje dla części filmu, w których dziecko patrzy na obiekty z każdej odległości oglądania. Należy pamiętać, że różnice w odległości patrzenia mogą powstawać w wyniku przesunięć uwagi wzrokowej dziecka między bardzo bliskimi i różnymi dalekimi obiektami, ale także przez zmiany w pozycji ciała dziecka względem obiektu, takie jak przejście z pozycji siedzącej do stojącej.
2. Wykonaj każdą kalibrację. Ustal mapowanie między sceną a okiem, tworząc serię punktów kalibracji - punktów na obrazie sceny, do których wzrok dziecka był wyraźnie skierowany podczas tego kadru. Należy pamiętać, że oprogramowanie do kalibracji może ekstrapolować i interpolować punkt widzenia (POG) we wszystkich klatkach z zestawu punktów kalibracji równomiernie rozmieszczonych na obrazie sceny.
   1. Pomóż oprogramowaniu kalibracyjnemu w wykrywaniu źrenicy i CR w każdej klatce wideo z kamery oka, aby upewnić się, że zidentyfikowany POG jest wiarygodny. W przypadkach, gdy oprogramowanie nie jest w stanie wykryć CR w sposób niezawodny i konsekwentny, należy używać tylko źrenicy (należy jednak pamiętać, że w rezultacie ucierpi na tym jakość danych).
      1. Uzyskaj dobry obraz oka w ramkach kamery oka, dostosowując progi różnych parametrów wykrywania oprogramowania kalibracyjnego, które mogą obejmować: jasność obrazu oka, rozmiar źrenicy oczekiwanej przez oprogramowanie oraz obwiednię, która wyznacza granice, w których oprogramowanie będzie szukać źrenicy. Narysuj obwiednię tak małą, jak to możliwe, upewniając się, że źrenica pozostaje wewnątrz pudełka w całym zakresie ruchu oka. Należy pamiętać, że większa obwiednia obejmująca przestrzeń, której źrenica nigdy nie zajmuje, zwiększa prawdopodobieństwo wykrycia fałszywej źrenicy i może spowodować, że małe ruchy źrenicy będą wykrywane mniej dokładnie.
      2. Należy pamiętać, że nawet po dostosowaniu różnych progów wykrywania, oprogramowanie może czasami nadal nieprawidłowo lokalizować źrenicę lub CR, na przykład, jeśli rzęsy zakrywają źrenicę.
   2. Znajdź dobre punkty kalibracji na podstawie klatek sceny i kamery oka. Należy pamiętać, że najlepsze punkty kalibracji dostarczane do oprogramowania to te, w których źrenica i CR są dokładnie wykrywane, oko jest stabilnie skupione na wyraźnie rozpoznawalnym punkcie w przestrzeni na obrazie sceny, a punkty są równomiernie rozproszone w całym zakresie obrazu sceny.
      1. Upewnij się, że wykrywanie źrenicy jest dokładne dla każdej klatki, w której wykreślany jest punkt kalibracji, tak aby do algorytmu były wprowadzane zarówno prawidłowe współrzędne sceny x-y, jak i prawidłowe współrzędne źrenicy x-y.
      2. Podczas pierwszego przejścia kalibracji zidentyfikuj punkty kalibracji w momentach, w których dziecko wyraźnie patrzy na wyraźny punkt na obrazie sceny. Należy pamiętać, że mogą to być punkty celowo utworzone przez eksperymentatora podczas zbierania danych, na przykład za pomocą wskaźnika laserowego (patrz Rysunek 3A-B), lub mogą to być punkty z badania, w którym POG jest łatwo identyfikowalny (patrz Rysunek 3C), o ile źrenica jest dokładnie wykryta dla tych ramek.
      3. Aby znaleźć momenty spojrzenia na bardziej ekstremalne współrzędne obrazu sceny x-y, przeskanuj klatki kamery oka, aby znaleźć momenty z dokładnym wykrywaniem źrenicy, gdy oko dziecka znajduje się w najbardziej ekstremalnej pozycji x-y.
   3. Wykonaj wiele "przejść" dla każdej kalibracji, aby iteracyjnie doskonalić się w możliwie najdokładniejszej kalibracji. Należy pamiętać, że po zakończeniu pierwszego "przejścia" przy kalibracji, wiele programów komputerowych pozwoli na usunięcie wcześniej używanych punktów bez utraty bieżącej ścieżki (np. celownika). Wybierz nowy zestaw punktów kalibracji, aby wytrenować algorytm od podstaw, ale z dodatkową pomocą ścieżki POG wygenerowanej przez poprzedni przebieg kalibracji, co pozwala na stopniowe zwiększanie dokładności kalibracji poprzez stopniowe "czyszczenie" wszelkich szumów lub niedokładności wprowadzonych przez wcześniejsze przejścia.
3. Oceń jakość kalibracji, obserwując, jak dobrze POG odpowiada znanym miejscom spojrzenia, takim jak kropki wytwarzane przez wskaźnik laserowy podczas kalibracji, i odzwierciedla kierunek i wielkość sakkad dziecka. Do oceny jakości kalibracji należy unikać używania punktów, które były również używane jako punkty podczas procesu kalibracji.
   1. Pamiętaj, że ponieważ głowy i oczy dzieci są zazwyczaj wyrównane, uwaga wzrokowa dzieci jest najczęściej kierowana na środek obrazu sceny, a dokładna ścieżka będzie to odzwierciedlać. Aby ocenić wyśrodkowanie ścieżki, należy wykreślić współrzędne x-y POG klatka po klatce na obrazie sceny wygenerowanym przez kalibrację (patrz Rysunek 4). Upewnij się, że punkty są najbardziej zagęszczone w środku obrazu sceny i rozmieszczone symetrycznie, z wyjątkiem przypadków, gdy kamera sceny nie była wyśrodkowana na środku pola widzenia dziecka, gdy była pierwotnie umieszczona.
   2. Należy pamiętać, że niektóre programy do kalibracji generują wyniki dopasowania liniowego i/lub homografii, które odzwierciedlają dokładność kalibracji. Pamiętaj, że te wyniki są do pewnego stopnia przydatne, ponieważ jeśli są słabe, ścieżka prawdopodobnie również będzie słaba. Nie należy jednak używać wyników dopasowania jako podstawowej miary dokładności kalibracji, ponieważ odzwierciedlają one stopień, w jakim wybrane punkty kalibracji zgadzają się ze sobą, co nie dostarcza żadnych informacji na temat dopasowania tych punktów do rzeczywistej lokalizacji POG.
   3. Pamiętaj, że w badaniu są momenty, w których cel spojrzenia jest łatwy do zidentyfikowania i dlatego może być wykorzystany jako prawda podstawowa. Oblicz dokładność w stopniach kąta widzenia, mierząc błąd między znanymi obiektami spojrzenia a celownikiem POG (błąd w pikselach z obrazu wideo można w przybliżeniu przeliczyć na stopnie w oparciu o charakterystykę obiektywu kamery sceny)⁴.

4. Regiony zainteresowania kodu (ROI).

UWAGA: Kodowanie ROI to ocena danych POG w celu określenia, na jaki obszar dziecko wizualnie zwraca uwagę w danym momencie. ROI może być kodowany z dużą dokładnością i wysoką rozdzielczością na podstawie danych POG klatka po klatce. Wynikiem tego kodowania jest strumień punktów danych - po jednym punkcie na klatkę wideo - które wskazują region POG w czasie (patrz Rysunek 5A).

1. Przed rozpoczęciem kodowania ROI sporządź listę wszystkich ROI, które powinny zostać zakodowane na podstawie pytań badawczych. Należy pamiętać, że zwrot z inwestycji w kodowanie, który nie jest potrzebny do udzielenia odpowiedzi na pytania badawcze, sprawia, że kodowanie jest niepotrzebnie czasochłonne.
2. Zasady kodowania ROI.
   1. Pamiętaj, że udane kodowanie wymaga porzucenia założeń programisty dotyczących tego, gdzie dziecko powinno patrzeć, a zamiast tego uważnego zbadania obrazu oka każdej klatki, obrazu sceny i obliczonego POG. Na przykład, nawet jeśli obiekt jest trzymany przez dziecko i jest bardzo duży na obrazie sceny dla określonej klatki, nie należy wnioskować, że dziecko patrzy na ten obiekt w tym momencie, chyba że wskazuje na to również położenie oczu. Należy pamiętać, że ROI wskazują, w jakim regionie dziecko się znajduje, ale nie przechwytują pełnych informacji wizualnych, które dziecko przyjmuje.
   2. Użyj obrazu oka, obrazu sceny i ścieżki POG, aby określić, który zwrot z inwestycji jest wizualnie obsługiwany.
      1. Używaj ścieżki POG jako przewodnika, a nie jako prawdy podstawowej. Chociaż idealnie byłoby, gdyby ścieżka POG wyraźnie wskazywała dokładną lokalizację, na którą dziecko patrzy dla każdej klatki, należy pamiętać, że nie zawsze tak będzie ze względu na dwuwymiarową (2D) naturę obrazu sceny w stosunku do natury 3D rzeczywistego świata oglądanego przez dziecko i różnice w dokładności kalibracji między uczestnikami.
         1. Należy pamiętać, że obliczona ścieżka POG jest oszacowaniem opartym na algorytmie kalibracji i że niezawodność ścieżki POG dla konkretnej klatki zależy zatem od tego, jak dobrze wykryte są źrenice i CR; jeśli jedna lub obie nie zostaną wykryte lub są nieprawidłowe, ścieżka POG nie będzie wiarygodna.
            UWAGA: Od czasu do czasu celownik będzie stale chybiony o ustaloną odległość. Nowsze oprogramowanie może pozwolić na obliczeniową korektę tej rozbieżności. W przeciwnym razie przeszkolony badacz może wykonać korektę ręcznie.
      2. Użyj ruchu źrenicy na obrazie oka jako głównej wskazówki, że ROI mógł się zmienić.
         1. Przewijaj klatki jedna po drugiej, obserwując obraz oka. Kiedy wystąpi widoczny ruch gałek ocznych, sprawdź, czy dziecko przesuwa swoje POG na nowy ROI, czy na brak zdefiniowanego ROI.
         2. Należy pamiętać, że nie wszystkie ruchy gałek ocznych wskazują na zmianę ROI. Jeśli ROI obejmuje duży obszar przestrzeni (np. obiekt z bliska), należy pamiętać, że niewielki ruch gałek ocznych może odzwierciedlać spojrzenie na nowe miejsce w tym samym obszarze ROI. Podobnie pamiętaj, że ruchy gałek ocznych mogą wystąpić, gdy dziecko śledzi pojedynczy ruchomy ROI lub gdy dziecko, które porusza głową, porusza również oczami, aby utrzymać wzrok na tym samym ROI.
         3. Zauważ, że w przypadku niektórych istot pozaziemskich obraz oka jest lustrzanym odbiciem oka dziecka, w którym to przypadku, jeśli oko przesunie się w lewo, powinno to odpowiadać przesunięciu w prawo w scenie.
   3. Ponieważ ścieżka POG służy tylko jako przewodnik, wykorzystaj również dostępne informacje kontekstowe, aby pokierować decyzjami dotyczącymi kodowania.
      1. Integruj informacje z różnych źródeł lub ramek podczas kodowania ROI. Mimo że ROI jest kodowany osobno dla każdej klatki, wykorzystaj ramki przed i po bieżącej klatce, aby uzyskać informacje kontekstowe, które mogą pomóc w określeniu prawidłowego ROI. Na przykład, jeśli ścieżka POG jest nieobecna lub nieprawidłowa dla danej klatki z powodu słabego wykrywania źrenicy, ale oko nie poruszało się na podstawie poprzednich i kolejnych klatek, w których źrenica została dokładnie wykryta, zignoruj ścieżkę POG dla tej klatki i zakoduj ROI na podstawie otaczających ramek.
      2. Podejmuj inne decyzje specyficzne dla pytań badawczych użytkowników.
         1. Na przykład utwórz protokół kodowania ROI, gdy dwa ROI znajdują się w bliskiej odległości od siebie, w którym to przypadku może być trudno określić, który z nich jest "właściwym" ROI. W przypadkach, gdy dziecko wydaje się fiksować na styku dwóch ROI, zdecyduj, czy zakodować oba ROI jednocześnie, czy też sformułować zestaw reguł decyzyjnych dotyczących sposobu wyboru i przypisania tylko jednej z kategorii ROI.
         2. Jako dodatkowy przykład, gdy obiekt zainteresowania jest trzymany w taki sposób, że ręka zasłania obiekt, zdecyduj, czy zakodować POG jako ROI dla ręki, czy jako ROI dla trzymanego obiektu.
3. Kod zwrotu z inwestycji dla niezawodności. Zaimplementuj procedurę kodowania niezawodności po zakończeniu początkowego protokołu kodowania ROI. Dostępnych jest wiele różnych rodzajów procedur kodowania niezawodności; Wybierz najbardziej odpowiednią procedurę w oparciu o konkretne pytania badawcze.

Wyniki

Omawiana tutaj metoda została zastosowana do swobodnej zabawy zabawkami między maluchami a ich rodzicami. Badanie miało na celu zbadanie naturalnej uwagi wzrokowej w zagraconym środowisku. Diady zostały poinstruowane, aby przez sześć minut swobodnie bawić się zestawem 24 zabawek. Uwaga wzrokowa maluchów była mierzona poprzez kodowanie początku i przesunięcia spojrzeń do określonych obszarów zainteresowania (ROI) – każdej z 24 zabawek i twarzy rodzica – oraz poprzez analizę czasu trwania i...

Dyskusja

Protokół ten zawiera zasady przewodnie i praktyczne zalecenia dotyczące wdrażania śledzenia ruchu gałek ocznych na głowie u niemowląt i małych dzieci. Protokół ten został oparty na badaniu naturalnych zachowań malucha w kontekście swobodnej zabawy rodzic i maluch zabawkami w warunkach laboratoryjnych. Do kalibracji i kodowania danych wykorzystano własny sprzęt i oprogramowanie do śledzenia ruchu gałek ocznych. Niemniej jednak protokół ten ma być ogólnie stosowany przez badaczy korzystających z różnych systemów śledzenia ...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Montowany na głowie eye tracker	Pupil Labs	World Camera i kamera