Metodologia przechwytywania wspólnej uwagi wzrokowej za pomocą mobilnych urządzeń śledzących ruch gałek ocznych

Summary

Korzystanie z czujników multimodalnych jest obiecującym sposobem na zrozumienie roli interakcji społecznych w środowisku edukacyjnym. W artykule opisano metodologię przechwytywania wspólnej uwagi wzrokowej z kolokowanych diad za pomocą mobilnych urządzeń śledzących ruch gałek ocznych.

Abstract

Wraz z pojawieniem się nowych osiągnięć technologicznych, możliwe jest badanie interakcji społecznych na mikropoziomie z niespotykaną dotąd dokładnością. Czujniki wysokiej częstotliwości, takie jak urządzenia śledzące ruch gałek ocznych, opaski elektrodermalne, opaski EEG i czujniki ruchu, zapewniają obserwacje na poziomie milisekund. Ten poziom precyzji pozwala naukowcom na gromadzenie dużych zbiorów danych na temat interakcji społecznych. W tym artykule omawiam, w jaki sposób wiele urządzeń śledzących ruch gałek ocznych może uchwycić podstawowy konstrukt w interakcjach społecznych, wspólną uwagę wzrokową (JVA). JVA była badana przez psychologów rozwojowych, aby zrozumieć, w jaki sposób dzieci przyswajają język, naukowców zajmujących się nauką, aby zrozumieć, jak małe grupy uczniów współpracują ze sobą, oraz socjologów, aby zrozumieć interakcje w małych zespołach. W tym artykule opisano metodologię rejestrowania JVA w kolokowanych warunkach za pomocą mobilnych urządzeń śledzących ruch gałek ocznych. Przedstawiono w nim niektóre wyniki badań empirycznych i omówiono implikacje prowadzenia mikroobserwacji w celu zrozumienia interakcji społecznych.

Introduction

JVA było intensywnie badane w ciągu ostatniego stulecia, szczególnie przez psychologów rozwojowych zajmujących się akwizycją języka. Szybko ustalono, że wspólna uwaga to coś więcej niż tylko sposób na naukę słów, ale raczej prekursor dziecięcych teorii umysłu¹. Tym samym odgrywa znaczącą rolę w wielu procesach społecznych, takich jak komunikowanie się z innymi, współpraca i rozwijanie empatii. Na przykład dzieci autystyczne nie są w stanie skoordynować swojej uwagi wzrokowej z opiekunami, co wiąże się ze znacznymi upośledzeniami społecznymi². Ludzie potrzebują wspólnej uwagi, aby stać się funkcjonalnymi członkami społeczeństwa, koordynować swoje działania i uczyć się od innych. Od dzieci uczących się pierwszych słów, nastolatków uczących się od nauczycieli, uczniów współpracujących nad projektami, po grupy dorosłych pracujących nad wspólnymi celami, wspólna uwaga jest podstawowym mechanizmem ustanawiania wspólnej płaszczyzny między jednostkami³. W niniejszym artykule skupiam się na badaniu JVA w badaniach edukacyjnych. Zrozumienie, w jaki sposób wspólna uwaga rozwija się w czasie, ma zasadnicze znaczenie dla badania procesów uczenia się opartego na współpracy. W związku z tym odgrywa dominującą rolę w środowiskach socjokonstruktywistycznych.

Dokładna definicja wspólnej uwagi jest nadal dyskutowana⁴. Niniejszy artykuł dotyczy podkonstrukcji wspólnej uwagi (JA), a mianowicie JVA. JVA ma miejsce, gdy dwie osoby patrzą na to samo miejsce w tym samym czasie. Należy zauważyć, że JVA nie dostarcza żadnych informacji na temat innych ważnych konstruktów zainteresowania w badaniu JA, takich jak monitorowanie wspólnej, wzajemnej i współdzielonej uwagi lub, bardziej ogólnie, świadomości poznania innego członka grupy. Niniejszy artykuł operacjonalizuje i upraszcza JVA poprzez połączenie danych ze śledzenia wzroku od dwóch uczestników i analizę częstotliwości, z jaką ustawiają oni swoje spojrzenia. W celu bardziej wyczerpującej dyskusji, zainteresowany czytelnik może dowiedzieć się więcej na temat badania konstruktu JA w Siposovaet al.⁴.

W ciągu ostatniej dekady, postęp technologiczny radykalnie zmienił badania nad JVA. Główną zmianą paradygmatu było użycie wielu urządzeń śledzących ruch gałek ocznych w celu uzyskania ilościowych pomiarów dopasowania uwagi, w przeciwieństwie do jakościowej analizy nagrań wideo w warunkach laboratoryjnych lub ekologicznych. Rozwój ten pozwolił naukowcom na zebranie precyzyjnych, szczegółowych informacji na temat koordynacji wzrokowej diad. Ponadto eye-trackery stają się coraz bardziej przystępne cenowo: do niedawna ich użycie było zarezerwowane dla środowisk akademickich lub dużych korporacji. Obecnie można kupić niedrogie urządzenia do śledzenia ruchu gałek ocznych, które generują wiarygodne zestawy danych. Wreszcie, stopniowe włączanie funkcji śledzenia wzroku do istniejących urządzeń, takich jak wysokiej klasy laptopy oraz zestawy słuchawkowe do wirtualnej i rozszerzonej rzeczywistości, sugeruje, że śledzenie wzroku wkrótce stanie się wszechobecne.

Ze względu na popularyzację urządzeń śledzących ruch gałek ocznych, ważne jest, aby zrozumieć, co mogą, a czego nie mogą nam powiedzieć o interakcjach społecznych. Metodologia przedstawiona w niniejszym artykule stanowi pierwszy krok w tym kierunku. Zajmuję się dwoma wyzwaniami związanymi z rejestracją JVA z wielu urządzeń śledzących ruch gałek ocznych: synchronizacją danych w 1) skali czasowej i 2) w skali przestrzennej. Mówiąc dokładniej, protokół ten wykorzystuje znaczniki odniesienia umieszczone w rzeczywistych środowiskach do informowania algorytmów widzenia komputerowego, w których uczestnicy orientują swój wzrok. Ten nowy rodzaj metodologii toruje drogę do rygorystycznej analizy ludzkich zachowań w małych grupach.

Ten protokół badawczy jest zgodny z wytycznymi komisji etyki badań na ludziach Uniwersytetu Harvarda.

Protocol

1. Selekcja uczestników

1. Upewnij się, że zrekrutowani są uczestnicy z normalnym lub skorygowanym do normalnego widzeniem. Ponieważ uczestnicy zostaną poproszeni o noszenie mobilnego eye-trackera, mogą nosić soczewki kontaktowe, ale nie zwykłe okulary.

2. Przygotowanie do eksperymentu

1. Urządzenia śledzące ruch gałek ocznych
   1. Korzystaj z dowolnego mobilnego urządzenia śledzącego ruch gałek ocznych, które jest w stanie uchwycić ruch gałek ocznych w rzeczywistych warunkach.
      UWAGA: Zastosowane tutaj mobilne urządzenia śledzące ruch gałek ocznych to dwa okulary Tobii Pro Glasses 2 (patrz Tabela materiałów). Oprócz specjalistycznych kamer, które mogą śledzić ruchy gałek ocznych, okulary są również wyposażone w kamerę sceniczną HD oraz mikrofon, dzięki czemu spojrzenie może być wizualizowane w kontekście pola widzenia użytkownika. Okulary te rejestrują dane dotyczące spojrzenia 50 razy na sekundę. Inni badacze używali ASL Mobile Eye⁵, SMI⁶ lub Pupil-labs⁷, z których wszystkie zapewniają strumienie wideo z kamery sceny i współrzędne śledzenia wzroku przy różnych częstotliwościach próbkowania (30–120 Hz). Poniższa procedura może się nieznacznie różnić w przypadku innych urządzeń śledzących ruch gałek ocznych.
2. Znaczniki referencyjne
   1. Dwa poniższe kroki (tj. wyrównanie czasowe i przestrzenne) wymagają użycia znaczników odniesienia. Istnieje kilka bibliotek przetwarzania obrazów, które zapewniają badaczom te markery i algorytmy do wykrywania ich na obrazie lub źródle wideo. Opisany protokół korzysta z biblioteki Chilitag⁸.
3. Wyrównanie czasowe
   1. Ponieważ dane śledzenia ruchu gałek ocznych są rejestrowane na dwóch oddzielnych jednostkach, upewnij się, że dane są prawidłowo zsynchronizowane (Rysunek 1). Można zastosować dwie główne metody. Ten manuskrypt obejmuje tylko pierwszą metodę, ponieważ synchronizacja serwerów działa inaczej w przypadku każdej marki mobilnego eye-trackera.
      1. Na krótko pokaż znacznik odniesienia na ekranie komputera, aby zaznaczyć początek i koniec sesji. Jest to podobne do wizualnego "klaskania w dłonie" (Rysunek 2).
      2. Alternatywnie można użyć serwera do zsynchronizowania zegarów dwóch jednostek zbierania danych. Ta metoda jest nieco dokładniejsza i zalecana, jeśli wymagana jest wyższa dokładność czasowa.
4. Wyrównanie przestrzenne
   1. Aby dowiedzieć się, czy dwóch uczestników patrzy na to samo miejsce w tym samym czasie, zmapuj ich spojrzenia na wspólną płaszczyznę. Płaszczyzna ta może być obrazem ustawienia eksperymentalnego (patrz lewa strona Rysunek 3). Starannie zaprojektuj ten obraz przed eksperymentem.
   2. Rozmiar znaczników odniesienia: Ogólny rozmiar znaczników odniesienia zależy od algorytmu użytego do ich wykrycia na podstawie nagrania wideo ze śledzenia ruchu gałek ocznych. Powierzchnie znajdujące się blisko uczestników mogą mieć mniejsze znaczniki odniesienia, natomiast powierzchnie znajdujące się dalej od nich muszą być większe, aby wyglądały podobnie z perspektywy uczestników. Wypróbuj wcześniej różne rozmiary, aby upewnić się, że można je wykryć na filmie ze śledzeniem ruchu gałek ocznych.
   3. Liczba znaczników odniesienia: Aby proces mapowania punktów spojrzenia na wspólną płaszczyznę zakończył się sukcesem, upewnij się, że w danym momencie jest widocznych z punktu widzenia uczestników kilka znaczników odniesienia.
   4. Lokalizacja znaczników odniesienia: Obramuj odpowiednie obszary zainteresowania paskami znaczników odniesienia (np. patrz ekran laptopa na Rysunek 3).
5. Na koniec uruchom pilotaże, aby przetestować procedurę synchronizacji i określić optymalną lokalizację, rozmiar i liczbę znaczników odniesienia. Filmy ze śledzenia ruchu gałek ocznych mogą być przetwarzane przez algorytm widzenia komputerowego, aby sprawdzić, czy markery odniesienia są niezawodnie wykrywane.

3. Przeprowadzanie eksperymentu

1. Instrukcje
   1. Poinstruuj uczestników, aby założyli okulary śledzące ruch gałek ocznych tak, jak normalną parę okularów. Opierając się na charakterystycznych rysach twarzy uczestników, może być konieczne użycie kawałków nosa o różnej wysokości, aby zachować jakość danych.
   2. Po włączeniu eye-trackera poproś uczestników, aby przypięli jednostkę nagrywającą do siebie, aby umożliwić naturalny ruch ciała.
2. wzorcowanie
   1. Poinstruuj uczestników, aby spojrzeli na środek znacznika kalibracyjnego dostarczonego przez Tobii, gdy funkcja kalibracji oprogramowania jest włączona. Po zakończeniu kalibracji można rozpocząć nagrywanie z poziomu oprogramowania.
   2. Poinstruuj uczestników, aby nie poruszali mobilnymi urządzeniami śledzącymi ruch gałek ocznych po kalibracji. Jeśli tak się stanie, dane prawdopodobnie będą niedokładne i konieczne będzie ponowne przeprowadzenie procedury kalibracji.
3. Monitorowanie danych
   1. Monitoruj proces gromadzenia danych podczas badania i upewnij się, że dane z ruchu gałek ocznych są zbierane prawidłowo. Większość mobilnych eye-trackerów może w tym celu zapewnić transmisję na żywo na osobnym urządzeniu (np. tablecie).
4. Eksport danych
   1. Po zakończeniu sesji nagraniowej poinstruuj uczestnika, aby zdjął okulary śledzące ruch gałek ocznych i jednostkę do zbierania danych. Wyłącz urządzenie.
   2. Wyodrębnij dane za pomocą innego oprogramowania, Tobii Pro Lab, wyjmując kartę SD z jednostki zbierającej dane importujące dane sesji. Tobii Pro Lab może być używany do odtwarzania wideo, tworzenia wizualizacji i eksportowania danych śledzenia wzroku jako plików rozdzielanych przecinkami (.csv) lub tabulatorami (.tsv).

4. Wstępne przetwarzanie danych z podwójnego śledzenia ruchu gałek ocznych

1. Sprawdzanie poczytalności danych ze śledzenia wzroku
   1. Sprawdź wizualnie dane śledzenia wzroku po zebraniu danych. Nierzadko zdarza się, że niektórzy uczestnicy mają brakujące dane. Na przykład pewna szczególna fizjologia oka może stwarzać problemy dla algorytmów śledzenia ruchu gałek ocznych, okulary mogą się przesuwać podczas eksperymentu, oprogramowanie do zbierania danych może ulec awarii itp.
   2. Korzystaj ze statystyk opisowych, aby sprawdzić, ile danych zostało utraconych podczas każdej sesji, i wykluczyć sesje, w których brakuje znacznej ilości danych lub są one zaszumione.
2. Wyrównanie czasowe
   1. Przytnij dane z każdego mobilnego urządzenia do śledzenia ruchu gałek ocznych, aby uwzględnić tylko interakcje między uczestnikami. Można to osiągnąć za pomocą metody opisanej powyżej (tj. prezentowania uczestnikom dwóch specjalnych znaczników odniesienia na początku i na końcu sesji). Te znaczniki odniesienia można następnie wykryć na filmie ze śledzeniem ruchu gałek ocznych w celu przycięcia zestawów danych.
3. Wyrównanie przestrzenne
   UWAGA: Aby wykryć, czy dwóch uczestników patrzy na to samo miejsce w tym samym czasie, konieczne jest ponowne odwzorowanie wzroku uczestników na wspólnej płaszczyźnie (tj. obrazie otoczenia eksperymentalnego). Metodą obliczeniową pozwalającą osiągnąć ten cel jest homografia (tj. transformacja perspektywiczna płaszczyzny). Z technicznego punktu widzenia dwa obrazy tej samej płaskiej powierzchni w przestrzeni są powiązane macierzą homografii. Na podstawie wspólnego zestawu punktów macierz ta może być używana do wnioskowania o położeniu dodatkowych punktów między dwiema płaszczyznami. W Rysunek 3, na przykład, jeśli algorytm widzenia komputerowego wie, gdzie znajdują się znaczniki referencyjne na materiałach, może przekierować wzrok uczestnika na wspólną płaszczyznę po lewej stronie. Białe linie łączą dwa zestawy punktów współdzielonych przez obraz wideo każdego uczestnika i scenę, które są następnie wykorzystywane do budowania homografii w celu ponownego odwzorowania zielonych i niebieskich kropek po lewej stronie.
   1. Użyj wersji OpenCV w Pythonie, np. do obliczenia macierzy homografii na podstawie znaczników odniesienia, a następnie do ponownego przypisania danych śledzenia ruchu gałek ocznych do sceny eksperymentalnego ustawienia (lub dowolnej innej odpowiedniej biblioteki w wybranym języku). OpenCV udostępnia dwie użyteczne funkcje: findHomography(), aby uzyskać macierz homografii, oraz perspectiveTransform() do przekształcenia punktu z jednej perspektywy na drugą.
   2. Aby użyć findHomography(), uruchom z dwoma argumentami: współrzędnymi X,Y punktów źródłowych (tj. znaczników odniesienia wykrytych na wideo uczestników ze sceny, pokazanych po prawej stronie w Rysunek 3) i odpowiadających im punktów docelowych (tj. tych samych znaczników odniesienia wykrytych na obrazie sceny, pokazanych po lewej stronie w Rysunek 3).
   3. Wprowadź wynikową macierz homografii do funkcji perspectiveTransform() wraz z nowym punktem, który musi zostać odwzorowany z obrazu źródłowego na obraz docelowy (np. dane śledzenia ruchu gałek ocznych pokazane jako niebiesko-zielona kropka po prawej stronie Rysunek 3). Funkcja perspectiveTransform zwraca nową współrzędną tego samego punktu na obrazie sceny (tj. niebieskie/zielone kropki pokazane po lewej stronie Rysunek 3).
      UWAGA: Aby uzyskać więcej informacji, oficjalna dokumentacja OpenCV zawiera przykładowy kod i przykłady implementacji homografii: docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html.
4. Sprawdzanie poczytalności homografii
   1. Wypełnij sekcję 4.3 dla całej sesji i wykonaj homografię na każdej klatce filmu z ruchomym śledzeniem ruchu gałek ocznych, aby sprawdzić jakość homografii. Chociaż nie ma zautomatyzowanych sposobów szacowania dokładności uzyskanych danych śledzenia wzroku, filmy takie jak ten pokazany na Rysunek 4 powinny być używane do ręcznego sprawdzania poprawności podczas każdej sesji.
   2. Jeśli jakość jest niższa niż oczekiwano, rozważ dodatkowe parametry, aby poprawić wyniki homografii:
      1. Liczba wykrytych markerów odniesienia: Homografię należy wykonywać tylko wtedy, gdy w strumieniu wideo można wykryć wystarczającą liczbę znaczników odniesienia. Liczbę tę można określić, analizując film wyprodukowany powyżej.
      2. Lokalizacja znaczników odniesienia: Jeśli różne markery znajdują się na różnych głębokościach i orientacjach, jakość homografii zwykle wzrasta, gdy wybierane są znaczniki znajdujące się najbliżej współrzędnych patrzenia, biorąc pod uwagę, że jest wystarczająco dużo znaczników, aby zbudować solidną homografię.
      3. Orientacja znaczników odniesienia: Łączenie znaczników odniesienia, które mają różne orientacje (np. poziomą i pionową), spowoduje powstanie niedokładnych homografii. Zaleca się, aby najpierw wykryć, na którą płaszczyznę lub obszary zainteresowań (AOI) patrzy uczestnik (np. ekran komputera, ściągawka, tabela, patrz Rysunek 3), a następnie użyć znaczników odniesienia na tej płaszczyźnie do homografii.
      4. Jakość strumienia wideo: Nagłe ruchy głowy mogą spowodować rozmycie klatek wideo i sprawić, że dane staną się bezużyteczne, ponieważ znaczniki odniesienia nie mogą być niezawodnie wykryte (Rysunek 4). Metodologia tego artykułu nie jest odpowiednia dla eksperymentów, które obejmują wiele nagłych ruchów głowy.

5. Analiza danych z podwójnego śledzenia ruchu gałek ocznych

1. Brakujące dane
   1. Aby upewnić się, że dane zostały prawidłowo odwzorowane na obraz referencyjny, utwórz wykresy wizualizacji (np. Rysunek 5, Rysunek 6) oraz statystyki opisowe, aby sprawdzić, ile danych brakuje.
2. Wykresy cyklu krzyżowego
   1. Użyj wykresów powtarzalności krzyżowej⁹, aby przedstawić wizualną synchronizację między dwoma uczestnikami (Rysunek 6), gdzie oś X reprezentuje czas dla pierwszego uczestnika, a oś Y reprezentuje czas dla drugiego uczestnika. Czarne kwadraty wskazują, że uczestnicy patrzą na ten sam obszar, ukośna linia opisuje dwie osoby patrzące na tę samą rzecz dokładnie w tym samym czasie, a czarne kwadraty poza ukośną linią opisują, kiedy dwie osoby patrzą na tę samą rzecz z opóźnieniem czasowym. Wreszcie, rozróżnienie między brakującymi danymi (biały kwadrat) a istniejącymi danymi bez JVA (szare kwadraty) pomaga zidentyfikować problematyczne sesje. Zapewnia to badaczom wizualną kontrolę poczytalności.
3. Informatyka JVA
   1. Po przefiltrowaniu pod kątem brakujących danych oblicz metrykę dla JVA, zliczając, ile razy spojrzenia uczestników znajdują się w tym samym promieniu w scenie (zdefiniowanej poniżej) w oknie czasowym -2/+2 s. Podziel tę liczbę przez liczbę prawidłowych punktów danych, których można użyć do obliczenia JVA. Wynik dzielenia reprezentuje procent czasu, w którym dwie osoby badane wspólnie patrzyły na to samo miejsce. Ten ostatni krok jest konieczny, aby uniknąć zawyżania wyników grup z większą ilością danych po homografii.
      UWAGA: Przed obliczeniem JVA należy ustawić dwa parametry, minimalną odległość między dwoma punktami spojrzenia oraz okno czasowe między nimi (Rysunek 7): 1) Okno czasowe: Wczesne badanie podstawowe¹⁰ używało pojedynczego eye-trackera do pomiaru JVA między słuchaczem a mówcą. Naukowcy poprosili pierwszą grupę uczestników ("prelegentów") o opowiedzenie o programie telewizyjnym, którego postacie były wyświetlane przed nimi. Druga grupa uczestników ("słuchaczy") oglądała następnie ten sam program, słuchając nagrań audio prelegentów. Ruchy gałek ocznych mówców i słuchaczy zostały porównane i stwierdzono, że ruchy gałek ocznych słuchacza ściśle odpowiadały ruchom gałek ocznych mówcy z opóźnieniem wynoszącym 2 s. W kolejnych pracach¹¹ badacze przeanalizowali dialogi na żywo i odkryli, że opóźnienie wynoszące 3 s najlepiej uchwyciło momenty JVA. Ponieważ każde zadanie jest unikalne i może wykazywać różne opóźnienia czasowe, sugeruje się również, aby zbadać, jak różne opóźnienia wpływają na wyniki danego eksperymentu. Ogólnie rzecz biorąc, często szuka się JVA w oknie czasowym ± 2/3 s, w zależności od zadania eksperymentalnego, a następnie bada, jak różne opóźnienia czasowe mogą zmienić wyniki. 2) Odległość między spojrzeniami: nie ma empirycznie zdefiniowanej odległości między dwoma spojrzeniami, aby można je było zaliczyć do JVA. Dystans ten jest uzależniony od zdefiniowanych przez badaczy pytań badawczych. Pytania badawcze powinny informować o wielkości celów zainteresowania. W przykładzie pokazanym w Rysunek 7, do analizy wybrano promień 100 pikseli na obrazie sceny (niebieskie/zielone kółka), ponieważ jest on wystarczający do uchwycenia, kiedy uczestnicy patrzą na robota w labiryncie, a także na podobne elementy interfejsu użytkownika na ekranie komputera, które są dwoma głównymi obszarami zainteresowania tego eksperymentalnego zadania.

Results

Metodologia przedstawiona powyżej została wykorzystana do badania studentów, którzy uczestniczyli w programie szkolenia zawodowego w logistyce (n = 54)¹². W tym eksperymencie pary studentów wchodziły w interakcję z namacalnym interfejsem użytkownika (TUI), który symulował mały magazyn. Znaczniki referencyjne umieszczone na TUI pozwoliły zespołowi badawczemu na ponowne odwzorowanie wzroku studentów na wspólnej płaszczyźnie i obliczenie poziomów JVA. Wyniki wskazują, że grupy, które miały wyższy poz...

Discussion

Metodologia opisana w tym artykule zapewnia rygorystyczny sposób uchwycenia JVA w kolokowanych diadach. Wraz z pojawieniem się przystępnej cenowo technologii wykrywania i ulepszonych algorytmów widzenia komputerowego, możliwe jest teraz badanie interakcji opartych na współpracy z dokładnością, która wcześniej była niedostępna. Metodologia ta wykorzystuje markery referencyjne rozpowszechniane w środowisku i wykorzystuje homografie jako sposób na ponowne odwzorowanie spojrzeń uczestników na wspólnej płaszczyźnie. Dzięki te...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Tobii Okulary 2	Tobii	N/A	https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/Markery
Fiducial	Chili lab – EPFL, Szwajcaria	N/A	https://github.com/chili-epfl/chilitags