Łączenie danych ze śledzenia ruchu gałek ocznych z analizą treści wideo z bezpłatnego oglądania filmu ze spaceru w parku miejskim

Podsumowanie

Celem protokołu jest szczegółowe opisanie, jak zbierać dane wideo do wykorzystania w laboratorium; jak rejestrować dane śledzenia ruchu gałek ocznych uczestników oglądających dane i jak efektywnie analizować zawartość filmów, które oglądali, używając techniki uczenia maszynowego.

Streszczenie

Ponieważ ludzie coraz częściej mieszkają w miastach, metody badania ich codziennych ruchów i danych, które można zbierać, stają się ważne i cenne. Wiadomo, że informatyka śledząca ruch gałek ocznych łączy się z szeregiem uczuć, warunków zdrowotnych, stanów psychicznych i działań. Ponieważ jednak widzenie jest wynikiem ciągłych ruchów gałek ocznych, oddzielanie tego, co ważne, od tego, co jest szumem, jest skomplikowane i wymaga dużej ilości danych. Co więcej, poważnym wyzwaniem jest kontrolowanie tego, na co ludzie patrzą, w porównaniu z tym, co jest im prezentowane.

Poniżej przedstawiono metodologię łączenia i analizowania śledzenia ruchu gałek ocznych na filmie przedstawiającym naturalną i złożoną scenę z techniką uczenia maszynowego do analizy treści wideo. W protokole skupiamy się na analizie danych z nakręconych filmów, w jaki sposób wideo może być najlepiej wykorzystane do rejestrowania danych śledzenia ruchu gałek ocznych uczestników, a co ważne, w jaki sposób treść filmu może być analizowana i łączona z danymi śledzenia wzroku. Przedstawiamy krótkie podsumowanie wyników oraz dyskusję na temat potencjału metody do dalszych badań w złożonych środowiskach.

Wprowadzenie

Nasze codzienne doświadczenia w środowisku miejskim mają ogromny wpływ na nasze zdrowie i samopoczucie. Nasze samopoczucie może zależeć od ilości terenów zielonych, które oglądamy i których doświadczamy^1,2,3, a widoki te można określić ilościowo za pomocą sprzętu do śledzenia ruchu gałek ocznych, aby pomóc w podejmowaniu decyzji dotyczących projektu parku. Pojawia się jednak problem z ilością generowanych danych śledzenia ruchu gałek ocznych i nadawaniem sensu tym danym. W miarę jak sprzęt do rejestrowania danych dotyczących spojrzenia w laboratorium lub na łonie natury staje się łatwiejszy w użyciu i bardziej wydajny, naukowcy muszą zastanowić się, w jaki sposób możemy prawidłowo zbierać i analizować dane, aby pomóc w podejmowaniu pytań.

Do tej pory, wiele badań nad śledzeniem ruchu gałek ocznych wykorzystywało zdjęcia w warunkach ankietowych lub laboratoryjnych⁴. Chociaż metodologia ta pozwala na dużą powtarzalność i kontrolę nad wynikami, nie jest w stanie wykorzystać najnowszych osiągnięć w technologii śledzenia ruchu gałek ocznych, które obejmują wykorzystanie wideo i mobilnych urządzeń śledzących ruch gałek ocznych. Co więcej, twierdzimy, że akt chodzenia i relaksowania się jest z konieczności dynamiczny, szczególnie gdy jest zorientowany na zadanie takie jak odnajdywanie drogi⁵. W związku z tym w pełni naukowe zrozumienie tych ustawień powinno odbywać się poza laboratorium. Jednak w tej chwili śledzenie ruchu gałek ocznych w rzeczywistych naturalistycznych warunkach sprawia, że porównywanie doświadczeń między obiektami jest bardzo trudne. Na przykład, gdybyśmy chcieli porównać, czy jeden respondent patrzy na drzewa częściej niż inny, w jaki sposób moglibyśmy kontrolować fakt, że jego punkt widzenia będzie się stale zmieniał w porównaniu z innymi lub że jego głowa mogła się odwrócić. Szczegółowa analiza w tych warunkach jest prawie niemożliwa przy obecnych technikach analizy. Uważamy, że ważne jest, aby kontrolować obszary widzenia dostępne dla badanej osoby, a w analizie móc uwzględnić całą scenę oglądaną w dowolnym momencie.

Istnieje zestaw teorii łączących poziomy stresu i postrzeganie bezpieczeństwa z widokami krajobrazu i dobrze rozwiniętymi miarami stresu^6,7. Nastąpił również gwałtowny wzrost zaawansowania sprzętu do śledzenia ruchu gałek ocznych do pomiaru gaze⁸. Śledzenie ruchu gałek ocznych jest ważne, ponieważ mimowolne ruchy gałek ocznych mogą być bardziej wiarygodnie związane z preferencjami, stresem i innymi tradycyjnymi pomiarami niż badania i natrętne, fizjologiczne testy, takie jak poziom kortyzolu w ślinie. Celem tych badań jest opracowanie narzędzi, które umożliwią bardziej precyzyjny pomiar danych ze śledzenia ruchu gałek ocznych w bardziej naturalistycznych warunkach, tak aby dostarczyć dalszych dowodów lub obalić wieloletnie teorie krajobrazu, które od dziesięcioleci wpływają na projektowanie parków.

Celem tego projektu jest opracowanie i przetestowanie nowatorskiej techniki analizy, która może generować odpowiednie dane śledzenia ruchu gałek ocznych dla różnych filmów z symulacji spacerów po parku. Nasza praca opisana tutaj i gdzie indziej⁹ stanowi punkt pośredni między naturalistyczną scenerią w pełni mobilnego systemu śledzenia ruchu gałek ocznych a laboratoryjnymi studiami fotograficznymi, o których mowa powyżej. W szczególności koncentrujemy się na wykorzystaniu filmów jako materiału stymulacyjnego, badając, w jaki sposób można wykorzystać ten materiał do testowania ilości fascynacji, jaką generują różne parki w Melbourne. Nasza praca opiera się na założeniu, że szczegółowa analiza filmów wideo jest niezbędnym krokiem do naruszenia przed podjęciem pełniejszej, bardziej naturalistycznej oceny potencjału parków do zapewnienia odbudowy po stresie.

W tym badaniu użyliśmy stacjonarnego eye-trackera z filmami ze spacerów po miejskich parkach i poprosiliśmy uczestników, aby wyobrazili sobie, że wybierają się na relaksujący spacer po parku. Opisujemy metodę, dzięki której ilość czasu, jaką uczestnicy spędzili na oglądaniu różnych obiektów, jest porównywalna między parkami. Badania stacjonarne są na ogół łatwiejsze do kontrolowania w porównaniu z mobilnymi badaniami ET i umożliwiają analizę porównawczą każdego przedmiotu.

Standardowe oprogramowanie do śledzenia ruchu gałek ocznych wykorzystuje narzędzie do ręcznego wyznaczania obszarów zainteresowania, w którym operator może ręcznie rysować granice wokół interesujących obiektów w każdej scenie. Dzięki temu czas spędzony przez uczestników na patrzeniu na różne obiekty może być automatycznie zliczany. W przypadku danych wideo proces ten jest pracochłonny i podlega subiektywności operatora oraz błędom. W późniejszych wersjach oprogramowania do analizy ruchu gałek ocznych AOI mogą automatycznie śledzić obiekty w różnych klatkach, gdy mają one ten sam rozmiar w filmie. Jest to ulepszenie, jednak jest ono przeznaczone do użycia tylko dla niewielkiej liczby bodźców na każdym obrazie, a każdy obraz musi zostać sprawdzony i potwierdzony.

Ręczne oznaczanie obiektów na obrazie jest powszechne i obsługiwane przez oprogramowanie do edycji obrazów, takie jak GNU Image Manipulation Program (GIMP). Biorąc pod uwagę, że 1 s tworzy 30 klatek lub obrazów, ręczne oznaczanie filmów jest niepraktyczne. Ponadto oznaczanie AOI poprzez rysowanie wielokątów wektorowych wokół krawędzi złożonych obiektów, takich jak korony drzew, jest bardzo czasochłonne. Wreszcie, chociaż możliwe jest obliczenie rozmiaru obiektów w polu widzenia za pomocą etykietowania wektorowego, funkcja ta nie jest obecnie dostępna.

Metoda, którą opisujemy poniżej, radzi sobie z tymi ograniczeniami. W badaniu wykorzystano automatyczne znakowanie obiektów. Jest to możliwe dzięki technice przetwarzania obrazu znanej jako etykietowanie semantyczne, w której każdemu pikselowi w każdej klatce wideo przypisywana jest etykieta wskazująca klasę obiektu. Uczenie maszynowe służy do wyprowadzania klasyfikatorów pikseli dla każdej klasy obiektów będących przedmiotem zainteresowania. Klasyfikatory te zapewniają probabilistyczną etykietę dla każdego piksela (znaną jako potencjały jednoargumentowe), które są następnie udoskonalane w kolejnym procesie optymalizacji, aby osiągnąć ostateczny oznaczony wynik. Te klasyfikatory uczą się granic decyzji statystycznych między poszczególnymi klasami obiektów w przestrzeni cech wyodrębnionych z obrazu, w tym tekstury, histogramu orientacji krawędzi, wartości kolorów RGB i znormalizowanych współrzędnych obrazu. Odpowiednia technika do tego jest zaimplementowana w narzędziu uczenia maszynowego DARWIN¹⁰ i jest opisana poniżej.

Protokół

Etyczna aprobata dla tego projektu została udzielona przez komisję etyki Australijskiego Uniwersytetu Katolickiego - numer zatwierdzenia #201500036E. Zapewniło to, że uzyskano świadomą zgodę od wszystkich uczestników i wszyscy uczestnicy uczestniczyli dobrowolnie, a dane uczestników pozostały anonimowe i poufne. Ponadto aprobata została udzielona ze względu na metodę i sprzęt spełniający australijskie normy, przepisy bezpieczeństwa.

1. Filmowanie scen miejskich, które mogą być wykorzystane w badaniu eye-trackingowym

1. Użyj wysokiej jakości cyfrowej kamery wideo podłączonej do gimbala, aby stworzyć symulowany film "chodzenia" lub "siedzenia".
2. Nagraj film z płynnymi ruchami w rozdzielczości 4k przy 25 kl./s i zapisz go w rozdzielczości 1920 x 1080 HD.
3. Skorzystaj z profesjonalnej firmy filmowej do produkcji filmów cyfrowych, jeśli nie jesteś z tym zaznajomiony lub nie masz dostępu do sprzętu.
4. Nakręć film w jednym ujęciu, do jednej długości we wszystkich filmach z precyzyjnymi, predefiniowanymi trasami i charakterystykami.
   UWAGA: Przykładowe szczegóły filmu: Każdy film z symulowanego spaceru trwał 3 minuty i 50 s, a każdy film z symulowanym siedzeniem trwał 1 minutę. W przypadku obu filmów w tym badaniu, filmy zaczynały się od krótkiego wspinania się po schodach prowadzących do ścieżki. Ścieżka była śledzona dokładnie przez 1 min 30 s, a następnie kamera zatrzymała się i obróciła w lewo o 45-60 stopni i zatrzymała się na 15 sekund. Następnie kamera kontynuowała podążanie ścieżką do znaku 3 min 25 s, obracała się w lewo o 40-70 stopni przez 15 sekund, kontynuowała wzdłuż ścieżki do znaku 3 min 50 s, a następnie blakła do czerni.
5. Upewnij się, że filmy są porównywalne, innymi słowy, nie wprowadzają nowych danych dotyczących spojrzenia z różnych trajektorii chodzenia lub ruchu kamery. Z każdego spaceru nakręcono jeden film, w sumie dwa.
6. Ponieważ dźwięk ma wpływ na ruchy gałek ocznych, nagraj plik z ogólnymi dźwiękami parku miejskiego z jednego ze spacerów przez tę samą długość filmu, bez przerw spowodowanych nagłymi głośnymi dźwiękami poza parkiem (np. alarmami samochodowymi). Można ją odtworzyć zamiast istniejącej ścieżki dźwiękowej z obu filmów, dzięki czemu można odizolować efekt wizualny filmu.
   UWAGA: Nadmierny ruch pojazdów i innych obiektów może wpływać na ruchy gałek ocznych i zniekształcać wyniki. Jeśli dojdzie do któregoś z tych wtargnięć, film może zostać odtworzony uczestnikom, ale może być konieczne wykluczenie klatek z analizy.
7. Jeśli interesują Cię różne czynności podczas spaceru, takie jak chodzenie, a następnie siedzenie na ławce, zapisz lub edytuj sceny siedzenia i chodzenia jako osobne pliki, aby przetestować je niezależnie.

2. Konfiguracja i kalibracja sprzętu do śledzenia ruchu gałek ocznych

1. Pokaż nakręcone sekwencje osobom w pomieszczeniu, w którym można wykluczyć naturalne światło, aby uniknąć odbić na ekranie. Pokaż im go na jak największym ekranie, aby zająć jak najwięcej pola widzenia, unikając w ten sposób rozpraszania uwagi spoza pola widzenia. Panoramiczny (16:9) monitor PC (22 cale) z uczestnikami oddalonymi od ekranu o około 60 cm jest akceptowalnym standardem.
2. Wykonaj kalibrację na ekranie dla każdego uczestnika za pomocą wbudowanego narzędzia do kalibracji w oprogramowaniu do śledzenia ruchu gałek ocznych. Wymagaj od uczestników, aby w ramach tego spojrzeli na czerwoną kulę poruszającą się po ekranie i zatrzymującą się w 5 kluczowych punktach kalibracji.
3. Podczas kalibracji obserwuj uczestników i upewnij się, że oni również nie poruszają głową. Jeśli znajdują się zbyt blisko ekranu, a ekran jest bardzo duży, może to stanowić problem. Dostosuj odpowiednio odległość od ekranu.
4. Edytuj każdy film tak, aby w lewym górnym rogu wczesnych klatek filmu znajdował się biały krzyżyk. Można to zrobić za pomocą oprogramowania do edycji wideo. Pokaż ten ekran przez 3 sekundy, a następnie rozpocznij odtwarzanie spaceru. Ma to na celu sprawdzenie kalibracji śledzenia ruchu gałek ocznych i upewnienie się, że czasy zbierania danych ze śledzenia ruchu gałek ocznych można dopasować do numerów poszczególnych klatek.

3. Rekrutacja i etyka

1. Skorzystaj z profesjonalnej firmy zajmującej się rekrutacją badawczą, aby zapewnić rozproszenie różnych płci, wieku i zawodów w próbie lub zrekrutuj na miejscu spośród studentów i pracowników.
2. Przebadaj uczestników pod kątem znanych schorzeń i/lub urazów ocznych lub neurologicznych. Należy ich zapytać, czy przyjmują leki, o których wiadomo, że wpływają na ruchy gałek ocznych (np. benzodiazepiny).
3. Przeprowadź testy czytania z bliska i test wychylenia ruchu gałek ocznych z latarką długopisową, aby wykazać, że mają pełne wycieczki ruchu gałek ocznych.
4. Przeprowadź ankietę wśród uczestników na temat ich wieku, płci i częstotliwości korzystania z parku.

4. Konfiguracja eksperymentalna uczestnika

1. Poproś uczestników, aby wyobrazili sobie, że potrzebują odnowy. Użyj zdania, które pozwoli im wyobrazić sobie kontekst użytego filmu ze śledzeniem ruchu gałek ocznych, np.: "Wyobraź sobie, że jest południe i idziesz samotnie po Melbourne. Jesteś zmęczony psychicznie intensywną koncentracją w pracy i szukasz miejsca, w którym mógłbyś pójść na spacer, usiąść i chwilę odpocząć przed powrotem do pracy".
2. Posadź uczestników wygodnie przed ekranem komputera w odległości 60–65 cm, aby oglądać filmy.
3. Korzystając z arkusza kalkulacyjnego, uporządkuj filmy losowo przed odtworzeniem przed uczestnikami.
4. Użyj głośników, aby odtworzyć ten sam dźwięk we wszystkich filmach.
5. Rejestruj trajektorię wzroku uczestników za pomocą stacjonarnego systemu śledzenia wzroku. Zamontuj stacjonarne urządzenie śledzące ruch gałek ocznych zgodnie z instrukcjami producenta. Może to znajdować się tuż pod ekranem na stole lub może przypiąć się do krawędzi ekranu, na przykład na górze.
6. Użyj jednostki śledzącej ruch gałek ocznych o częstotliwości próbkowania 120 Hz i dokładności 0,50°, co zapewnia dużą swobodę ruchów głowy, umożliwiając nagrywanie podczas naturalnych ruchów głowy. Dopuszczalne jest również urządzenie do śledzenia wzroku o niższej częstotliwości. Przy 57,3 cm kąt widzenia 1° odpowiada ~1 cm na ekranie.
7. Pozwól uczestnikom oglądać materiał filmowy na monitorze w wysokiej rozdzielczości.
8. Rejestruj ruchy gałek ocznych za pomocą oprogramowania do śledzenia ruchu gałek ocznych
9. Zastosuj filtr fiksacyjny, aby przekonwertować surowe dane próbki oka do analizy. W menu głównym kliknij Narzędzia > Ustawienia. Wybierz kartę Filtry fiksacji. Wybierz filtr fiksacji zgodnie ze specyfikacjami producenta dotyczącymi najlepszego typu filtra, aby zagregować surowe dane śledzenia ruchu gałek ocznych w fiksacje.
10. Jeśli rejestrujesz dane śledzenia ruchu gałek ocznych za pomocą wielu filmów, rób przerwy między sesjami nagraniowymi, gdy uczestnicy o to poproszą.

5. Łączenie oglądanych parków z wyświetleniami filmów

1. Porównaj zakres, w jakim ludzie oglądali obiekty i ich opinie na temat filmów, prosząc uczestników o ocenę każdego z parków w skali od 1 do 10, po pierwsze, czy czuli, że będą w stanie odpocząć i zregenerować się w tym środowisku (1, niewiele, do 10, bardzo), a po drugie, jak bardzo podobał im się park (1, nie bardzo, do 10, bardzo dużo).
2. Zapytaj uczestników, czy skorzystaliby z parku, aby się zrelaksować lub złagodzić stres (T/N) i czy rozpoznali park, na który patrzyli (T/N), aby kontrolować potencjalny wpływ wcześniejszego związku z parkiem.
3. Nagraj krótkie odpowiedzi uczestników, aby wyjaśnić swoje wrażenia za pomocą dyktafonu, a następnie dokonaj ich transkrypcji.

6. Automatyczna analiza wideo do ekstrakcji obszaru zainteresowania

1. Wybór AOI
   1. Wybierz elementy, które są interesujące dla projektantów parków, urbanistów, planistów lub architektów, takie jak drzewa, krzewy, drogowskazy, budynki, murawy, ścieżki, schody itp.
   2. Aby uzyskać optymalną wydajność i minimalne wymagania szkoleniowe (omówione poniżej), używaj elementów, które są łatwo odróżnialne od siebie gołym okiem i/lub konsekwentnie zajmują różne obszary każdej klatki wideo. Ogólnie rzecz biorąc, wystarczająca liczba przykładów szkoleniowych przedstawiających wizualnie wyróżniające różnice w każdym obszarze zainteresowania powinna być wystarczająca do uzyskania solidnych wyników.
2. Szkolenie klasyfikatorów do ekstrakcji AOI
   1. Wybór ram treningowych, które mają być zastosowane, liczba i uzasadnienie
      1. Wybierz odpowiednią liczbę ramek treningowych (zwanych dalej Zestawem Treningowym). Nie ma ustalonej liczby, która byłaby odpowiednia.
         UWAGA: Klatki muszą w wystarczającym stopniu pokrywać zakres wyglądu każdej klasy obiektów (tj. obiektów, które mają być oznaczone) w całym filmie. Na przykład 40 z 15 000 klatek sekwencji wideo przedstawiających pojedynczą scenę w parku okazało się osiągać wystarczającą dokładność. Jeśli sekwencja zawiera znaczne różnice, może być wymagane więcej klatek.
      2. Przy wyborze ramek treningowych należy wziąć pod uwagę zawartość ramki. Należą do nich: oświetlenie, kształty w odniesieniu do tego, co jest klasyfikowane (np. nie tylko jeden rodzaj drzewa, ale szereg rodzajów drzew, ich położenie na obrazie, sposób oświetlenia itp.), tekstura i kolor.
      3. Weź również pod uwagę liczbę ramek, które mają zostać uwzględnione. W szczególności długość i zmienność warunków wizualnych wyświetlanych w analizowanym filmie, a także liczba klas obiektów do zidentyfikowania oraz częstotliwość ich pojawiania się.
   2. Ręczne oznaczanie pikseli dla ramek treningowych
      UWAGA: Ręczne oznaczanie ramek treningowych spowoduje powiązanie pikseli z interesującymi klasami obiektów.
      1. Oznaczanie pikselami ramek treningowych
         1. Z kolei otwórz każdą klatkę treningową z filmu w oprogramowaniu do edycji obrazu.
         2. Dla każdej klatki treningowej z filmu nałóż przezroczystą warstwę obrazu na załadowany obraz w celu oznaczenia i utwórz paletę kolorów, zapewniając jeden kolor dla każdej danej klasy obiektów (tj. AOI).
         3. Upewnij się, że paleta kolorów i odwzorowanie kolorów na klasy obiektów są takie same w całym procesie etykietowania.
         4. Wybierz kolor dla przykładowego AOI.
         5. Koloruj regiony przykładowych obszarów zainteresowania poprzez zaznaczanie, kliknięciem myszy i przeciąganiem, pikseli w obszarze do "pokolorowania" przy użyciu odpowiedniej palety.
            UWAGA: Możliwe jest nieprecyzyjne kolorowanie dużych obiektów. Jednak w przypadku wąskich/małych obiektów o szerokości zaledwie kilku pikseli należy zwrócić większą uwagę na to, aby ręczne etykietowanie dokładnie oddawało wygląd obiektu.
         6. Po zakończeniu opisywania klatki wyeksportuj nałożoną warstwę jako osobny plik obrazu. Upewnij się, że nazwa pliku podstawowego jest zgodna z oryginalną nazwą pliku podstawowego ramki, ale z literą "c" dołączoną na końcu. Na przykład, jeśli oryginalna nazwa pliku klatki to "1234.png", nazwa pliku warstwy oznaczona etykietą powinna brzmieć "1234c.png".
         7. Upewnij się, że wszystkie obrazy oznaczone etykietami są przechowywane w jednym folderze.
      2. Oznaczanie pikseli ramek walidacji
         UWAGA: Aby ilościowo zweryfikować dokładność wytrenowanego klasyfikatora, należy utworzyć dodatkowy zestaw ramek oznaczonych etykietami.
         1. Wybierz klatki z oryginalnej sekwencji wideo, które nie zostały jeszcze wybrane do uwzględnienia w zestawie treningowym. W przypadku 5-minutowego filmu nie muszą one być dłuższe niż 20 klatek, ale powinny być próbkowane równomiernie z całej sekwencji wideo, aby zapewnić wystarczające pokrycie.
         2. Oznacz piksele w każdej klatce, korzystając z tej samej procedury, która została opisana w przypadku przygotowania ramek treningowych (6.2.2). Tym razem jednak należy jak najbardziej precyzyjnie i wyczerpująco podporządkować sobie etykietowanie, ponieważ zostanie ono wykorzystane jako porównanie prawdy podstawowej.
         3. Po zakończeniu etykietowania ramki użyj tej samej konwencji nazewnictwa, co w przypadku trenowania, jednak upewnij się, że pliki są zapisywane w osobnym folderze ramek walidacji.
   3. Automatyczne oznaczanie pikseli sekwencji wideo
      1. Pobierz bibliotekę oprogramowania DARWIN ze strony http://drwn.anu.edu.au.
         UWAGA: System opisany w tym artykule został zaimplementowany w środowisku Linux, dlatego wersję linuksową DARWIN należy pobrać i zainstalować, postępując zgodnie z instrukcjami na stronie internetowej.
      2. Uruchom graficzny interfejs użytkownika Darwina
      3. W graficznym interfejsie użytkownika Darwin kliknij pozycję Załaduj etykiety treningowe.
      4. Korzystając z wyświetlonego okna dialogowego eksploratora plików, wybierz folder zawierający obrazy treningowe oznaczone etykietami dla odpowiedniej sekwencji wideo.
      5. Kliknij Załaduj klatki wideo i postępuj zgodnie z tą samą procedurą, co w wersji 6.2.3.2, aby wybrać folder zawierający wszystkie oryginalne klatki sekwencji wideo. Powinien to być folder obrazów, w którym nazwa pliku każdej klatki to numer tej klatki w sekwencji wideo (np. klatka 1234 będzie miała nazwę 1234.png)
      6. Kliknij przycisk Trenuj. Algorytm będzie teraz badał każdą oznaczoną klatkę treningową i uczył się modelu wyglądu w celu klasyfikowania pikseli do dowolnej z określonych klas obiektów.
   4. Weryfikowanie wytrenowanego klasyfikatora
      1. Po zakończeniu trenowania kliknij przycisk Weryfikuj szkolenie.
      2. Korzystając z okna dialogowego eksploratora plików, wybierz folder zawierający wszystkie obrazy sprawdzania poprawności oznaczone etykietami dla odpowiedniej sekwencji wideo. Wytrenowany klasyfikator będzie teraz używany do klasyfikowania pikseli w każdej z ramek, do których odwołuje się zestaw walidacji. Porównaj to z podstawowymi etykietami prawdy podanymi w folderze walidacji.
         UWAGA: Po zakończeniu graficzny interfejs użytkownika wyświetli statystyki dokładności, w tym procent pikseli poprawnie oznaczonych dla każdej klatki w zestawie walidacji, a także w całym zestawie walidacji.
      3. Aby wizualnie zweryfikować wygenerowane etykiety, kliknij przycisk Walidacja wizualna. Jeśli zostanie kliknięty, każdy wygenerowany obraz z etykietą jest wyświetlany obok oryginalnej ramki sprawdzania poprawności.
         UWAGA: Może to być pomocne w identyfikowaniu, gdzie występują błędne klasyfikacje obiektu. Na przykład inspekcja wzrokowa może wskazać, że błędy są stale występujące w określonej części klasy obiektów, co sugeruje, że wymagane jest ulepszone etykietowanie w zestawie treningowym. Alternatywnie inspekcja może wykazać, że błędy występują tylko w określonym punkcie czasowym filmu, co sugeruje, że wymagane jest więcej przykładów szkoleniowych z tego okresu w filmie.
      4. Jeśli dokładność zaobserwowana w walidacji ilościowej lub jakościowej spadnie poniżej akceptowalnego poziomu, należy dołączyć dalsze przykłady szkoleniowe. W takim przypadku powtórz wszystkie kroki z 6.2.2, aby uwzględnić dodatkowe ramki treningowe, ponownie wytrenuj klasyfikator zgodnie z krokami w 6.2.3 i ponownie zweryfikuj kolejne kroki w 6.2.4.
   5. Oznaczanie pikseli wideo
      1. Po zakończeniu fazy trenowania i walidacji klasyfikatora kliknij przycisk Oznacz klatki w graficznym interfejsie użytkownika Darwin, aby rozpocząć pełne etykietowanie wszystkich klatek w sekwencji wideo przy użyciu wytrenowanego klasyfikatora.
      2. Postępuj zgodnie z instrukcjami, aby wybrać folder docelowy dla wszystkich ramek wyjściowych, które będą miały postać obrazów oznaczonych etykietami przy użyciu tej samej palety kolorów, która jest używana podczas trenowania.

7. Rejestrowanie danych śledzenia ruchu gałek ocznych w treści wideo

1. W oprogramowaniu do śledzenia ruchu gałek ocznych kliknij Plik > Eksportuj... Wyeksportuj plik śledzenia ruchu gałek ocznych jako plik CSV.
2. Otwórz plik w programie do obsługi arkuszy kalkulacyjnych.
3. Na podstawie sekwencji wideo określ czas, w którym znika biały krzyżyk w lewym górnym rogu kadru (patrz 2.3). Wykorzystaj ten czas, aby zidentyfikować śledzenie ruchu gałek ocznych za pomocą odpowiedniej kolumny w wyniku śledzenia ruchu gałek ocznych. Jest to początek zbierania danych ze śledzenia ruchu gałek ocznych.
4. Dodaj kolumnę do danych śledzenia ruchu gałek ocznych.
5. Korzystając z tej nowej kolumny, oznacz każdy wiersz lub punkt danych śledzenia ruchu gałek ocznych numerem klatki zaczynającym się od cyfry 1.

8. Wyświetlanie czasu, w którym uczestnicy badali różne klasy obiektów w filmach

UWAGA: Ze względu na ogromny rozmiar danych śledzenia wzroku, język programowania Python jest lepiej używany do kroków do wersji 8.4, chociaż można również użyć programu do przetwarzania danych.

1. Korzystając z dołączonego kodu Pythona, oblicz stopień nakładania się obiektów zainteresowania oraz czas i częstotliwość fiksacji śledzenia wzroku.
2. Zsumuj te dane, aby zrozumieć, ile czasu uczestnicy spędzili na oglądaniu różnych obiektów.
3. Użyj histogramu, aby pokazać całkowity czas, przez jaki obiekty zajmowały ekran.
4. Porównaj to z całkowitą ilością czasu, w którym uczestnicy patrzyli na różne obiekty.
5. Aby utworzyć mapę cieplną w oprogramowaniu do śledzenia ruchu gałek ocznych, kliknij jeden z filmów ze spaceru po parku, zaznaczając pole.
6. Kliknij kartę Mapa skupień.
7. Dostosuj kolor i inne cechy mapy skupień zgodnie z potrzebami, korzystając ze zmiennych "Liczba" (łączna liczba fiksacji wykonanych w oknie czasowym), "Bezwzględny czas trwania" (skumulowany czas trwania fiksacji) i "Względny czas trwania" (ilość czasu spędzonego na patrzeniu na obiekt podzielona przez ilość czasu spędzonego na patrzeniu na scenę).
8. Wyeksportuj obraz lub film zawierający mapę skupień jako plik JPEG lub plik wideo.

Wyniki

Rysunek 1 i Rysunek 2 pokazują wynik zebrania wszystkich danych śledzenia ruchu gałek ocznych dla całego filmu u wszystkich uczestników i stworzenia mapy cieplnej; jest to standardowe podejście dostępne w pakietach oprogramowania do śledzenia ruchu gałek ocznych. Porównując Rysunek 1 i Rysunek 2, można stwierdzić, że średnio uczestnicy skanowali w lewo i w prawo na współrzędnej x filmu w

Dyskusja

Ogólnie rzecz biorąc, w standardowych pakietach oprogramowania do analizy danych śledzenia ruchu gałek ocznych stosuje się wektorowy AOI. Nawet w przypadku pojedynczego zdjęcia nie można łatwo zmierzyć rozmiaru wektora. Co więcej, uwzględnienie wszystkich AOI na obrazie i obliczenie względnych ilości AOI jest pracochłonne. Jest prawie niemożliwe, aby zrobić to ręcznie na filmie bez techniki uczenia maszynowego, takiej jak opisana. Było to stosunkowo proste stwierdzenie, które sugeruje sytuację swobodnego oglądania. Można...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Obiektyw 12 mm	Obiektyw Olympus		Panasonic
GH4	Kamera wideo	Panasonic
Tobii Studio w wersji (2.1.14)	Tobii		Software
Tobii x120 biurkowy eye-tracker	Eye-tracker	Tobii