Łączenie danych ze śledzenia ruchu gałek ocznych z analizą treści wideo z bezpłatnego oglądania filmu ze spaceru w parku miejskim

Wiele badań eyetrackingowych opiera się na złożonych bodźcach wideo i rzeczywistych ustawieniach, co sprawia, że analiza danych jest bardzo złożona. Ta technika analizy pozwala na znacznie bogatsze i zautomatyzowane podejście do analizy danych opartych na wideo niż obecnie dostępne metody, co prowadzi do bogatszej ekstrakcji bardziej złożonych danych. Metoda ta może być stosowana w wielu różnych aplikacjach do śledzenia ruchu gałek ocznych, szczególnie w sytuacjach rzeczywistych lub tych, które wykorzystują wideo jako bodziec.

Badania krajobrazu opierały się na zrozumieniu, jak ludzie reagują na różne bodźce wzrokowe. Technika ta, w połączeniu ze śledzeniem ruchu gałek ocznych, może być wykorzystana do przetestowania tych założeń. W przypadku tego typu badań podejście zespołowe jest niezbędne, ponieważ istnieje wiele aspektów, które wymagają wkładu i rozważenia na wysokim poziomie.

Procedurę zademonstruje mi mój doktorant Andrew Treller. Sekwencje filmowe powinny być wyświetlane w laboratorium śledzenia ruchu gałek ocznych, w którym dostępne jest naturalne światło, ale które można kontrolować, aby uniknąć odbić na ekranie na jak największym ekranie, aby zająć jak największą część pola widzenia, unikając w ten sposób rozpraszania uwagi spoza pola widzenia. Po umieszczeniu uczestnika w odległości 60-65 centymetrów od ekranu, poproś go, aby wyobraził sobie, że potrzebuje przywrócenia, używając zdania, które pozwala uczestnikowi wyobrazić sobie w kontekście filmu ze śledzeniem ruchu gałek ocznych.

Następnie odtwarzaj filmy dla uczestnika w ustalonej kolejności losowej za pomocą stacjonarnego urządzenia śledzącego ruch gałek ocznych, aby rejestrować ruchy gałek ocznych uczestnika podczas każdego filmu. Aby zaprojektować obszar zainteresowania, wybierz elementy, które są interesujące dla badania, takie jak drzewa, krzewy, drogowskazy, budynki, ścieżki, stopnie. Aby uzyskać optymalną wydajność i minimalne wymagania treningowe, używaj elementów, które są łatwo wizualnie odróżnialne od siebie gołym okiem i/lub które konsekwentnie zajmują różne obszary każdej klatki wideo.

Ogólnie rzecz biorąc, dołączenie wystarczającej liczby przykładów szkoleniowych przedstawiających wizualnie rozróżniające różnice w każdym obszarze zainteresowania powinno wystarczyć do uzyskania solidnej wydajności. Gdy wszystkie elementy zostaną zmodyfikowane, wybierz odpowiednią liczbę klatek treningowych, które będą składać się na zestaw treningowy. Nie ma ustalonej liczby, która byłaby odpowiednia.

Następnie otwórz każdą klatkę treningową z filmu w oprogramowaniu do edycji obrazu i dla każdej klatki nałóż przezroczystą warstwę obrazu na załadowany obraz w celu etykietowania i utwórz paletę kolorów zapewniającą jeden kolor dla każdej danej klasy obiektów zainteresowania. Aby wybrać kolor dla obszaru zainteresowania próbki, kliknij i przeciągnij piksele w obszarze, aby pokolorować obszar próbki przy użyciu odpowiedniej palety. Po zakończeniu etykietowania ramki wyeksportuj nałożoną warstwę jako oddzielny plik obrazu, upewniając się, że nazwa pliku podstawowego jest zgodna z oryginalną nazwą pliku podstawowego ramki, ale z dołączonym znakiem C na końcu.

Aby ilościowo zweryfikować dokładność wytrenowanego klasyfikatora, wybierz klatki z oryginalnej sekwencji wideo, które nie zostały jeszcze wybrane do uwzględnienia w zestawie treningowym, i oznacz piksele w każdej klatce jako właśnie pokazane, aby klatki treningowe były tak precyzyjne i wszechstronne, jak to tylko możliwe. Po zakończeniu etykietowania ramki użyj tej samej konwencji nazewnictwa, co w przypadku trenowania, zapisując pliki w osobnym folderze ramek walidacji. Aby automatycznie oznaczyć sekwencję wideo pikselami, uruchom graficzny interfejs użytkownika Darwin i kliknij przycisk Załaduj etykiety treningowe.

Aby skonfigurować graficzny interfejs użytkownika do trenowania i etykietowania, wybierz pozycję Utwórz projekt i nadaj projektowi nazwę za pomocą wyskakującego okna dialogowego. Wybierz folder zawierający wszystkie oryginalne klatki sekwencji wideo w wyskakującym okienku. Korzystając z wyskakującego okna dialogowego eksploratora plików, wybierz folder zawierający obrazy treningowe oznaczone etykietami dla odpowiedniej sekwencji wideo.

W oknie dialogowym eksploratora plików wybierz folder zawierający wszystkie obrazy weryfikacyjne oznaczone etykietami dla odpowiedniej sekwencji wideo. Postępuj zgodnie z monitem, aby wybrać folder docelowy dla wszystkich ramek wyjściowych, które będą miały postać obrazów oznaczonych etykietami przy użyciu tej samej palety kolorów, która była używana podczas trenowania. Korzystając z wyskakującego okna dialogowego, w obszarze obszary zainteresowania, wprowadź obszary zainteresowania do oznaczenia, w tym wartości czerwone/zielone/niebieskie używane do oznaczania każdego regionu w przykładach trenowania.

Algorytm zbada każdą oznaczoną klatkę treningową i nauczy się modelu wyglądu w celu sklasyfikowania pikseli do dowolnej z określonych klas obiektów. Po zakończeniu trenowania kliknij przycisk Weryfikuj szkolenie. W oknie dialogowym eksploratora plików wybierz folder zawierający wszystkie obrazy weryfikacyjne oznaczone etykietami dla odpowiedniej sekwencji wideo.

Aby wizualnie zweryfikować wygenerowane etykiety, kliknij pozycję Walidacja wizualna. Każdy wygenerowany obraz oznaczony etykietą zostanie wyświetlony obok oryginalnej ramki walidacji. Jeśli dokładność zaobserwowana w walidacji ilościowej lub jakościowej spadnie poniżej akceptowalnych poziomów, należy dołączyć i ponownie przeszkolić dalsze przykłady szkoleniowe.

Po zakończeniu faz trenowania i walidacji klasyfikatora kliknij pozycję Uruchom wnioskowanie, aby rozpocząć pełne etykietowanie wszystkich ramek w sekwencji wideo przy użyciu wytrenowanego klasyfikatora. Po zakończeniu etykietowania, co może potrwać kilka godzin, kliknij pozycję Przeglądaj dane wyjściowe, aby wyświetlić wynikowe etykiety. Większość programów do śledzenia ruchu gałek ocznych pokaże Ci, że średnio uczestnicy skanowali w lewo i w prawo współrzędną x filmu w pierwszym filmie w porównaniu z drugim filmem, dla którego mapa ciepła pokazuje bardziej okrągły kształt.

Korzystając z techniki etykietowania pikseli opartej na uczeniu maszynowym opisanej w tym artykule, możemy zobaczyć więcej szczegółów. Ta graficzna reprezentacja procentowego czasu fiksacji pokazuje, że ścieżka jest wyraźnie widoczna w trakcie trwania filmu. Jednak, jak pokazuje ta liczba z danych śledzenia ruchu gałek ocznych, uczestnik patrzył na tę funkcję tylko od czasu do czasu w kluczowych punktach.

Poniżej przedstawiono podsumowanie czasu przebywania wszystkich 39 uczestników tego reprezentatywnego badania podczas patrzenia na obiekty na całej długości filmu. Na tym wykresie te same dane dotyczące czasu przebywania zostały podzielone przez ilość czasu i przestrzeni zajmowanej przez różne obiekty w filmie. Wartość jeden oznacza, że czas przebywania może być uwzględniony na podstawie ilości obiektu w filmie.

Na przykład obiekty, które były mniej istotne, takie jak niebo na obu obrazach, były oglądane stosunkowo rzadziej niż inne obiekty. Sztuczne obiekty, takie jak latarnie uliczne i ławki, były zamieszkane w większym stopniu niż inne obiekty naturalne. Tego rodzaju analizy mogą mieć wiele szerokich zastosowań w celu zbadania kwestii uwagi i istotności, a także mogą mieć wiele szeroko zakrojonych zastosowań w różnych obszarach badawczych.

Ponieważ wykorzystanie krótkich filmów jako bodźców wizualnych staje się coraz bardziej powszechne, spodziewamy się, że technika ta stanie się bardziej popularna.