Ramy pomiarowe oparte na śledzeniu oczu do kwantyfikowania uwagi wizualnej w interaktywnych środowiskach sztuki cyfrowej opartej na ekranie

Summary

Protokół ten opisuje kompleksowe ramy do ilościowego określania uwagi wizualnej w interaktywnej sztuce cyfrowej. Szczegółowo opisuje architekturę systemu synchronizacji danych z logami interakcji, metodę dynamicznego mapowania obszarów zainteresowania (AOI) oraz analityczny pipeline łączący dynamikę uwagi z wynikami doświadczeń użytkownika.

Abstract

Niniejszy artykuł przedstawia ramy pomiarowe oparte na spojrzeniu, zaprojektowane do ilościowego określenia uwagi wizualnej podczas interaktywnych doświadczeń sztuki cyfrowej oraz powiązania dynamiki uwagi z efektami doświadczalnymi. W przeciwieństwie do tradycyjnego oglądania sztuki statycznej, interaktywna sztuka cyfrowa wykorzystuje dynamiczne media, informacje wieloźródłowe oraz ciągłe pętle zwrotne, które podważają standardowe metody śledzenia oczu. Proponowany system integruje akwizycję eyetrackingu, logowanie interakcji, synchronizację znaczników czasu, dynamiczne mapowanie obszarów zainteresowania (AOI) oraz obliczenia metryczne w jednolity pipeline. Protokół określa rozwój powtarzalnego przepływu danych, który dostosowuje dane wzroku do konkretnych zdarzeń interakcji, umożliwiając precyzyjne obliczenia alokacji uwagi, kosztów przełączania oraz eksploracyjnej entropii. Projekt eksperymentu obejmuje zarówno swobodną eksplorację, jak i zadania ukierunkowane na cel, co pokazało badanie z udziałem 37 uczestników. Wyniki stosowania tego protokołu wskazują na wysoką postrzeganą przyjazność użytkownika i satysfakcję, a modelowanie pomiarowe wspiera model dwukonstruktowy użyteczności i satysfakcji. Ponadto modelowanie wyników potwierdza, że postrzegana użyteczność działa jako podstawowy predyktor ogólnej satysfakcji użytkownika, podczas gdy demonstracja pojedynczego przypadku potwierdza zdolność pipeline do ilościowego przesunięcia uwagi uwzględniającej kontekst. Protokół ten dostarcza badaczom i projektantom rygorystycznego, powtarzalnego zestawu narzędzi do analizy, jak elementy projektowania interakcji — takie jak opóźnienia sprzężenia zwrotnego i intensywność nawigacji — kształtują uwagę użytkownika oraz subiektywne doświadczenia w immersyjnych środowiskach cyfrowych.

Introduction

Interaktywna sztuka cyfrowa obejmuje szerokie spektrum modalności, od immersyjnych instalacji przestrzennych po platformy interaktywne oparte na ekranach ^1,2. Choć w pełni immersyjne ustawienia stanowią granicę tej ewolucji, interaktywna sztuka oparta na ekranie pozostaje podstawowym medium, które pilnie wymaga rygorystycznych, standaryzowanych metod oceny przed nieograniczoną ekspansją przestrzenną. Ta metoda skutecznie redefiniuje rolę odbiorcy z biernej obserwacji na aktywną współtworzenie, gdzie udział bezpośrednio kształtuje znaczenie dzieła sztuki³. Klasyczne ramy psychologii sztuki, w szczególności Vienna Integrated Model of Art Perception (VIMAP), oferują wyrafinowaną soczewkę do zrozumienia wzajemnego oddziaływania odgórnej kontroli poznawczej a oddolnego przetwarzania percepcyjnego podczas estetycznych spotkań. Jednak choć modele te stanowią solidną podstawę do statycznej obserwacji, rozszerzenie ich najnowszych zastosowań na interaktywne środowiska cyfrowe wymaga zaawansowanych technik pomiarowych. Przekładanie tych teoretycznych konstrukcji na interaktywne zastosowania wymaga metryk fizjologicznych w czasie rzeczywistym, aby obiektywnie uchwycić ciągłą pętlę sprzężenia zwrotnego między wejściem użytkownika a odpowiedzią systemu. W konsekwencji przejście od statycznego oglądania do aktywnej interakcji wprowadza znaczną złożoność w ocenie doświadczenia użytkownika. Obecne główne metody oceny w tej dziedzinie opierają się głównie na kwestionariuszach po wydarzeniach, wywiadach retrospektywnych oraz obserwacjach na miejscu dotyczących nawyków oglądania, kolejności i czasu pobytu widzów⁴. Często uzupełniają je gruboziarniste metryki behawioralne, takie jak całkowity czas pobytu i częstotliwość kliknięć⁵. Chociaż takie metody skutecznie rejestrują ogólne preferencje i ogólne zadowolenie, zasadniczo mają trudności ze śledzeniem zmian uwagi na poziomie mikro w czasie rzeczywistym, które zachodzą podczas doświadczenia. W przeciwieństwie do retrospektywnych kwestionariuszy, które opierają się na opóźnionym przypominaniu i są podatne na błędy poznawcze, proponowane ramy śledzenia oczu dostarczają ciągłych, rzeczywistych i obiektywnych danych fizjologicznych. Co więcej, w porównaniu z grubymi metrykami behawioralnymi, takimi jak całkowity czas pobytu czy powierzchowne częstotliwości kliknięć, ta metodologia oparta na spojrzeniu rejestruje mikropoziomowe procesy poznawcze — takie jak momenty wahania, strategie wizualnego wyszukiwania oraz natychmiastowe reakcje percepcyjne na informacje zwrotne systemu. Dzięki temu dostarcza praktycznych, szczegółowych dowodów na projektowanie interakcji iteracyjnej, których tradycyjne metody oceny zasadniczo nie mają⁶. Technologia ta oferuje metryki na poziomie procesu do zrozumienia alokacji uwagi, utrzymania i przesuwania się w sztuce interaktywnej, dostarczając obiektywnych metryk fizjologicznych stanu poznawczego użytkownika ^7,8,9. Analizując kiedy, gdzie i przez jak długo użytkownik patrzy na konkretne elementy, badacze mogą obiektywnie wspierać optymalizację wystaw i interaktywne projektowanie. Jednak wdrożenie eyetrackingu w kontekście interaktywnych doświadczeń sztuki cyfrowej niesie ze sobą wiele, niebłahe wyzwania techniczne i metodologiczne, które odróżniają je od standardowych testów użyteczności czy statycznego oglądania obrazów.

Interaktywne środowiska często obejmują dynamiczne media, wiele źródeł informacji oraz złożone, wieloetapowe zadania. Bodźce wzrokowe nie są stałe; ewoluują one w zależności od danych użytkownika. Stałe zmiany bodźców wzrokowych i informacji zwrotnej systemowych powodują gwałtowne przesunięcia uwagi między poruszającymi się obiektami a obszarami interfejsu. Ta dynamika sprawia, że tradycyjna, statyczna, oparta na interfejsach segmentacja i interpretacja metryczna są podatne na zniekształcenia^10,11. Na przykład obszar zainteresowania (AOI), który jest istotny w danym momencie, może zniknąć lub zmienić swoje znaczenie semantyczne w następnym, przez co statyczne mapy ciepła stają się niewystarczające.

Dodatkowo, interakcje w rzeczywistym świecie często obejmują naturalne zachowania fizyczne, takie jak ruchy głowy, zasłony i różne odległości od ekranu, co prowadzi do dryfu kalibracyjnego^12,13. Te wahania jakości śledzenia wprowadzają brakujące wartości i szumy, co zmniejsza porównywalność między podmiotami i stabilność testów statystycznych. Standardowe protokoły laboratoryjne często wymagają sztywnej stabilizacji (np. podbródka), co odbiera naturalistyczne doświadczenie wymagane do doceniania sztuki¹⁴. Dlatego skuteczny protokół musi równoważyć rygorystyczną kontrolę jakości danych z ekologiczną zasadnością postawy użytkownika. Dzięki zastosowaniu zdalnego śledzenia oczu opartego na ekranie, proponowany system pozwala na naturalne, nieograniczone mikroruchy tułowia i głowy, służąc jako pragmatyczna baza do uchwycenia reakcji estetycznych bez natarczywych ograniczeń fizycznych.

Co istotne, synchronizacja czasowa między danymi o ruchach ocznych a logami interakcji bezpośrednio wpływa na interpretację przyczynową. W zadaniu z statycznym oglądaniem jedynym istotnym wskaźnikiem czasu jest początek bodźca. W sztuce interaktywnej każdy dotyk, gest czy wzrok inicjuje nowe odniesienie do wydarzenia czasowego. Bez jednolitego mechanizmu pomiaru czasu i wyrównania zdarzeń trudno jest określić, czy zmiany uwagi są wywoływane przez sprzężenie zwrotne systemu, czy przez indywidualne strategie eksploracji¹⁵. Aby kompleksowo ocenić sztukę cyfrową, badacze zazwyczaj opierają się na dwóch odrębnych źródłach danych: logach interakcji (rejestrujących dane użytkownika i stany systemu) oraz sygnałach fizjologicznych (takich jak śledzenie wzroku dla uwagi wzrokowej). Jednak te modalności są często analizowane w izolacji. Wczesna integracja ich w procesie analitycznym jest koncepcyjnie i praktycznie kluczowa, ponieważ są z natury komplementarne: logi interakcji dostarczają precyzyjnego kontekstowego "wyzwalacza" (co i kiedy sprzężenia zwrotnego systemu), podczas gdy dane ciągłego spojrzenia ujawniają odpowiadającą im "reakcję" poznawczą (miejsce i sposób alokacji uwagi). Bez jednolitego dopasowania czasowego, benchmarkowego i multimodalnego zdarzenia trudno jest określić, czy przesunięcie uwagi jest wywołane przez sprzężenie zwrotne systemu (np. efekt wizualnego fala), czy przez indywidualne strategie eksploracji. Łącząc te strumienie danych, ramy te zapewniają teoretyczną korzyść zamykania pętli przyczynowej między interaktywnymi funkcjami projektowania a poznaniem użytkownika.

Dlatego postęp w badaniach nad śledzeniem oczu w sztuce interaktywnej wymaga czegoś więcej niż tylko uchwycenia punktów fiksacji; Wymaga rygorystycznej kontroli jakości, synchronizowanego dopasowania oraz powtarzalnych procesów przetwarzania danych. Ograniczenia istniejących rozwiązań dodatkowo podkreślają tę motywację badawczą. Istniejące badania śledzenia oczu w kontekstach artystycznych koncentrują się głównie na statycznych zadaniach oglądania lub traktują opisy tekstowe i przewodników jako zewnętrzne zmienne, pozbawione integracji z interaktywnymi mechanizmami^16,17. Chociaż dowody sugerują, że metody prezentacji informacji i strategie przewodniczenia mogą znacząco zmieniać ścieżki uwagi i punkty skupienia widzów, większość wyników pozostaje na poziomie korelacji pojedynczych interwencji, nie wyjaśniając, jak interaktywne pętle zwrotne kształtują strategie uwagi na czas trwania doświadczenia.

Z kolei praktyki interaktywnej sztuki opracowały prototypowe systemy wykorzystujące spojrzenie jako naturalne wejście interakcji — podkreślając przemianę widzów z biernych obserwatorów w aktywnych uczestników — ale te działania często koncentrują się na demonstracjach instalacji lub walidacji technicznej^18,19. Często brakuje im jednolitych metryk uwagi, powtarzalnych paradygmatów eksperymentalnych oraz modeli badawczych zamkniętej pętli, które ustanawiają testowalne powiązania między dynamiką uwagi a wynikami doświadczalnymi. Ta luka utrudnia rozwój przenośnych zasad projektowania, które mogą wiarygodnie przewidzieć, jak konkretny wybór projektowy (np. szybkość wizualnego przejścia) wpłynie na poczucie immersji lub użyteczności użytkownika.

Co istotne, istniejąca literatura nie ma spójnych ram, które zasadniczo dostosowują uwagę wizualną do interaktywnych systemów czasu rzeczywistego. Chociaż postępy w dynamicznym mapowaniu AOI i synchronizacji spojrzenia z zdarzeniem były badane w ogólnych kontekstach HCI, rzadko są one integrowane w płynnym i bardzo zmiennym środowisku sztuki cyfrowej. Podstawowa luka badawcza polega na niezdolności obecnych ewaluacji pojedynczych metod do wyjaśnienia pętli przyczynowej między informacjami zwrotnymi systemu a poznaniem użytkownika. Dzięki wczesnej integracji danych multimodalnych — konkretnie połączeniu współrzędnych ciągłego spojrzenia z logami interakcji o ułamku sekundy — badacze mogą przekroczyć podstawowe metryki użyteczności. Ta integracja daje teoretyczną korzyść polegającą na przypisaniu konkretnych mikro-poziomowych przesunięcia uwagi (np. strategie wyszukiwania vs. ustabilizowane skupienie) bezpośrednio do konkretnych wyborów dotyczących projektowania interakcji, przekształcając przepływ doświadczalny z subiektywnego uczucia w mierzalny stan poznawczy.

Aby wypełnić te luki, protokół ten proponuje ramy pomiaru uwagi oparte na śledzeniu oczu, ograniczone wyłącznie do interaktywnej sztuki cyfrowej opartej na ekranie. Chociaż podstawowy proces techniczny wykazuje strukturalne podobieństwa do ogólnych testów interakcji człowiek-komputer (HCI), ten framework unikalnie integruje nieużytkowe zadania estetyczne (np. swobodną wizualną eksplorację mediów generatywnych) z działaniami ukierunkowanymi na cel. Ta integracja wyraźnie odróżnia płynny, eksploracyjny charakter doceniania sztuki od standardowego podejścia użytkowego do oceny oprogramowania. Teoretycznie badanie to działa na styku interaktywnej sztuki cyfrowej, HCI oraz analizy śledzenia wzroku. Porusza zarówno uporczywe wyzwanie obiektywnego scharakteryzowania ciągłego przepływu doświadczeń w ocenie sztuki cyfrowej, jak i określania korelacji między interaktywnym wejściem a efektem uwagi.

Zakres badań uprzykazuje to badanie nie tylko kontekstowi doświadczalnemu interaktywnej sztuki cyfrowej, ale także integracji danych z logami interakcji w celu ustanowienia systematycznego łańcucha dowodowego — od doświadczeń przez metryki uwagi, aż po zmienne wynikowe. Na poziomie systemu tworzymy powtarzalny pipeline danych, który integruje rejestrowanie ruchów oczu, rejestrowanie logów interakcji oraz synchronizację czasową w zintegrowaną architekturę. Ten framework standaryzuje wstępne przetwarzanie, mapowanie regionów oraz generowanie metryk uwagi, jednocześnie zapewniając śledzone struktury danych i skrypty analityczne.

Ramy koncepcyjne (Rysunek 1) wyjaśniają, jak projektowanie interakcji wpływa na subiektywne rezultaty, zmieniając procesy wizualnej uwagi widzów. Podstawowa logika traktuje elementy interakcji (takie jak opóźnienie sprzężenia zwrotnego i intensywność naprowadzania) jako kontrolowane wejścia, dynamikę uwagi wzrokowej jako kluczowe zmienne procesowe, a wyniki doświadczeń (immersję, użyteczność, satysfakcję) jako wyjścia. Różnice indywidualne są uwzględniane jako czynniki moderujące. Do projektowania eksperymentów rozwijane są zadania interaktywne, które równoważą swobodną eksplorację z celami zorientowanymi na cele. Na poziomie modelowania korelujemy dynamikę uwagi ze zmiennymi wynikowymi, aby zbadać mechanizmy, dzięki którym elementy projektowania interakcji wpływają na doświadczenie użytkownika poprzez uwagę wizualną. Protokół ten zawiera szczegółowe kroki metodologiczne do replikacji tego ramu, zapewniając, że złożona interakcja między użytkownikiem, systemem i sztuką może być mierzona z naukową rzetelnością.

Protocol

Badania te zostały przeprowadzone zgodnie z wytycznymi instytucjonalnymi Wydziału Innowacji i Projektowania na City University of Macau. Wszyscy uczestnicy wyrazili świadomą zgodę przed zebraniem danych.

1. Rozwój systemu i konfiguracja architektury

1. Zdefiniuj przepływ pracy badawczej
   1. Przyjmij czteroetapowy proces zamkniętej pętli, jak pokazano na Rysunku 2: Rozwój systemu, eksperyment śledzenia oczu, analiza i modelowanie wyników.
   2. Upewnij się, że workflow ułatwia iteracyjne udoskonalanie, gdzie dane z fazy analityki mogą informować o dostosowaniach do rozwoju systemu na przyszłe iteracje.
2. Konfiguruj architekturę systemu
   1. Zbuduj system z wykorzystaniem architektury potoku przedstawionej na Rysunku 3, składającej się z pięciu odrębnych modułów: Doświadczenie (Zadania), Śledzenie Oczu, Logi, Synchronizacja (Synchronizacja) oraz Analityka.
   2. Moduł doświadczenia: Opracuj interaktywny interfejs artystyczny, który będzie służył jako zunifikowany punkt wejścia. Konfiguruj go tak, aby generował dwa równoległe strumienie danych:
      1. Strumień danych o śledzeniu oczu: Generuje surowe współrzędne spojrzenia i znaczniki czasu z urządzenia.
      2. Strumień logów interakcji: Dokumentuj działania użytkownika (kliknięcia, gesty) oraz zmiany stanu systemu (wyzwalacze informacji zwrotnej, przejścia scen).
   3. Zaimplementuj skrypt User Datagram Protocol (UDP) w module synchronizacji, aby wysyłać znaczniki zdarzeń z silnika renderującego interakcje do API eye-tracker dokładnie w milisekundzie, gdy zmienia się bodziec wizualny lub zostanie zarejestrowany sygnał użytkownika.
   4. Oceń stabilność offsetu, uruchamiając 60-sekundową pętlę testową synchronizacji przed eksperymentem. Sprawdź, czy odchylenie standardowe (SD) opóźnienia między zegarem interakcji a zegarem eye-trackera pozostaje ściśle poniżej 6,5 ms (zgodnie z Tabelą 1). Jeśli karta SD przekroczy 6,5 ms, zresetuj połączenie sieciowe i skalibruj ponownie.
   5. Wyrównane przechowywanie danych: Konfiguruj bazę danych lub system plików tak, aby przechowywała wyrównane dane, gdzie każdy punkt danych zawiera zsynchronizowane współrzędne spojrzenia, flagi zdarzeń oraz indeksy AOI.
3. Ustalenie pętli uruchomienia systemu
   1. Zaimplementuj pętlę wykonawczą tak, jak pokazano na Rysunku 4.
   2. Zaprogramuj sekwencję tak, aby ściśle przestrzegała: Start Session → Calibration → Load Scene + AOI → pętli czasu rzeczywistego (interakcja użytkownika / przechwytywanie spojrzenia / Render feedback).
   3. Upewnij się, że potok danych (Write Logs → Timestamp Sync → Fixation, Parsing → AOI Mapping) działa natychmiast po akwizycji danych, aby ułatwić szybkie kontrole jakości.

2. Projektowanie bodźców i interakcji

1. Wybierz modalności interakcji
   1. Wybierz modalności interakcji na podstawie taksonomii. Wybierz między interakcją opartą na spojrzeniu, interakcją opartą na dotyku/gestach lub interakcją wieloużytkownikową w zależności od pytania badawczego.
   2. W tym protokole implementuj kombinację wejść wzrokowych i dotykowych, aby trzymać się zasady minimalizowania trudności wejściowych przy maksymalizacji interpretowalności wyników.
2. Zdefiniuj moduły interakcji i wyzwalanie zdarzeń.
   UWAGA: Tutaj "moduł interakcji" jest operacyjnie definiowany jako odrębna jednostka funkcjonalna cyfrowej grafiki (np. konkretny interaktywny efekt wizualny), natomiast "zdarzenie wyzwalające" odnosi się do konkretnego wejścia użytkownika lub zmiany stanu systemu, która aktywuje dany moduł z dokładnością milisekundy.
   1. Zaprogramuj konkretne moduły interakcji opisane w Tabeli 2.
   2. Attraktor otoczenia: Ustaw wyzwalacz na wejście sceny lub stan bezczynności na ≥ 3,2 s. Zdefiniuj oczekiwaną reakcję uwagi jako szerszą eksplorację i większe rozproszenie wzroku.
   3. Podświetlenie spojrzenia: Konfiguruj wyzwalacz, aby wzrok przebywał na obiekcie AOI ≥ 420 ms. Upewnij się, że to wywoła wizualne podświetlenie, które wzmocni koncentrację.
   4. Dotykowe falowanie: Wprowadź efekt wizualnej fali na współrzędnych (x,y) po kliknięciu w zdarzenie na płótnie. Rekordowe zmiany amplitudy saccade po fali frontowej.
   5. Wskazówka prowadzona: Zaprogramuj wskazówkę wizualną, aby pojawiała się przez 1,4–2,1 sekundy na zadanej AOI. Zmierz czas do pierwszego unieruchomienia (TTFF) za pomocą tego sygnału.
   6. Brama wyboru: Utwórz punkt decyzyjny, w którym użytkownik wybiera 1 z 3 opcji w ciągu 7,5 s. Użyj tego, aby zmierzyć czas oczekiwania na wybranej opcji w porównaniu do odrzuconych.
3. Obszary zainteresowań projektowych (AOI)
   1. Tworz statyczne i dynamiczne AOI, jak pokazano na Rysunku 5.
   2. Zdefiniuj statyczne AOI dla elementów interfejsu użytkownika (np. menu, ramek).
   3. Zdefiniuj dynamiczne AOI dla ruchomych elementów wizualnych (np. unoszące się kule, systemy cząstek). Upewnij się, że współrzędne AOI aktualizują się w pliku logu przy częstotliwości odświeżania systemu.
   4. Implementuj znaczenie semantyczne dla AOI (np. Target Object, Distractor, Instruction Text), aby ułatwić obliczanie wiarygodności semantycznej podczas analizy.

3. Rekrutacja i selekcja uczestników

1. Strategia rekrutacji
   1. Rekrutuj uczestników z odpowiedniej grupy demograficznej (np. studentów studiów nad sztuką cyfrową), aby zapewnić podstawowy poziom umiejętności cyfrowych.
   2. Uzyskaj świadomą zgodę i informuj uczestników o charakterze procedury pomiaru oczu (eyetracking).
2. Kryteria selekcji
   1. Przesiewaj ostrość wzroku. Sprawdź, czy uczestnicy mają prawidłowy lub skorygowany do normalnego wzroku.
   2. Wyklucz osoby z chorobami oczu (np. zezem, ciężki astygmatyzm), które zakłócają standardową kalibrację oczu.
   3. Kontrola kalibracji: Podczas początkowego ustawienia wykonaj kalibrację 5- lub 9-punktową. Wyklucz uczestników, którzy nie mogą osiągnąć średniego błędu kalibracyjnego ≤ 0,85° lub wykazują utrzymującą się utratę śledzenia (prawidłowy wskaźnik próby < 85%).
   4. Rejestruj dane demograficzne, w tym wiek, płeć, ręce oraz samoraportowaną ekspozycję na sztukę cyfrową (patrz parametry Tabeli 3 ).

4. Procedura eksperymentalna

1. Układ fizyczny
   1. Eksperyment przeprowadź w cichym pomieszczeniu ze stabilnym oświetleniem otoczenia. Eliminuj bezpośrednie światło słoneczne lub silne odbicia na ekranie.
   2. Umieść uczestnika w stałej odległości widzenia (np. 60–70 cm) odpowiedniej dla konkretnej komercyjnej jednostki śledzenia ruchu ruchu oczu opartej na ekranie.
   3. Ustaw wysokość krzesła tak, aby oczy uczestnika były na wysokości ze środkiem ekranu.
2. Wykonywanie sesji
   1. Kalibracja: Wykonaj procedurę kalibracji. Sprawdź dokładność. Jeśli dryf wynosi > 1,10°, wykonaj rekalibrację (Drift check).
   2. Próba praktyczna: Przeprowadz standaryzowaną sesję ćwiczeniową (około 2 minuty), aby zapoznać uczestnika z protokołami interakcji (np. jak wywołać Gaze Highlight).
   3. Wykonanie zadań: Przedstawij oba typy zadań w równoważonej kolejności, aby zminimalizować efekty sekwencji:
      1. Zadanie z darmową eksploracją: Poucz uczestnika: "Swobodnie eksploruj dzieła sztuki i wchodź w interakcje z elementami, które cię interesują."
      2. Zadanie ukierunkowane na cel: Polec uczestnikowi "Znajdź konkretne ukryte elementy" lub "Wykonaj sekwencję interakcji, aby odblokować ostateczny obraz."
   4. Rejestrowanie danych: Upewnij się, że system automatycznie rejestruje zarówno strumień ruchu ruchu wzrokowego, jak i logi interakcji z jednolitymi znacznikami czasu na wszystkich zadaniach.
   5. Kwestionariusze po zadaniu: Bezpośrednio po każdym bloku zadania przeprowadź skale doświadczenia (Zanurzenie, przyjemność estetyczna (zanurzenie, przyjemność estetyczną, użyteczność, satysfakcja).

5. Potok przetwarzania i analizy danych

1. Wstępne przetwarzanie danych i kontrola jakości
   1. Zobacz Rysunek 6 , aby uzyskać kompleksowy przegląd pipeline'u przetwarzania wzroku. Ten wizualny schemat określa kolejne etapy potrzebne do przekształcenia surowych współrzędnych spojrzenia w interpretowalne dane analityczne: początkową kontrolę jakości sygnału (w tym interpolację mrugnięć i filtrację przestrzenną), analizę ruchów oczu opartą na prędkości na fiksacje i sakady, dynamiczne mapowanie punktów spojrzenia na aktywne obszary zainteresowania (AOI) oraz ostateczne obliczenie ilościowych metryk uwagi.
   2. Obsługa migań i zaniku sygnału za pomocą standaryzowanego potoku interpolacji i filtrowania. Zidentyfikuj migania i segmenty utraty sygnału, gdzie średnica źrenicy równa się zeru lub flagi poprawności śledzenia są nieprawidłowe.
   3. Dla krótkich przerw (≤75 ms) należy użyć algorytmu interpolacji liniowej, aby oszacować brakujące współrzędne spojrzenia. Dla przerw przekraczających 75 ms pozostawić dane niemapowane, aby zapobiec generowaniu sztucznych artefaktów. Po interpolacji należy zastosować filtr średniej ruchomej (rozmiar okna = 3 próbki), aby wygładzić drobne szumy wysokiej częstotliwości.
   4. Wykrywanie i eliminowanie przestrzennych odstających obiektów definiowanych jako punkty spojrzenia wykraczające poza fizyczne granice ekranu lub wykazujące biologicznie niemożliwe prędkości sakadyczne (> 1000^o/s).
   5. Oblicz ostateczny udział; Wyklucz sesje, w których nieodwracalna strata przekracza 12% całkowitego czasu trwania zadania.
   6. Zastosuj korektę dryfu na poziomie próbnym. Jeśli podczas weryfikacji walidacyjnej tuż przed konkretnym blokiem zadania wykryto systematyczne przesunięcie, należy do surowych danych spojrzenia danego konkretnego badania zastosować liniowy wektor korekcji współrzędnych, aby zrekompensować drobne zmiany postawy głowy.
2. Analizowanie fiksacji i sakade
   1. Zastosuj algorytm parsowania Identification by Velocity Threshold (I-VT). Klasyfikuj surowe punkty danych jako sakady, jeśli prędkość ruchu oczu przekracza 30°/s; w przeciwnym razie klasyfikuj je jako fiksacje.
   2. Zastosuj minimalny próg trwania utrwalenia na poziomie 80 ms, aby odfiltrować mikro-sakkady i szum artefaktów.
   3. Klasyfikuj ruchy oczu na fiksacje (stabilne spojrzenie) i sakady (szybkie ruchy). Wygeneruj tabelę fiksacji i tabelę sakadową.
3. Układanie czasowe i mapowanie AOI
   1. Dopasuj znaczniki czasu zdarzenia spojrzenia do znaczników czasu logu interakcji, używając markerów zdarzeń UDP jako absolutnego kotwicy referencyjnej.
   2. Koryguj wszelkie inherentne opóźnienia transmisji sprzętu, odejmując średni offset zarejestrowany podczas pętli testów inicjalizacji od wszystkich znaczników czasu wzroku.
   3. Zobacz Tabelę 4 , aby zobaczyć schematyczny przykład zsynchronizowanych wierszy danych ilustrujących tę integrację na poziomie analitycznym. Zwróć uwagę, jak ta macierz łączy ciągłe współrzędne spojrzenia, dyskretne flagi zdarzeń interakcji oraz dynamiczne indeksy AOI w rozdzielczości milisekundowej, tworząc podstawowy zbiór danych do późniejszych obliczeń metryki.
   4. Implementuj dynamiczne mapowanie AOI, aby przezwyciężyć ograniczenia statycznego podziału przestrzennego w płynnych środowiskach sztuki cyfrowej.
   5. Odwzoruj każdą współrzędną fiksacji na aktywne AOI specjalnie zaktualizowane dla tej dokładnej milisekundy za pomocą algorytmu punkt-w-wielokątu.
   6. UWAGA: Zapewnia to, że nawet gdy elementy wizualne ciągle się poruszają lub zmieniają stan, dane spojrzenia są prawidłowo przypisywane zamierzonemu interaktywnemu obiektowi, a nie stałej, przestarzałej lokalizacji ekranu.
   7. Nadaj priorytet nakładającym się AOI za pomocą ścisłej reguły hierarchicznej bufora z. Odwzoruj surową współrzędną spojrzenia (x,y) na tablicę ramek ograniczających zaktualizowaną w tym konkretnym milisekundowym znaczniku.
   8. Jeśli współrzędna mieści się w wielu aktywnych ramkach ograniczających, przypisz fiksację wyłącznie AOI o najwyższym indeksie warstwy renderującej (najważniejszym elementem wizualnym). Usuń nakładające się dane z niższych warstw, aby zapobiec podwójnemu liczeniu.
   9. Oblicz procent niemapowanych fiksacji. Upewnij się, że to pozostanie ≤ 0,18 (18%), aby zweryfikować kompletność definicji AOI.
4. Obliczenia metryczne
   1. Obliczaj metryki w trzech wymiarach, jak pokazano w ramach Rysunku 1 :
   2. Oblicz TTFF, zdefiniowane ściśle jako czas upływu od pojawienia się konkretnego bodźca wzrokowego do rozpoczęcia pierwszego fiksacji w odpowiadającym mu docelowym AOI. Oblicz czas zatrzymania (całkowity czas trwania w AOI) oraz częstotliwość powrotów.
   3. Obliczaj macierze przejściowe, aby ilościowo określić przełączanie uwagi. Oblicz prawdopodobieństwo przejścia P_AB przejścia z AOI A do AOI B, dzieląc liczbę przejść spojrzenia z do przez całkowitą liczbę przejść pochodzących z A. Oblicz współczynnik przełączania, dzieląc łączną liczbę przejść między AOI przez ważny czas trwania zadania.
   4. Oblicz globalną entropię spojrzenia (H) za pomocą wzoru Teorii Informacji Shannona, aby zmierzyć losowość wizualnej eksploracji. Sformułuj równanie następująco:
      (1)
      gdzie zmienne są zdefiniowane następująco: : Globalna entropia spojrzenia, reprezentująca rozproszenie uwagi wzrokowej. N: Całkowita liczba zdefiniowanych dynamicznych AOI w scenie. p_i: Prawdopodobieństwo, że spojrzenie trafi w konkretny obszar działania. Wynika to z proporcji czasu oczekiwania w AOI względem całkowitego ważnego czasu trwania zadania.
   5. Agreguj te metryki według fazy zadania (Wolna eksploracja vs. Celowo ukierunkowana).
5. Modelowanie statystyczne
   1. Zgromadzenie ostatecznego zbioru danych, łącząc Metryki Obliczeniowe z wynikami ankiet.
   2. Wykonaj analizę czynników potwierdzających (CFA) w celu weryfikacji konstrukcji użyteczności i satysfakcji.
   3. Do testowania hipotez używaj modeli o mieszanych efektach lub modelowania równań strukturalnych (SEM) (np. opóźnienie interakcji przewiduje przełączanie uwagi, przełączanie uwagi przewiduje użyteczność).

Results

Charakterystyka próby i jakość danych

Zastosowanie tego protokołu objęło 43 studentów, z których 37 ostatecznie zostało uwzględnionych w ostatecznej analizie (wskaźnik włączenia: 86,0%). Jak szczegółowo opisano w Tabeli 3, wykluczenie 6 uczestników wynikało wyłącznie z przestrzegania protokołów jakości danych: utraty śledzenia/słabej kalibracji (n=2), nadmiernej brakującej próbki (n=2), nieukończonych zadań z powodu samozgłaszanej choroby lokomocyjnej podczas ...

Discussion

Niniejsze badanie ustanawia zweryfikowane ramy pomiaru oczu i śledzenia oczu, specjalnie dostosowane do interaktywnej sztuki cyfrowej. W istocie wyniki wskazują, że dynamiczne mapowanie obszarów zainteresowania (AOI) w połączeniu z synchronizacją multimodalną na poziomie milisekundowym skutecznie ilościowo ilościowo określa mikropoziomowe przesunięcia uwagi wzrokowej wcześniej zamazane w ośrodkach płynnych. Teoretycznie badania te łączą koncepcyjną lukę między modelami pasywnej obserwacji a aktywnym udziałem, ustanawiają...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Eye Tracker	Tobii AB	Pro Nano	Przechwytywanie spojrzenia na ekranie 60 Hz; Kalibracja 5/9 punktów
Monitor	ASUS	VP249QGR	23,8'', 1920 razy; 1080; Odległość widokowa ~65 cm
Interakcja PC	Dell	OptiPlex 7010	Windows 10; uruchamia interfejs + logi
Synchronizacja Zegara	Zwyczaj	v1.0	Jednoczy spojrzenie i Znaczniki czasu interakcji
Parser fiksacyjny	Open-source	I-VT	Próg fiksacji 80– 120 ms.
AOI Mapper	Zwyczaj	2D punkt w wielokątu	Mapy spojrzenia na statyczne/dynamiczne AOI