Eye-Tracking-basiertes Messframework zur Quantifizierung visueller Aufmerksamkeit in bildschirmbasierten interaktiven digitalen Kunstumgebungen

Summary

Dieses Protokoll beschreibt einen umfassenden Rahmen zur Quantifizierung visueller Aufmerksamkeit in interaktiver digitaler Kunst. Sie beschreibt die Systemarchitektur zur Synchronisation von Eye-Tracking-Daten mit Interaktionsprotokollen, die Methode für dynamische Area of Interest (AOI)-Kartierung und die analytische Pipeline zur Verknüpfung von Aufmerksamkeitsdynamiken mit Nutzererfahrungsergebnissen.

Abstract

Dieser Artikel präsentiert einen blickbasierten Messrahmen, der darauf ausgelegt ist, visuelle Aufmerksamkeit während interaktiver digitaler Kunsterlebnisse zu quantifizieren und Aufmerksamkeitsdynamiken mit erfahrungsbasierten Ergebnissen zu verknüpfen. Im Gegensatz zum traditionellen statischen Kunstbetrachten beinhaltet interaktive digitale Kunst dynamische Medien, Multi-Source-Informationen und kontinuierliche Rückkopplungsschleifen, die die üblichen Eye-Tracking-Methoden herausfordern. Das vorgeschlagene System integriert Eye-Tracking-Erfassung, Interaktionsprotokollierung, Zeitstempelsynchronisation, dynamische Area of Interest (AOI)-Mapping und Metrikberechnung in eine einheitliche Pipeline. Das Protokoll beschreibt die Entwicklung eines reproduzierbaren Datenworkflows, der Blickdaten mit spezifischen Interaktionsereignissen ausrichtet und so präzise Berechnungen der Aufmerksamkeitszuteilung, Schaltkosten und explorativer Entropie ermöglicht. Das experimentelle Design umfasst sowohl freie Erkundung als auch zielgerichtete Aufgaben, wie in einer Studie mit 37 Teilnehmern gezeigt wurde. Die Ergebnisse aus der Anwendung dieses Protokolls zeigen eine hohe wahrgenommene Benutzerfreundlichkeit und Zufriedenheit, wobei Messmodellierungen ein Zwei-Konstrukt-Modell von Benutzerfreundlichkeit und Zufriedenheit unterstützen. Darüber hinaus bestätigt die Ergebnismodellierung, dass die wahrgenommene Benutzerfreundlichkeit als grundlegender Prädiktor für die allgemeine Nutzerzufriedenheit dient, während die Einzelfall-Demonstration die Fähigkeit der Pipeline validiert, kontextbewusste Aufmerksamkeitsverschiebungen zu quantifizieren. Dieses Protokoll bietet Forschern und Designern ein rigoroses, reproduzierbares Werkzeugset, um zu analysieren, wie Interaktionsdesignelemente – wie Feedback-Latenz und Steuerungsintensität – die Aufmerksamkeit der Nutzer und die daraus resultierenden subjektiven Erfahrungen in immersiven digitalen Umgebungen prägen.

Introduction

Interaktive digitale Kunst umfasst ein breites Spektrum an Modalitäten, von immersiven räumlichen Installationen bis hin zu bildschirmbasierten interaktiven Plattformen ^1,2. Während vollständig immersive Setups die Grenze dieser Entwicklung darstellen, bleibt bildschirmbasierte interaktive Kunst ein grundlegendes Medium, das dringend rigorose, standardisierte Bewertungsmethoden vor uneingeschränkter räumlicher Expansion erfordert. Diese Modalität definiert effektiv die Rolle des Publikums von passiver Beobachtung zu aktiver Ko-Kreation, wobei Beteiligung direkt die Bedeutung des Kunstwerks prägt³. Klassische Rahmen der Kunstpsychologie, insbesondere das Vienna Integrated Model of Art Perception (VIMAP), bieten eine ausgefeilte Perspektive, um das Zusammenspiel zwischen Top-down-kognitiver Kontrolle und Bottom-up-Wahrnehmungsverarbeitung während ästhetischer Begegnungen zu verstehen. Während diese Modelle jedoch eine solide Grundlage für statische Beobachtungen bieten, erfordert die Erweiterung ihrer neuesten Anwendungen auf interaktive digitale Umgebungen fortschrittliche Messtechniken. Die Übersetzung dieser theoretischen Konstrukte in interaktive Anwendungen erfordert physiologische Echtzeitmetriken, um die kontinuierliche Rückkopplungsschleife zwischen Nutzereingabe und Systemantwort objektiv zu erfassen. Folglich bringt der Übergang vom statischen Ansehen zur aktiven Interaktion eine erhebliche Komplexität bei der Bewertung der Nutzererfahrung mit sich. Die aktuellen gängigen Bewertungsmethoden in diesem Bereich basieren hauptsächlich auf Post-Event-Fragebögen, retrospektiven Interviews und Vor-Ort-Beobachtungen zu Sehgewohnheiten, Reihenfolge und Verweilzeiten der Betrachter⁴. Diese werden oft durch grob zusammengefasste Verhaltenskennzahlen ergänzt, wie die Gesamtdauer des Aufenthalts und die^{Klickfrequenz von 5}. Obwohl solche Methoden die allgemeinen Vorlieben und die allgemeine Zufriedenheit effektiv erfassen, haben sie grundsätzlich Schwierigkeiten, die Echtzeit- und Mikroebene-Aufmerksamkeitsverschiebungen zu verfolgen, die während der Erfahrung auftreten. Im Gegensatz zu retrospektiven Fragebögen, die auf verzögertem Abruf beruhen und daher anfällig für kognitive Verzerrungen sind, liefert das vorgeschlagene Eye-Tracking-Framework kontinuierliche, Echtzeit- und objektive physiologische Daten. Darüber hinaus erfasst diese blickgestützte Methodik im Vergleich zu groben Verhaltensmetriken wie der gesamten Verweilzeit oder oberflächlichen Klickfrequenzen mikroebene kognitive Prozesse – wie z.B. Zögermomente, visuelle Suchstrategien und unmittelbare Wahrnehmungsreaktionen auf Systemfeedback. Dadurch liefert es umsetzbare, granulare Belege für iteratives Interaktionsdesign, denen traditionelle Bewertungsmethoden grundlegend fehlen⁶. Diese Technologie bietet Prozessmetriken zum Verständnis von Aufmerksamkeitszuweisung, Wartung und Verschiebung in interaktiver Kunst und liefert objektive physiologische Metriken des kognitiven Zustands^des Nutzers ^7,8,9. Durch Analyse von Wann, Wo und wie lange ein Nutzer bestimmte Elemente betrachtet, können Forscher objektive Unterstützung für die Ausstellungsoptimierung und interaktives Design bieten. Die Implementierung von Eye-Tracking im Kontext interaktiver digitaler Kunsterfahrungen bringt jedoch vielfältige, nicht triviale technische und methodische Herausforderungen mit sich, die sie von Standard-Usability-Tests oder statischer Bildansicht unterscheiden.

Interaktive Umgebungen beinhalten oft dynamische Medien, mehrere Informationsquellen und komplexe mehrstufige Aufgaben. Die visuellen Reize sind nicht festgelegt; sie entwickeln sich basierend auf den Eingaben des Nutzers. Die ständigen Veränderungen bei visuellen Reizen und Systemrückkopplungen führen zu schnellen Aufmerksamkeitsverschiebungen zwischen bewegten Objekten und Schnittstellenbereichen. Diese Dynamik macht traditionelle, statische, schnittstellenbasierte Segmentierung und metrische Interpretation anfällig für Verzerrungen ^10,11. Zum Beispiel kann ein Interessengebiet (AOI), das in einem Moment relevant ist, im nächsten Moment verschwinden oder seine semantische Bedeutung ändern, wodurch statische Heatmaps unzureichend sind.

Darüber hinaus beinhalten reale Interaktionen häufig natürliche körperliche Verhaltensweisen wie Kopfbewegungen, Verstopfungen und unterschiedliche Abstände zum Bildschirm, was zu Kalibrierungsdrift^12,13 führt. Diese Schwankungen in der Tracking-Qualität führen zu fehlenden Werten und Rauschen, was die Vergleichbarkeit von Probanden und die Stabilität statistischer Tests verringert. Standard-Laborprotokolle erfordern oft eine starre Stabilisierung (z. B. Kinnstützen), die von der naturalistischen Erfahrung ablenkt, die für die Kunstwertschätzung^{erforderlich ist}. Daher muss ein effektives Protokoll eine strenge Qualitätskontrolle der Daten mit der ökologischen Validität der Haltung des Nutzers in Einklang bringen. Durch den Einsatz von ferngesteuerter bildschirmbasierter Augenverfolgung ermöglicht das vorgeschlagene System natürliche, uneingeschränkte Mikrobewegungen von Ober- und Kopf und dient als pragmatische Grundlage zur Erfassung ästhetischer Reaktionen ohne aufdringliche physische Einschränkungen.

Entscheidend ist, dass die zeitliche Synchronisation zwischen Augenbewegungsdaten und Interaktionsprotokollen die kausale Interpretation direkt beeinflusst. Bei einer statischen Betrachtungsaufgabe ist der Beginn des Reizes der einzige relevante Zeitmarker. In interaktiver Kunst initiiert jede Berührung, Geste oder jeder Blick-Trigger eine neue zeitliche Ereignisreferenz. Ohne einen einheitlichen Zeitbenchmark und einen Mechanismus zur Ausrichtung von Ereignissen wird es schwierig zu bestimmen, ob Aufmerksamkeitsänderungen durch Systemfeedback ausgelöst oder durch individuelle Erkundungsstrategien ausgelöst werden¹⁵. Um digitale Kunst umfassend zu bewerten, verlassen sich Forscher typischerweise auf zwei unterschiedliche Datenquellen: Interaktionsprotokolle (die Benutzereingaben und Systemzustände erfassen) und physiologische Signale (wie Blickverfolgung für visuelle Aufmerksamkeit). Diese Modalitäten werden jedoch oft isoliert analysiert. Die frühe Integration dieser Daten in der analytischen Pipeline ist konzeptionell und praktisch entscheidend, da sie von Natur aus komplementär sind: Interaktionsprotokolle liefern den genauen kontextuellen 'Auslöser' (das Was und Wann des Systemfeedbacks), während kontinuierliche Blickdaten die entsprechende kognitive 'Reaktion' (das Wo und Wie der Aufmerksamkeitszuweisung) offenbaren. Ohne eine einheitliche Zeit-, Benchmark- und multimodale Ereignisausrichtung wird es schwierig zu bestimmen, ob eine Aufmerksamkeitsverschiebung durch Systemfeedback (z. B. einen visuellen Welleneffekt) ausgelöst oder durch individuelle Erkundungsstrategien ausgelöst wird. Durch die Fusion dieser Datenströme bietet dieses Rahmenwerk den theoretischen Vorteil, die kausale Schleife zwischen interaktiven Designfunktionen und Nutzerkognition zu schließen.

Daher erfordert die Förderung der Eye-Tracking-Forschung für interaktive Kunst mehr als nur das Erfassen von Fixationspunkten; Es erfordert eine strenge Qualitätskontrolle, synchronisierte Ausrichtung und reproduzierbare Datenverarbeitungs-Workflows. Die Einschränkungen bestehender Lösungen unterstreichen diese Forschungsmotivation zusätzlich. Bestehende Eye-Tracking-Studien in künstlerischen Kontexten konzentrieren sich überwiegend auf statische Betrachtungsaufgaben oder behandeln Textbeschreibungen und Reiseleiter als externe Variablen, ohne Integration mit interaktiven Mechanismen^16,17. Obwohl Hinweise darauf hindeuten, dass Informationspräsentationsmethoden und Orientierungsstrategien die Aufmerksamkeitswege und Fokuspunkte der Betrachter erheblich verändern können, bleiben die meisten Ergebnisse auf der Ebene der Einzelinterventionskorrelationen und erklären nicht, wie interaktive Rückkopplungsschleifen Aufmerksamkeitsstrategien über die Dauer einer Erfahrung prägen.

Umgekehrt haben interaktive Kunstpraktiken zwar Prototyp-Systeme entwickelt, die den Blick als natürlichen Interaktionsinput nutzen – was die Transformation von Betrachtern von passiven Beobachtern zu aktiven Teilnehmern betont, doch konzentrieren sich diese Bemühungen oft auf Installationsdemonstrationen oder technische Validierung^18,19. Ihnen fehlen häufig einheitliche Aufmerksamkeitsmetriken, replizierbare experimentelle Paradigmen und geschlossene Forschungsmodelle, die testbare Verbindungen zwischen Aufmerksamkeitsdynamik und erfahrungsbasierten Ergebnissen herstellen. Diese Lücke behindert die Entwicklung übertragbarer Designprinzipien, die zuverlässig vorhersagen können, wie eine bestimmte Designentscheidung (z. B. die Geschwindigkeit eines visuellen Übergangs) das Gefühl von Immersion oder Benutzerfreundlichkeit des Nutzers beeinflusst.

Entscheidend ist, dass die bestehende Literatur keinen zusammenhängenden Rahmen besitzt, der die visuelle Aufmerksamkeit grundlegend mit Echtzeit-interaktiven Systemen in Einklang bringt. Während Fortschritte in der dynamischen AOI-Kartierung und der Blick-Ereignis-Synchronisation in allgemeinen HCI-Kontexten erforscht wurden, werden sie selten in die flüssige und sehr variable Umgebung der digitalen Kunst integriert. Die grundlegende Forschungslücke liegt in der Unfähigkeit der aktuellen Einmodalitätsbewertungen, die kausale Schleife zwischen Systemfeedback und Nutzerkognition zu erklären. Durch die frühe Integration multimodaler Daten – insbesondere durch das Zusammenführen kontinuierlicher Blickkoordinaten mit millisekundengenauen Interaktionsprotokollen – können Forscher grundlegende Usability-Metriken überwinden. Diese Integration bietet den theoretischen Vorteil, spezifische Aufmerksamkeitsverschiebungen auf Mikroebene (z. B. Suchstrategien vs. stabilisierter Fokus) direkt bestimmten Interaktionsdesignentscheidungen zuzuordnen und so den erfahrungsbasierten Fluss von einem subjektiven Gefühl in einen quantifizierbaren kognitiven Zustand zu transformieren.

Um diese Lücken zu schließen, schlägt dieses Protokoll einen eye-tracking-gesteuerten Aufmerksamkeitsmessrahmen vor, der speziell auf bildschirmbasierte interaktive digitale Kunst beschränkt ist. Während die zugrunde liegende technische Pipeline strukturelle Ähnlichkeiten mit generischen Human-Computer-Interaktionstests (HCI) aufweist, integriert dieses Framework auf einzigartige Weise nicht-utilitaristische ästhetische Aufgaben (z. B. freie visuelle Erkundung generativer Medien) neben zielgerichteten Aktionen. Diese Integration unterscheidet ausdrücklich die fließende, explorative Natur der Kunstwertschätzung vom standardmäßigen utilitaristischen Ansatz zur Softwarebewertung. Theoretisch arbeitet diese Studie an der Schnittstelle von interaktiver digitaler Kunst, HCI und Eye-Tracking-Analyse. Es behandelt sowohl die anhaltende Herausforderung, den kontinuierlichen erfahrungsbasierten Fluss in der Bewertung digitaler Kunst objektiv zu charakterisieren, als auch die Korrelation zwischen interaktivem Input und Aufmerksamkeitsoutput zu bestimmen.

Der Forschungsrahmen positioniert diese Studie nicht nur auf den erfahrungsbasierten Kontext interaktiver digitaler Kunst, sondern auch auf die Integration von Eye-Tracking-Daten mit Interaktionsprotokollen, um eine systematische Evidenzkette zu etablieren – von erfahrungsbasierten Eingaben über Aufmerksamkeitsmetriken bis hin zu Ergebnisvariablen. Auf Systemebene bauen wir eine reproduzierbare Datenpipeline auf, die Erfassung von Augenbewegungen, Interaktionsprotokollaufzeichnung und temporale Synchronisation in eine einheitliche Architektur integriert. Dieses Framework standardisiert Vorverarbeitung, Regionenzuordnung und Aufmerksamkeitsmetrik-Generierung und bietet gleichzeitig nachverfolgbare Datenstrukturen und Analyseskripte.

Der konzeptuelle Rahmen (Abbildung 1) erläutert, wie Interaktionsdesign subjektive Ergebnisse beeinflusst, indem es die visuellen Aufmerksamkeitsprozesse der Betrachter verändert. Die Kernlogik behandelt Interaktionselemente (wie Rückkopplungslatenz und Steuerungsintensität) als steuerbare Eingaben, visuelle Aufmerksamkeitsdynamik als zentrale Prozessvariablen und Erfahrungsergebnisse (Immersion, Benutzerfreundlichkeit, Zufriedenheit) als Ausgaben. Individuelle Unterschiede werden als moderierende Faktoren einbezogen. Für das experimentelle Design werden interaktive Aufgaben entwickelt, die freie Erkundung mit zielorientierten Zielen in Einklang bringen. Auf Modellierungsebene korrelieren wir die Aufmerksamkeitsdynamik mit Ergebnisvariablen, um die Mechanismen zu untersuchen, durch die Interaktionsdesignelemente das Nutzererlebnis durch visuelle Aufmerksamkeit beeinflussen. Dieses Protokoll bietet detaillierte methodische Schritte zur Nachbildung dieses Rahmens und stellt sicher, dass das komplexe Zusammenspiel zwischen Nutzer, System und Kunst mit wissenschaftlicher Strenge gemessen werden kann.

Protocol

Diese Forschung wurde in Übereinstimmung mit den institutionellen Richtlinien der Fakultät für Innovation und Design an der City University of Macau durchgeführt. Alle Teilnehmer gaben vor der Datenerhebung eine informierte Einwilligung.

1. Systementwicklung und Architekturkonfiguration

1. Definieren Sie den Forschungsablauf
   1. Übernehmen Sie den vierstufigen geschlossenen Kreislauf-Prozess, wie in Abbildung 2 dargestellt: Systementwicklung, Eye-Tracking-Experiment, Analytik und Ergebnismodellierung.
   2. Stellen Sie sicher, dass der Workflow eine iterative Verfeinerung erleichtert, bei der Daten aus der Analysephase Anpassungen in der Systementwicklung für zukünftige Iterationen unterstützen können.
2. Konfigurieren Sie die Systemarchitektur
   1. Bauen Sie das System unter Verwendung der in Abbildung 3 dargestellten Pipeline-Architektur auf, die aus fünf verschiedenen Modulen besteht: Erfahrung (Aufgaben), Eye-Tracking, Logs, Synchronisation (Synchronisation) und Analytik.
   2. Erfahrungsmodul: Entwickle die interaktive Kunstoberfläche, die als einheitlichen Einstiegspunkt dient. Konfigurieren Sie ihn so, dass er zwei parallele Datenströme erzeugt:
      1. Eye-Tracking-Datenstrom: Geben Sie rohe Blickkoordinaten und Zeitstempel vom Gerät aus.
      2. Interaktionsprotokollstrom: Dokumentieren Sie Benutzeraktionen (Klicks, Gesten) und Systemzustandsänderungen (Rückkopplungsauslöser, Szenenübergänge).
   3. Implementieren Sie ein User Datagram Protocol (UDP)-Skript im Synchronisationsmodul, um Ereignismarker von der Interaktionsrendering-Engine genau in der Millisekunde zu senden, in der sich ein visueller Reiz ändert oder eine Benutzereingabe registriert wird.
   4. Bewerten Sie die Versatzstabilität, indem Sie vor dem Experiment eine 60-sekündige Synchronisationstestschleife durchführen. Überprüfen Sie, dass die Standardabweichung (SD) der Latenz zwischen dem Interaktionsuhr und dem Augentracker-Takt strikt unter 6,5 ms liegt (gemäß Tabelle 1). Wenn die SD 6,5 ms überschreitet, setzen Sie die Netzwerkverbindung zurück und kalibrieren Sie neu.
   5. Ausgerichtete Datenspeicherung: Konfigurieren Sie die Datenbank oder das Dateisystem so, dass ausgerichtete Daten gespeichert werden, wobei jeder Datenpunkt synchronisierte Blickkoordinaten, Ereignisflaggen und AOI-Indizes enthält.
3. Stellen Sie die Systemlaufzeitschleife ein
   1. Implementiere die Laufzeitschleife wie in Abbildung 4 dargestellt.
   2. Programmieren Sie die Sequenz strikt folgend: Sitzung starten → Kalibrierung → Szene laden + AOIs → Echtzeitschleife (Benutzerinteraktion / Blickaufnahme / Render-Feedback).
   3. Stellen Sie sicher, dass die Datenpipeline (Write Logs → Timestamp Sync → Fixation Parsing → AOI Mapping) unmittelbar nach der Datenerfassung funktioniert, um schnelle Qualitätskontrollen zu ermöglichen.

2. Stimulus- und Interaktionsdesign

1. Wählen Sie Interaktionsmodalitäten aus
   1. Wählen Sie die Interaktionsmodalitäten basierend auf der Taxonomie. Wähle je nach Forschungsfrage zwischen Blick-basierter Interaktion, Berührungs-/Gesten-basierter Interaktion oder Multi-User Collokated-Interaktion.
   2. Für dieses Protokoll sollten Sie eine Kombination aus Blick- und Touch-Eingaben implementieren, um dem Prinzip der Minimierung der Eingabeschwierigkeit bei maximaler Interpretierbarkeit der Ausgabe zu folgen.
2. Definiere die Interaktionsmodule und löse Ereignisse aus.
   HINWEIS: Hier ist ein "Interaktionsmodul" operativ als eine diskrete funktionale Einheit des digitalen Kunstwerks definiert (z. B. ein spezifischer interaktiver visueller Effekt), während ein "Trigger-Ereignis" sich auf die spezifische Benutzereingabe oder Systemzustandsänderung bezieht, die das Modul mit einem millisekundengenauen Zeitstempel aktiviert.
   1. Programmieren Sie die spezifischen Interaktionsmodule, die in Tabelle 2 definiert sind.
   2. Ambient Attractor: Stellen Sie den Trigger auf Szeneneintritt oder Leerlauf für ≥ 3,2 Sekunden ein. Definiere die erwartete Aufmerksamkeitsreaktion als breitere Erkundung und höhere Blickstreuung.
   3. Blick-Highlight: Konfigurieren Sie den Trigger so, dass der Blick auf einem Objekt auf einem AOI ≥ 420 ms liegt. Stellen Sie sicher, dass dies ein visuelles Highlight auslöst, um die Konzentration zu stärken.
   4. Touch Ripple: Implementiere einen visuellen Welleneffekt an den Koordinaten (x,y) beim Tippen auf das Leinwand-Ereignis. Die Amplitude der Saccade wird nach der Wellenfront verändert.
   5. Geführter Hinweis: Programmiere einen visuellen Hinweis so, dass er für 1,4–2,1 Sekunden an einem vorgegebenen AOI erscheint. Misse die Zeit zur ersten Fixierung (TTFF) mit diesem Hinweis.
   6. Wahlgatter: Einen Entscheidungspunkt erstellen, bei dem der Nutzer innerhalb von 7,5 Sekunden eine von drei Optionen auswählt. Nutzen Sie dies, um die Verweilzeit bei der gewählten Option im Vergleich zu abgelehnten Optionen zu messen.
3. Designinteressensgebiete (AOIs)
   1. Erstelle statische und dynamische AOIs, wie in Abbildung 5 gezeigt.
   2. Definieren Sie statische AOIs für feste Benutzeroberflächenelemente (UI) (z. B. Menüs, Grenzen).
   3. Definiere dynamische AOIs für bewegte visuelle Elemente (z. B. schwebende Kugeln, Teilchensysteme). Stellen Sie sicher, dass die AOI-Koordinaten in der Logdatei mit der Systemaktualisierungsrate aktualisiert werden.
   4. Implementieren Sie semantisches Tagging für AOIs (z. B. Zielobjekt, Ablenker, Instruktionstext), um die Berechnung der semantischen Glaubwürdigkeit während der Analyse zu erleichtern.

3. Teilnehmerwerbung und Screening

1. Rekrutierungsstrategie
   1. Rekrutieren Sie Teilnehmer aus einer relevanten demografischen Gruppe (z. B. Studierende für digitale Kunststudien), um eine Basis für digitale Kompetenz sicherzustellen.
   2. Holen Sie eine informierte Zustimmung ein und informieren Sie die Teilnehmer über die Art des Eye-Tracking-Verfahrens.
2. Auswahlkriterien
   1. Screenen Sie auf Sehschärfe. Überprüfen Sie, ob die Teilnehmer ein normales oder korrigiertes Sehvermögen haben.
   2. Ausschluss von Personen mit Augenerkrankungen (z. B. Strabismus, schwerer Astigmatismus), die die Standard-Eye-Tracking-Kalibrierung beeinträchtigen.
   3. Kalibrierungskontrolle: Während der Ersteinrichtung führen Sie eine 5- oder 9-Punkt-Kalibrierung durch. Teilnehmer, die keinen mittleren Kalibrierungsfehler von ≤ 0,85° erreichen können oder die anhaltenden Tracking-Verlust zeigen (gültiges Stichprobenverhältnis < 85 %).
   4. Erfassen Sie demografische Daten, einschließlich Alter, Geschlecht, Händigkeit und selbstberichteter digitaler Kunstexposition (siehe Tabelle 3 Parameter).

4. Experimentelles Verfahren

1. Physische Einrichtung
   1. Führen Sie das Experiment in einem ruhigen Raum mit stabiler Umgebungsbeleuchtung durch. Beseitigen Sie direktes Sonnenlicht oder starke Reflexionen auf dem Bildschirm.
   2. Setzen Sie den Teilnehmer auf eine feste Sichtweite (z. B. 60–70 cm), die für die spezifische kommerzielle bildschirmbasierte Eye-Tracking-Einheit geeignet ist.
   3. Stellen Sie die Höhe des Stuhls so ein, dass die Augen des Teilnehmers auf Höhe der Mitte des Bildschirms sind.
2. Sitzungsausführung
   1. Kalibrierung: Führen Sie die Kalibrierungsroutine aus. Überprüfen Sie die Genauigkeit. Wenn der Drift > 1,10° beträgt, führen Sie eine Neukalibrierung (Drift-Check) durch.
   2. Übungsversuch: Führen Sie eine standardisierte Übungssitzung (ca. 2 Minuten) durch, um den Teilnehmer mit den Interaktionsprotokollen vertraut zu machen (z. B. wie man den Blick hervorhebt).
   3. Aufgabenausführung: Präsentieren Sie die beiden Aufgabentypen in einer gegenwärtigen Reihenfolge, um Sequenzeffekte zu minimieren:
      1. Kostenlose Erkundungsaufgabe: Weisen Sie den Teilnehmer an, "frei das Kunstwerk zu erkunden und mit Elementen zu interagieren, die Sie interessieren."
      2. Zielgesteuerte Aufgabe: Weisen Sie den Teilnehmer an, "Spezifische versteckte Elemente zu finden" oder "Die Interaktionssequenz abzuschließen, um das finale Bild freizuschalten."
   4. Datenaufzeichnung: Stellen Sie sicher, dass das System sowohl den Eye-Tracking-Strom als auch die Interaktionsprotokolle automatisch mit einheitlichen Zeitstempeln während der gesamten Aufgaben aufzeichnet.
   5. Post-Task-Fragebögen: Unmittelbar nach jedem Task Block werden die Erfahrungsskalen durchgeführt (Immersion, ästhetisches Vergnügen, Benutzerfreundlichkeit, Zufriedenheit).

5. Datenverarbeitungs- und Analysepipeline

1. Datenvorverarbeitung und Qualitätskontrolle
   1. Siehe Abbildung 6 für einen umfassenden Überblick über die Blickverarbeitungspipeline. Dieses visuelle Schema legt die sequenziellen Schritte dar, die erforderlich sind, um rohe Blickkoordinaten in interpretierbare analytische Daten umzuwandeln: anfängliche Signalqualitätskontrolle (einschließlich Blinzelinterpolation und räumlicher Filterung), geschwindigkeitsbasierte Analyse von Augenbewegungen in Fixationen und Sakkaden, dynamische Abbildung von Blickpunkten auf aktive Interessengebiete (AOIs) und die endgültige Berechnung quantitativer Aufmerksamkeitsmetriken.
   2. Behandle Blinks und Signalausfälle mithilfe einer standardisierten Interpolations- und Filterpipeline. Identifizieren Sie Blinzel- und Signalverlustsegmente, bei denen der Pupillendurchmesser null beträgt oder Nachweisvaliditätsflaggen ungültig sind.
   3. Für kurze Lücken (≤75 ms) wenden Sie einen linearen Interpolationsalgorithmus an, um die fehlenden Blickkoordinaten zu schätzen. Bei Lücken von mehr als 75 ms lassen Sie die Daten unkartiert, um die Erzeugung künstlicher Artefakte zu verhindern. Nach der Interpolation wenden Sie einen gleitenden Durchschnittsfilter (Fenstergröße = 3 Proben) auf glattes kleines hochfrequentes Rauschen an.
   4. Räumliche Ausreißer erkennen und eliminieren, definiert als Blickpunkte, die außerhalb der physischen Bildschirmgrenzen liegen oder biologisch unmögliche sakkadenartige Geschwindigkeiten (> 1000^O/s) zeigen.
   5. Berechnen Sie die endgültige Abbruchquote; Sitzungen ausschließen, bei denen der nicht erholbare Verlust 12 % der gesamten Aufgabendauer übersteigt.
   6. Korrektur auf Versuchsebene Drift anwenden. Wenn während der Validierungsprüfung unmittelbar vor einem bestimmten Aufgabenblock ein systematischer Offset festgestellt wurde, wenden Sie einen linearen Koordinatenkorrekturvektor auf die Rohblickdaten dieses speziellen Versuchs an, um kleinere Kopfhaltungsverschiebungen auszugleichen.
2. Fixierung und Sakkaden-Parsing
   1. Wenden Sie den Identification by Velocity Threshold (I-VT)-Parsing-Algorithmus an. Klassifiziere Rohdatenpunkte als Sakkaden, wenn die Bewegungsgeschwindigkeit des Auges 30°/s übersteigt; Ansonsten klassifiziere sie als Fixierungen.
   2. Wenden Sie eine minimale Fixierungszeit-Schwelle von 80 ms an, um Mikrosakkaden und Artefaktrauschen herauszufiltern.
   3. Klassifizieren Sie Augenbewegungen in Fixationen (stabiler Blick) und Sakkaden (schnelle Bewegungen). Erstelle eine Fixationstabelle und eine Sakkadentabelle.
3. Zeitliche Ausrichtung und AOI-Abbildung
   1. Richten Sie die Zeitstempel der Blickereignisse mit den Zeitstempeln des Interaktionsprotokolls aus, indem Sie die UDP-Ereignismarker als absoluten Referenzanker verwenden.
   2. Korrigieren Sie etwaige inhärente Hardware-Übertragungsverzögerungen, indem der durchschnittliche Versatz während der Initialisierungstestschleife von allen Blickzeitstempeln abgezogen wird.
   3. Siehe Tabelle 4 für ein schematisches Beispiel der synchronisierten Datenzeilen, das diese Integration auf analytischer Ebene veranschaulicht. Beachten Sie, wie diese Matrix kontinuierliche Blickkoordinaten, diskrete Interaktionsereignis-Flags und dynamische AOI-Indizes mit Millisekundenauflösung zusammenführt, um den grundlegenden Datensatz für die spätere Metrikberechnung zu bilden.
   4. Dynamische AOI-Kartierung implementieren, um die Einschränkungen statischer räumlicher Partitionierung in flüssigen digitalen Kunstumgebungen zu überwinden.
   5. Jede Fixationskoordinate wird mit einem Punkt-in-Polygon-Algorithmus auf die aktiven AOIs abgebildet, die speziell für diesen Millisekundenzeitstempel aktualisiert werden.
   6. HINWEIS: Dies stellt sicher, dass selbst wenn visuelle Elemente sich ständig bewegen oder ihren Zustand ändern, die Blickdaten korrekt dem beabsichtigten interaktiven Objekt zugeordnet werden und nicht einem festen, veralteten Bildschirmstandort.
   7. Setzen Sie sich überlappenden AOIs mit einer strengen z-Buffer-Hierarchieregel Priorität zu. Man bildet die rohe (x,y)-Blickkoordinate auf das Begrenzungsbox-Array zu, das bei diesem bestimmten Millisekundenzeitstempel aktualisiert wird.
   8. Wenn die Koordinate innerhalb mehrerer aktiver Begrenzungsboxen liegt, weist die Fixierung ausschließlich dem AOI mit dem höchsten Rendering-Layer-Index (dem wichtigsten visuellen Element) zu. Verwerfen Sie überlappende Daten aus unteren Schichten, um Doppelzählungen zu vermeiden.
   9. Berechnen Sie den Prozentsatz der nicht kartierten Fixationen. Stellen Sie sicher, dass dies ≤ 0,18 (18 %) bleibt, um die Vollständigkeit der AOI-Definitionen zu überprüfen.
4. Metrische Berechnung
   1. Berechnen Sie Metriken über drei Dimensionen hinweg, wie im Abbildung 1-Rahmen gezeigt:
   2. Berechnen Sie TTFF, definiert streng als die vergangene Zeit vom Beginn eines bestimmten visuellen Reizes bis zum Beginn der ersten Fixation innerhalb des entsprechenden Ziel-AOI. Berechnen Sie die Verweilzeit (Gesamtfixierungsdauer innerhalb eines AOI) und die Wiederholungsrate.
   3. Berechnen Sie Übergangsmatrizen, um Aufmerksamkeitswechsel zu quantifizieren. Berechnen Sie die Übergangswahrscheinlichkeit P_AB für den Übergang von AOI A zu AOI B, indem Sie die Anzahl der Blickübergänge von zu durch die Gesamtzahl der Übergänge teilen, die von A ausgehen. Berechnen Sie die Wechselrate, indem Sie die Gesamtzahl der Inter-AOI-Übergänge durch die gültige Aufgabendauer teilen.
   4. Berechnen Sie die globale Blickentropie (H) mit Shannons Informationstheorie-Formel, um die Zufälligkeit der visuellen Erkundung zu quantifizieren. Formulieren Sie die Gleichung wie folgt:
      (1)
      wobei die Variablen wie folgt definiert sind: : Globale Blickentropie, die die Verteilung visueller Aufmerksamkeit darstellt. N: Die Gesamtzahl der definierten dynamischen AOIs innerhalb der Szene. p_i: Die Wahrscheinlichkeit, dass der Blick auf ein bestimmtes AOI fällt. Dies ergibt sich aus dem Anteil der Verweilzeit in AOI relativ zur gesamten gültigen Aufgabendauer.
   5. Aggregieren Sie diese Kennzahlen nach Aufgabenphase (kostenlose Exploration vs. zielgerichtet).
5. Statistische Modellierung
   1. Stellen Sie den endgültigen Datensatz zusammen, indem Sie berechnete Metriken mit den Umfrageergebnissen zusammenführen.
   2. Führen Sie eine bestätigende Faktorenanalyse (CFA) durch, um die Konstrukte von Usability und Satisfaction zu validieren.
   3. Verwenden Sie Mixed-Effects-Modelle oder strukturelle Gleichungsmodellierung (SEM), um die Hypothesen zu testen (z. B. Interaktionslatenz sagt Aufmerksamkeitswechsel voraus, Aufmerksamkeitswechsel sagt Benutzerfreundlichkeit voraus).

Results

Stichprobenmerkmale und Datenqualität

Die Anwendung dieses Protokolls rekrutierte 43 Studierende, von denen letztlich 37 in die Endanalyse einbezogen wurden (Inklusionsrate: 86,0 %). Wie in Tabelle 3 dargestellt, resultierte der Ausschluss von 6 Teilnehmern ausschließlich aus der Einhaltung von Datenqualitätsprotokollen: Nachverfolgung von Verlusten/schlechter Kalibrierung (n=2), übermäßig fehlende Stichproben (n=2), unvollstä...

Discussion

Diese Studie etabliert einen validierten Eye-Tracking-Messrahmen, der speziell für interaktive digitale Kunst entwickelt wurde. Im Kern deuten die Ergebnisse darauf hin, dass die dynamische Area of Interest (AOI)-Kartierung in Verbindung mit multimodaler Synchronisation auf Millisekundenebene erfolgreich visuelle Aufmerksamkeitsverschiebungen auf Mikroebene quantifiziert, die zuvor in Fluidmedien verdeckt waren. Theoretisch überbrückt diese Forschung die konzeptionelle Lücke zwischen pas...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Augentracker	Tobii AB	Pro Nano	60-Hz-bildschirmbasierte Blickaufnahme; 5/9-Punkt-Kalibrierung
Monitor	ASUS	VP249QGR	23,8'', 1920 Mal; 1080; Sichtweite ~65 cm
Interaktions-PC	Dell	OptiPlex 7010	Windows 10; Führt Schnittstelle + Protokolle aus
Synchronisationsuhr	Gepflogenheit	v1.0	Vereint den Blick & Interaktionszeitstempel
Fixationsparser	Open Source	I-VT	Fixationsschwelle 80 & Strich; 120 ms.
AOI Mapper	Gepflogenheit	2D-Punkt-in-Polygon	Weist den Blick auf statische/dynamische AOIs zu.