Driedimensionale mapping van de rotatie van interactieve virtuele objecten met eye-trackinggegevens

Summary

We hebben een eenvoudige, aanpasbare en efficiënte methode ontwikkeld voor het vastleggen van kwantitatieve procesgegevens van interactieve ruimtelijke taken en het in kaart brengen van deze rotatiegegevens met eye-tracking gegevens.

Abstract

We presenteren een methode voor het real-time vastleggen van menselijke interactie met driedimensionale (3D) virtuele objecten. De aanpak bestaat uit het associëren van rotatiegegevens van het gemanipuleerde object met gedragsmetingen, zoals eye-tracking, om betere conclusies te trekken over de onderliggende cognitieve processen.

De taak bestaat uit het weergeven van twee identieke modellen van hetzelfde 3D-object (een molecuul), gepresenteerd op een computerscherm: een roterend, interactief object (iObj) en een statisch doelobject (tObj). Deelnemers moeten iObj met de muis draaien totdat ze van mening zijn dat de oriëntatie identiek is aan die van tObj. De computer houdt alle interactiegegevens in realtime bij. De blikgegevens van de deelnemer worden ook geregistreerd met behulp van een eyetracker. De meetfrequentie is 10 Hz op de computer en 60 Hz op de eyetracker.

De oriëntatiegegevens van iObj ten opzichte van tObj worden vastgelegd in rotatiequaternionen. De blikgegevens worden gesynchroniseerd met de oriëntatie van iObj en er wordt naar verwezen met behulp van hetzelfde systeem. Deze methode stelt ons in staat om de volgende visualisaties van het menselijke interactieproces met iObj en tObj te verkrijgen: (1) hoekongelijkheid gesynchroniseerd met andere tijdsafhankelijke gegevens; (2) 3D-rotatiebaan binnen wat we besloten een "bal van rotaties" te noemen; (3) 3D fixatie heatmap. Alle stappen van het protocol hebben gebruik gemaakt van vrije software, zoals GNU Octave en Jmol, en alle scripts zijn beschikbaar als aanvullend materiaal.

Met deze benadering kunnen we gedetailleerde kwantitatieve studies uitvoeren van het taakoplossende proces met mentale of fysieke rotaties, in plaats van alleen het bereikte resultaat. Het is mogelijk om precies te meten hoe belangrijk elk onderdeel van de 3D-modellen is voor de deelnemer bij het oplossen van taken, en zo de modellen te relateren aan relevante variabelen zoals de kenmerken van de objecten, cognitieve vaardigheden van de individuen en de kenmerken van de mens-machine-interface.

Introduction

Mentale rotatie (MR) is een cognitief vermogen dat individuen in staat stelt objecten mentaal te manipuleren en te roteren, waardoor een beter begrip van hun kenmerken en ruimtelijke relaties wordt vergemakkelijkt. Het is een van de visueel-ruimtelijke vaardigheden, een fundamentele cognitieve groep die al in 1890 werd bestudeerd¹. Visueel-ruimtelijke vaardigheden zijn een belangrijk onderdeel van het cognitieve repertoire van een individu dat wordt beïnvloed door zowel erfelijke als omgevingsfactoren 2,3,4,5. De belangstelling voor visueel-ruimtelijke vaardigheden is in de loop van de twintigste eeuw gegroeid als gevolg van toenemend bewijs van hun belang in belangrijke vakken zoals leeftijd⁶ en ontwikkeling⁷, prestaties in wetenschap, technologie, techniek en wiskunde (^{STEM) 8,9}, creativiteit¹⁰ en evolutionaire kenmerken¹¹.

Het hedendaagse idee van MR komt voort uit het baanbrekende werk dat Shepard en Metzler (SM) in 1971¹² publiceerden. Ze bedachten een chronometrische methode met behulp van een reeks "dezelfde of andere" taken, waarbij ze twee projecties van abstracte 3D-objecten naast elkaar presenteerden. Deelnemers moesten de objecten mentaal op een bepaalde as draaien en beslissen of die projecties hetzelfde object anders roteerden of verschillende objecten afbeeldden. De studie onthulde een positieve lineaire correlatie tussen responstijd (RT) en de hoekongelijkheid (AD) tussen representaties van hetzelfde object. Deze correlatie staat bekend als het hoekongelijkheidseffect (ADE). ADE wordt beschouwd als een gedragsmanifestatie van MR en werd alomtegenwoordig in verschillende invloedrijke latere onderzoeken in het veld 13,14,15,16,17,18,19,20,21,22,23,24,25. De 3D-objecten die in de SM-studie werden gebruikt, waren samengesteld uit 10 aaneengesloten kubussen die werden gegenereerd door de pionier op het gebied van computergrafieken Michael Noll bij Bell Laboratories²⁶. Ze worden SM-figuren genoemd en worden veel gebruikt in MR-studies.

Twee ontwikkelingen waren van groot belang in het baanbrekende werk van Shepard en Metzler; ten eerste het overwegen van de bijdragen op het gebied van MR-beoordelingen. In 1978 ontwikkelden Vanderberg en Kuze²⁷ een psychometrische potlood-en-papiertest met 20 items op basis van SM "dezelfde of andere" cijfers die bekend werd als de mentale rotatietest (VKMRT). Elk testitem presenteert een doelstimulus. Deelnemers moeten kiezen uit vier stimuli, welke hetzelfde object vertegenwoordigen dat in de doelstimulus is afgebeeld en welke niet. VKMRT is gebruikt om de correlatie tussen MR-vermogen en verschillende andere factoren te onderzoeken, zoals seksegerelateerde verschillen 6,21,24,28,29,30, veroudering en ontwikkeling ^6,31,32, academische prestaties ^8,33, en vaardigheden in muziek en sport³⁴. In 1995 publiceerden Peters et al. een studie met hertekende cijfers voor de VKMRT ^35,36. Evenzo, volgens het "dezelfde of andere" taakontwerp, zijn een verscheidenheid aan andere bibliotheken van door de computer gegenereerde stimuli gebruikt om MR-processen te onderzoeken en MR-vaardigheden te beoordelen (3D-versies van de originele SM-stimuli 19,22,23,37,38, menselijk lichaam dat SM-figuren nabootst 25,39,40, platte polygonen voor 2D-rotatie 41^{, 42}, anatomie en organen⁴³, organische vormen⁴⁴, moleculen^45,46, onder andere²¹). De Purdue Spatial Visualization Test (PSVT) voorgesteld door Guay in 1976⁴⁷ is ook relevant. Het omvat een reeks tests, waaronder MR (PSVT:R). Door gebruik te maken van andere stimuli dan die in VKMRT, PSVT:R vereist dat deelnemers een rotatiebewerking in een modelstimulus identificeren en deze mentaal toepassen op een andere. PSVT:R wordt ook veel gebruikt, met name in onderzoeken naar de rol van MR bij STEM-prestaties 48,49,50.

De tweede vooruitgang van groot belang in het baanbrekende werk van Shepard en Metzler omvat de bijdragen aan het begrip van het MR-proces, in het bijzonder met het gebruik van eye-tracking-apparaten. In 1976 gebruikten Just en Carpenter¹⁴ analoge video-gebaseerde eye-tracking-apparatuur om een onderzoek uit te voeren op basis van het ADE-experiment van Shepard en Metzler. Op basis van hun resultaten over saccadische oogbewegingen en RT's stelden ze een model van MR-processen voor dat bestaat uit drie fasen: 1) de zoekfase, waarin vergelijkbare delen van de figuren worden herkend; 2) de transformatie- en vergelijkingsfase, waarin een van de geïdentificeerde delen mentaal wordt geroteerd; 3) de bevestigingsfase, waarin wordt besloten of de cijfers hetzelfde zijn of niet. De fasen worden recursief herhaald totdat er een beslissing kan worden genomen. Elke stap komt overeen met specifieke saccadische en fixationele oogbewegingspatronen in nauwe relatie tot waargenomen ADE's. Door oogactiviteit te correleren met chronometrische gegevens, leverden Just en Carpenter dus een cognitieve handtekening voor de studie van MR-processen. Tot op heden is dit model, zij het met aanpassingen, in verschillende onderzoeken overgenomen 15,42,46,51,52,53.

In navolging van dit spoor volgen verschillende daaropvolgende onderzoeken die gedrag 18,19,22,23,25,34,40,54,55 en hersenactiviteit 20,22,56,57 monitoren Functies tijdens stimulirotatie werden uitgevoerd. Hun bevindingen wijzen op een coöperatieve rol tussen MR en motorische processen. Bovendien is er een groeiende belangstelling voor het onderzoeken van probleemoplossende strategieën met betrekking tot MR in relatie tot individuele verschillen 15,41,46,51,58.

Over het algemeen kan worden aangenomen dat het ontwerp van onderzoeken die gericht zijn op het begrijpen van MR-processen gebaseerd is op het presenteren van een taak met visuele stimuli die deelnemers vraagt een MR-operatie uit te voeren die op zijn beurt een motorische reactie met zich meebrengt. Als deze reactie rotatie van de stimuli mogelijk maakt, wordt dit vaak fysieke rotatie (PR) genoemd. Afhankelijk van de specifieke doelstellingen van elke studie zijn verschillende strategieën en apparaten gebruikt voor gegevensverzameling en analyse van MR en PR. In de stap van de presentatie van taakstimulus is het mogelijk om de soorten stimuli te wijzigen (d.w.z. eerder aangehaalde voorbeelden); de projectie (door de computer gegenereerde beelden in traditionele displays 22,23,25,29,40,41,59, evenals in stereoscopen ¹⁹ en virtual⁶⁰ en mixed⁴³ reality-omgevingen); en de interactiviteit van de stimuli (statische beelden 12,27,36, animaties⁶¹ en interactieve virtuele objecten 19,22,23,43,53,59).

MR wordt meestal afgeleid uit metingen van RT's (ADE), evenals oog- en hersenactiviteit 25,46,62. Oculaire activiteit wordt gemeten met behulp van eye-tracking-gegevens bestaande uit saccadische bewegingen en fixaties 14,15,42,51,52,54,58,60, evenals pupillometrie 40. RT-gegevens zijn doorgaans afkomstig van motorresponsgegevens die zijn geregistreerd tijdens het bedienen van verschillende apparaten, zoals hendels¹³, knoppen en schakelaars ^14,53, pedalen⁵³, draaiknoppen¹⁹, joysticks³⁷, toetsenbord⁶¹ en muis 29,58,60, aandrijfwielen ⁵³, traagheidssensoren^22,23, aanraakschermen^52,59, en microfoons²². Om PR te meten, zal het onderzoeksontwerp naast de RT's ook het opnemen van handmatige rotaties van interactieve stimuli omvatten terwijl deelnemers de MR-taak 22,23,52,53 uitvoeren.

In 1998 gebruikten Wohlschläger en Wohlschläger¹⁹ "dezelfde of andere" taken met interactieve virtuele SM-stimuli die werden gemanipuleerd met een knop, met rotaties beperkt tot één as per taak. Ze maten RT en het cumulatieve record van fysieke rotaties die tijdens de taken werden uitgevoerd. Door situaties met en zonder daadwerkelijke rotatie van de interactieve stimuli te vergelijken, concludeerden ze dat MR en PR een gemeenschappelijk proces delen voor zowel ingebeelde als daadwerkelijk uitgevoerde rotaties.

In 2014 werden twee onderzoeken uitgevoerd waarbij gebruik werd gemaakt van hetzelfde type taken met virtuele interactieve stimuli^22,23. De objecten werden echter gemanipuleerd met traagheidssensoren die beweging in de 3D-ruimte vastlegden. In beide gevallen werden, naast RT's, rotatietrajecten geregistreerd - de evolutie van rotatieverschillen tussen referentie- en interactieve stimuli tijdens de taken. Uit deze trajecten was het mogelijk om zowel cumulatieve informatie (d.w.z. het totale aantal omwentelingen in quaternionische eenheden) als gedetailleerde informatie over oplossingsstrategieën te extraheren. Adams et ^al.23 bestudeerden het coöperatieve effect tussen MR en PR. Naast RT's gebruikten ze de integraal van de rotatietrajecten als een parameter voor nauwkeurigheid en objectiviteit van de resolutie. Curveprofielen werden geïnterpreteerd volgens een driestappenmodel⁶³ (planning, grote rotatie, fijnafstelling). De resultaten geven aan dat MR en PR niet noodzakelijkerwijs één gemeenschappelijke factor hebben. Gardony et ^al.22 verzamelden gegevens over RT, nauwkeurigheid en real-time rotatie. Naast het bevestigen van de relatie tussen MR en PR, bleek uit de analyse van rotatietrajecten dat deelnemers de cijfers manipuleerden totdat ze konden vaststellen of ze verschillend waren of niet. Als ze hetzelfde waren, zouden deelnemers ze roteren totdat ze er hetzelfde uitzagen.

Voortbordurend op deze strategie gebruikten Wetzel en Bertel⁵² in 2018 ook interactieve SM-figuren in "dezelfde of andere" taken met behulp van touchscreen-tablets als interface. Bovendien gebruikten ze een eye-tracking-apparaat om cumulatieve gegevens te verkrijgen over fixatietijd en saccadische amplitude als parameters van de cognitieve belasting die betrokken is bij het oplossen van MR-taken. De auteurs bevestigden de eerdere studies die hierboven zijn besproken met betrekking tot de relaties tussen MR en PR en de taakoplossende processen. In deze studie gebruikten ze echter geen fixatiemapping en saccadesgegevens voor de stimuli.

Methodologische benaderingen voor het in kaart brengen van eye-tracking-gegevens over virtuele 3D-objecten zijn voorgesteld en voortdurend verbeterd, vaak door onderzoekers die geïnteresseerd zijn in het bestuderen van de factoren die verband houden met visuele aandacht in virtuele omgevingen⁶⁴. Hoewel betaalbaar en met behulp van vergelijkbare eye-tracking-apparaten, zijn deze methoden blijkbaar niet effectief geïntegreerd in het experimentele repertoire dat wordt gebruikt in mentale rotatiestudies met interactieve 3D-objecten zoals eerder genoemd. Omgekeerd hebben we in de literatuur geen studies gevonden die real-time mapping van fixatie- en saccadebewegingsgegevens op interactieve 3D-objecten rapporteren. Er lijkt geen handige methode te zijn om oogactiviteitsgegevens gemakkelijk te integreren met rotatietrajecten. Met dit onderzoek willen we een bijdrage leveren aan het opvullen van deze leemte. De procedure wordt in detail gepresenteerd, van data-acquisitie tot het genereren van grafische output.

In dit artikel beschrijven we in detail een methode voor het bestuderen van mentale rotatieprocessen met virtuele interactieve 3D-objecten. De volgende vorderingen worden belicht. Ten eerste integreert het kwantitatieve gedragsmotorische (met de hand aangedreven objectrotatie via een computerinterface) en oculaire (eye-tracking) gegevensverzameling tijdens interactiesessies met virtuele 3D-modellen. Ten tweede vereist het alleen conventionele computerapparatuur en eye-tracking-apparaten voor visueel taakontwerp, gegevensverzameling, opname en verwerking. Ten derde genereert het eenvoudig grafische uitvoer om gegevensanalyse te vergemakkelijken - hoekongelijkheid, fysieke rotatie, quaternionische rotatietrajecten en hitmapping van eye-tracking-gegevens over virtuele 3D-objecten. Ten slotte vereist de methode alleen vrije software. Alle ontwikkelde code en scripts zijn gratis (https://github.com/rodrigocnstest/rodrigocnstest.github.io) beschikbaar.

Protocol

1. Voorbereiding van instrumenten voor gegevensverzameling

1. Stel de online gegevensverzameling in (optioneel).
   OPMERKING: In deze stap wordt beschreven hoe u een aanpasbare kloon van de projectcode en de werkende webpagina instelt (zie Aanvullend bestand 1). Deze stap is aangepast op basis van de tutorials die beschikbaar zijn op https://pages.github.com/ en https://github.com/jamiewilson/form-to-google-sheets. Als gebruikers alleen geïnteresseerd zijn in de manier van gegevensverwerking en niet in de gegevensregistratie, kunnen ze de webpagina https://rodrigocnstest.github.io/iRT_JoVE.html gebruiken, samen metAanvullende tabel S1 en de repository-bestanden op https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave, en sla stap 1.1, 1.2 en de substappen daarvan over.
   1. Meld u aan bij GitHub (https://github.com/).
   2. Maak een openbare kloon van de oorspronkelijke opslagplaats voor GitHub-pagina's.
      1. Klik op Repository importeren uit https://github.com terwijl u bent ingelogd op het account.
      2. Plak in het veld De kloon-URL van uw oude opslagplaats de URL https://github.com/rodrigocns/rodrigocns_JoVE in het veld Opslagplaatsnaam , typ username.github.io, waarbij gebruikersnaam de gebruikersnaam is die in het account wordt gebruikt, en zorg ervoor dat de optie Openbaar is ingeschakeld. Klik vervolgens op de groene knop Begin met importeren.
         OPMERKING: De repository bevat nu de meeste bestanden die nodig zijn voor de rest van deze setup, en eventuele wijzigingen die in de repository worden aangebracht, zullen na een paar minuten op de website worden bijgewerkt. De gebruiker met de naam rodrigocnstest zou bijvoorbeeld toegang krijgen tot zijn eigen pagina op https://rodrigocnstest.github.io en zijn GitHub-repository op https://github.com/rodrigocnstest/rodrigocnstest.github.io.
   3. Stel een cloudspreadsheet in om de experimentgegevens online op te slaan.
      1. Meld u aan of log in op een Google-account.
      2. Terwijl u bent ingelogd op het account, gaat u naar het opschonenbestand van iRT-spreadsheets dat beschikbaar is op https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
         Ops1wZrXI/edit?usp=delen.
      3. Klik in deze spreadsheet op Bestand | Maak een kopie. Er verschijnt een klein bevestigingsvenster.
      4. Geef het bestand in het kleine venster een naam en klik op de knop Een kopie maken .
   4. Stel een Google Apps-script in om de gegevensopslag in de spreadsheet die u heeft gemaakt, te automatiseren.
      1. Klik in het spreadsheetbestand op de optie Extensie | Apps Script.
         OPMERKING: Dit script moet worden gemaakt of geopend vanuit de spreadsheet, zodat het eraan is gekoppeld. Pogingen om extern een script te maken, werken mogelijk niet.
      2. Klik op de knop Uitvoeren om het script voor de eerste keer uit te voeren.
      3. Klik op de knop Machtigingen controleren . Er verschijnt een nieuw venster. Klik op hetzelfde account dat is gebruikt bij het maken van de spreadsheet.
         OPMERKING: Als dit de eerste keer is dat deze stap wordt uitgevoerd, kan er een veiligheidswaarschuwing verschijnen waarin de gebruiker wordt gewaarschuwd dat de app toegang vraagt tot informatie van het account. Het is veilig omdat de app probeert de inhoud van de spreadsheet te bereiken en toestemming vraagt om deze met gegevens te vullen. Als er geen waarschuwingen verschijnen, kan stap 1.1.4.4 worden overgeslagen.
      4. Klik op Geavanceerd | Ga naar Van iRT naar bladen (onveilig) | Knop Toestaan .
         OPMERKING: Na de uitvoering moet er een bericht verschijnen dat de uitvoering is voltooid in het uitvoeringslogboek.
      5. Klik in het linker schuifpaneel op de knop Triggers (het vierde pictogram van boven naar beneden) | + Knop Trigger toevoegen .
      6. Kies onder Kies welke functie u wilt uitvoeren de optie doPost; selecteer onder Gebeurtenisbron selecteren de optie Uit spreadsheet; Kies onder Gebeurtenistype selecteren de optie Op formulier verzenden. Klik vervolgens op Opslaan. Als er pop-ups voor toestemming verschijnen, volgt u de stappen 1.1.4.3-1.1.4.4. Als de browser de pop-up blokkeert, deblokkeert u deze.
      7. Klik op de vervolgkeuzeknop Implementeren | Nieuwe inzet.
      8. Beweeg de muis over het tandwielpictogram en zorg ervoor dat de optie Web App is geselecteerd.
      9. Schrijf een beschrijving in het veld Nieuwe beschrijving , zoals Implementatie 1; Selecteer in het veld Wie heeft toegang de optie Iedereen en klik vervolgens op de knop Implementeren .
         OPMERKING: Het doel van het veld Nieuwe beschrijving is om de scriptimplementaties te organiseren. Het kan worden genoemd zoals de lezer dat wenst, zoals Eerste implementatie. Het veld Uitvoeren als zou al moeten verschijnen als Ik (e-mail), waarbij e-mail het e-mailadres is dat tot nu toe is gebruikt.
      10. Kopieer in de nieuwe pop-up de URL van de web-app van de scriptimplementatie.
          OPMERKING: Als u om wat voor reden dan ook de gekopieerde URL van de web-app kwijtraakt, haalt u deze op door op het vervolgkeuzemenu Implementeren te klikken | Implementaties beheren. De URL van de web-app moet daar zijn.
      11. Ga naar de pagina op https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js waar rodrigocnstest de gebruikersnaam is die bij GitHub wordt gebruikt. Vervang de bestaande URL in regel 5 voor de gekopieerde URL van de web-app in stap 1.1.4.10 en klik op de groene knop Wijzigingen doorvoeren....
          OPMERKING: De gekopieerde URL-waarde moet tussen enkele ' ' of dubbele ' '' aanhalingstekens blijven. Controleer nogmaals of de gekopieerde URL de juiste is uit de web-app.
      12. Klik ten slotte op de bevestigingsknop voor het doorvoeren van wijzigingen in het midden van het scherm.
   5. Zorg ervoor dat het proces correct is voltooid en dat de pagina werkt.
      1. Ga naar de opslagplaats op https://github.com/username/username.github.io/, waar gebruikersnaam de gebruikersnaam is die wordt gebruikt op GitHub, en controleer of de implementatie is bijgewerkt na de wijzigingen die zijn aangebracht in stap 1.4.14.
      2. Navigeer naar de webpagina bij https://username.github.io/iRT_JoVE, wijzig de gebruikersnaam in de gebruikersnaam die in GitHub wordt gebruikt en klik vervolgens op Volgende.
      3. Klik op Go, voer elke interactie uit door met de muis op het object aan de rechterkant te klikken en te slepen en klik vervolgens op de knop GEREED!
      4. Ga terug naar het spreadsheetbestand dat is geconfigureerd in stap 1.1.3 en 1.1.4 en controleer de aanwezigheid van een nieuw toegevoegde gegevensregel voor elke keer dat de knop GEREED werd ingedrukt.
2. Offline gegevensverzameling instellen (optioneel).
   OPMERKING: De methode die bedoeld is voor het uitvoeren en verkrijgen van de gegevens van de interactieve rotatietaak (iRT) is online via de cloudservices die zijn geconfigureerd in de hierboven beschreven stappen. Indien gewenst (omdat de internetverbinding een probleem kan zijn of om een alternatieve manier te hebben om deze uit te voeren), is het ook mogelijk om de test lokaal uit te voeren met of zonder internetverbinding op de plaats waar de test zal worden uitgevoerd. De volgende stappen zijn een optioneel alternatief en beschrijven hoe u dit kunt bereiken. Ga anders verder met stap 1.3.
   1. Open de GitHub-repository via de link: https://github.com/rodrigocnstest/rodrigocnstest.github.io. Klik op de groene knop < > Code | Download ZIP en decomprimeer vervolgens de gedownloade bestanden.
      OPMERKING: Wijzigingen die worden aangebracht in de bestanden die lokaal zijn opgeslagen, zullen de bestanden in de opslagplaats niet wijzigen en vice versa. Alle wijzigingen die voor beide versies bedoeld zijn, moeten op beide locaties worden toegepast, hetzij door de bijgewerkte bestanden handmatig te kopiëren, hetzij door het gebruik van git/GitHub-desktop.
   2. Download de nieuwste versie van Mozilla Firefox via de link: https://www.mozilla.org/en-US/firefox/new/.
   3. Open de Mozilla Firefox-browser, voer "about:config" in de URL-sleuf in, voer "security.fileuri.strict_origin_policy" in het zoekveld in en verander de waarde in false. OPMERKING: Nu zou Mozilla Firefox in het Windows-besturingssysteem lokaal toegang moeten kunnen krijgen tot de gedownloade webpaginabestanden op uw computer. Andere browsers en besturingssystemen kunnen worden geconfigureerd om lokaal te werken, elk met de installatie beschreven op de link http://wiki.jmol.org/index.php/Troubleshooting/Local_Files.
3. Stel de gegevensverwerkingstool in.
   1. Download en installeer de nieuwste versie van GNU Octave op https://octave.org/download.
4. Stel het eye-tracking-apparaat in.
   1. Zorg ervoor dat de software van het opnamesysteem op de laptop is geïnstalleerd.
   2. Zorg ervoor dat de onderzoeksruimte schoon en goed georganiseerd is om afleiding te voorkomen.
   3. Gebruik kunstmatige verlichting in de kamer om de hele dag een consistente verlichting te behouden.
   4. Installeer de computer op een tafel en zorg ervoor dat de deelnemer de muis comfortabel kan bewegen.
   5. Zorg voor een comfortabele stoel voor de deelnemer, bij voorkeur een vaste stoel, om beweging tijdens de test tot een minimum te beperken.
   6. Sluit een USB-kabel aan om de infraroodverlichting van stroom te voorzien en een andere USB-kabel tussen de laptop/computer en de eye-tracker voor de camera.
   7. Plaats de eye tracker onder het scherm.

2. Verzamelen van gegevens

1. Initialiseer de software voor gegevensverzameling.
   1. Voer de eye-tracking-software op de computer uit om gegevens van de eye-tracker te ontvangen.
   2. Selecteer de optie Schermopname in het hoofdvenster van de software om de blik tijdens het experiment vast te leggen (het is ook mogelijk om deze software te gebruiken voor heatmapvisualisatie en onbewerkte exportgegevens).
   3. Klik op Nieuw project om een nieuw project en projectmap aan te maken waarin de gegevens moeten worden opgeslagen.
   4. Open de testpagina bij https://rodrigocnstest.github.io/iRT_JoVE.html als u de pagina gebruikt die als voorbeeld wordt aangeboden of de pagina die in stap 1.1 is gemaakt. U kunt ook het iRT_JoVE.html bestand lokaal openen vanuit de eerder geconfigureerde browser in stap 1.2.
   5. Vul indien nodig de velden voor naam en e-mailadres in om te helpen bij de identificatie van gegevens en vink het vakje aan om een reservekopie van de geproduceerde gegevens te downloaden.
      OPMERKING: Als u de offline methode gebruikt (stap 1.2), is het raadzaam om de back-upkopieën te downloaden.
   6. Probeer het experiment één keer uit te voeren om er zeker van te zijn dat de browser de elementen correct laadt en dat er geen problemen zijn met de gepresenteerde taken of gegevensverzameling.
2. Voer het experiment uit.
   1. Leg de deelnemer uit wat het doel van het experiment is, welke technologie wordt gebruikt en welke in-/uitsluitingscriteria zijn. Zorg ervoor dat de deelnemer alles heeft begrepen. Laat de deelnemer het toestemmingsformulier invullen.
   2. Vraag de deelnemer om voor het Eye-tracking Systeem te gaan zitten en het zo comfortabel mogelijk te maken.
   3. Verplaats de stoel om een optimale afstand tussen de deelnemer en de camera te garanderen (de ideale lengte is 65 cm van de eye-tracker tot de ogen van de deelnemer).
   4. Vraag de deelnemer om tijdens het experiment zo stil mogelijk te blijven staan. Pas de hoogte van de camera aan om de pupillen van de deelnemer correct vast te leggen (sommige software markeert de pupil om de hoornvliesreflectie weer te geven).
   5. Klik op Auto Gain inschakelen om het volgen van pupillen te optimaliseren door de cameraversterking te wijzigen totdat de pupillen zijn gevonden (sommige software heeft deze optie niet).
   6. Vraag de deelnemer om naar een reeks stippen op het scherm te kijken en de beweging van de stip te volgen zonder zijn hoofd te bewegen.
   7. Klik op Kalibreren om de kalibratie te starten (dit zorgt ervoor dat de eye-tracker kan volgen waar de deelnemer naar het scherm kijkt).
      OPMERKING: Het scherm wordt leeg en een kalibratiemarkering (punt) beweegt door vijf posities op het scherm.
   8. Na kalibratie wordt een visuele schatting van het blikpunt op het scherm getekend om de kalibratienauwkeurigheid te controleren. Vraag de deelnemer om naar een specifiek punt op het scherm te kijken om te zien of de blik correct wordt weergegeven.
   9. Als de kalibratie niet bevredigend is, stelt u de camera af en probeert u de kalibratie opnieuw totdat het systeem de blik op de juiste manier volgt.
   10. Klik op de knop Gegevens verzamelen aan de rechterkant van de eyetracking-software (hoofdmenu) om de gegevensverzamelingsmodus te activeren. De real-time weergave van het vastgelegde scherm wordt gepresenteerd met blikgegevens die worden weergegeven in het primaire weergavevenster.
   11. Klik op de videoknop Staren in het hoofdmenu om het gezicht van de gebruiker weer te geven dat is vastgelegd door de eyetracker. Klik vervolgens op Record starten om het experiment te starten.
       OPMERKING: Tijdens het experiment wordt de pupil van de deelnemer gemarkeerd en wordt hun oog weergegeven als een stip die over het laptopscherm beweegt. Zorg ervoor dat de oogtracker de pupil en het oog over het scherm volgt.
   12. Als de stip vaak verdwijnt of flikkert, stopt u het experiment en probeert u opnieuw te kalibreren.
   13. Open het eerder geopende venster van de iRT en vertel de deelnemer om op Volgende te klikken.
   14. Geef de volgende instructies aan de deelnemer: "In dit gedeelte voer je drie rotatietaken uit. Wanneer u op de GO! knop, verschijnen er twee objecten aan weerszijden van het scherm. Je doel is om het object aan de rechterkant te draaien totdat het zo goed mogelijk overeenkomt met het object aan de linkerkant. Als u het object wilt draaien, klikt en sleept u er met uw muis overheen. Wanneer u elk van de drie taken hebt voltooid, klikt u op de knop GEREED! knop om af te sluiten."
       OPMERKING: Voor elke taak kunnen alle iRT-gegevens na de 5 minuten (precies 327e^seconde ) verloren gaan. Naarmate we de methode verder ontwikkelen, moet deze limiet worden uitgebreid.
   15. Zorg er aan het einde van het experiment voor dat de eyetracker is uitgeschakeld van de verlengkabel en plaats de lensdop terug op de camera.
3. Pak de gegevens uit.
   1. Zodra het verzamelen van eye-trackergegevens is voltooid, klikt u op Gegevens analyseren om toegang te krijgen tot de verzamelde gegevens.
   2. Exporteer een .csv bestand met alle gegevens die voor de gebruiker zijn vastgelegd.
      OPMERKING: De eerste kolom met eyetracker-gegevens moet de UNIX-periode van de gegevens zijn, omdat dit de enige manier is om verschillende sets gegevens correct overeen te laten komen in de tijd. Als het bestand er geen bevat, moet het worden geconverteerd van een andere gebruikte tijdstandaard. Het bestand kan de indeling ".csv" of ".xlsx" hebben.
   3. Als u de online versie van de interactieve pagina met rotatietaken gebruikt (stap 1.1), opent u het Google Spreadsheets-bestand dat is gebruikt om de online gegevens te ontvangen (gemaakt in stap 1.1.3) en downloadt u het door te klikken op Bestand | Downloaden | Microsoft Excel (.xlsx).
      OPMERKING: Deze gegevens zijn verpakt om de overdracht van gegevens te vergemakkelijken (elke taak komt overeen met één regel gevuld met gegevens). Om de gegevens binnenin te verwerken, moet elke regel verpakte gegevens eerst worden "uitgepakt".

3. Gegevensverwerking en -analyse

1. Uitpakken, samenvoegen en verwerken van de gegevens.
   OPMERKING: In de volgende stappen wordt beschreven hoe u de gegevens kunt verwerken met behulp van de meegeleverde scripts (zie Aanvullend bestand 2). De GNU Octave-scripts zullen de gebruiker vragen om input over hun bestanden. Als de invoer als leeg wordt verzonden, worden in plaats daarvan de standaardwaarden gebruikt, die verwijzen naar de verstrekte voorbeeldgegevens als er geen gebruikersgegevens zijn overschreven. Nadat het script is uitgevoerd, kan het worden gesloten.
   1. Download en decomprimeer de repository die wordt gebruikt (die van de gebruiker zelf of het origineel op https://github.com/rodrigocns/rodrigocns_JoVE) als deze nog niet is gedownload.
   2. Zorg ervoor dat de scripts 1.unpacking_sheets.m, 2.data_merge_and_process.m, 3.3D rotational trajectory.m en de mapmodellen zich in de gedownloade opslagplaats in de map Octave bevinden en verplaats de gegevensbestanden die zijn gedownload van stap 2.3.2 en 2.3.3 naar dezelfde map waar de octaafscripts zich bevinden.
      OPMERKING: Bestaande bestanden die zich al in de map bevinden met dezelfde namen als de nieuw geschreven bestanden, kunnen worden overschreven. Wijzig de naam van de bestanden of verplaats ze dienovereenkomstig naar een andere map.
   3. Open het script 1.unpacking_sheets.m met de GNU Octave Launcher. Voer op het tabblad Editor het script uit door op de groene knop Bestand opslaan en uitvoeren te klikken om de gegevens uit te pakken tot een beter leesbare structuur.
      OPMERKING: Als een van de gevraagde gegevensbestanden lokaal is geopend, vergeet dan niet om ze te sluiten voordat u het script uitvoert. Alle .m script bestanden werden uitgevoerd met behulp van de GNU Octave Launcher.
   4. Er verschijnen twee prompts, de een na de ander. Voer de naam van het gedownloade bestand in de eerste prompt in en de naam van het onverpakte bestand in het tweede veld. U kunt ook beide promptvelden leeg laten om de standaardnamen te gebruiken die bedoeld zijn voor de opgenomen voorbeeldbestanden. Wacht een paar minuten (afhankelijk van de hoeveelheid gegevens) voordat een pop-up de gebruiker informeert dat het proces is voltooid en het nieuwe bestand is geschreven.
   5. Open en voer het script 2.data_merge_and_process.m uit om de gegevens van zowel eyetracker als iRT samen te voegen.
      OPMERKING: Hoewel dit script complex is en honderden regels code omvat, is het verdeeld in drie hoofdsecties: instellingen, functies en scripts. Ze worden allemaal grondig becommentarieerd en toegelicht, waardoor toekomstige wijzigingen indien nodig worden vergemakkelijkt.
   6. Er verschijnen vier prompts. Voer de sessionID-waarde, de taskID-waarde (beide uit de iRT-gegevenstabel), de onverpakte iRT-gegevensbestandsnaam (geschreven in stap 3.1.5) en de eye-tracker-gegevensbestandsnaam (geëxporteerd in stap 2.3.2) in of laat ze allemaal leeg om de standaardwaarden te gebruiken.
      OPMERKING: Na enkele minuten verschijnt er een help-pop-up die aangeeft dat het script de berekening heeft voltooid en de namen van de gebruikte en gemaakte bestanden. Tijdens het scriptproces verschijnen drie voorbeelddiagrammen met hoekongelijkheid: een eenvoudige grafiek, een grafiek met gekleurde blikgegevens en een grafiek met gegevens over de pupildiameter. De twee bestanden die zijn gemaakt, zijn output merge X Y.xlsx en output jmol console X Y.xlsx, waarbij X de sessionID-waarde is en Y de taskID-waarde , beide geschreven aan het begin van stap 3.1.6.
2. Render 3D-rotatiebaanafbeeldingen.
   1. Open en voer het script uit 3.3D rotatie trajectory.m.
   2. Er verschijnen drie prompts. Voer de sessie-ID-waarde, de taak-ID-waarde en de onverpakte iRT-gegevensbestandsnaam in of laat ze leeg om de standaardwaarden te gebruiken.
      OPMERKING: Er verschijnt een 3D-grafiek. De gerenderde grafiek is het 3D-rotatietraject van de opgegeven sessie en taak.
3. Speel de animaties opnieuw af.
   1. Om de taakinteractie van de deelnemer opnieuw af te spelen, gaat u eerst naar de interactieve taakwebpagina, start u de test (waarbij beide 3D-modellen worden weergegeven), beweegt u de muisaanwijzer in de rechterbovenhoek van het scherm totdat het muispictogram verandert in tekst, zoals afgebeeld in aanvullend bestand 2, en klikt u vervolgens op de onzichtbare foutopsporingstekst , waardoor de foutopsporingsmodus wordt ingeschakeld.
   2. Klik uit de knoppen die tussen de modellen verschijnen op de timerStop-knop om de taak te onderbreken en klik op de consoleknop om de JSmol-console van het model aan de rechterkant te openen. Als de taak van de interactie van interesse niet de eerste was, klik dan op de genummerde knoppen in het bovenste foutopsporingsgebied om de taak te wijzigen die op het scherm wordt weergegeven.
      OPMERKING: JSmol is de moleculaire modelleringssoftware die op de webpagina wordt gebruikt.
   3. Open de bestandsuitvoer jmol console.xlsx en kopieer de hele pagina met Jmol-opdrachten.
      OPMERKING: Elke pagina bevat opdrachten voor een andere scène of animatie.
   4. Plak in de JSmol-console de lijst met gekopieerde opdrachten en klik op de knop Uitvoeren of druk op Enter op het toetsenbord om het uit te voeren.
   5. Genereer desgewenst een .gif animatie. Schrijf de opdracht capture "filename" SCRIPT "output" in de JSmol-console, waarbij de bestandsnaam de naam is van het .gif bestand dat moet worden gemaakt en de uitvoer de volledige lijst met opdrachten is die in stap 3.3.3 zijn gekopieerd, waarbij beide tussen de dubbele aanhalingstekens blijven.
      OPMERKING: Hoe complexer de commando's worden, met grotere modellen of meer veranderingen in de tijd, en hoe minder krachtig de specificaties van de gebruikte computer, hoe langzamer de animatie zal worden. Jmol is gericht op het visualiseren van chemische verbindingen en reacties, en het soort animaties dat met ons onderzoek wordt geproduceerd, verlegt de grenzen van de weergavecapaciteiten van Jmol. Met deze punten moet rekening worden gehouden bij het uitvoeren van kwantitatieve metingen met deze animatie.

4. Aanpassing van taken

OPMERKING: Dit hele gedeelte is optioneel en wordt alleen aanbevolen voor degenen die graag experimenteren of begrijpen hoe ze moeten coderen. Hieronder vindt u enkele van de vele aanpasbare opties die beschikbaar zijn, en er zullen meer opties beschikbaar komen naarmate we de methoden verder ontwikkelen.

1. Configureer nieuwe of bestaande taken.
   1. Definieer hoeveel interactieve taken door de deelnemer zullen worden uitgevoerd en geef elk van hen een naam in het bestand object_configs.js zich in de array bevindt task_list de bestaande itemnamen te vervangen of er meer toe te voegen. Zorg ervoor dat elke naam uniek is, aangezien ze later als identificatiegegevens worden gebruikt.
   2. Kies JSmol-compatibele 3D-coördinatenbestanden om de interactieve taken uit te voeren (http://wiki.jmol.org/index.php/File_formats). Kopieer deze bestanden naar de map met modellen.
      OPMERKING: De scripts in dit artikel zijn geoptimaliseerd voor asymmetrische modellen die de .xyz-bestandsindeling gebruiken. Vermijd bij het kiezen van coördinatenbestanden rotatiesymmetrieën, aangezien deze dubbelzinnige oplossingen hebben⁶⁵.
   3. Definieer de renderinstellingen voor 3D-objecten binnen de functie prepMolecule(num).
      OPMERKING: Alle wijzigingen van de ene taak naar de andere die door JSmol worden uitgevoerd, gaan hierheen: het wijzigen van het kleurenpatroon, het wijzigen van de grootte of de manier waarop grafische elementen worden weergegeven, oriëntatie, vertaling, het verbergen van delen van het object, het laden van nieuwe 3D-modellen, enz. (voor meer voorbeelden, zie https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm). Elke taak die in task_list wordt genoemd, komt overeen met een case. Elk commando dat JSmol moet uitvoeren, volgt de structuur: Jmol.script( jsmol_obj , " jsmol_command1; jsmol_command2 "); waarbij jsmol_obj verwijst naar het object dat wordt gewijzigd (jsmol_ref en jsmol_obj is de standaard voor het doel en interactieve objecten) gevolgd door een of meer commando's, gescheiden door een ";".
2. Maak nieuwe modellen.
   1. Gebruik een .xyz-model dat online is gedownload of is gebouwd door moleculaire editors zoals Avogadro (https://avogadro.cc/).

Results

Evolutie van hoekongelijkheid en andere variabelen
Zoals afgebeeld in stap 3.3.1 in aanvullend bestand 2, worden twee canvassen aan de deelnemer gepresenteerd op het videobeeldscherm, waarop kopieën van hetzelfde virtuele 3D-object in verschillende oriëntaties worden weergegeven. Op het linker canvas blijft het doelobject (tObj) statisch en dient het als de doelpositie of tObj-positie. Op het rechtercanvas wordt het interactieve object (iObj) in een andere positie getoond en stelt de deelnemer in staat om het in de loop van de tijd met een muis rond een vast rotatiecentrum te bewegen (alleen rotaties; vertalingen zijn uitgeschakeld). De taak die voorhanden is, omvat het aanpassen van iObj om nauw overeen te komen met tObj op basis van het oordeel van de deelnemer. De drie gebruikte 3D-objecten zijn te zien in figuur 1. Het oplossingsproces, hoewel complex, kan nauwgezet worden vastgelegd voor latere analyse. Deze opname gaat verder dan alleen videobeelden, aangezien elke positie in de loop van de tijd met vaste tussenpozen van 0,1 s wordt vastgelegd als een quaternion, waardoor een tijdreeks wordt gevormd die een volledige reconstructie van het hele proces mogelijk maakt. Op elke positie bestaat er een unieke rotatie rond een specifieke as, variërend van 0° tot 180°, die de tObj-positie direct transformeert in de iObj-positie. Hoewel deze rotatie abstract is en geen verband houdt met de PR van de deelnemer tijdens de taak, geeft het nauwkeurig de precieze iObj-positie ten opzichte van tObj aan. AD is de hoek van deze rotatie en kan worden berekend op basis van het respectieve quaternion. Naarmate de iObj-positie de tObj-positie nadert, nadert deze waarde nul.

Na stap 3.1.6 van de sectie Gegevensverwerking en -analyse zijn twee bestanden gemaakt: output merge X Y.xlsx en output jmol console X Y.xlsx, waarbij X de sessionID-waarde is en Y de taskID-waarde . Als u de standaardwaarden gebruikt door de invoervelden leeg te laten, moeten de bestanden de naam uitvoer samenvoegen 1682707472090 bolaBastao_c.xlsx en uitvoer jmol console 1682707472090 bolaBastao_c.xlsx krijgen. De uitvoer voegt X Y.xlsx-bestanden samen en bevat de geselecteerde eye-trackergegevens die zijn samengevoegd met de iRT-gegevens, uitgelijnd door de UNIX Epoch-tijd, vergelijkbaar met Figuur 2A als alles correct is verlopen, of Figuur 2B als er een probleem is opgetreden.

De uitvoer jmol console X Y.xlsx-bestanden bevatten maximaal vijf tabbladen gevuld met Jmol-console-opdrachten die, wanneer ze op de Jmol-console worden geplakt, de bewegingen van de deelnemer reproduceren bij het oplossen van de taak: rotatieherhaling reproduceert de iObj-rotaties die door de deelnemer zijn gemaakt; gaze replay int reproduceert de iObj-rotaties met toegevoegde fixatie heatmap op het object in de tijd door gebruik te maken van een transparante/ondoorzichtige schaal; gaze replay tgt toont alleen de 3D-fixatie heatmap van tObj tijdens de taak; gaze frame int en gaze frame tgt tonen de algehele fixatiemapping van het hele proces voor zowel iObj als tObj. Ze worden allemaal geïllustreerd in figuur 3A-F. Jmol en JSmol zijn in wezen identiek, Jmol is de plug-in op basis van de programmeertaal Java en JSmol in de programmeertaal JavaScript, die beide dezelfde functionaliteiten hebben en door elkaar worden gebruikt.

Figuur 4 illustreert de evolutie van hoekongelijkheid als functie van de tijd voor zes verschillende scenario's met twee deelnemers en drie objecten. De duur van het proces kan aanzienlijk variëren, afhankelijk van de prestaties van de deelnemer met het interactieve taakobject. Bij elke taak die correct door de deelnemer is voltooid, neigt AD aan het einde naar nul. Als dezelfde grafiek dit gedrag niet vertoont, kon de deelnemer de taak niet voltooien omdat hij de tijdslimiet per taak opgaf of bereikte (ongeveer 5 minuten), of er is een fout opgetreden in de gegevensverwerking.

De gecombineerde resultaten van de iObj PR-records en de gegevens verkregen uit de eye-tracking-metingen zijn weergegeven in figuur 5. De variatie in het hoekverschil tussen het doel en de inertiaalobjecten als functie van de tijd geeft drie verschillende fasen aan in het proces van het oplossen van de gegeven taak: eerste waarneming van de modellen; ballistische rotatie van het interactieve model; Verfijning van de rotatie van het interactieve model. Figuur 5A toont de blik afwisselend tussen de modellen in de beginfase en, meer specifiek, in de fine-tuning-fase. Figuur 5B laat zien dat de pupil meer verwijd blijft in de begin- en fine-tuning fasen. In de fine-tuningfase komt de lange fixatieperiode op het interactieve model (40-47s in Figuur 5A) overeen met een plateau in pupildiameter (40-47s, Figuur 5B).

Deze resultaten suggereren dat de gegevens die zijn verkregen met de hier voorgestelde methode consistent zijn met het model voor het oplossen van problemen met mentale rotatie dat is voorgesteld op basis van blikfixatiegegevens voor statische modellen^14,66 en voor interactieve modellen²³. Zo'n model zou drie fasen omvatten: zoeken, transformeren en vergelijken, en bevestiging van de match of mismatch tussen de modellen. Bovendien is de afwisseling van fixaties tussen het doelmodel en interactieve modellen in de vergelijkingsfasen die zijn waargenomen in figuur 5A consistent met de resultaten die zijn verkregen in tests van het Sheppard- en Metzler-type die gebruik maken van statische beelden^42,66. In het geval van interactieve modellen is het echter waarschijnlijk dat deze stadia van zoeken, transformatie, vergelijking en bevestiging achtereenvolgens plaatsvinden door interactie en herpositionering van het interactieve model.

3D rotatie trajecten
Elke rotatie in een 3D-ruimte van 0° tot 180° kan worden vertaald naar een punt in een bal (dat wordt opgevat als het volume in een bol) met een straal gelijk aan 180°. Figuur 6 toont deze overeenkomst aan de hand van drie voorbeeldrotaties. De afstand van het punt tot het midden van de bal is het iObj-hoekverschil ten opzichte van de tObj-positie, en de vector die van het midden van de bal naar het punt wijst, is de rotatierichting, waarbij de rotatie wordt gemaakt in de zin van de klok mee, kijkend vanuit het midden. Deze vertaling van rotaties in punten in een bal stelt iemand in staat om direct, in een enkele 3D-tekening, het hele traject van rotaties te visualiseren dat de deelnemer aan een taak heeft gemaakt. Deze tekening noemen we de 3D rotatiebaan.

Analoog aan de AD-meting, voor alle taken die correct door de deelnemer zijn uitgevoerd, moet de baan uiteindelijk het midden van de bal naderen. Als de baan de grens van de bol bereikt met een rotatie van 180°, zal deze zich omwikkelen naar het antipodale punt op de bol. Figuur 7 illustreert het rotatietraject van de twee eerder genoemde deelnemers die de derde taak uitvoeren (C1 en C2 in figuur 4), zowel in perspectief als in projecties op de drie coördinatenvlakken. Uit de figuur blijkt duidelijk dat, ondanks de relatief kleine start-AD van bijna 45°, deelnemer 1 aanvankelijk afweek van de doelpositie voordat hij een definitief pad naar de oplossing vond, in tegenstelling tot deelnemer 2, die de taak sneller voltooide.

3D Fixatie heatmap
Tijdens het probleemoplossende proces wisselt de deelnemer zijn blik af tussen tObj en iObj tijdens de interactie met iObj. Met de eye-tracking-gegevens kunnen we de blikpositie van de deelnemer extraheren en een heatmap maken van de schermregio's die in een bepaald interval de meeste en minste aandacht van de deelnemer hebben getrokken. Als we verder gaan, kunnen we met gesynchroniseerde eye-tracking- en iRT-quaterniongegevens tegelijkertijd in de 3D-ruimte en in de tijd in kaart brengen hoeveel aandacht elk van de objectpunten krijgt, zelfs voor objecten die in de tijd worden geroteerd.

In figuur 3 wordt de aandacht die aan het object wordt besteed weergegeven door het dekkingsniveau van elk hoekpunt. Hoe dichter het bij de blik van de deelnemer is en hoe langer het in de buurt blijft, hoe meer aandacht het krijgt, wat resulteert in een hogere opaciteit in dat deel van het object. De ruimtelijke afname van de aandacht wordt gemodelleerd met behulp van een bivariate homogene Gaussiaanse functie voor de blikpositie en een eenvoudige homogene Gaussiaanse functie toegepast voor de verstreken tijd. De standaarddeviatie van deze Gaussianen werd gekozen uitgaande van een visuele hoek van 2 graden⁶⁷ en een visueel kortetermijngeheugen van 10 s⁶⁸. Om visuele artefacten met deze methode te voorkomen, worden de nabijheidsgegevens van de blik op nul gezet terwijl de blik zich buiten het objectcanvas bevindt (iObj krijgt geen resterende aandacht wanneer de blik zich binnen het tObj-canvas of buiten beide bevindt). Figuur 3 toont een enkel frame van elk object van een volledige herhalingsanimatie en dezelfde frames met de 3D-fixatieheatmap. Een mogelijke vergelijking tussen tObj en iObj door de deelnemer tijdens het oplosproces is te zien (Figuur 3C,D) naarmate de taak zijn voltooiing nadert (tijd = 6,3 s). Het hele proces is te zien als een video in Supplemental Video S1. We rapporteren de resultaten van de computergemedieerde rotatie van 3D-modellen die aan de deelnemers worden gepresenteerd als een taak die onder normale omstandigheden wordt uitgevoerd.

Figuur 1: Gebruikte doelobjecten. Afbeelding van de 3D-modellen die worden gebruikt in de taken op de webpagina. (A) Een molecuul met voorstelling van bal en stok; (B) Hetzelfde molecuul met gevulde veelhoeken, geen waterstofatomen, en alleen weergegeven door stokjes; (C) een polykubus vergelijkbaar met een van de figuren van Shepard en Metzler¹³, afgeleid uit de stimulibibliotheek van Peters en Battista³⁶. Klik hier om een grotere versie van deze figuur te bekijken.

Afbeelding 2: Vergelijking van werkbladen. (A,B) Afbeeldingen zijn afkomstig van de 1682707472090 bolaBastao_c.xlsx voor het samenvoegen van spreadsheetuitvoer. Kolommen A tot en met G bevatten iRT-gegevenswaarden, terwijl kolommen H tot en met N eyetracker-gegevenswaarden bevatten. In (A) is alles correct, terwijl in (B), in de eyetracker-kolommen, alle waarden constant zijn en niet overeenkomen met de tijdwaarden van het iRT-systeem. Als er een probleem optreedt met het gegevenssynchronisatieproces, zal deze fout waarschijnlijk optreden. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3: 3D fixatie heatmap. Fixatie heatmap over het 3D-object met behulp van een schaal van dekking, waarbij meer ondoorzichtig correleert met meer tijd doorgebracht in de buurt van de blik van de deelnemer. (A,B) tObj en iObj afbeeldingen van de taak die door de deelnemer wordt opgelost op 6.3 s. (C,D) Dezelfde afbeeldingen als (A,B) op hetzelfde moment met de toegevoegde dekkingsschaal van de heatmap. (E,F) Fixatie heatmap-afbeeldingen rekening houdend met de gehele periode waarin de deelnemer de objecten kon zien. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 4: AD-raster. Plot een raster van hoekongelijkheid over twee deelnemers en drie taken. Kolommen vertegenwoordigen deelnemers 1 en 2, en rijen vertegenwoordigen de taken die door de deelnemers zijn opgelost met behulp van de drie objecten die in figuur 3 worden geïllustreerd. Houd er rekening mee dat hoewel AD varieert tussen 0° en 180°, het tijdsbereik niet vaststaat en varieert met de prestaties van de deelnemer en zijn eigen beslissing om het proces te stoppen. Terwijl de deelnemer iObj roteert, varieert de AD tussen tObj en iObj naarmate de tijd vordert, en uiteindelijk kiest de deelnemer de huidige iObj-oriëntatie als de dichtstbijzijnde bij tObj. In de^1e en 2e^taak leken beide deelnemers op een vergelijkbare manier vooruitgang te hebben geboekt, maar deelnemer 1 nam half zoveel tijd in beslag als deelnemer 2. En in de 3e^taak, hoewel deelnemer 2 minder tijd nodig had om de taak te voltooien, had deelnemer 1 de taak al opgelost vóór de 20 s en bleef hij kleine aanpassingen maken om iObj beter aan te passen aan tObj. Afkorting: AD = hoekverschil. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 5: AD met eye-tracking data. Evolutie van hoekongelijkheid gecombineerd met eye-tracker data. (A) Hoekverschil en blikpositie, de evolutie van het hoekverschil tussen tObj en iObj, gekoppeld aan regionale fixatiegegevens voor elk model. De grafiek laat zien in welk gebied de blik van de deelnemer zich bevindt: rood wanneer hij zich in het iObj-canvas bevindt, blauw wanneer hij zich in het canvas bevindt en grijs wanneer hij zich buiten beide bevindt, naar een ander element op het scherm kijkt of ervan wegkijkt. (B) Hoekverschil en pupildiameter. Hoekverschil, in blauw, gekoppeld aan gegevens over de pupildiameter, in oranje. De diameter van de pupil is de gemiddelde waarde van de linker- en rechterpupillen op elk moment in de tijd. Afkorting: AD = hoekverschil. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 6: Bal van rotaties. Deze figuur illustreert hoe elke mogelijke rotatiepositie van een object vanuit een referentiepositie kan worden weergegeven als een punt in een bal met een straal van 180°, waardoor een volledige weergave van de rotatiepositie van het object in alle drie de assen mogelijk is. Onder een bal wordt hier verstaan het volume dat wordt begrensd door een bol. (A) Het object dat als voorbeeld wordt gebruikt, is een asymmetrische unie van zeven kubussen, linksboven afgebeeld. Drie eenvoudige rotaties genummerd I, II en III worden toegepast op dit object, zoals rechts weergegeven. Ze zijn respectievelijk +90° op de x-as, -60° op de z-as en 180° op een as tussen +x en -y, op 45° van beide assen. (B) De rotatiebal wordt weergegeven met de punten die overeenkomen met de rotaties I, II en III. De afstand tot het midden van de bal is het hoekverschil. Aangezien III de maximale rotatiehoek (180°) bereikt, wordt het ook weergegeven op het antipodale punt, aangezien ze in wezen hetzelfde zijn. Rotatie II, die tegen de klok in is ten opzichte van de positieve richting van as z, verschijnt aan de negatieve kant. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 7: 3D rotatiebaan. De rotatiebaan in de bal van rotaties genomen door de twee deelnemers aan de derde taak, zowel bekeken in perspectief (A) als in projecties op de coördinatenvlakken (B-D). De lijndikte neemt na verloop van tijd af. Elke kolom komt overeen met een deelnemer (v1 en v2). Naarmate de banen het midden van de bal naderen, zijn de deelnemers dichter bij het oplossen van de taak. '0' geeft de beginpositie van de taak aan. Volgende getallen geven punten aan waar de baan de rand van de bal bereikt en doorgaat door het antipodale punt aan de andere kant (1 tot 2, 2 tot 3, 3 tot 4, enz.). Klik hier om een grotere versie van deze figuur te bekijken.

Aanvullende tabel S1: Bladkoppen. Lijst met kopteksten in het gekloonde bladbestand. Elke header komt overeen met de naam van een variabele en ontvangt gegevens van deze variabele, die een kolom met waarden vormt die worden gebruikt bij de verwerking en analyse van onze gegevens. Klik hier om dit bestand te downloaden.

Aanvullend bestand 1: Protocol stap 1 gids. Een lijst met schermafbeeldingen die de stappen van de protocolmethode "1. Voorbereiding van instrumenten voor gegevensverzameling". Klik hier om dit bestand te downloaden.

Aanvullend bestand 2: Protocol stap 3 gids. Een lijst met schermafbeeldingen die de stappen van de protocolmethode "3. Gegevensverwerking en -analyse". Klik hier om dit bestand te downloaden.

Aanvullende video 1: Herhaling van fixatiemapping. Een voorbeeld van geanimeerde herhalingen van de temporele aandachtsmapping in 3D van iObj en tObj tegelijkertijd. Opgenomen met OBS Studios en gerenderd met OpenShot Video Editor. Klik hier om dit bestand te downloaden.

Discussion

Zoals eerder vermeld, is dit document bedoeld om een gedetailleerde procedure te presenteren voor het real-time in kaart brengen van fixatie- en saccadebewegingsgegevens op interactieve 3D-objecten, die gemakkelijk kan worden aangepast en alleen gebruik maakt van gratis beschikbare software, met stapsgewijze instructies om alles te laten werken.

Hoewel deze experimentele opstelling een zeer interactieve taak inhield, zoals het verplaatsen van een 3D-object om de oriëntatie van een ander object overeen te laten komen met PR in twee van de drie mogelijke assen, zorgden we voor een grondige documentatie van onze scripts door middel van de juiste opmerkingen om eventuele aanpassingen te vergemakkelijken. Er kunnen verschillende andere soorten experimenten worden ontworpen, waarbij het eye-tracking-apparaat slechts een van de vele andere mogelijke apparaten is die worden gebruikt voor tijdelijke gegevensverzameling.

De headers in het gekopieerde bestand uit stap 1.1.3.3 bepalen de inhoud en locatie waar de gegevens online worden verzameld. Aanvullende tabel S1 geeft een overzicht van de namen van de variabelen (allemaal hoofdlettergevoelig) en hun betekenis. Deze variabelen komen overeen met de variabelen in de JavaScript-bestanden in de GitHub-repository. Het type en de verscheidenheid van de gegevens en de namen van variabelen, zowel uit dit blad als uit de JavaScript-bestanden, moeten worden gewijzigd afhankelijk van de reikwijdte en vereisten van het onderzoek.

De registratie van rotatiegegevens in quaternionen stelt de onderzoeker in staat om dezelfde bewegingen van de deelnemers tijdens de taken te reproduceren, waardoor een analyse van het proces wordt vergemakkelijkt en de opslagruimte veel efficiënter wordt gebruikt in vergelijking met een schermopname. Een meer gedetailleerde analyse, zoals de 3D-rotatiebaan, weergegeven in figuur 7 met behulp van de rotatiebal, is alleen mogelijk door de interne quaterniongegevens van de interactieve objecten. Dit nieuwe type grafiek breidt zich in de loop van de tijd uit van de AD-plot door Gardony²² en Adams²³ en biedt meer gedetailleerde informatie, met de werkelijke 3D-rotatiecoördinaten in de tijd.

Een ander voordeel is het gebruik van een standaard tijdmeting om alle gegevensbronnen te synchroniseren. Het samenvoegen van verschillende lagen van tijdsafhankelijke informatie hiermee wordt veel gemakkelijker, zoals het over elkaar heen leggen van grafieken met meerdere gegevensbronnen, zoals in Figuur 5B met de pupilverwijdingsmeting, of in Figuur 5A met gekleurde verticale banden, die mogelijke patronen in het oplossingsproces van de deelnemers aangeven, zelfs terwijl er bijna geen rotatie plaatsvond in iObj. De heatmap voor 3D-fixatie die in figuur 3 wordt weergegeven, is alleen mogelijk op basis van zowel quaterniongegevens als gegevenssynchronisatie.

Het is van cruciaal belang om synchronisatie te gebruiken door middel van een standaard tijdmeting om elke integratie van tijdelijke gegevens te garanderen. De tijdstandaard die voor ons project werd gekozen, was de UNIX Epoch, die wordt gebruikt in JavaScript en de meeste andere programmeertalen. Voor elke dataset moet een soort bekende tijdstandaard in gebruik zijn, zelfs als er een andere standaard is, die later kan worden geconverteerd naar UNIX Epoch. Tijdelijke gegevens die geen standaarden gebruiken, zullen zeker niet kunnen worden gesynchroniseerd en hun nut verliezen.

Een andere beperking is de relatief lage frequentie van 10 Hz die in de iRT-tests werd gebruikt ten opzichte van de eyetracker-frequentie van 60 Hz. Dit gebeurt deels als gevolg van beperkingen op het gebied van gegevensverwerking en overdracht binnen de browser, aangezien elke hogere frequentie die wordt gebruikt, de maximale tijdslimiet van elke taak proportioneel zou verminderen, momenteel 327 s. Bovendien bracht het vloeiend renderen van complexe animaties in Jmol met deze framerate al uitdagingen met zich mee. Supplemental Video S1 is een video-opname van Jmol die een herhaling weergeeft met de verandering van dekking in de tijd, waarbij de hoeveelheid focus die elk hoekpunt heeft ontvangen, in kaart wordt gebracht. Hoewel de videoduur bijna 2 minuten is, werd de eigenlijke taak in 63 s voltooid. Toekomstige softwareontwikkelingen die specifiek op dergelijke functionaliteiten zijn gericht, in plaats van bestaande functionaliteiten aan te passen, zouden deze beperkingen kunnen aanpakken en de mogelijkheden voor gegevensverzameling en -analyse kunnen verbeteren.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (Open Source)		Any updated modern browser that is compatible with WebGL (https://caniuse.com/webgl), and in turn with Jmol, can be used
GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Google Sheets	Google LLC		https://www.google.com/sheets/about/
Laptop			Any computer that can run the eye tracking system software.
Mangold Software Suite	Mangold		Software interface used for the Eye tracking device. Any Software that outputs the data with system time values can be used.
Mouse			Any mouse capable of clicking and dragging with simple movements should be compatible. Human interfaces analogous to a mouse with the same capabilities, such as a touchscreen or pointer, should be compatible, but may behave differently.
Vt3mini	EyeTech Digital Systems		60 Hz. Any working Eye Tracking device should be compatible.