Een abonnement op JoVE is vereist om deze inhoud te bekijken. Log in of start vandaag met uw gratis proefperiode.

Methodenartikel

Driedimensionale mapping van de rotatie van interactieve virtuele objecten met eye-trackinggegevens

1.9K weergaven

⸱

DOI:

10.3791/65977

⸱

18 oktober 2024

 ,  ,  ,  , 
1Graduate Program in Chemistry, University of São Paulo, Institute of Chemistry, 2Graduate Program in Applied Mathematics, University of São Paulo, Institute of Mathematics and Statistics, 3Graduate Program in Neuroscience and Cognition, Federal University of ABC, Center of Mathematics, Computing and Cognition, 4School of Biomedical Engineering, Science and Health Systems, Drexel University

In dit artikel

Samenvatting

We hebben een eenvoudige, aanpasbare en efficiënte methode ontwikkeld voor het vastleggen van kwantitatieve procesgegevens van interactieve ruimtelijke taken en het in kaart brengen van deze rotatiegegevens met eye-tracking gegevens.

Samenvatting

We presenteren een methode voor het real-time vastleggen van menselijke interactie met driedimensionale (3D) virtuele objecten. De aanpak bestaat uit het associëren van rotatiegegevens van het gemanipuleerde object met gedragsmetingen, zoals eye-tracking, om betere conclusies te trekken over de onderliggende cognitieve processen.

De taak bestaat uit het weergeven van twee identieke modellen van hetzelfde 3D-object (een molecuul), gepresenteerd op een computerscherm: een roterend, interactief object (iObj) en een statisch doelobject (tObj). Deelnemers moeten iObj met de muis draaien totdat ze van mening zijn dat de oriëntatie identiek is aan die van tObj. De computer houdt alle interactiegegevens in realtime bij. De blikgegevens van de deelnemer worden ook geregistreerd met behulp van een eyetracker. De meetfrequentie is 10 Hz op de computer en 60 Hz op de eyetracker.

De oriëntatiegegevens van iObj ten opzichte van tObj worden vastgelegd in rotatiequaternionen. De blikgegevens worden gesynchroniseerd met de oriëntatie van iObj en er wordt naar verwezen met behulp van hetzelfde systeem. Deze methode stelt ons in staat om de volgende visualisaties van het menselijke interactieproces met iObj en tObj te verkrijgen: (1) hoekongelijkheid gesynchroniseerd met andere tijdsafhankelijke gegevens; (2) 3D-rotatiebaan binnen wat we besloten een "bal van rotaties" te noemen; (3) 3D fixatie heatmap. Alle stappen van het protocol hebben gebruik gemaakt van vrije software, zoals GNU Octave en Jmol, en alle scripts zijn beschikbaar als aanvullend materiaal.

Met deze benadering kunnen we gedetailleerde kwantitatieve studies uitvoeren van het taakoplossende proces met mentale of fysieke rotaties, in plaats van alleen het bereikte resultaat. Het is mogelijk om precies te meten hoe belangrijk elk onderdeel van de 3D-modellen is voor de deelnemer bij het oplossen van taken, en zo de modellen te relateren aan relevante variabelen zoals de kenmerken van de objecten, cognitieve vaardigheden van de individuen en de kenmerken van de mens-machine-interface.

Inleiding

Mentale rotatie (MR) is een cognitief vermogen dat individuen in staat stelt objecten mentaal te manipuleren en te roteren, waardoor een beter begrip van hun kenmerken en ruimtelijke relaties wordt vergemakkelijkt. Het is een van de visueel-ruimtelijke vaardigheden, een fundamentele cognitieve groep die al in 1890 werd bestudeerd1. Visueel-ruimtelijke vaardigheden zijn een belangrijk onderdeel van het cognitieve repertoire van een individu dat wordt beïnvloed door zowel erfelijke als omgevingsfactoren 2,3,4,5. De belangstelling voor visueel-ruimtelijke vaardigheden is in de loop van de twintigste eeuw gegroeid als gevolg van toenemend bewijs van hun belang in belangrijke vakken zoals leeftijd6 en ontwikkeling7, prestaties in wetenschap, technologie, techniek en wiskunde (STEM) 8,9, creativiteit10 en evolutionaire kenmerken11.

Het hedendaagse idee van MR komt voort uit het baanbrekende werk dat Shepard en Metzler (SM) in 197112 publiceerden. Ze bedachten een chronometrische methode met behulp van een reeks "dezelfde of andere" taken, waarbij ze twee projecties van abstracte 3D-objecten naast elkaar presenteerden. Deelnemers moesten de objecten mentaal op een bepaalde as draaien en beslissen of die projecties hetzelfde object anders roteerden of verschillende objecten afbeeldden. De studie onthulde een positieve lineaire correlatie tussen responstijd (RT) en de hoekongelijkheid (AD) tussen representaties van hetzelfde object. Deze correlatie staat bekend als het hoekongelijkheidseffect (ADE). ADE wordt beschouwd als een gedragsmanifestatie van MR en werd alomtegenwoordig in verschillende invloedrijke latere onderzoeken in het veld 13,14,15,16,17,18,19,20,21,22,23,24,25. De 3D-objecten die in de SM-studie werden gebruikt, waren samengesteld uit 10 aaneengesloten kubussen die werden gegenereerd door de pionier op het gebied van computergrafieken Michael Noll bij Bell Laboratories26. Ze worden SM-figuren genoemd en worden veel gebruikt in MR-studies.

Twee ontwikkelingen waren van groot belang in het baanbrekende werk van Shepard en Metzler; ten eerste het overwegen van de bijdragen op het gebied van MR-beoordelingen. In 1978 ontwikkelden Vanderberg en Kuze27 een psychometrische potlood-en-papiertest met 20 items op basis van SM "dezelfde of andere" cijfers die bekend werd als de mentale rotatietest (VKMRT). Elk testitem presenteert een doelstimulus. Deelnemers moeten kiezen uit vier stimuli, welke hetzelfde object vertegenwoordigen dat in de doelstimulus is afgebeeld en welke niet. VKMRT is gebruikt om de correlatie tussen MR-vermogen en verschillende andere factoren te onderzoeken, zoals seksegerelateerde verschillen 6,21,24,28,29,30, veroudering en ontwikkeling 6,31,32, academische prestaties 8,33, en vaardigheden in muziek en sport34. In 1995 publiceerden Peters et al. een studie met hertekende cijfers voor de VKMRT 35,36. Evenzo, volgens het "dezelfde of andere" taakontwerp, zijn een verscheidenheid aan andere bibliotheken van door de computer gegenereerde stimuli gebruikt om MR-processen te onderzoeken en MR-vaardigheden te beoordelen (3D-versies van de originele SM-stimuli 19,22,23,37,38, menselijk lichaam dat SM-figuren nabootst 25,39,40, platte polygonen voor 2D-rotatie 41, 42, anatomie en organen43, organische vormen44, moleculen45,46, onder andere21). De Purdue Spatial Visualization Test (PSVT) voorgesteld door Guay in 197647 is ook relevant. Het omvat een reeks tests, waaronder MR (PSVT:R). Door gebruik te maken van andere stimuli dan die in VKMRT, PSVT:R vereist dat deelnemers een rotatiebewerking in een modelstimulus identificeren en deze mentaal toepassen op een andere. PSVT:R wordt ook veel gebruikt, met name in onderzoeken naar de rol van MR bij STEM-prestaties 48,49,50.

De tweede vooruitgang van groot belang in het baanbrekende werk van Shepard en Metzler omvat de bijdragen aan het begrip van het MR-proces, in het bijzonder met het gebruik van eye-tracking-apparaten. In 1976 gebruikten Just en Carpenter14 analoge video-gebaseerde eye-tracking-apparatuur om een onderzoek uit te voeren op basis van het ADE-experiment van Shepard en Metzler. Op basis van hun resultaten over saccadische oogbewegingen en RT's stelden ze een model van MR-processen voor dat bestaat uit drie fasen: 1) de zoekfase, waarin vergelijkbare delen van de figuren worden herkend; 2) de transformatie- en vergelijkingsfase, waarin een van de geïdentificeerde delen mentaal wordt geroteerd; 3) de bevestigingsfase, waarin wordt besloten of de cijfers hetzelfde zijn of niet. De fasen worden recursief herhaald totdat er een beslissing kan worden genomen. Elke stap komt overeen met specifieke saccadische en fixationele oogbewegingspatronen in nauwe relatie tot waargenomen ADE's. Door oogactiviteit te correleren met chronometrische gegevens, leverden Just en Carpenter dus een cognitieve handtekening voor de studie van MR-processen. Tot op heden is dit model, zij het met aanpassingen, in verschillende onderzoeken overgenomen 15,42,46,51,52,53.

In navolging van dit spoor volgen verschillende daaropvolgende onderzoeken die gedrag 18,19,22,23,25,34,40,54,55 en hersenactiviteit 20,22,56,57 monitoren Functies tijdens stimulirotatie werden uitgevoerd. Hun bevindingen wijzen op een coöperatieve rol tussen MR en motorische processen. Bovendien is er een groeiende belangstelling voor het onderzoeken van probleemoplossende strategieën met betrekking tot MR in relatie tot individuele verschillen 15,41,46,51,58.

Over het algemeen kan worden aangenomen dat het ontwerp van onderzoeken die gericht zijn op het begrijpen van MR-processen gebaseerd is op het presenteren van een taak met visuele stimuli die deelnemers vraagt een MR-operatie uit te voeren die op zijn beurt een motorische reactie met zich meebrengt. Als deze reactie rotatie van de stimuli mogelijk maakt, wordt dit vaak fysieke rotatie (PR) genoemd. Afhankelijk van de specifieke doelstellingen van elke studie zijn verschillende strategieën en apparaten gebruikt voor gegevensverzameling en analyse van MR en PR. In de stap van de presentatie van taakstimulus is het mogelijk om de soorten stimuli te wijzigen (d.w.z. eerder aangehaalde voorbeelden); de projectie (door de computer gegenereerde beelden in traditionele displays 22,23,25,29,40,41,59, evenals in stereoscopen 19 en virtual60 en mixed43 reality-omgevingen); en de interactiviteit van de stimuli (statische beelden 12,27,36, animaties61 en interactieve virtuele objecten 19,22,23,43,53,59).

MR wordt meestal afgeleid uit metingen van RT's (ADE), evenals oog- en hersenactiviteit 25,46,62. Oculaire activiteit wordt gemeten met behulp van eye-tracking-gegevens bestaande uit saccadische bewegingen en fixaties 14,15,42,51,52,54,58,60, evenals pupillometrie 40. RT-gegevens zijn doorgaans afkomstig van motorresponsgegevens die zijn geregistreerd tijdens het bedienen van verschillende apparaten, zoals hendels13, knoppen en schakelaars 14,53, pedalen53, draaiknoppen19, joysticks37, toetsenbord61 en muis 29,58,60, aandrijfwielen 53, traagheidssensoren22,23, aanraakschermen52,59, en microfoons22. Om PR te meten, zal het onderzoeksontwerp naast de RT's ook het opnemen van handmatige rotaties van interactieve stimuli omvatten terwijl deelnemers de MR-taak 22,23,52,53 uitvoeren.

In 1998 gebruikten Wohlschläger en Wohlschläger19 "dezelfde of andere" taken met interactieve virtuele SM-stimuli die werden gemanipuleerd met een knop, met rotaties beperkt tot één as per taak. Ze maten RT en het cumulatieve record van fysieke rotaties die tijdens de taken werden uitgevoerd. Door situaties met en zonder daadwerkelijke rotatie van de interactieve stimuli te vergelijken, concludeerden ze dat MR en PR een gemeenschappelijk proces delen voor zowel ingebeelde als daadwerkelijk uitgevoerde rotaties.

In 2014 werden twee onderzoeken uitgevoerd waarbij gebruik werd gemaakt van hetzelfde type taken met virtuele interactieve stimuli22,23. De objecten werden echter gemanipuleerd met traagheidssensoren die beweging in de 3D-ruimte vastlegden. In beide gevallen werden, naast RT's, rotatietrajecten geregistreerd - de evolutie van rotatieverschillen tussen referentie- en interactieve stimuli tijdens de taken. Uit deze trajecten was het mogelijk om zowel cumulatieve informatie (d.w.z. het totale aantal omwentelingen in quaternionische eenheden) als gedetailleerde informatie over oplossingsstrategieën te extraheren. Adams et al.23 bestudeerden het coöperatieve effect tussen MR en PR. Naast RT's gebruikten ze de integraal van de rotatietrajecten als een parameter voor nauwkeurigheid en objectiviteit van de resolutie. Curveprofielen werden geïnterpreteerd volgens een driestappenmodel63 (planning, grote rotatie, fijnafstelling). De resultaten geven aan dat MR en PR niet noodzakelijkerwijs één gemeenschappelijke factor hebben. Gardony et al.22 verzamelden gegevens over RT, nauwkeurigheid en real-time rotatie. Naast het bevestigen van de relatie tussen MR en PR, bleek uit de analyse van rotatietrajecten dat deelnemers de cijfers manipuleerden totdat ze konden vaststellen of ze verschillend waren of niet. Als ze hetzelfde waren, zouden deelnemers ze roteren totdat ze er hetzelfde uitzagen.

Voortbordurend op deze strategie gebruikten Wetzel en Bertel52 in 2018 ook interactieve SM-figuren in "dezelfde of andere" taken met behulp van touchscreen-tablets als interface. Bovendien gebruikten ze een eye-tracking-apparaat om cumulatieve gegevens te verkrijgen over fixatietijd en saccadische amplitude als parameters van de cognitieve belasting die betrokken is bij het oplossen van MR-taken. De auteurs bevestigden de eerdere studies die hierboven zijn besproken met betrekking tot de relaties tussen MR en PR en de taakoplossende processen. In deze studie gebruikten ze echter geen fixatiemapping en saccadesgegevens voor de stimuli.

Methodologische benaderingen voor het in kaart brengen van eye-tracking-gegevens over virtuele 3D-objecten zijn voorgesteld en voortdurend verbeterd, vaak door onderzoekers die geïnteresseerd zijn in het bestuderen van de factoren die verband houden met visuele aandacht in virtuele omgevingen64. Hoewel betaalbaar en met behulp van vergelijkbare eye-tracking-apparaten, zijn deze methoden blijkbaar niet effectief geïntegreerd in het experimentele repertoire dat wordt gebruikt in mentale rotatiestudies met interactieve 3D-objecten zoals eerder genoemd. Omgekeerd hebben we in de literatuur geen studies gevonden die real-time mapping van fixatie- en saccadebewegingsgegevens op interactieve 3D-objecten rapporteren. Er lijkt geen handige methode te zijn om oogactiviteitsgegevens gemakkelijk te integreren met rotatietrajecten. Met dit onderzoek willen we een bijdrage leveren aan het opvullen van deze leemte. De procedure wordt in detail gepresenteerd, van data-acquisitie tot het genereren van grafische output.

In dit artikel beschrijven we in detail een methode voor het bestuderen van mentale rotatieprocessen met virtuele interactieve 3D-objecten. De volgende vorderingen worden belicht. Ten eerste integreert het kwantitatieve gedragsmotorische (met de hand aangedreven objectrotatie via een computerinterface) en oculaire (eye-tracking) gegevensverzameling tijdens interactiesessies met virtuele 3D-modellen. Ten tweede vereist het alleen conventionele computerapparatuur en eye-tracking-apparaten voor visueel taakontwerp, gegevensverzameling, opname en verwerking. Ten derde genereert het eenvoudig grafische uitvoer om gegevensanalyse te vergemakkelijken - hoekongelijkheid, fysieke rotatie, quaternionische rotatietrajecten en hitmapping van eye-tracking-gegevens over virtuele 3D-objecten. Ten slotte vereist de methode alleen vrije software. Alle ontwikkelde code en scripts zijn gratis (https://github.com/rodrigocnstest/rodrigocnstest.github.io) beschikbaar.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Protocol

1. Voorbereiding van instrumenten voor gegevensverzameling

  1. Stel de online gegevensverzameling in (optioneel).
    OPMERKING: In deze stap wordt beschreven hoe u een aanpasbare kloon van de projectcode en de werkende webpagina instelt (zie Aanvullend bestand 1). Deze stap is aangepast op basis van de tutorials die beschikbaar zijn op https://pages.github.com/ en https://github.com/jamiewilson/form-to-google-sheets. Als gebruikers alleen geïnteresseerd zijn in de manier van gegevensverwerking en niet in de gegevensregistratie, kunnen ze de webpagina https://rodrigocnstest.github.io/iRT_JoVE.html gebruiken, samen metAanvullende tabel S1 en de repository-bestanden op https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave, en sla stap 1.1, 1.2 en de substappen daarvan over.
    1. Meld u aan bij GitHub (https://github.com/).
    2. Maak een openbare kloon van de oorspronkelijke opslagplaats voor GitHub-pagina's.
      1. Klik op Repository importeren uit https://github.com terwijl u bent ingelogd op het account.
      2. Plak in het veld De kloon-URL van uw oude opslagplaats de URL https://github.com/rodrigocns/rodrigocns_JoVE in het veld Opslagplaatsnaam , typ username.github.io, waarbij gebruikersnaam de gebruikersnaam is die in het account wordt gebruikt, en zorg ervoor dat de optie Openbaar is ingeschakeld. Klik vervolgens op de groene knop Begin met importeren.
        OPMERKING: De repository bevat nu de meeste bestanden die nodig zijn voor de rest van deze setup, en eventuele wijzigingen die in de repository worden aangebracht, zullen na een paar minuten op de website worden bijgewerkt. De gebruiker met de naam rodrigocnstest zou bijvoorbeeld toegang krijgen tot zijn eigen pagina op https://rodrigocnstest.github.io en zijn GitHub-repository op https://github.com/rodrigocnstest/rodrigocnstest.github.io.
    3. Stel een cloudspreadsheet in om de experimentgegevens online op te slaan.
      1. Meld u aan of log in op een Google-account.
      2. Terwijl u bent ingelogd op het account, gaat u naar het opschonenbestand van iRT-spreadsheets dat beschikbaar is op https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
        Ops1wZrXI/edit?usp=delen.
      3. Klik in deze spreadsheet op Bestand | Maak een kopie. Er verschijnt een klein bevestigingsvenster.
      4. Geef het bestand in het kleine venster een naam en klik op de knop Een kopie maken .
    4. Stel een Google Apps-script in om de gegevensopslag in de spreadsheet die u heeft gemaakt, te automatiseren.
      1. Klik in het spreadsheetbestand op de optie Extensie | Apps Script.
        OPMERKING: Dit script moet worden gemaakt of geopend vanuit de spreadsheet, zodat het eraan is gekoppeld. Pogingen om extern een script te maken, werken mogelijk niet.
      2. Klik op de knop Uitvoeren om het script voor de eerste keer uit te voeren.
      3. Klik op de knop Machtigingen controleren . Er verschijnt een nieuw venster. Klik op hetzelfde account dat is gebruikt bij het maken van de spreadsheet.
        OPMERKING: Als dit de eerste keer is dat deze stap wordt uitgevoerd, kan er een veiligheidswaarschuwing verschijnen waarin de gebruiker wordt gewaarschuwd dat de app toegang vraagt tot informatie van het account. Het is veilig omdat de app probeert de inhoud van de spreadsheet te bereiken en toestemming vraagt om deze met gegevens te vullen. Als er geen waarschuwingen verschijnen, kan stap 1.1.4.4 worden overgeslagen.
      4. Klik op Geavanceerd | Ga naar Van iRT naar bladen (onveilig) | Knop Toestaan .
        OPMERKING: Na de uitvoering moet er een bericht verschijnen dat de uitvoering is voltooid in het uitvoeringslogboek.
      5. Klik in het linker schuifpaneel op de knop Triggers (het vierde pictogram van boven naar beneden) | + Knop Trigger toevoegen .
      6. Kies onder Kies welke functie u wilt uitvoeren de optie doPost; selecteer onder Gebeurtenisbron selecteren de optie Uit spreadsheet; Kies onder Gebeurtenistype selecteren de optie Op formulier verzenden. Klik vervolgens op Opslaan. Als er pop-ups voor toestemming verschijnen, volgt u de stappen 1.1.4.3-1.1.4.4. Als de browser de pop-up blokkeert, deblokkeert u deze.
      7. Klik op de vervolgkeuzeknop Implementeren | Nieuwe inzet.
      8. Beweeg de muis over het tandwielpictogram en zorg ervoor dat de optie Web App is geselecteerd.
      9. Schrijf een beschrijving in het veld Nieuwe beschrijving , zoals Implementatie 1; Selecteer in het veld Wie heeft toegang de optie Iedereen en klik vervolgens op de knop Implementeren .
        OPMERKING: Het doel van het veld Nieuwe beschrijving is om de scriptimplementaties te organiseren. Het kan worden genoemd zoals de lezer dat wenst, zoals Eerste implementatie. Het veld Uitvoeren als zou al moeten verschijnen als Ik (e-mail), waarbij e-mail het e-mailadres is dat tot nu toe is gebruikt.
      10. Kopieer in de nieuwe pop-up de URL van de web-app van de scriptimplementatie.
        OPMERKING: Als u om wat voor reden dan ook de gekopieerde URL van de web-app kwijtraakt, haalt u deze op door op het vervolgkeuzemenu Implementeren te klikken | Implementaties beheren. De URL van de web-app moet daar zijn.
      11. Ga naar de pagina op https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js waar rodrigocnstest de gebruikersnaam is die bij GitHub wordt gebruikt. Vervang de bestaande URL in regel 5 voor de gekopieerde URL van de web-app in stap 1.1.4.10 en klik op de groene knop Wijzigingen doorvoeren....
        OPMERKING: De gekopieerde URL-waarde moet tussen enkele ' ' of dubbele ' '' aanhalingstekens blijven. Controleer nogmaals of de gekopieerde URL de juiste is uit de web-app.
      12. Klik ten slotte op de bevestigingsknop voor het doorvoeren van wijzigingen in het midden van het scherm.
    5. Zorg ervoor dat het proces correct is voltooid en dat de pagina werkt.
      1. Ga naar de opslagplaats op https://github.com/username/username.github.io/, waar gebruikersnaam de gebruikersnaam is die wordt gebruikt op GitHub, en controleer of de implementatie is bijgewerkt na de wijzigingen die zijn aangebracht in stap 1.4.14.
      2. Navigeer naar de webpagina bij https://username.github.io/iRT_JoVE, wijzig de gebruikersnaam in de gebruikersnaam die in GitHub wordt gebruikt en klik vervolgens op Volgende.
      3. Klik op Go, voer elke interactie uit door met de muis op het object aan de rechterkant te klikken en te slepen en klik vervolgens op de knop GEREED!
      4. Ga terug naar het spreadsheetbestand dat is geconfigureerd in stap 1.1.3 en 1.1.4 en controleer de aanwezigheid van een nieuw toegevoegde gegevensregel voor elke keer dat de knop GEREED werd ingedrukt.
  2. Offline gegevensverzameling instellen (optioneel).
    OPMERKING: De methode die bedoeld is voor het uitvoeren en verkrijgen van de gegevens van de interactieve rotatietaak (iRT) is online via de cloudservices die zijn geconfigureerd in de hierboven beschreven stappen. Indien gewenst (omdat de internetverbinding een probleem kan zijn of om een alternatieve manier te hebben om deze uit te voeren), is het ook mogelijk om de test lokaal uit te voeren met of zonder internetverbinding op de plaats waar de test zal worden uitgevoerd. De volgende stappen zijn een optioneel alternatief en beschrijven hoe u dit kunt bereiken. Ga anders verder met stap 1.3.
    1. Open de GitHub-repository via de link: https://github.com/rodrigocnstest/rodrigocnstest.github.io. Klik op de groene knop < > Code | Download ZIP en decomprimeer vervolgens de gedownloade bestanden.
      OPMERKING: Wijzigingen die worden aangebracht in de bestanden die lokaal zijn opgeslagen, zullen de bestanden in de opslagplaats niet wijzigen en vice versa. Alle wijzigingen die voor beide versies bedoeld zijn, moeten op beide locaties worden toegepast, hetzij door de bijgewerkte bestanden handmatig te kopiëren, hetzij door het gebruik van git/GitHub-desktop.
    2. Download de nieuwste versie van Mozilla Firefox via de link: https://www.mozilla.org/en-US/firefox/new/.
    3. Open de Mozilla Firefox-browser, voer "about:config" in de URL-sleuf in, voer "security.fileuri.strict_origin_policy" in het zoekveld in en verander de waarde in false. OPMERKING: Nu zou Mozilla Firefox in het Windows-besturingssysteem lokaal toegang moeten kunnen krijgen tot de gedownloade webpaginabestanden op uw computer. Andere browsers en besturingssystemen kunnen worden geconfigureerd om lokaal te werken, elk met de installatie beschreven op de link http://wiki.jmol.org/index.php/Troubleshooting/Local_Files.
  3. Stel de gegevensverwerkingstool in.
    1. Download en installeer de nieuwste versie van GNU Octave op https://octave.org/download.
  4. Stel het eye-tracking-apparaat in.
    1. Zorg ervoor dat de software van het opnamesysteem op de laptop is geïnstalleerd.
    2. Zorg ervoor dat de onderzoeksruimte schoon en goed georganiseerd is om afleiding te voorkomen.
    3. Gebruik kunstmatige verlichting in de kamer om de hele dag een consistente verlichting te behouden.
    4. Installeer de computer op een tafel en zorg ervoor dat de deelnemer de muis comfortabel kan bewegen.
    5. Zorg voor een comfortabele stoel voor de deelnemer, bij voorkeur een vaste stoel, om beweging tijdens de test tot een minimum te beperken.
    6. Sluit een USB-kabel aan om de infraroodverlichting van stroom te voorzien en een andere USB-kabel tussen de laptop/computer en de eye-tracker voor de camera.
    7. Plaats de eye tracker onder het scherm.

2. Verzamelen van gegevens

  1. Initialiseer de software voor gegevensverzameling.
    1. Voer de eye-tracking-software op de computer uit om gegevens van de eye-tracker te ontvangen.
    2. Selecteer de optie Schermopname in het hoofdvenster van de software om de blik tijdens het experiment vast te leggen (het is ook mogelijk om deze software te gebruiken voor heatmapvisualisatie en onbewerkte exportgegevens).
    3. Klik op Nieuw project om een nieuw project en projectmap aan te maken waarin de gegevens moeten worden opgeslagen.
    4. Open de testpagina bij https://rodrigocnstest.github.io/iRT_JoVE.html als u de pagina gebruikt die als voorbeeld wordt aangeboden of de pagina die in stap 1.1 is gemaakt. U kunt ook het iRT_JoVE.html bestand lokaal openen vanuit de eerder geconfigureerde browser in stap 1.2.
    5. Vul indien nodig de velden voor naam en e-mailadres in om te helpen bij de identificatie van gegevens en vink het vakje aan om een reservekopie van de geproduceerde gegevens te downloaden.
      OPMERKING: Als u de offline methode gebruikt (stap 1.2), is het raadzaam om de back-upkopieën te downloaden.
    6. Probeer het experiment één keer uit te voeren om er zeker van te zijn dat de browser de elementen correct laadt en dat er geen problemen zijn met de gepresenteerde taken of gegevensverzameling.
  2. Voer het experiment uit.
    1. Leg de deelnemer uit wat het doel van het experiment is, welke technologie wordt gebruikt en welke in-/uitsluitingscriteria zijn. Zorg ervoor dat de deelnemer alles heeft begrepen. Laat de deelnemer het toestemmingsformulier invullen.
    2. Vraag de deelnemer om voor het Eye-tracking Systeem te gaan zitten en het zo comfortabel mogelijk te maken.
    3. Verplaats de stoel om een optimale afstand tussen de deelnemer en de camera te garanderen (de ideale lengte is 65 cm van de eye-tracker tot de ogen van de deelnemer).
    4. Vraag de deelnemer om tijdens het experiment zo stil mogelijk te blijven staan. Pas de hoogte van de camera aan om de pupillen van de deelnemer correct vast te leggen (sommige software markeert de pupil om de hoornvliesreflectie weer te geven).
    5. Klik op Auto Gain inschakelen om het volgen van pupillen te optimaliseren door de cameraversterking te wijzigen totdat de pupillen zijn gevonden (sommige software heeft deze optie niet).
    6. Vraag de deelnemer om naar een reeks stippen op het scherm te kijken en de beweging van de stip te volgen zonder zijn hoofd te bewegen.
    7. Klik op Kalibreren om de kalibratie te starten (dit zorgt ervoor dat de eye-tracker kan volgen waar de deelnemer naar het scherm kijkt).
      OPMERKING: Het scherm wordt leeg en een kalibratiemarkering (punt) beweegt door vijf posities op het scherm.
    8. Na kalibratie wordt een visuele schatting van het blikpunt op het scherm getekend om de kalibratienauwkeurigheid te controleren. Vraag de deelnemer om naar een specifiek punt op het scherm te kijken om te zien of de blik correct wordt weergegeven.
    9. Als de kalibratie niet bevredigend is, stelt u de camera af en probeert u de kalibratie opnieuw totdat het systeem de blik op de juiste manier volgt.
    10. Klik op de knop Gegevens verzamelen aan de rechterkant van de eyetracking-software (hoofdmenu) om de gegevensverzamelingsmodus te activeren. De real-time weergave van het vastgelegde scherm wordt gepresenteerd met blikgegevens die worden weergegeven in het primaire weergavevenster.
    11. Klik op de videoknop Staren in het hoofdmenu om het gezicht van de gebruiker weer te geven dat is vastgelegd door de eyetracker. Klik vervolgens op Record starten om het experiment te starten.
      OPMERKING: Tijdens het experiment wordt de pupil van de deelnemer gemarkeerd en wordt hun oog weergegeven als een stip die over het laptopscherm beweegt. Zorg ervoor dat de oogtracker de pupil en het oog over het scherm volgt.
    12. Als de stip vaak verdwijnt of flikkert, stopt u het experiment en probeert u opnieuw te kalibreren.
    13. Open het eerder geopende venster van de iRT en vertel de deelnemer om op Volgende te klikken.
    14. Geef de volgende instructies aan de deelnemer: "In dit gedeelte voer je drie rotatietaken uit. Wanneer u op de GO! knop, verschijnen er twee objecten aan weerszijden van het scherm. Je doel is om het object aan de rechterkant te draaien totdat het zo goed mogelijk overeenkomt met het object aan de linkerkant. Als u het object wilt draaien, klikt en sleept u er met uw muis overheen. Wanneer u elk van de drie taken hebt voltooid, klikt u op de knop GEREED! knop om af te sluiten."
      OPMERKING: Voor elke taak kunnen alle iRT-gegevens na de 5 minuten (precies 327eseconde ) verloren gaan. Naarmate we de methode verder ontwikkelen, moet deze limiet worden uitgebreid.
    15. Zorg er aan het einde van het experiment voor dat de eyetracker is uitgeschakeld van de verlengkabel en plaats de lensdop terug op de camera.
  3. Pak de gegevens uit.
    1. Zodra het verzamelen van eye-trackergegevens is voltooid, klikt u op Gegevens analyseren om toegang te krijgen tot de verzamelde gegevens.
    2. Exporteer een .csv bestand met alle gegevens die voor de gebruiker zijn vastgelegd.
      OPMERKING: De eerste kolom met eyetracker-gegevens moet de UNIX-periode van de gegevens zijn, omdat dit de enige manier is om verschillende sets gegevens correct overeen te laten komen in de tijd. Als het bestand er geen bevat, moet het worden geconverteerd van een andere gebruikte tijdstandaard. Het bestand kan de indeling ".csv" of ".xlsx" hebben.
    3. Als u de online versie van de interactieve pagina met rotatietaken gebruikt (stap 1.1), opent u het Google Spreadsheets-bestand dat is gebruikt om de online gegevens te ontvangen (gemaakt in stap 1.1.3) en downloadt u het door te klikken op Bestand | Downloaden | Microsoft Excel (.xlsx).
      OPMERKING: Deze gegevens zijn verpakt om de overdracht van gegevens te vergemakkelijken (elke taak komt overeen met één regel gevuld met gegevens). Om de gegevens binnenin te verwerken, moet elke regel verpakte gegevens eerst worden "uitgepakt".

3. Gegevensverwerking en -analyse

  1. Uitpakken, samenvoegen en verwerken van de gegevens.
    OPMERKING: In de volgende stappen wordt beschreven hoe u de gegevens kunt verwerken met behulp van de meegeleverde scripts (zie Aanvullend bestand 2). De GNU Octave-scripts zullen de gebruiker vragen om input over hun bestanden. Als de invoer als leeg wordt verzonden, worden in plaats daarvan de standaardwaarden gebruikt, die verwijzen naar de verstrekte voorbeeldgegevens als er geen gebruikersgegevens zijn overschreven. Nadat het script is uitgevoerd, kan het worden gesloten.
    1. Download en decomprimeer de repository die wordt gebruikt (die van de gebruiker zelf of het origineel op https://github.com/rodrigocns/rodrigocns_JoVE) als deze nog niet is gedownload.
    2. Zorg ervoor dat de scripts 1.unpacking_sheets.m, 2.data_merge_and_process.m, 3.3D rotational trajectory.m en de mapmodellen zich in de gedownloade opslagplaats in de map Octave bevinden en verplaats de gegevensbestanden die zijn gedownload van stap 2.3.2 en 2.3.3 naar dezelfde map waar de octaafscripts zich bevinden.
      OPMERKING: Bestaande bestanden die zich al in de map bevinden met dezelfde namen als de nieuw geschreven bestanden, kunnen worden overschreven. Wijzig de naam van de bestanden of verplaats ze dienovereenkomstig naar een andere map.
    3. Open het script 1.unpacking_sheets.m met de GNU Octave Launcher. Voer op het tabblad Editor het script uit door op de groene knop Bestand opslaan en uitvoeren te klikken om de gegevens uit te pakken tot een beter leesbare structuur.
      OPMERKING: Als een van de gevraagde gegevensbestanden lokaal is geopend, vergeet dan niet om ze te sluiten voordat u het script uitvoert. Alle .m script bestanden werden uitgevoerd met behulp van de GNU Octave Launcher.
    4. Er verschijnen twee prompts, de een na de ander. Voer de naam van het gedownloade bestand in de eerste prompt in en de naam van het onverpakte bestand in het tweede veld. U kunt ook beide promptvelden leeg laten om de standaardnamen te gebruiken die bedoeld zijn voor de opgenomen voorbeeldbestanden. Wacht een paar minuten (afhankelijk van de hoeveelheid gegevens) voordat een pop-up de gebruiker informeert dat het proces is voltooid en het nieuwe bestand is geschreven.
    5. Open en voer het script 2.data_merge_and_process.m uit om de gegevens van zowel eyetracker als iRT samen te voegen.
      OPMERKING: Hoewel dit script complex is en honderden regels code omvat, is het verdeeld in drie hoofdsecties: instellingen, functies en scripts. Ze worden allemaal grondig becommentarieerd en toegelicht, waardoor toekomstige wijzigingen indien nodig worden vergemakkelijkt.
    6. Er verschijnen vier prompts. Voer de sessionID-waarde, de taskID-waarde (beide uit de iRT-gegevenstabel), de onverpakte iRT-gegevensbestandsnaam (geschreven in stap 3.1.5) en de eye-tracker-gegevensbestandsnaam (geëxporteerd in stap 2.3.2) in of laat ze allemaal leeg om de standaardwaarden te gebruiken.
      OPMERKING: Na enkele minuten verschijnt er een help-pop-up die aangeeft dat het script de berekening heeft voltooid en de namen van de gebruikte en gemaakte bestanden. Tijdens het scriptproces verschijnen drie voorbeelddiagrammen met hoekongelijkheid: een eenvoudige grafiek, een grafiek met gekleurde blikgegevens en een grafiek met gegevens over de pupildiameter. De twee bestanden die zijn gemaakt, zijn output merge X Y.xlsx en output jmol console X Y.xlsx, waarbij X de sessionID-waarde is en Y de taskID-waarde , beide geschreven aan het begin van stap 3.1.6.
  2. Render 3D-rotatiebaanafbeeldingen.
    1. Open en voer het script uit 3.3D rotatie trajectory.m.
    2. Er verschijnen drie prompts. Voer de sessie-ID-waarde, de taak-ID-waarde en de onverpakte iRT-gegevensbestandsnaam in of laat ze leeg om de standaardwaarden te gebruiken.
      OPMERKING: Er verschijnt een 3D-grafiek. De gerenderde grafiek is het 3D-rotatietraject van de opgegeven sessie en taak.
  3. Speel de animaties opnieuw af.
    1. Om de taakinteractie van de deelnemer opnieuw af te spelen, gaat u eerst naar de interactieve taakwebpagina, start u de test (waarbij beide 3D-modellen worden weergegeven), beweegt u de muisaanwijzer in de rechterbovenhoek van het scherm totdat het muispictogram verandert in tekst, zoals afgebeeld in aanvullend bestand 2, en klikt u vervolgens op de onzichtbare foutopsporingstekst , waardoor de foutopsporingsmodus wordt ingeschakeld.
    2. Klik uit de knoppen die tussen de modellen verschijnen op de timerStop-knop om de taak te onderbreken en klik op de consoleknop om de JSmol-console van het model aan de rechterkant te openen. Als de taak van de interactie van interesse niet de eerste was, klik dan op de genummerde knoppen in het bovenste foutopsporingsgebied om de taak te wijzigen die op het scherm wordt weergegeven.
      OPMERKING: JSmol is de moleculaire modelleringssoftware die op de webpagina wordt gebruikt.
    3. Open de bestandsuitvoer jmol console.xlsx en kopieer de hele pagina met Jmol-opdrachten.
      OPMERKING: Elke pagina bevat opdrachten voor een andere scène of animatie.
    4. Plak in de JSmol-console de lijst met gekopieerde opdrachten en klik op de knop Uitvoeren of druk op Enter op het toetsenbord om het uit te voeren.
    5. Genereer desgewenst een .gif animatie. Schrijf de opdracht capture "filename" SCRIPT "output" in de JSmol-console, waarbij de bestandsnaam de naam is van het .gif bestand dat moet worden gemaakt en de uitvoer de volledige lijst met opdrachten is die in stap 3.3.3 zijn gekopieerd, waarbij beide tussen de dubbele aanhalingstekens blijven.
      OPMERKING: Hoe complexer de commando's worden, met grotere modellen of meer veranderingen in de tijd, en hoe minder krachtig de specificaties van de gebruikte computer, hoe langzamer de animatie zal worden. Jmol is gericht op het visualiseren van chemische verbindingen en reacties, en het soort animaties dat met ons onderzoek wordt geproduceerd, verlegt de grenzen van de weergavecapaciteiten van Jmol. Met deze punten moet rekening worden gehouden bij het uitvoeren van kwantitatieve metingen met deze animatie.

4. Aanpassing van taken

OPMERKING: Dit hele gedeelte is optioneel en wordt alleen aanbevolen voor degenen die graag experimenteren of begrijpen hoe ze moeten coderen. Hieronder vindt u enkele van de vele aanpasbare opties die beschikbaar zijn, en er zullen meer opties beschikbaar komen naarmate we de methoden verder ontwikkelen.

  1. Configureer nieuwe of bestaande taken.
    1. Definieer hoeveel interactieve taken door de deelnemer zullen worden uitgevoerd en geef elk van hen een naam in het bestand object_configs.js zich in de array bevindt task_list de bestaande itemnamen te vervangen of er meer toe te voegen. Zorg ervoor dat elke naam uniek is, aangezien ze later als identificatiegegevens worden gebruikt.
    2. Kies JSmol-compatibele 3D-coördinatenbestanden om de interactieve taken uit te voeren (http://wiki.jmol.org/index.php/File_formats). Kopieer deze bestanden naar de map met modellen.
      OPMERKING: De scripts in dit artikel zijn geoptimaliseerd voor asymmetrische modellen die de .xyz-bestandsindeling gebruiken. Vermijd bij het kiezen van coördinatenbestanden rotatiesymmetrieën, aangezien deze dubbelzinnige oplossingen hebben65.
    3. Definieer de renderinstellingen voor 3D-objecten binnen de functie prepMolecule(num).
      OPMERKING: Alle wijzigingen van de ene taak naar de andere die door JSmol worden uitgevoerd, gaan hierheen: het wijzigen van het kleurenpatroon, het wijzigen van de grootte of de manier waarop grafische elementen worden weergegeven, oriëntatie, vertaling, het verbergen van delen van het object, het laden van nieuwe 3D-modellen, enz. (voor meer voorbeelden, zie https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm). Elke taak die in task_list wordt genoemd, komt overeen met een case. Elk commando dat JSmol moet uitvoeren, volgt de structuur: Jmol.script( jsmol_obj , " jsmol_command1; jsmol_command2 "); waarbij jsmol_obj verwijst naar het object dat wordt gewijzigd (jsmol_ref en jsmol_obj is de standaard voor het doel en interactieve objecten) gevolgd door een of meer commando's, gescheiden door een ";".
  2. Maak nieuwe modellen.
    1. Gebruik een .xyz-model dat online is gedownload of is gebouwd door moleculaire editors zoals Avogadro (https://avogadro.cc/).

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Resultaten

Evolutie van hoekongelijkheid en andere variabelen
Zoals afgebeeld in stap 3.3.1 in aanvullend bestand 2, worden twee canvassen aan de deelnemer gepresenteerd op het videobeeldscherm, waarop kopieën van hetzelfde virtuele 3D-object in verschillende oriëntaties worden weergegeven. Op het linker canvas blijft het doelobject (tObj) statisch en dient het als de doelpositie of tObj-positie. Op het rechtercanvas wordt het interactieve objec...

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Discussie

Zoals eerder vermeld, is dit document bedoeld om een gedetailleerde procedure te presenteren voor het real-time in kaart brengen van fixatie- en saccadebewegingsgegevens op interactieve 3D-objecten, die gemakkelijk kan worden aangepast en alleen gebruik maakt van gratis beschikbare software, met stapsgewijze instructies om alles te laten werken.

Hoewel deze experimentele opstelling een zeer interactieve taak inhield, zoals het verplaatsen van een 3D-object om ...

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Openbaarmakingen

De auteurs hebben geen belangenconflicten bekend te maken.

Dankbetuigingen

De auteurs zijn dankbaar voor de Coördinatie voor de Verbetering van het Personeel in het Hoger Onderwijs (CAPES) - Financiële Code 001 en de Federale Universiteit van ABC (UFABC). João R. Sato ontving financiële steun van de São Paulo Research Foundation (FAPESP, subsidies nrs. 2018/21934-5, 2018/04654-9 en 2023/02538-0).

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
FirefoxMozilla Foundation (Open Source)Elke bijgewerkte moderne browser die compatibel is met WebGL (https://caniuse.com/webgl), en dus met Jmol, kan worden gebruikt
GNU OctaveOpen Sourcehttps://octave.org/
Google Apps ScriptGoogle LLCscript.google.com
Google SheetsGoogle LLChttps://www.google.com/sheets/about/
LaptopElke computer die de software van het eye tracking systeem kan draaien.
Mangold Software SuiteMangold Software-interface gebruikt voor het Eye tracking apparaat. Elke software die de gegevens met systeemtijdwaarden uitvoert, kan worden gebruikt.
MuisElke muis die in staat is om met simpele bewegingen te klikken en te slepen zou compatibel moeten zijn. Menselijk interfaces analoog aan een muis met dezelfde mogelijkheden, zoals een touchscreen of pointer, zouden compatibel moeten zijn, maar kunnen anders reageren.
Vt3miniEyeTech Digital Systems60 Hz. Elk werkende Eye Tracking apparaat zou compatibel moeten zijn.

Referenties

  1. Spearman, C. 34;General intelligence," objectively determined and measured. The American Journal of Psychology. 15, 201-292 (1904).
  2. McGee, M. G. Human spatial abilities: psychometric studies and environmental, genetic, hormonal, and neurological influences. Psychological bulletin. 86 (5), 889-918 (1979).
  3. Johnson, W., Bouchard, T. J. The structure of human intelligence: It is verbal, perceptual, and image rotation (VPR), not fluid and crystallized. Intelligence. 33 (4), 393-416 (2005).
  4. Hegarty, M. Components of spatial intelligence. Psychology of Learning and Motivation. 52, 265-297 (2010).
  5. Uttal, D. H., et al. The malleability of spatial skills: a meta-analysis of training studies. Psychological Bulletin. 139 (2), 352-402 (2013).
  6. Linn, M. C., Petersen, A. C. Emergence and characterization of sex differences in spatial ability: a meta-analysis. Child Development. 56 (6), 1479-1498 (1985).
  7. Johnson, S. P., Moore, D. S. Spatial thinking in infancy: Origins and development of mental rotation between 3 and 10 months of age. Cognitive Research: Principles and Implications. 5, 10(2020).
  8. Wai, J., Lubinski, D., Benbow, C. P. Spatial ability for STEM domains: aligning over 50 years of cumulative psychological knowledge solidifies its importance. Journal of Educational Psychology. 101 (4), 817-835 (2009).
  9. Newcombe, N. S., Stieff, M. Six myths about spatial thinking. International Journal of Science Education. 34, 955-971 (2012).
  10. Kell, H. J., Lubinski, D., Benbow, C. P., Steiger, J. H. Creativity and technical innovation: spatial ability's unique role. Psychological Science. 24 (9), 1831-1836 (2013).
  11. Geary, D. C. Spatial ability as a distinct domain of human cognition: An evolutionary perspective. Intelligence. 101616, (2022).
  12. Shepard, R., Metzler, J. Mental rotation of three-dimensional objects. Science. 171, 701-703 (1971).
  13. Shepard, R., Judd, S. Perceptual illusion of rotation of three-dimensional objects. Science. 191, 952-954 (1973).
  14. Just, M. A., Carpenter, P. A. Eye fixations and cognitive processes. Cognitive Psychology. 8, 441-480 (1976).
  15. Just, M. A., Carpenter, P. A. Cognitive coordinate systems: accounts of mental rotation and individual differences in spatial ability. Psychological Review. 92 (2), 137-172 (1985).
  16. Shepard, S., Metzler, D. Mental rotation: effects of dimensionality of objects and type of task. Journal of Experimental Psychology: Human Perception and Performance. 14 (1), 3-11 (1988).
  17. Biederman, I., Cooper, E. Size invariance in visual object priming. Journal of Experimental Psychology: Human Perception and Performance. 18, 121-133 (1992).
  18. Wexler, M., Kosslyn, S. M., Berthoz, A. Motor processes in mental rotation. Cognition. 68 (1), 77-94 (1998).
  19. Wohlschläger, A., Wohlschläger, A. Mental and manual rotation. Journal of Experimental Psychology: Human Perception and Performance. 24 (2), 397-412 (1998).
  20. Jordan, K., W, T., Heinze, H., Peters, M., Jäncke, L. Women and men exhibit different cortical activation patterns during mental rotation tasks. Neuropsychologia. 40, 2397-2408 (2002).
  21. Jansen-Osmann, P., Heil, M. Suitable stimuli to obtain (no) gender differences in the speed of cognitive processes involved in mental rotation. Brain and Cognition. 64, 217-227 (2007).
  22. Gardony, A. L., Taylor, H. A., Brunyé, T. T. What does physical rotation reveal about mental rotation. Psychological Science. 25 (2), 605-612 (2014).
  23. Adams, D. M., Stull, A. T., Hegarty, M. Effects of mental and manual rotation training on mental and manual rotation performance. Spatial Cognition & Computation. 14 (3), 169-198 (2014).
  24. Griksiene, R., Arnatkeviciute, A., Monciunskaite, R., Koenig, T., Ruksenas, O. Mental rotation of sequentially presented 3D figures: sex and sex hormones related differences in behavioural and ERP measures. Scientific Reports. 9, 18843(2019).
  25. Jansen, P., Render, A., Scheer, C., Siebertz, M. Mental rotation with abstract and embodied objects as stimuli: evidence from event-related potential (ERP). Experimental Brain Research. 238, 525-535 (2020).
  26. Noll, M. Early digital computer art at Bell Telephone Laboratories, Incorporated. Leonardo. 49 (1), 55-65 (2016).
  27. Vandenberg, S. G., Kuse, A. R. Mental rotations, a group of three-dimensional spatial visualization. Perceptual and Motor Skills. 47, 599-604 (1978).
  28. Hegarty, M. Ability and sex differences in spatial thinking: What does the mental rotation test really measure. Psychonomic Bulletin & Review. 25, 1212-1219 (2018).
  29. Kozaki, T. Training effect on sex-based differences in components of the Shepard and Metzler mental rotation task. Journal of Physiological Anthropology. 41, 39(2022).
  30. Bartlett, K. A., Camba, J. D. Gender differences in spatial ability: a critical review. Educational Psychology Review. 35, 1-29 (2023).
  31. Jansen, P., Schmelter, A., Quaiser-Pohl, C. M., Neuburger, S., Heil, M. Mental rotation performance in primary school age children: Are there gender differences in chronometric tests. Cognitive Development. 28, 51-62 (2013).
  32. Techentin, C., Voyer, D., Voyer, S. D. Spatial abilities and aging: a meta-analysis. Experimental Aging Research. 40, 395-425 (2014).
  33. Guillot, A., Champely, S., Batier, C., Thiriet, P., Collet, C. Relationship between spatial abilities, mental rotation and functional anatomy learning. Advances in Health Sciences Education. 12, 491-507 (2007).
  34. Voyer, D., Jansen, P. Motor expertise and performance in spatial tasks: A meta-analysis. Human Movement Science. 54, 110-124 (2017).
  35. Peters, M., et al. A redrawn Vandenberg and Kuse mental rotations test: different versions and factors that affect performance. Brain and Cognition. 28, 39-58 (1995).
  36. Peters, M., Battista, C. Applications of mental rotation figures of the Shepard and Metzler type and description of a mental rotation stimulus library. Brain and Cognition. 66, 260-264 (2008).
  37. Wiedenbauer, G., Schmid, J., Jansen-Osmann, P. Manual training of mental rotation. European Journal of Cognitive Psychology. 19, 17-36 (2007).
  38. Jost, L., Jansen, P. A novel approach to analyzing all trials in chronometric mental rotation and description of a flexible extended library of stimuli. Spatial Cognition & Computation. 20 (3), 234-256 (2020).
  39. Amorim, M. A., Isableu, B., Jarraya, M. Embodied spatial transformations:" body analogy" for the mental rotation of objects. Journal of Experimental Psychology: General. 135 (3), 327(2006).
  40. Bauer, R., Jost, L., Günther, B., Jansen, P. Pupillometry as a measure of cognitive load in mental rotation tasks with abstract and embodied figures. Psychological Research. 86, 1382-1396 (2022).
  41. Heil, M., Jansen-Osmann, P. Sex differences in mental rotation with polygons of different complexity: Do men utilize holistic processes whereas women prefer piecemeal ones. The Quarterly Journal of Experimental Psychology. 61 (5), 683-689 (2008).
  42. Larsen, A. Deconstructing mental rotation. Journal of Experimental Psychology: Human Perception and Performance. 40 (3), 1072-1091 (2014).
  43. Ho, S., Liu, P., Palombo, D. J., Handy, T. C., Krebs, C. The role of spatial ability in mixed reality learning with the HoloLens. Anatomic Sciences Education. 15, 1074-1085 (2022).
  44. Foster, D. H., Gilson, S. J. Recognizing novel three-dimensional objects by summing signals from parts and views. Procedures of the Royal Society London B. 269, 1939-1947 (2002).
  45. Stieff, M., Origenes, A., DeSutter, D., Lira, M. Operational constraints on the mental rotation of STEM representations. Journal of Educational Psychology. 110 (8), 1160-1174 (2018).
  46. Moen, K. C., et al. Strengthening spatial reasoning: elucidating the attentional and neural mechanisms associated with mental rotation skill development. Cognitive Research: Principles and Implications. 5, 20(2020).
  47. Guay, R. B. Purdue spatial visualization test: Rotations. Purdue Research Foundation. , West Lafayette, IN. (1976).
  48. Bodner, G. M., Guay, R. B. The Purdue Visualization of Rotations Test. The Chemical Educator. 2 (4), 1-17 (1997).
  49. Maeda, Y., Yoon, S. Y., Kim-Kang, K., Imbrie, P. K. Psychometric properties of the Revised PSVT:R for measuring First Year engineering students' spatial ability. International Journal of Engineering Education. 29, 763-776 (2013).
  50. Sorby, S., Veurink, N., Streiner, S. Does spatial skills instruction improve STEM outcomes? The answer is 'yes'. Learning and Individual Differences. 67, 209-222 (2018).
  51. Khooshabeh, P., Hegarty, M. Representations of shape during mental rotation. AAAI Spring Symposium: Cognitive Shape Processing. , 15-20 (2010).
  52. Wetzel, S., Bertel, S. Spatial cognition XI. Spatial cognition 2018. Lecture Notes in Computer Science. Creem-Regehr, S., Schoning, J., Klippel, A. 11034, Springer. Cham. 167-179 (2018).
  53. Jost, L., Jansen, P. Manual training of mental rotation performance: Visual representation of rotating figures is the main driver for improvements. Quarterly Journal of Experimental Psychology. 75 (4), 695-711 (2022).
  54. Irwin, D. E., Brockmole, J. R. Mental rotation is suppressed during saccadic eye movements. Psychonomic Bulletin & Review. 7 (4), 654-661 (2000).
  55. Moreau, D. The role of motor processes in three-dimensional mental rotation: Shaping cognitive processing via sensorimotor experience. Learning and Individual Differences. 22, 354-359 (2021).
  56. Kosslyn, S. M., Ganis, G., Thmpson, W. L. Neural foundations of imagery. Nature Reviews Neuroscience. 2, 635-642 (2001).
  57. Guo, J., Song, J. H. Reciprocal facilitation between mental and visuomotor rotations. Scientific Reports. 13, 825(2023).
  58. Nazareth, A., Killick, R., Dick, A. S., Pruden, S. M. Strategy selection versus flexibility: Using eye-trackers to investigate strategy use during mental rotation. Journal of Experimental Psychology: Learning, Memory, and Cognition. 45 (2), 232-245 (2019).
  59. Montag, M., Bertel, S., Koning, B. B., Zander, S. Exploration vs. limitation - An investigation of instructional design techniques for spatial ability training on mobile devices. Computers in Human Behavior. 118, 106678(2021).
  60. Tang, Z., et al. Eye movement characteristics in a mental rotation task presented in virtual reality. Frontiers in Neuroscience. 17, 1143006(2023).
  61. Münzer, S. Facilitating recognition of spatial structures through animation and the role of mental rotation ability. Learning and Individual Differences. 38, 76-82 (2015).
  62. Gardony, A. L., Eddy, M. D., Brunyé, T. T., Taylor, H. A. Cognitive strategies in the mental rotation task revealed by EEG spectral power. Brain and Cognition. 118, 1-18 (2017).
  63. Ruddle, R. A., Jones, D. M. Manual and virtual rotation of three-dimensional object. Journal of Experimental Psychology: Applied. 7 (4), 286-296 (2001).
  64. Sundstedt, V., Garro, V. A Systematic review of visualization techniques and analysis tools for eye-tracking in 3D environments. Frontiers in Neuroergonomics. 3, 910019(2022).
  65. Sawada, T., Zaidi, Q. Rotational-symmetry in a 3D scene and its 2D image. Journal of Mathematical Psychology. 87, 108-125 (2018).
  66. Xue, J., et al. Uncovering the cognitive processes underlying mental rotation: an eye-movement study. Scientific Reports. 7, 10076(2017).
  67. O'Shea, R. P. Thumb's rule tested: Visual angle of thumb's width is about 2 deg. Perception. 20, 415-418 (1991).
  68. Todd, J., Marois, R. Capacity limit of visual short-term memory in human posterior parietal cortex. Nature. 428, 751-754 (2004).

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Herprints en machtigingen

Meer artikelen verkennen

3D virtuele objectenrotatietrajectmentale rotatieinteractieve rotatietaakmens-computerinteractieanalyse van blikgegevenscognitieve processenreal-time registratierotationele mapping
Driedimensionale mapping van de rotatie van interactieve virtuele objecten met eye-trackinggegevens
Neem contact met ons op
Aanbevelen aan de bibliotheek

Privacy

Gebruiksvoorwaarden

Beleidsoverzicht

Copyright © 2026 MyJoVE Corporation. Alle rechten voorbehouden.