Mappatura tridimensionale della rotazione di oggetti virtuali interattivi con dati di eye-tracking

Summary

Abbiamo sviluppato un metodo semplice, personalizzabile ed efficiente per registrare dati processuali quantitativi da attività spaziali interattive e mappare questi dati di rotazione con dati di tracciamento oculare.

Abstract

Presentiamo un metodo per la registrazione in tempo reale dell'interazione umana con oggetti virtuali tridimensionali (3D). L'approccio consiste nell'associare i dati di rotazione dell'oggetto manipolato a misure comportamentali, come l'eye tracking, per fare migliori inferenze sui processi cognitivi sottostanti.

Il compito consiste nel visualizzare due modelli identici dello stesso oggetto 3D (una molecola), presentati sullo schermo di un computer: un oggetto rotante interattivo (iObj) e un oggetto statico (tObj). I partecipanti devono ruotare iObj usando il mouse fino a considerare il suo orientamento identico a quello di tObj. Il computer tiene traccia di tutti i dati di interazione in tempo reale. Anche i dati dello sguardo del partecipante vengono registrati utilizzando un eye tracker. La frequenza di misurazione è di 10 Hz sul computer e di 60 Hz sull'eye tracker.

I dati di orientamento di iObj rispetto a tObj sono registrati nei quaternioni di rotazione. I dati dello sguardo sono sincronizzati con l'orientamento di iObj e referenziati utilizzando lo stesso sistema. Questo metodo ci permette di ottenere le seguenti visualizzazioni del processo di interazione umana con iObj e tObj: (1) disparità angolare sincronizzata con altri dati dipendenti dal tempo; (2) traiettoria di rotazione 3D all'interno di quella che abbiamo deciso di chiamare "palla di rotazioni"; (3) Mappa di calore della fissazione 3D. Tutti i passaggi del protocollo hanno utilizzato software libero, come GNU Octave e Jmol, e tutti gli script sono disponibili come materiale supplementare.

Con questo approccio, possiamo condurre studi quantitativi dettagliati del processo di risoluzione dei compiti che coinvolgono rotazioni mentali o fisiche, piuttosto che solo il risultato raggiunto. È possibile misurare con precisione l'importanza di ogni parte dei modelli 3D per il partecipante nella risoluzione dei compiti, e quindi mettere in relazione i modelli con variabili rilevanti come le caratteristiche degli oggetti, le capacità cognitive degli individui e le caratteristiche dell'interfaccia uomo-macchina.

Introduction

La rotazione mentale (MR) è un'abilità cognitiva che consente agli individui di manipolare e ruotare mentalmente gli oggetti, facilitando una migliore comprensione delle loro caratteristiche e delle relazioni spaziali. È una delle abilità visuospaziali, un gruppo cognitivo fondamentale che è stato studiato già nel 1890¹. Le abilità visuospaziali sono una componente importante del repertorio cognitivo di un individuo che è influenzato sia da fattori ereditari che ambientali 2,3,4,5. L'interesse per le abilità visuospaziali è cresciuto nel corso del ventesimo secolo a causa delle crescenti prove della loro importanza in materie chiave^{come l'invecchiamento} 6 e lo sviluppo⁷, le prestazioni in scienza, tecnologia, ingegneria e matematica (STEM) ^8,9, la creatività¹⁰ e i tratti evolutivi¹¹.

L'idea contemporanea di MR deriva dal lavoro pionieristico pubblicato da Shepard e Metzler (SM) nel 1971¹². Hanno ideato un metodo cronometrico utilizzando una serie di compiti "uguali o diversi", presentando due proiezioni di oggetti 3D astratti visualizzati fianco a fianco. I partecipanti dovevano ruotare mentalmente gli oggetti su un asse e decidere se quelle proiezioni ritraevano lo stesso oggetto ruotato in modo diverso o oggetti distinti. Lo studio ha rivelato una correlazione lineare positiva tra il tempo di risposta (RT) e la disparità angolare (AD) tra le rappresentazioni dello stesso oggetto. Questa correlazione è nota come effetto di disparità angolare (ADE). L'ADE è considerata una manifestazione comportamentale della MR ed è diventata onnipresente in diversi studi successivi influenti nel campo 13,14,15,16,17,18,19,20,21,22,23,24,25. Gli oggetti 3D impiegati nello studio SM erano composti da 10 cubi contigui generati dal pioniere della grafica computerizzata Michael Noll presso i Bell Laboratories²⁶. Sono indicati come figure SM e sono ampiamente utilizzati negli studi RM.

Due progressi sono stati di grande importanza nel lavoro seminale di Shepard e Metzler; in primo luogo, considerando i contributi nel campo delle valutazioni RM. Nel 1978, Vanderberg e Kuze²⁷ svilupparono un test psicometrico di 20 item basato su cifre SM "uguali o diverse" che divenne noto come test di rotazione mentale (VKMRT). Ogni elemento del test presenta uno stimolo target. I partecipanti devono scegliere tra quattro stimoli, quali rappresentano lo stesso oggetto raffigurato nello stimolo target e quali no. VKMRT è stato utilizzato per studiare la correlazione tra la capacità di RM e vari altri fattori, come le differenze legate al sesso 6,21,24,28,29,30, l'invecchiamento e lo sviluppo ^6,31,32, il rendimento scolastico^8,33, e abilità nella musica e nello sport³⁴. Nel 1995, Peters et al. hanno pubblicato uno studio con cifre ridisegnate per il VKMRT^35,36. Allo stesso modo, seguendo la progettazione del compito "uguale o diverso", una varietà di altre librerie di stimoli generati al computer sono state impiegate per studiare i processi RM e per valutare le capacità di RM (versioni 3D degli stimoli SM originali 19,22,23,37,38, corpo umano che imita le figure SM 25,39,40, poligoni piatti per la rotazione ^{2D 41, 42}, anatomia e organi⁴³, forme organiche⁴⁴, molecole^45,46, tra gli altri²¹). Anche il Purdue Spatial Visualization Test (PSVT) proposto da Guay nel 1976-47 è rilevante. Comporta una serie di test, tra cui la risonanza magnetica (PSVT:R). Impiegando stimoli diversi da quelli della VKMRT, PSVT:R richiede ai partecipanti di identificare un'operazione di rotazione in uno stimolo modello e di applicarla mentalmente a uno diverso. Anche PSVT:R è ampiamente utilizzato, in particolare negli studi che indagano il ruolo della risonanza magnetica nel raggiungimento STEM 48,49,50.

Il secondo progresso di grande importanza nel lavoro seminale di Shepard e Metzler comprende i contributi alla comprensione del processo RM, in particolare, con l'uso di dispositivi di tracciamento oculare. Nel 1976, Just e Carpenter¹⁴ utilizzarono apparecchiature di tracciamento oculare analogiche basate su video per condurre uno studio basato sull'esperimento ADE di Shepard e Metzler. Dai loro risultati sui movimenti oculari saccadici e sui RT, hanno proposto un modello di processi RM costituito da tre fasi: 1) la fase di ricerca, in cui vengono riconosciute parti simili delle figure; 2) la fase di trasformazione e confronto, in cui una delle parti identificate viene ruotata mentalmente; 3) la fase di conferma, in cui si decide se le cifre sono uguali o meno. Le fasi vengono ripetute in modo ricorsivo fino a quando non è possibile prendere una decisione. Ogni passaggio corrisponde a specifici modelli di movimento oculare saccadico e fissazionale in stretta relazione con gli ADE osservati. Così, correlando l'attività oculare ai dati cronometrici, Just e Carpenter hanno fornito una firma cognitiva per lo studio dei processi RM. Ad oggi questo modello, seppur con adattamenti, è stato adottato in diversi studi 15,42,46,51,52,53.

Seguendo questa traccia, diversi studi successivi hanno monitorato il comportamento 18,19,22,23,25,34,40,54,55 e l'attività cerebrale 20,22,56,57 funzioni durante la rotazione degli stimoli. I loro risultati indicano un ruolo cooperativo tra la risonanza magnetica e i processi motori. Inoltre, c'è un crescente interesse nello studio di strategie di risoluzione dei problemi che coinvolgono la MR in relazione alle differenze individuali 15,41,46,51,58.

Nel complesso, si può considerare che il disegno degli studi volti a comprendere i processi di RM si basa sulla presentazione di un compito con stimoli visivi che richiede ai partecipanti di eseguire un'operazione di RM che, a sua volta, comporta una reazione motoria. Se questa reazione consente la rotazione degli stimoli, viene spesso chiamata rotazione fisica (PR). A seconda degli obiettivi specifici di ogni studio, sono state impiegate diverse strategie e dispositivi per l'acquisizione e l'analisi dei dati di RM e PR. Nella fase di presentazione dello stimolo del compito, è possibile modificare i tipi di stimoli (ad esempio, gli esempi citati in precedenza); la proiezione (immagini generate al computer nei display tradizionali 22,23,25,29,40,41,59, nonché negli stereoscopi¹⁹ e negli ambienti di realtà virtuale⁶⁰ e mista ⁴³); e l'interattività degli stimoli (immagini statiche 12,27,36, animazioni ⁶¹ e oggetti virtuali interattivi 19,22,23,43,53,59).

La RM è solitamente dedotta dalle misure di RT (ADE), nonché dall'attività oculare e cerebrale 25,46,62. L'attività oculare viene misurata utilizzando i dati di tracciamento oculare costituiti da movimenti e fissazioni saccadiche 14,15,42,51,52,54,58,60, nonché la pupillometria 40. I dati RT derivano tipicamente dai dati di risposta del motore registrati durante il funzionamento di vari dispositivi come leve¹³, pulsanti e interruttori^14,53, pedali⁵³, manopole rotanti¹⁹, joystick³⁷, tastiera⁶¹ e mouse 29,58,60, ruote motrici ⁵³, sensori inerziali^22,23, touch screen^52,59e microfoni²². Per misurare il PR, oltre ai RT, il disegno dello studio includerà anche la registrazione di rotazioni manuali di stimoli interattivi mentre i partecipanti eseguono il compito RM 22,23,52,53.

Nel 1998, Wohlschläger e Wohlschläger¹⁹ utilizzarono compiti "uguali o diversi" con stimoli SM virtuali interattivi manipolati con una manopola, con rotazioni limitate a un asse per compito. Hanno misurato la RT e la registrazione cumulativa delle rotazioni fisiche eseguite durante le attività. Confrontando situazioni con e senza rotazione effettiva degli stimoli interattivi, hanno concluso che MR e PR condividono un processo comune sia per le rotazioni immaginate che per quelle effettivamente eseguite.

Nel 2014 sono stati condotti due studi che impiegano lo stesso tipo di compiti con stimoli interattivi virtuali^22,23. Tuttavia, gli oggetti sono stati manipolati con sensori inerziali che hanno catturato il movimento nello spazio 3D. In entrambi i casi, oltre agli RT, sono state registrate le traiettorie di rotazione, ovvero l'evoluzione delle differenze di rotazione tra stimoli di riferimento e interattivi durante i compiti. Da queste traiettorie è stato possibile estrarre sia informazioni cumulative (cioè il numero totale di rotazioni, in unità quaternioniche) sia informazioni dettagliate sulle strategie di soluzione. Adams et ^al.23 hanno studiato l'effetto cooperativo tra MR e PR. Oltre agli RT, hanno utilizzato l'integrale delle traiettorie di rotazione come parametro di precisione e oggettività della risoluzione. I profili curvi sono stati interpretati secondo un modello⁶³ a tre fasi (pianificazione, rotazione maggiore, regolazione fine). I risultati indicano che la RM e la PR non hanno necessariamente un singolo fattore comune. Gardony et ^al.22 hanno raccolto dati su RT, accuratezza e rotazione in tempo reale. Oltre a confermare la relazione tra RM e PR, l'analisi delle traiettorie di rotazione ha rivelato che i partecipanti hanno manipolato le cifre fino a quando non sono riuscite a identificare se erano diverse o meno. Se erano gli stessi, i partecipanti li ruotavano fino a quando non sembravano uguali.

Continuando questa strategia, nel 2018, Wetzel e Bertel⁵² hanno utilizzato anche figure SM interattive in attività "uguali o diverse" utilizzando tablet touchscreen come interfaccia. Inoltre, hanno utilizzato un dispositivo di tracciamento oculare per ottenere dati cumulativi sul tempo di fissazione e sull'ampiezza saccadica come parametri del carico cognitivo coinvolto nella risoluzione dei compiti di risonanza magnetica. Gli autori hanno confermato gli studi precedenti discussi sopra riguardo alle relazioni tra MR e PR e ai processi di risoluzione dei compiti. Tuttavia, in questo studio, non hanno utilizzato la mappatura della fissazione e i dati delle saccadi per gli stimoli.

Approcci metodologici per la mappatura dei dati di eye-tracking su oggetti virtuali 3D sono stati proposti e costantemente migliorati, comunemente da ricercatori interessati a studiare i fattori legati all'attenzione visiva negli ambienti virtuali⁶⁴. Sebbene convenienti e utilizzando dispositivi di tracciamento oculare simili, a quanto pare, questi metodi non sono stati efficacemente integrati nel repertorio sperimentale impiegato negli studi di rotazione mentale con oggetti 3D interattivi come quelli precedentemente menzionati. Al contrario, non abbiamo trovato studi in letteratura che riportino la mappatura in tempo reale dei dati di fissazione e movimento saccadico su oggetti 3D interattivi. Sembra che non ci sia un metodo conveniente per integrare facilmente i dati sull'attività oculare con le traiettorie di rotazione. In questa ricerca, miriamo a contribuire a colmare questa lacuna. La procedura è presentata in dettaglio, dall'acquisizione dei dati alla generazione dell'output grafico.

In questo articolo, descriviamo in dettaglio un metodo per studiare i processi di rotazione mentale con oggetti 3D interattivi virtuali. Vengono evidenziati i seguenti progressi. In primo luogo, integra la raccolta di dati quantitativi comportamentali motori (rotazione manuale di oggetti tramite un'interfaccia computer) e oculari (eye-tracking) durante le sessioni di interazione con modelli virtuali 3D. In secondo luogo, richiede solo apparecchiature informatiche convenzionali e dispositivi di tracciamento oculare per la progettazione di attività visive, l'acquisizione, la registrazione e l'elaborazione dei dati. In terzo luogo, genera facilmente un output grafico per facilitare l'analisi dei dati: disparità angolare, rotazione fisica, traiettorie di rotazione quaternionica e mappatura dei risultati dei dati di tracciamento oculare su oggetti virtuali 3D. Infine, il metodo richiede solo software libero. Tutto il codice e gli script sviluppati sono disponibili gratuitamente (https://github.com/rodrigocnstest/rodrigocnstest.github.io).

Protocol

1. Predisposizione degli strumenti di raccolta dati

1. Impostare la raccolta dei dati online (opzionale).
   NOTA: questo passaggio descrive come impostare un clone personalizzabile del codice del progetto e della pagina web di lavoro (fare riferimento a File supplementare 1). Questo passaggio è stato adattato dai tutorial disponibili in https://pages.github.com/ e https://github.com/jamiewilson/form-to-google-sheets. Se gli utenti sono interessati solo al metodo di trattamento dei dati e non alla registrazione dei dati, possono utilizzare il sito web https://rodrigocnstest.github.io/iRT_JoVE.html, insieme aTabella supplementare S1 e i file del repository in https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave e saltare i passaggi 1.1, 1.2 e i relativi passaggi secondari.
   1. Accedere a GitHub (https://github.com/).
   2. Crea un clone pubblico del repository di pagine GitHub originale.
      1. Fare clic su Importa repository da https://github.com dopo aver effettuato l'accesso all'account.
      2. Nel campo URL clone del vecchio repository , incolla l'URL https://github.com/rodrigocns/rodrigocns_JoVE nel campo Nome repository , digita username.github.io, dove username è il nome utente utilizzato nell'account e assicurati che l'opzione Pubblico sia abilitata. Quindi, fai clic sul pulsante verde Inizia l'importazione.
         NOTA: Il repository ora contiene la maggior parte dei file necessari per il resto di questa configurazione e qualsiasi modifica apportata al repository verrà aggiornata sul sito Web dopo un paio di minuti. Ad esempio, l'utente denominato rodrigocnstest accederebbe alla propria pagina all'indirizzo https://rodrigocnstest.github.io e al proprio repository GitHub all'indirizzo https://github.com/rodrigocnstest/rodrigocnstest.github.io.
   3. Configura un foglio di calcolo cloud per archiviare i dati dell'esperimento online.
      1. Registrati o accedi a un account Google.
      2. Dopo aver effettuato l'accesso all'account, vai al file di pulizia dei fogli di calcolo iRT disponibile all'https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
         Ops1wZrXI/edit?usp=condivisione.
      3. All'interno di questo foglio di calcolo, fai clic su File | Fai una copia. Apparirà una piccola finestra di conferma.
      4. All'interno della piccola finestra, assegna un nome al file e fai clic sul pulsante Crea una copia .
   4. Configura uno script di Google Apps per automatizzare l'archiviazione dei dati all'interno del foglio di lavoro che hai creato.
      1. All'interno del file del foglio di calcolo, fai clic sull'opzione Estensione | Script delle app.
         NOTA: questo script deve essere creato o accessibile dall'interno del foglio di calcolo in modo che sia associato ad esso. Il tentativo di creare uno script esternamente potrebbe non funzionare.
      2. Fare clic sul pulsante Esegui per eseguire lo script per la prima volta.
      3. Fare clic sul pulsante Rivedi autorizzazioni . Apparirà una nuova finestra. Fai clic sullo stesso account utilizzato durante la creazione del foglio di calcolo.
         NOTA: se è la prima volta che si esegue questo passaggio, potrebbe essere visualizzato un avviso di sicurezza che avverte l'utente della richiesta di accesso alle informazioni dell'account da parte dell'app. È sicuro in quanto l'app sta cercando di raggiungere il contenuto del foglio di calcolo e chiede il permesso di riempirlo con i dati. Se non viene visualizzato alcun avviso, il passaggio 1.1.4.4 può essere saltato.
      4. Fare clic su Avanzate | Vai a Da iRT a fogli (non sicuro) | Pulsante Consenti .
         NOTA: Dopo l'esecuzione, all'interno del registro di esecuzione dovrebbe apparire un avviso che indica che l'esecuzione è stata completata.
      5. Nel pannello scorrevole a sinistra, fai clic sul pulsante Trigger (la quarta icona dall'alto verso il basso) | + Aggiungi pulsante Trigger .
      6. In Scegli la funzione da eseguire, scegli doPost; in Seleziona origine evento, seleziona Da foglio di calcolo; In Seleziona tipo di evento, scegli All'invio del modulo. Quindi, fai clic su Salva. Se vengono visualizzati popup di autorizzazione, seguire i passaggi 1.1.4.3-1.1.4.4. Se il browser finisce per bloccare il popup, sbloccalo.
      7. Fare clic sul pulsante a discesa Distribuisci | Nuova distribuzione.
      8. Passa il mouse sull'icona a forma di ingranaggio e assicurati che l'opzione App Web sia selezionata.
      9. Scrivere una descrizione nel campo Nuova descrizione , ad esempio Distribuzione 1; nel campo Chi ha accesso , seleziona Chiunque , quindi fai clic sul pulsante Distribuisci .
         NOTA: lo scopo del campo Nuova descrizione è quello di organizzare le distribuzioni degli script. Può essere denominato come desidera il lettore, ad esempio Prima distribuzione. Il campo Esegui come dovrebbe essere già visualizzato come Io(email), dove email è l'email utilizzata fino a quel momento.
      10. All'interno del nuovo popup copiare l'URL dell'app Web della distribuzione dello script.
          NOTA: se per qualche motivo si finisce per perdere l'URL dell'app Web copiata, recuperarlo facendo clic sul menu a discesa Distribuisci | Gestire le distribuzioni. L'URL dell'app Web dovrebbe essere presente.
      11. Vai alla pagina all'https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js dove rodrigocnstest è il nome utente utilizzato su GitHub. Sostituire l'URL esistente nella riga 5 per l'URL dell'app Web copiato nel passaggio 1.1.4.10 e fare clic sul pulsante verde Conferma modifiche....
          NOTA: il valore dell'URL copiato deve rimanere tra virgolette singole ' ' o doppie " "'. Verifica che l'URL copiato sia quello corretto dall'app Web.
      12. Infine, fai clic sul pulsante di conferma Conferma modifiche al centro dello schermo.
   5. Assicurati che il processo sia stato completato correttamente e che la pagina funzioni.
      1. Vai al repository in https://github.com/username/username.github.io/, dove username è il nome utente utilizzato in GitHub, e controlla se la distribuzione è stata aggiornata dopo le modifiche apportate nel passaggio 1.4.14.
      2. Passare alla pagina Web all'indirizzo https://username.github.io/iRT_JoVE, modificare il nome utente con il nome utente utilizzato in GitHub e quindi fare clic su Avanti.
      3. Fare clic su Vai, effettuare qualsiasi interazione facendo clic e trascinando l'oggetto a destra con il mouse, quindi fare clic sul pulsante FATTO! .
      4. Torna al file del foglio di calcolo configurato nei passaggi 1.1.3 e 1.1.4 e verifica la presenza di una nuova riga di dati aggiunta per ogni volta che è stato premuto il pulsante DONE .
2. Configurare l'acquisizione dati offline (opzionale).
   NOTA: il metodo destinato all'esecuzione e all'acquisizione dei dati dell'attività di rotazione interattiva (iRT) è online tramite i servizi cloud configurati nei passaggi descritti in precedenza. Se lo si desidera (poiché la connessione Internet potrebbe essere un problema o per avere un modo alternativo per eseguirla), è anche possibile eseguire il test localmente con o senza una connessione Internet nel luogo in cui verrà eseguito il test. I passaggi seguenti sono un'alternativa facoltativa e descrivono come raggiungere questo obiettivo. In caso contrario, andare al passaggio 1.3.
   1. Accedi al repository GitHub al link: https://github.com/rodrigocnstest/rodrigocnstest.github.io. Clicca sul pulsante verde < > Codice | Scarica ZIP, quindi decomprimi i file scaricati.
      NOTA: le modifiche apportate ai file archiviati localmente non modificheranno i file nel repository e viceversa. Eventuali modifiche destinate a entrambe le versioni devono essere applicate a entrambe le posizioni, copiando manualmente i file aggiornati o tramite l'uso di git/GitHub desktop.
   2. Scarica l'ultima versione di Mozilla Firefox tramite il link: https://www.mozilla.org/en-US/firefox/new/.
   3. Apri il browser Mozilla Firefox, inserisci "about:config" nello slot URL, inserisci "security.fileuri.strict_origin_policy" nel campo di ricerca e cambia il suo valore in false. NOTA: Ora, Mozilla Firefox nel sistema operativo Windows dovrebbe essere in grado di accedere localmente ai file della pagina Web scaricati sul tuo computer. Altri browser e sistemi operativi possono essere configurati per funzionare localmente, ognuno con la sua configurazione descritta al link http://wiki.jmol.org/index.php/Troubleshooting/Local_Files.
3. Configurare lo strumento di elaborazione dati.
   1. Scarica e installa l'ultima versione di GNU Octave su https://octave.org/download.
4. Configura il dispositivo di tracciamento oculare.
   1. Assicurarsi che il software del sistema di registrazione sia installato sul laptop.
   2. Assicurati che la sala di ricerca sia pulita e ben organizzata per evitare distrazioni.
   3. Usa l'illuminazione artificiale nella stanza per mantenere un'illuminazione costante per tutto il giorno.
   4. Installa il computer su un tavolo e assicurati che il partecipante possa muovere comodamente il mouse.
   5. Fornire una sedia comoda per il partecipante, preferibilmente una sedia fissa, per ridurre al minimo i movimenti durante il test.
   6. Collegare un cavo USB per alimentare l'illuminazione a infrarossi e un altro cavo USB tra il laptop/computer e l'eye-tracker per la fotocamera.
   7. Posiziona l'eye tracker sotto lo schermo.

2. Raccolta dei dati

1. Inizializzare il software di raccolta dati.
   1. Esegui il software di tracciamento oculare sul computer per ricevere dati dall'eyetracker.
   2. Selezionare l'opzione Screen Capture nella finestra principale del software per catturare lo sguardo durante l'esperimento (è anche possibile utilizzare questo software per la visualizzazione della mappa di calore e l'esportazione dei dati grezzi).
   3. Fare clic su Nuovo progetto per creare un nuovo progetto e una cartella di progetto in cui salvare i dati.
   4. Aprire la pagina del test in https://rodrigocnstest.github.io/iRT_JoVE.html se si utilizza quella offerta come esempio o la pagina creata nel passaggio 1.1. In alternativa, aprire il file iRT_JoVE.html localmente dal browser configurato in precedenza nel passaggio 1.2.
   5. Se necessario, compila i campi del nome e dell'e-mail per facilitare l'identificazione dei dati e seleziona la casella per scaricare una copia di backup dei dati prodotti.
      NOTA: Se si utilizza il metodo offline (passaggio 1.2), si consiglia di scaricare le copie di backup.
   6. Prova a eseguire l'esperimento una sola volta per assicurarti che il browser carichi correttamente gli elementi e che non ci siano problemi con le attività presentate o l'acquisizione dei dati.
2. Esegui l'esperimento.
   1. Spiegare al partecipante lo scopo dell'esperimento, la tecnologia utilizzata e i criteri di inclusione/esclusione. Assicurati che il partecipante abbia capito tutto. Chiedi al partecipante di compilare il modulo di consenso.
   2. Chiedi al partecipante di sedersi davanti al sistema di tracciamento oculare e di mettersi il più a suo agio possibile.
   3. Spostare la sedia per garantire una distanza ottimale tra il partecipante e la telecamera (la lunghezza ideale è di 65 cm dall'eye-tracker agli occhi del partecipante).
   4. Chiedi al partecipante di rimanere il più fermo possibile durante l'esperimento. Regola l'altezza della fotocamera per catturare correttamente le pupille del partecipante (alcuni software evidenziano la pupilla per mostrare il riflesso corneale).
   5. Fare clic su Abilita guadagno automatico per ottimizzare il tracciamento delle pupille modificando il guadagno della fotocamera fino a trovare le pupille (alcuni software non hanno questa opzione).
   6. Chiedi al partecipante di guardare una serie di punti sullo schermo e di seguire il movimento del punto senza muovere la testa.
   7. Fare clic su Calibra per avviare la calibrazione (assicurerà che l'eye-tracker possa tracciare dove il partecipante sta guardando lo schermo).
      NOTA: Lo schermo si spegnerà e un indicatore di calibrazione (punto) si sposterà attraverso cinque posizioni sullo schermo.
   8. Dopo la calibrazione, sullo schermo verrà tracciata una stima visiva del punto di osservazione per verificare l'accuratezza della calibrazione. Chiedi al partecipante di guardare un punto specifico sul display per vedere se lo sguardo verrà visualizzato correttamente.
   9. Se la calibrazione non è soddisfacente, regolare la fotocamera e riprovare la calibrazione finché il sistema non segue lo sguardo in modo appropriato.
   10. Fare clic sul pulsante Raccogli dati sul lato destro del software di tracciamento oculare (menu principale) per attivare la modalità di raccolta dati. La visualizzazione in tempo reale dello schermo acquisito verrà presentata con i dati dello sguardo mostrati nella finestra di visualizzazione principale.
   11. Fare clic sul pulsante Gaze video nel menu principale per visualizzare il volto dell'utente catturato dall'eye tracker. Quindi, fai clic su Avvia record per iniziare l'esperimento.
       NOTA: Durante l'esperimento, la pupilla del partecipante viene evidenziata e il suo occhio viene visualizzato come un punto che si muove sullo schermo del laptop. Assicurati che l'eye tracker segua la pupilla e l'occhio sullo schermo.
   12. Se il punto scompare o sfarfalla frequentemente, interrompi l'esperimento e prova a calibrare di nuovo.
   13. Apri la finestra di iRT aperta in precedenza e chiedi al partecipante di fare clic su Avanti.
   14. Dai le seguenti istruzioni al partecipante: "In questa sezione, eseguirai tre attività di rotazione. Quando fai clic sul pulsante GO! pulsante, due oggetti appariranno sui lati opposti dello schermo. Il tuo obiettivo è ruotare l'oggetto a destra fino a farlo corrispondere il più possibile all'oggetto a sinistra. Per ruotare l'oggetto, fare clic e trascinare il mouse su di esso. Al termine di ciascuna delle tre attività, fai clic sul pulsante FATTO! pulsante per concludere."
       NOTA: per ogni attività, tutti i dati iRT oltre il segno dei 5 minuti (327^° secondo esatti) potrebbero andare persi. Man mano che sviluppiamo ulteriormente il metodo, questo limite dovrebbe essere ampliato.
   15. Al termine dell'esperimento, assicurati che l'eye tracker sia spento dal cavo di prolunga e rimetti il copriobiettivo sulla fotocamera.
3. Estrarre i dati.
   1. Una volta completata la raccolta dei dati dell'eye-tracker, clicca su Analizza dati per accedere ai dati raccolti.
   2. Esporta un file .csv con tutti i dati registrati per l'utente.
      NOTA: la prima colonna di dati dell'eye tracker deve essere l'epoca UNIX dei dati in quanto questo è l'unico modo per far corrispondere correttamente i diversi set di dati nel tempo. Se il file non ne contiene uno, deve essere convertito da qualsiasi altro standard di tempo utilizzato. Il file può essere in formato ".csv" o ".xlsx".
   3. Se utilizzi la versione online della pagina delle attività di rotazione interattiva (passaggio 1.1), apri il file di Fogli Google utilizzato per ricevere i dati online (creato nel passaggio 1.1.3) e scaricalo facendo clic su File | Scarica | Microsoft Excel (.xlsx).
      NOTA: Questi dati sono confezionati per facilitare il trasferimento dei dati (ogni attività corrisponde a una riga piena di dati). Per elaborare i dati all'interno, ogni riga di dati compressi deve essere prima "decompressa".

3. Elaborazione e analisi dei dati

1. Decomprimere, unire ed elaborare i dati.
   NOTA: la procedura seguente descrive come elaborare i dati utilizzando gli script forniti (fare riferimento al file supplementare 2). Gli script GNU Octave richiederanno all'utente di inserire input sui loro file. Se gli input vengono inviati come vuoti, verranno invece utilizzati i valori predefiniti, che fanno riferimento ai dati di esempio forniti se nessun dato utente li ha sovrascritti. Al termine dell'esecuzione dello script, è possibile chiuderlo.
   1. Scaricare e decomprimere il repository in uso (quello dell'utente o l'originale a https://github.com/rodrigocns/rodrigocns_JoVE) se non è ancora stato scaricato.
   2. Assicurarsi che gli script 1.unpacking_sheets.m, 2.data_merge_and_process.m, 3.3D rotational trajectory.m e i modelli di cartelle si trovino all'interno del repository scaricato nella cartella Octave e spostare i file di dati scaricati dai passaggi 2.3.2 e 2.3.3 nella stessa cartella in cui si trovano gli script di ottava.
      NOTA: Tutti i file esistenti già presenti nella cartella con gli stessi nomi dei file appena scritti potrebbero essere sovrascritti. Rinomina o sposta i file in un'altra cartella di conseguenza.
   3. Apri lo script 1.unpacking_sheets.m con il lanciatore GNU Octave. Nella scheda Editor , eseguire lo script facendo clic sul pulsante verde Salva file ed esegui per decomprimere i dati in una struttura più leggibile.
      NOTA: se uno dei file di dati richiesti è aperto localmente, ricordarsi di chiuderlo prima di eseguire lo script. Tutti i file di script .m sono stati eseguiti utilizzando il lanciatore GNU Octave.
   4. Appariranno due prompt, uno dopo l'altro. Inserire il nome del file scaricato all'interno del primo prompt e il nome del file non compresso all'interno del secondo campo. In alternativa, lasciare vuoti entrambi i campi del prompt per utilizzare i nomi predefiniti destinati ai file di esempio inclusi. Attendi qualche minuto (a seconda del volume di dati) per un popup che informa l'utente che il processo è completo e che il nuovo file è stato scritto.
   5. Aprire ed eseguire lo script 2.data_merge_and_process.m per unire i dati da entrambi gli eye tracker e iRT.
      NOTA: Sebbene questo script sia complesso, comprendendo centinaia di righe di codice, è diviso in tre sezioni principali: impostazioni, funzioni e script. Tutti sono accuratamente commentati e spiegati, facilitando future modifiche, se necessario.
   6. Appariranno quattro prompt. Immettere il valore sessionID, il valore taskID (entrambi dalla tabella dati iRT), il nome del file di dati iRT non compressi (scritto nel passaggio 3.1.5) e il nome del file di dati dell'eye tracker (esportato nel passaggio 2.3.2) o lasciarli tutti vuoti per utilizzare i valori predefiniti.
      NOTA: Dopo alcuni minuti, un popup di aiuto indicherà che lo script ha completato il calcolo e i nomi dei file utilizzati e creati. Durante il processo di sceneggiatura appariranno tre grafici di esempio di disparità angolare: un grafico semplice, un grafico con dati di sguardo colorati e un grafico con dati di diametro della pupilla. I due file creati sono l'output merge X Y.xlsx e l'output jmol console X Y.xlsx, dove X è il valore sessionID e Y è il valore taskID , entrambi scritti all'inizio del passaggio 3.1.6.
2. Rendering di immagini 3D della traiettoria di rotazione.
   1. Aprite ed eseguite lo script 3.3D rotation trajectory.m.
   2. Appariranno tre messaggi. Immettere il valore sessionID, il valore taskID e il nome del file di dati iRT non compressi oppure lasciarli vuoti per utilizzare i valori predefiniti.
      NOTA: Apparirà un grafico 3D. Il grafico di cui è stato eseguito il rendering è la traiettoria di rotazione 3D della sessione e dell'attività specificate.
3. Riproduci le animazioni.
   1. Per riprodurre l'interazione dell'attività del partecipante, per prima cosa, vai alla pagina Web dell'attività interattiva, avvia il test (mostrando entrambi i modelli 3D), sposta il puntatore del mouse nell'angolo in alto a destra dello schermo fino a quando l'icona del mouse non diventa testo, come illustrato nel file supplementare 2, quindi fai clic sul testo di debug invisibile, abilitando la modalità di debug.
   2. Dai pulsanti che compaiono tra i modelli, fare clic sul pulsante timerStop per interrompere l'attività e fare clic sul pulsante della console per aprire la console JSmol del modello a destra. Se l'attività dell'interazione di interesse non è stata la prima, fare clic sui pulsanti numerati all'interno dell'area di debug superiore per modificare l'attività visualizzata sullo schermo.
      NOTA: JSmol è il software di modellazione molecolare utilizzato nella pagina web.
   3. Apri il file di output jmol console.xlsx e copia l'intera pagina dei comandi Jmol.
      NOTA: Ogni pagina contiene comandi per una scena o un'animazione diversa.
   4. All'interno della console JSmol, incolla l'elenco dei comandi copiati e fai clic sul pulsante Esegui o premi Invio sulla tastiera per eseguirlo.
   5. Se lo si desidera, generare un'animazione .gif. Scrivi il comando capture "filename" SCRIPT "output" all'interno della console JSmol, dove filename è il nome del file .gif da creare e output è l'intero elenco dei comandi copiati nel passaggio 3.3.3, mantenendo entrambi tra virgolette doppie.
      NOTA: Più i comandi diventano complessi, con modelli più grandi o più cambiamenti nel tempo, e meno potenti sono le specifiche del computer utilizzato, più lenta diventerà l'animazione. Jmol si concentra sulla visualizzazione di composti chimici e reazioni, e il tipo di animazioni prodotte con la nostra ricerca spinge i confini delle capacità di rendering di Jmol. Questi punti dovrebbero essere considerati e presi in considerazione quando si eseguono misure quantitative con questa animazione.

4. Personalizzazione delle attività

NOTA: l'intera sezione è facoltativa e consigliata solo a coloro che amano sperimentare o capire come programmare. Di seguito, troverai alcune delle numerose opzioni personalizzabili disponibili e altre opzioni diventeranno disponibili man mano che sviluppiamo ulteriormente i metodi.

1. Configurare attività nuove o esistenti.
   1. Definisci quante attività interattive verranno eseguite dal partecipante e assegna un nome a ciascuna di esse nel file object_configs.js all'interno dell'array task_list sostituire i nomi degli elementi esistenti o aggiungerne altri. Assicurati che ogni nome sia univoco in quanto vengono utilizzati in seguito come identificatori.
   2. Scegliere i file di coordinate 3D compatibili con JSmol per eseguire le attività interattive (http://wiki.jmol.org/index.php/File_formats). Copiate questi file nella cartella dei modelli.
      NOTA: gli script inclusi in questo articolo sono ottimizzati per i modelli asimmetrici che utilizzano il formato di file .xyz. Quando si scelgono i file di coordinate, evitare le simmetrie di rotazione in quanto hanno soluzioni ambigue⁶⁵.
   3. Definisci le impostazioni di rendering per gli oggetti 3D all'interno della funzione prepMolecule(num).
      NOTA: Tutte le modifiche da un'attività all'altra eseguite da JSmol vanno qui: cambiare il modello di colore, cambiare la dimensione o il modo in cui gli elementi grafici vengono renderizzati, orientamento, traslazione, nascondere parti dell'oggetto, caricare nuovi modelli 3D, ecc. (per ulteriori esempi, vedi https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm). Ogni attività denominata in task_list corrisponde a un caso. Ogni comando che JSmol deve eseguire segue la struttura: Jmol.script( jsmol_obj , " jsmol_command1; jsmol_command2 "); dove jsmol_obj si riferisce all'oggetto che viene modificato (jsmol_ref e jsmol_obj sono i valori predefiniti per gli oggetti di destinazione e interattivi) seguiti da uno o più comandi separati da un ";".
2. Crea nuovi modelli.
   1. Utilizza qualsiasi modello .xyz scaricato online o costruito da editor molecolari come Avogadro (https://avogadro.cc/).

Results

Evoluzione della disparità angolare e di altre variabili
Come illustrato nel passaggio 3.3.1 del File supplementare 2, due tele vengono presentate al partecipante sullo schermo del monitor video, visualizzando copie dello stesso oggetto virtuale 3D con orientamenti diversi. Nell'area di disegno a sinistra, l'oggetto di destinazione (tObj) rimane statico e funge da posizione di destinazione o posizione tObj. Sulla tela di destra, l'oggetto interattivo (iObj) viene mostrato in una posizione diversa e consente al partecipante di spostarlo nel tempo attorno a un centro di rotazione fisso utilizzando un mouse (solo le rotazioni; le traslazioni sono disabilitate). Il compito da svolgere consiste nell'adattare iObj in modo che corrisponda strettamente a tObj in base al giudizio del partecipante. I tre oggetti 3D utilizzati possono essere visti nella Figura 1. Il processo di risoluzione, sebbene complesso, può essere meticolosamente registrato per l'analisi successiva. Questa registrazione va oltre le semplici riprese video poiché ogni posizione nel tempo viene catturata a intervalli fissi di 0,1 s come un quaternione, formando una serie temporale che consente una ricostruzione completa dell'intero processo. In ogni posizione, esiste una rotazione unica attorno a un asse specifico, che va da 0° fino a 180°, che trasforma direttamente la posizione tObj nella posizione iObj. Sebbene questa rotazione sia astratta e non correlata al PR del partecipante durante l'attività, indica con precisione la posizione precisa di iObj rispetto a tObj. AD è l'angolo di questa rotazione e può essere calcolato dal rispettivo quaternione. Quando la posizione iObj si avvicina alla posizione tObj, questo valore si avvicina a zero.

Dopo il passaggio 3.1.6 della sezione Elaborazione e analisi dei dati, sono stati creati due file: output merge X Y.xlsx e output jmol console X Y.xlsx, dove X è il valore sessionID e Y è il valore taskID . Se si utilizzano i valori predefiniti lasciando vuoti i campi di input, i file dovrebbero essere denominati output merge 1682707472090 bolaBastao_c.xlsx e output jmol console 1682707472090 bolaBastao_c.xlsx. I file di Y.xlsx X di unione dell'output contengono i dati dell'eye tracker selezionati uniti ai dati iRT, allineati in base all'ora dell'epoca UNIX, in modo simile alla Figura 2A se tutto è proceduto correttamente, o alla Figura 2B se si è verificato un problema.

I file di output jmol console X Y.xlsx contengono fino a cinque schede riempite con i comandi della console Jmol che, una volta incollati sulla console Jmol, riprodurranno i movimenti del partecipante durante la risoluzione del compito: rotation replay riproduce le rotazioni iObj effettuate dal partecipante; gaze replay int riproduce le rotazioni iObj con l'aggiunta di una mappa di calore di fissazione sull'oggetto nel tempo utilizzando una scala di trasparenza/opacità; gaze replay tgt mostra solo la mappa termica di fissazione 3D di tObj durante l'attività; gaze frame int e gaze frame tgt mostrano la mappatura generale della fissazione dell'intero processo sia per iObj che per tObj. Tutti sono illustrati nelle Figure 3A-F. Jmol e JSmol sono essenzialmente identici, essendo Jmol il plugin basato sul linguaggio di programmazione Java, e JSmol nel linguaggio di programmazione JavaScript, entrambi con le stesse funzionalità e utilizzati in modo intercambiabile.

La Figura 4 illustra l'evoluzione della disparità angolare in funzione del tempo per sei diversi scenari che coinvolgono due partecipanti e tre oggetti. La durata del processo può variare in modo significativo a seconda delle prestazioni del partecipante con l'oggetto attività interattivo. In qualsiasi attività completata correttamente dal partecipante, AD tende a zero alla fine. Se lo stesso grafico non mostra questo comportamento, il partecipante non è stato in grado di completare l'attività perché si è arreso o ha raggiunto il limite di tempo per attività (circa 5 minuti), oppure si è verificato un errore nell'elaborazione dei dati.

I risultati combinati delle registrazioni PR iObj e i dati ottenuti dalle misurazioni dell'eye-tracking sono mostrati nella Figura 5. La variazione della disparità angolare tra il bersaglio e gli oggetti inerziali in funzione del tempo indica tre fasi distinte nel processo di risoluzione del compito assegnato: osservazione iniziale dei modelli; rotazione balistica del modello interattivo; messa a punto della rotazione del modello interattivo. La figura 5A mostra lo sguardo alternato tra i modelli nella fase iniziale e, più specificamente, nella fase di messa a punto. La Figura 5B mostra che la pupilla rimane più dilatata nelle fasi iniziali e di messa a punto. Nella fase di messa a punto, il lungo periodo di fissazione sul modello interattivo (40-47 secondi in Figura 5A) corrisponde a un plateau nel diametro della pupilla (40-47 secondi, Figura 5B).

Questi risultati suggeriscono che i dati ottenuti con il metodo qui proposto sono coerenti con il modello di risoluzione dei problemi di rotazione mentale proposto sulla base dei dati di fissazione dello sguardo per i modelli statici^14,66 e per i modelli interattivi²³. Tale modello comprenderebbe tre fasi: ricerca, trasformazione e confronto e conferma della corrispondenza o della mancata corrispondenza tra i modelli. Inoltre, l'alternanza di fissazioni tra il modello target e quello interattivo nelle fasi di confronto osservate in Figura 5A è coerente con i risultati ottenuti nei test di tipo Sheppard e Metzler che utilizzano immagini statiche^42,66. Tuttavia, nel caso dei modelli interattivi, è probabile che queste fasi di ricerca, trasformazione, confronto e conferma avvengano successivamente attraverso l'interazione e il riposizionamento del modello interattivo.

Traiettorie di rotazione 3D
Ogni rotazione in uno spazio 3D da 0° a 180° può essere traslata in un punto all'interno di una sfera (che è inteso come il volume all'interno di una sfera) con un raggio pari a 180°. La Figura 6 mostra questa corrispondenza con tre rotazioni di esempio. La distanza del punto dal centro della palla è la disparità dell'angolo iObj dalla posizione tObj e il vettore che punta dal centro della palla al punto è la direzione di rotazione, la rotazione viene effettuata in senso orario guardando dal centro. Questa traslazione delle rotazioni in punti in una palla consente a qualcuno di visualizzare direttamente, in un unico disegno 3D, l'intera traiettoria delle rotazioni effettuate dal partecipante a un compito. Chiamiamo questo disegno la traiettoria di rotazione 3D.

Analogamente alla misura AD, per qualsiasi compito completato correttamente dal partecipante, la traiettoria dovrebbe avvicinarsi, alla fine, al centro della palla. Se la traiettoria raggiunge il bordo della sfera con una rotazione di 180°, si avvolgerà fino al punto antipodale sulla sfera. La Figura 7 illustra la traiettoria di rotazione assunta dai due partecipanti precedentemente citati che eseguono il terzo compito (C1 e C2 in Figura 4), visti sia in prospettiva che in proiezioni sui tre piani di coordinate. È chiaro dalla figura che, nonostante l'AD iniziale relativamente piccolo vicino a 45°, il partecipante 1 ha inizialmente deviato dalla posizione target prima di trovare un percorso definitivo verso la soluzione, a differenza del partecipante 2, che ha completato il compito più velocemente.

Mappa di calore della fissazione 3D
Durante il processo di risoluzione dei problemi, il partecipante alterna lo sguardo tra tObj e iObj mentre interagisce con iObj. Con i dati di tracciamento oculare, possiamo estrarre la posizione dello sguardo del partecipante e creare una mappa di calore delle regioni dello schermo che hanno catturato la maggior e la minore attenzione del partecipante in un dato intervallo. Andando oltre, con i dati di eye-tracking e i quaternioni iRT sincronizzati, possiamo mappare simultaneamente nello spazio 3D e nel tempo, quanta attenzione ciascuno dei vertici dell'oggetto sta ricevendo, anche per gli oggetti che vengono ruotati nel tempo.

Nella Figura 3, l'attenzione data all'oggetto è rappresentata dal livello di opacità di ciascun vertice. Più è vicino allo sguardo del partecipante e più a lungo rimane in prossimità, maggiore è l'attenzione che riceve, con conseguente maggiore opacità in quella regione dell'oggetto. La diminuzione spaziale dell'attenzione è modellata utilizzando una funzione gaussiana omogenea bivariata per la posizione dello sguardo e una funzione gaussiana omogenea semplice applicata per il tempo trascorso. La deviazione standard di queste gaussiane è stata scelta assumendo un angolo visivo di 2 gradi⁶⁷ e una memoria visiva a breve termine di 10 s⁶⁸. Per evitare artefatti visivi con questo metodo, i dati di prossimità dello sguardo sono impostati su zero quando lo sguardo si trova all'esterno dell'area di disegno dell'oggetto (iObj non riceve alcuna attenzione residua quando lo sguardo si trova all'interno dell'area di disegno tObj o all'esterno di entrambe). La Figura 3 mostra un singolo fotogramma di ogni oggetto di un'intera animazione di riproduzione e gli stessi fotogrammi con la mappa termica di fissazione 3D. Un possibile confronto tra tObj e iObj da parte del partecipante durante il processo di risoluzione può essere visto (Figura 3C, D) mentre il compito si avvicina alla sua conclusione (tempo = 6,3 s). L'intero processo può essere visto come un video nel video supplementare S1. Riportiamo i risultati della rotazione mediata dal computer dei modelli 3D presentati ai partecipanti come un compito svolto in condizioni ordinarie.

Figura 1: Oggetti target utilizzati. Immagine dei modelli 3D utilizzati nelle attività della pagina Web. (A) Una molecola con rappresentazione a sfera e bastone; (B) La stessa molecola con poligoni pieni, senza idrogeni e rappresentata solo da bastoncini; (C) un policubo simile a una delle figure¹³ di Shepard e Metzler, derivato dalla libreria di stimoli di Peters e Battista³⁶. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 2: Confronto tra fogli. (A,B) Le immagini sono tratte dal 1682707472090 bolaBastao_c.xlsx di unione dell'output del foglio di calcolo. Le colonne da A a G contengono i valori dei dati iRT, mentre le colonne da H a N contengono i valori dei dati dell'eye tracker. In (A), tutto è corretto, mentre in (B), nelle colonne dell'eye tracker, tutti i valori sono costanti e non corrispondono ai valori temporali del sistema iRT. Se si verifica un problema con il processo di sincronizzazione dei dati, è probabile che si verifichi questo errore. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 3: Mappa termica della fissazione 3D. Mappa termica di fissazione sull'oggetto 3D utilizzando una scala di opacità, dove più opaco è correlato a più tempo trascorso vicino allo sguardo del partecipante. (A,B) tObj e iObj immagini del compito risolto dal partecipante al segno di 6,3 s. (C, D) Stesse immagini di (A,B) nello stesso istante con l'aggiunta della scala di opacità della mappa di calore. (E,F) Immagini della heatmap di fissazione considerando l'intero periodo per il quale il partecipante ha potuto vedere gli oggetti. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 4: Griglia AD. Traccia la griglia della disparità angolare tra due partecipanti e tre attività. Le colonne rappresentano i partecipanti 1 e 2 e le righe rappresentano le attività risolte dai partecipanti utilizzando i tre oggetti illustrati nella Figura 3. Si noti che mentre l'AD varia tra 0° e 180°, l'intervallo di tempo non è fisso e varia in base alle prestazioni del partecipante e alla sua decisione di interrompere il processo. Mentre il partecipante ruota iObj, l'AD tra tObj e iObj varia con il passare del tempo e alla fine il partecipante sceglie l'orientamento iObj corrente come il più vicino a tObj. Nel 1^{° e 2° compito}, entrambi i partecipanti sembravano aver progredito in modo simile, ma il partecipante 1 ha impiegato la metà del tempo rispetto al partecipante 2. E nel 3^{° compito}, sebbene il partecipante 2 abbia impiegato meno tempo per completare il compito, il partecipante 1 aveva già risolto il compito prima dei 20 secondi e continuava ad apportare piccole modifiche per abbinare meglio iObj a tObj. Abbreviazione: AD = disparità angolare. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 5: AD con dati di eye-tracking. Evoluzione della disparità angolare combinata con i dati dell'eye-tracker. (A) Disparità angolare e posizione dello sguardo, evoluzione della disparità angolare tra tObj e iObj, insieme ai dati di fissazione regionale per ciascun modello. Il grafico mostra in quale regione si trova lo sguardo del partecipante: rosso quando si trova all'interno della tela iObj, blu quando si trova all'interno della tela tObj e grigio quando si trova all'esterno di entrambe, guardando un altro elemento sullo schermo o distogliendo lo sguardo da esso. (B) Disparità angolare e diametro della pupilla. Disparità angolare, in blu, accoppiata con i dati del diametro della pupilla, in arancione. Il diametro della pupilla è il valore medio delle pupille sinistra e destra in ogni momento. Abbreviazione: AD = disparità angolare. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 6: Palla di rotazioni. Questa figura illustra come ogni possibile posizione di rotazione di un oggetto da una posizione di riferimento possa essere rappresentata come un punto in una sfera di raggio di 180°, consentendo una rappresentazione completa della posizione di rotazione dell'oggetto in tutti e tre gli assi. Qui, una palla è intesa come il volume delimitato da una sfera. (A) L'oggetto utilizzato come esempio è un'unione asimmetrica di sette cubi, raffigurati in alto, a sinistra. Tre semplici rotazioni numerate I, II e III sono applicate a questo oggetto, come mostrato a destra. Sono, rispettivamente, +90° sull'asse x, -60° sull'asse z e 180° su un asse compreso tra +x e -y, a 45° da entrambi gli assi. (B) La palla di rotazione è mostrata con i punti corrispondenti alle rotazioni I, II e III. La distanza dal centro della palla è la disparità angolare. Quando III raggiunge l'angolo di rotazione massimo (180°), viene rappresentato anche nel suo punto antipodale, poiché sono essenzialmente gli stessi. La rotazione II, essendo in senso antiorario rispetto alla direzione positiva dell'asse z, appare sul lato negativo. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 7: Traiettoria di rotazione 3D. La traiettoria di rotazione all'interno della sfera delle rotazioni effettuate dai due partecipanti al terzo compito, vista sia in prospettiva (A) che in proiezioni sui piani di coordinate (B-D). Lo spessore della linea diminuisce nel tempo. Ogni colonna corrisponde a un partecipante (v1 e v2). Man mano che le traiettorie si avvicinano al centro della palla, i partecipanti sono più vicini a risolvere il compito. '0' indica la posizione iniziale dell'attività. I numeri successivi indicano i punti in cui la traiettoria raggiunge il bordo della palla e continua attraverso il punto antipodale sul lato opposto (da 1 a 2, da 2 a 3, da 3 a 4, ecc.). Clicca qui per visualizzare una versione più grande di questa figura.

Tabella supplementare S1: Intestazioni dei fogli. Elenco delle intestazioni nel file di foglio clonato. Ogni intestazione corrisponde al nome di una variabile e riceverà i dati da questa variabile formando una colonna di valori utilizzati nell'elaborazione e nell'analisi dei nostri dati. Clicca qui per scaricare questo file.

File supplementare 1: Guida al passaggio 1 del protocollo. Un elenco di schermate che guidano attraverso i passaggi del metodo del protocollo "1. Predisposizione di strumenti di raccolta dati". Clicca qui per scaricare questo file.

File supplementare 2: Guida al passaggio 3 del protocollo. Un elenco di schermate che guidano attraverso i passaggi del metodo del protocollo "3. Elaborazione e analisi dei dati". Clicca qui per scaricare questo file.

Video supplementare 1: Riproduzione della mappatura delle fissazioni. Un esempio di replay animati della mappatura dell'attenzione temporale in 3D da iObj e tObj contemporaneamente. Registrato con OBS Studios e renderizzato con OpenShot Video Editor. Clicca qui per scaricare questo file.

Discussion

Come affermato in precedenza, questo articolo mira a presentare una procedura dettagliata di mappatura in tempo reale dei dati di fissazione e movimento saccadico su oggetti 3D interattivi, che è facilmente personalizzabile e utilizza solo software disponibili gratuitamente, fornendo istruzioni passo-passo per far funzionare tutto.

Sebbene questa configurazione sperimentale comportasse un'attività altamente interattiva, come lo spostamento di un oggetto 3D in modo che corrisponda all'orientamento di un altro oggetto con PR in due dei tre assi possibili, abbiamo assicurato una documentazione approfondita dei nostri script attraverso commenti appropriati per facilitare qualsiasi personalizzazione. Possono essere progettati vari altri tipi di esperimenti, con il dispositivo di tracciamento oculare che è solo uno dei molti altri possibili dispositivi utilizzati per l'acquisizione di dati temporali.

Le intestazioni nel file copiato dal passaggio 1.1.3.3 definiscono il contenuto e la posizione in cui i dati verranno raccolti online. La tabella supplementare S1 elenca i nomi delle variabili (tutti con distinzione tra maiuscole e minuscole) e il relativo significato. Queste variabili rispecchiano quelle presenti nei file JavaScript all'interno del repository GitHub. Il tipo e la varietà dei dati e dei nomi delle variabili, sia da questo foglio che dai file JavaScript, dovrebbero essere modificati in base all'ambito e ai requisiti della ricerca.

La registrazione dei dati di rotazione in quaternioni permette al ricercatore di riprodurre gli stessi movimenti compiuti dai partecipanti durante i compiti, facilitando un'analisi del processo e utilizzando lo spazio di archiviazione in modo molto più efficiente rispetto ad una cattura dello schermo. Un'analisi più dettagliata, come la traiettoria di rotazione 3D, mostrata nella Figura 7 utilizzando la sfera di rotazione, è possibile solo attraverso i dati interni del quaternione degli oggetti interattivi. Espandendo il grafico AD nel tempo di Gardony²² e Adams²³, questo nuovo tipo di grafico fornisce informazioni più dettagliate, con le coordinate di rotazione 3D effettive nel tempo.

Un altro vantaggio deriva dall'utilizzo di una misura di tempo standard per sincronizzare tutte le origini dati. Unire diversi livelli di informazioni dipendenti dal tempo con questo diventa molto più facile, come la sovrapposizione di grafici con più fonti di dati, come nella Figura 5B con la misurazione della dilatazione della pupilla, o nella Figura 5A con bande verticali colorate, che denotano possibili modelli nel processo di risoluzione dei partecipanti, anche quando non c'era quasi nessuna rotazione in iObj. La mappa termica della fissazione 3D mostrata nella Figura 3 è possibile solo dai dati dei quaternioni e dalla sincronizzazione dei dati.

È fondamentale utilizzare la sincronizzazione attraverso una misura temporale standard per garantire qualsiasi integrazione dei dati temporali. Lo standard temporale scelto per il nostro progetto è stato UNIX Epoch, che viene utilizzato in JavaScript e nella maggior parte degli altri linguaggi di programmazione. Per ogni set di dati deve essere in uso un tipo di standard temporale noto, anche se uno standard diverso, che può essere successivamente convertito in UNIX Epoch. I dati temporali che non utilizzano alcuno standard saranno sicuramente incapaci di essere sincronizzati e perderanno la loro utilità.

Un'altra limitazione è la frequenza relativamente bassa di 10 Hz utilizzata nei test iRT in relazione alla frequenza dell'eye tracker di 60 Hz. Ciò accade in parte a causa delle limitazioni all'elaborazione e al trasferimento dei dati all'interno del browser, in quanto qualsiasi frequenza più elevata utilizzata ridurrebbe proporzionalmente il limite di tempo massimo di ogni attività, attualmente a 327 s. Inoltre, il rendering fluido di animazioni complesse in Jmol a questo framerate presentava già delle sfide. Supplemental Video S1 è una registrazione video di Jmol che esegue il rendering di un replay con la variazione di opacità nel tempo, mappando la quantità di messa a fuoco ricevuta da ciascun vertice. Sebbene la durata del video sia di quasi 2 minuti, l'attività effettiva è stata completata in 63 s. I futuri sviluppi del software che si rivolgono specificamente a tali funzionalità invece di adattare quelle esistenti, potrebbero affrontare queste limitazioni e migliorare le capacità di raccolta e analisi dei dati.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (Open Source)		Qualsiasi browser moderno aggiornato compatibile con WebGL (https://caniuse.com/webgl), e a sua volta con Jmol, può essere utilizzato
GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Google Sheets	Google LLC		https://www.google.com/sheets/about/
Laptop			: qualsiasi computer in grado di eseguire il software del sistema di tracciamento oculare.
Mangold Software Suite	Mangold		Interfaccia software utilizzata per il dispositivo di tracciamento oculare. È possibile utilizzare qualsiasi software che emette i dati con i valori dell'ora di sistema.
Mouse			Qualsiasi mouse in grado di fare clic e trascinare con semplici movimenti dovrebbe essere compatibile. Le interfacce umane analoghe a un mouse con le stesse funzionalità, come un touchscreen o un puntatore, dovrebbero essere compatibili, ma potrebbero comportarsi in modo diverso.
Vt3mini	EyeTech Sistemi		60 Hz. Qualsiasi dispositivo di Eye Tracking funzionante dovrebbe essere compatibile.