Una metodologia per catturare l'attenzione visiva congiunta utilizzando Mobile Eye-Tracker

Ciao, mi chiamo Bertrand Schneider e sono un assistente professore alla Harvard Graduate School of Education. In questo video vi mostrerò come possiamo usare gli eye-tracker mobili per catturare un costrutto centrale nelle scienze sociali, nell'attenzione visiva congiunta. L'attenzione visiva congiunta è stata ampiamente studiata dagli psicologi ed è stata trovata strettamente correlata alla qualità delle interazioni tra i membri del gruppo.

Si scopre che quando le persone costruiscono un terreno comune e creano una comprensione condivisa di un compito, tendono spesso a guardare allo stesso posto allo stesso tempo. Tradizionalmente, i ricercatori hanno studiato qualitativamente l'attenzione visiva congiunta codificando manualmente i video. Vi mostrerò come possiamo usare gli eye-tracker mobili per ottenere una misura quantitativa di questo costrutto in impostazioni co-localizzate.

In questo video utilizzeremo gli occhiali Tobii Pro Due. Questi occhiali sono eye-tracker indossabili in grado di catturare il movimento degli occhi in ambienti reali. Oltre alle telecamere specializzate sul telaio per tenere traccia dei movimenti degli occhi, il dispositivo è anche dotato di una telecamera di scena full-HD e di un microfono, in modo che il comportamento dello sguardo possa essere visualizzato nel contesto del campo visivo di chi lo indossa.

Per questi occhiali lo sguardo viene catturato 50 volte al secondo e un feed video in diretta dagli occhiali può essere trasmesso in streaming a un computer in modalità wireless o tramite un cavo Ethernet. Gli occhiali hanno però una limitazione, in quanto non funzioneranno sugli occhiali normali. La procedura per impostare l'eye-tracker è relativamente semplice.

In primo luogo, ai partecipanti verrà chiesto di indossare gli occhiali per il tracciamento oculare come farebbe con un normale paio di occhiali. In base alle caratteristiche facciali distinte dei partecipanti, potrebbe essere necessario utilizzare pezzi del naso con altezze diverse per preservare la qualità dei dati. Dopo aver attivato eye-tracker, i partecipanti devono ritagliare l'unità di raccolta dati alle loro persone per consentire movimenti del corpo sfrenati.

Il controller Tobii Pro Glasses deve essere aperto e i partecipanti devono essere istruiti a guardare il centro del marcatore di calibrazione fornito da Tobii, mentre la funzione di calibrazione del software è abilitata. Una volta completata la calibrazione, la registrazione può essere avviata dall'interno del software. Al termine della sessione di registrazione, terminare la registrazione dal software Tobii prima di incaricare il partecipante di rimuovere gli occhiali di tracciamento oculare e l'unità di raccolta dati.

E poi, spegni l'unità. I dati possono essere estratti attraverso un altro software, Tobii Pro Lab, rimuovendo la scheda SD dall'unità di raccolta dati e inserendo la scheda nel computer. Tobii Pro Lab è in grado di importare contemporaneamente tutte le sessioni di registrazione memorizzate nella scheda SD.

I file possono quindi essere elaborati all'interno di Tobii Pro Lab per generare video, visualizzazioni diverse o essere emessi come valori separati da tabulazioni o file TSV per ulteriori analisi. Qui potete vedere i dati grezzi del tracciamento oculare da uno studio che abbiamo condotto di recente, in cui due partecipanti stavano imparando a programmare un robot. Su ciascun lato è possibile visualizzare il flusso video generato da ogni eye-tracker con la posizione dello sguardo del partecipante.

Come puoi vedere, è impossibile dire se stanno guardando lo stesso posto allo stesso tempo, perché il punto di vista di ogni partecipante è diverso. Inoltre, la registrazione dei dati potrebbe iniziare in momenti diversi. Ciò significa che i dati devono essere sincronizzati in modo temporale e spaziale.

Vi mostrerò come affrontare questi due problemi in questo video. Innanzitutto, descriverò una procedura per sincronizzare temporaneamente i dati. Per il primo partecipante hai un certo numero di fotogrammi video.

Alcuni di essi sono prima o dopo l'effettivo compito sperimentale. Come il primo fotogramma, in cui lo sperimentatore sta calibrando l'eye-tracker. Allo stesso modo, per gli altri partecipanti hai lo stesso tipo di dati.

Non viene mostrato qui, ma ogni fotogramma del video è anche associato a una coordinata x e y che rappresenta lo sguardo di ogni partecipante. Per sincronizzare i dati, mostriamo brevemente un marcatore fiduciario sullo schermo del computer prima e dopo l'attività sperimentale. Utilizzando un algoritmo di visione artificiale, possiamo rilevare quando questo marcatore viene presentato a ciascun partecipante, il che ci consente di tagliare e allineare i dati.

Quindi, questo è un modo per affrontare i problemi di sincronizzazione dei dati. Nelle prossime parti, vengono esaminare il secondo problema:Come sincronizzare i dati in modo spaziale. Come accennato in precedenza, i dati provengono da ogni eye-tracker sotto forma di un feed video associato alla posizione dello sguardo di ogni partecipante, qui in blu e verde.

Mentre le coordinate x e y potrebbero essere le stesse per entrambi i partecipanti, ciò non significa che guardino nello stesso posto perché guardano lo schermo da due prospettive diverse. Un modo per risolvere questo problema è quello di creare un'immagine della configurazione sperimentale che servirà da riferimento e dove rimapperemo la posizione del caso di ogni partecipante. Questo ci consente di rilevare per ogni fotogramma del video di tracciamento oculare, se i partecipanti guardano lo stesso posto allo stesso tempo.

Ma come rimappiamo queste coordinate nell'immagine a sinistra? Useremo lo stesso algoritmo di visione cooperativa che ci ha permesso di sincronizzare i dati in precedenza. Applicandolo su ogni fotogramma delle registrazioni video, ora possiamo rilevare la posizione dei marcatori fiduciari dal punto di vista dei partecipanti.

Questo ci consente di collegare gli stessi marcatori sull'immagine di riferimento a sinistra. Conoscendo le coordinate di questo insieme condiviso di punti, possiamo dedurre la posizione dello sguardo di ogni persona usando un'operazione matematica nota come omografia. Applicando questa procedura su ogni fotogramma, possiamo generare un video per assicurarci che l'omografia abbia funzionato.

Sul lato destro è possibile vedere la registrazione video di ogni partecipante con la posizione del proprio sguardo in blu e verde. Gli stessi marcatori fiduciari sono collegati con una linea bianca tra l'immagine a sinistra e il punto di vista del partecipante sul lato destro. Gli sguardi rimappati sono mostrati a sinistra e diventano rossi quando c'è un'attenzione visiva congiunta.

La generazione di questo video è un passo importante per assicurarsi che i dati siano puliti e che l'omografia sia stata eseguita correttamente. Inoltre, ci sono altre due visualizzazioni che possono essere prodotte per verificare la sanità mentale dei dati. La prima visualizzazione è una mappa termica.

Per ogni partecipante possiamo tracciare ogni punto di sguardo sull'immagine della configurazione sperimentale. Ciò garantisce che l'omografia abbia funzionato correttamente e ci consente di classificare questi punti del caso in diverse aree di interesse. Qui, ad esempio, possiamo vedere che la maggior parte del tempo è stato trascorso a guardare lo schermo del computer e molto poco tempo è stato speso guardando i fogli di trucchi.

La seconda visualizzazione è chiamata grafico di ricorrenza incrociata. I grafici di ricorrenza incrociata ci consentono di visualizzare i dati di tracciamento oculare per coppie di partecipanti. L'ora del primo partecipante viene visualizzata sull'asse x, l'ora del secondo partecipante viene visualizzata sull'asse y.

I quadrati neri significano che entrambi i partecipanti guardano nello stesso posto, il quadrato bianco rappresenta i dati mancanti e il quadrato grigio rappresenta quando i partecipanti guardano posizioni diverse. I quadrati neri lungo la diagonale significano che stanno guardando nello stesso posto allo stesso tempo. I quadrati neri dalla diagonale significano che i partecipanti guardano nello stesso posto ma in momenti diversi.

A sinistra, puoi vedere un dyad con alti livelli di attenzione visiva congiunta. Nel mezzo, un diade con bassi livelli di attenzione visiva articolare. Sul lato destro, un gruppo con molti dati mancanti.

Eseguendo questi controlli di sanità mentale, è possibile assicurarsi di aver sincronizzato e rimappato correttamente i dati in un'immagine comune della configurazione sperimentale. Questi passaggi sono fondamentali e devono essere eseguiti prima che abbia luogo qualsiasi analisi. Infine, ci sono due parametri che devono essere scelti prima di calcolare una misura dell'attenzione visiva congiunta.

Il primo parametro è l'ora in cui i partecipanti possono guardare la stessa posizione. Il precedente lavoro di Richardson e Dale aveva stabilito che i partecipanti possono richiedere fino a due secondi per disimpegnarsi da ciò che stanno facendo per prestare attenzione a ciò che il loro partner sta facendo. Pertanto, abbiamo determinato che c'è un'attenzione visiva congiunta se due partecipanti hanno guardato lo stesso posto all'interno di una finestra più e meno due secondi.

Il secondo parametro è la distanza minima tra due punti di sguardo per qualificarsi come attenzione visiva congiunta. Questa distanza dipende dal contesto e deve essere definita dai ricercatori a seconda del compito somministrato e delle loro domande di ricerca. Per alcune attività, la distanza potrebbe essere breve.

Qui, ad esempio, abbiamo usato 100 pixel. Per altre attività questa distanza potrebbe essere maggiore. Successivamente, presenterò alcuni risultati trovati utilizzando questa metodologia.

Dopo aver ottenere una stima della quantità di attenzione visiva congiunta nel gruppo, è possibile correlare questa misura con altre variabili di interesse. Ad esempio, nel lavoro abbiamo correlato questa misura con lo schema di valutazione sviluppato in scienze dell'apprendimento che cattura una qualità di collaborazione di gruppi. Per ogni gruppo abbiamo assegnato un punteggio sui nove di dimensioni presentati qui.

Ad esempio, quanto bene le persone hanno sostenuto la comprensione reciproca o quanto facilmente hanno raggiunto un consenso. Questi punteggi devono ricevere un'affidabilità accettabile per l'interazione con un'altra quota. Infine, possiamo anche aggregare questi punteggi in una metrica generale che approssima la qualità della collaborazione per ogni gruppo.

Un risultato che è stato trovato nel nostro lavoro e in altri studi è che l'attenzione visiva congiunta è significativamente correlata con la qualità della collaborazione, misurata dallo schema di valutazione presentato in precedenza. I gruppi che sono valutati molto utilizzando questo schema di codifica tendono ad avere più attenzione visiva congiunta rispetto ai gruppi che hanno ricevuto punteggi bassi. Ciò dimostra che le interazioni produttive sono spesso associate a un'attenzione visiva più congiunta.

Nella prossima diapositiva vi mostrerò un altro risultato che si basa su questa scoperta. Quindi, un vantaggio di avere ottimi dati di tracciamento oculare è che possiamo estrarre altre misure di attenzione visiva congiunta. Ad esempio, possiamo calcolare chi ha avviato e risposto a un'offerta di attenzione visiva congiunta.

In particolare, sull'asse x di questo grafico il punteggio di zero significa uguale distribuzione di questi comportamenti e un punteggio di uno significa che una persona rispondeva sempre o avviava momenti di attenzione visiva. In questo studio abbiamo trovato una correlazione inversa con i guadagni di apprendimento mostrati sull'asse y misurati dai pre e post-test. I gruppi in cui la stessa persona stava costantemente iniziando o rispondendo a momenti di attenzione visiva congiunta avevano meno probabilità di apprendere e i gruppi in cui questa responsabilità era equamente condivisa avevano maggiori probabilità di ottenere un punteggio più alto nei post-test quando controllavano i punteggi nel pre-test.

In questo video ho presentato la metodologia che aiuta i ricercatori a sincronizzare i dati di tracciamento oculare mobile sia temporaneamente che spazialmente. I risultati suggeriscono che i doppi dati di tracciamento oculare possono fornire indicatori di collaborazione calcolando misure di attenzione visiva congiunta. Inoltre, ho presentato risultati che mostrano che possiamo andare oltre le semplici misure di attenzione congiunta, ad esempio, guardando chi ha iniziato o risposto a un episodio di attenzione visiva congiunta.

La Corte ha riscontrato che questa misura era correlata ad altre misure di risultato, come i guadagni di apprendimento. Calcolare questo tipo di misura non sarebbe possibile senza i dati di tracciamento oculare. In sintesi, abbiamo scoperto che la metodologia presentata in questo video può aiutare i ricercatori a ottenere nuove informazioni sui processi collaborativi.

Grazie mille per aver guardato questo video e sentiti libero di fare riferimento al giornale per ulteriori informazioni.