Computer Game-Based combinando esperimenti comportamentali ad alta densità tracking Gaze EEG e infrarossi

In questo video viene dimostrata una procedura per ottenere registrazioni simultanee del tracciamento dello sguardo e di elettroencefalogrammi ad alta densità da soggetti mentre eseguono compiti cognitivi coinvolgenti e ecologicamente validi inseriti in un videogioco. Innanzitutto, vengono applicati degli elettrodi al soggetto. Successivamente, viene calibrata la telecamera per il tracciamento dello sguardo.

L'argomento gioca al videogioco mentre vengono registrati i dati EEG e quelli dello sguardo. Vengono ottenuti potenziali correlati agli eventi e perturbazioni spettrali correlate agli eventi, che sono innescati dagli eventi di gioco. Il principale vantaggio di questa tecnica rispetto ai metodi esistenti, ad esempio pacchetti per la presentazione di stimoli come ePrime o Presentation, è che l'inserimento di esperimenti all'interno di un videogioco riduce l'ansia da prestazione allontanandosi da un contesto esplicito di test e aiuta i soggetti a rimanere motivati e coinvolti nei compiti per tutta la durata di una sessione sperimentale lunga.

Che comprende una vasta gamma di compiti cognitivi. Queste caratteristiche sono particolarmente importanti per popolazioni pediatriche e cliniche, in cui attenzione e motivazione possono rappresentare ostacoli a sessioni sperimentali complesse o prolungate. Mi chiamo Keith Yoder e sono un assistente di ricerca nel Laboratorio Beaumont.

Oggi mi assisterà David Post, tecnico di laboratorio e studente laureato UAUA presso il Dipartimento di Sviluppo Umano. Utilizzeremo un sistema di misurazione bios a 128 canali, semialativo, e un rilevatore dello sguardo a infrarossi iLink 1000 di SR Research. Prima di iniziare l'esperimento combinato con videogioco ed EEG, gli elettrodi devono essere bilanciati per assicurare che presentino piccoli offset nell'intervallo di più o meno 20 microvolt un'ora prima dell'arrivo del soggetto. Per l'esperimento EEG, bilanciare gli elettrodi immergendoli per cinque-dieci minuti in una soluzione salina composta da un cucchiaino di sale per litro di acqua distillata.

Non lasciare gli elettrodi immersi in alcun liquido per più di 10 minuti alla volta. Dopo aver rimosso gli elettrodi dal bagno salino, utilizzare un flacone spray riempito con acqua distillata per risciacquarli subito prima dell'arrivo del soggetto. Accendere le scatole convertitrici e i computer della telecamera di tracciamento dello sguardo per eseguire contemporaneamente il tracciamento dello sguardo e l'EEG; assicurarsi di utilizzare l'obiettivo lungo 16 millimetri nella telecamera di tracciamento dello sguardo.

L'allestimento utilizza quattro computer: un computer dedicato al rilevamento dello sguardo, un computer dedicato all'acquisizione dell'EEG, un computer dedicato alla presentazione degli stimoli e un computer per l'acquisizione video e l'analisi dei dati. Due scatole convertitore manipolano le uscite VGA provenienti dal computer per il rilevamento dello sguardo e dal computer per la presentazione degli stimoli, inviando un segnale video combinato al computer per l'acquisizione video.

In questo modo, il computer di acquisizione video può registrare lo schermo del gioco visto dal soggetto, sovrapposto a un cursore che rappresenta l'attuale fissazione dello sguardo e a un indicatore temporale. Questo video sovrapposto viene salvato in un file su disco nel computer di acquisizione video. Ora esaminiamo la configurazione dell'EEG.

Iniziare la preparazione per l'esperimento di EEG misurando la circonferenza della testa del soggetto attorno alla fronte e all'inion e selezionare un berretto elettrodico di dimensioni adeguate. Posizionare il berretto sulla testa del soggetto assicurandosi che l'etichetta sia all'esterno del berretto e poggiate sul collo del soggetto.

Riposizionare il cappuccio finché l'elettrodo A1 è centrato rispetto alla nasione, all'inione e al padiglione auricolare sinistro, e il bordo centrale del cappuccio giace lungo la linea mediana della testa del soggetto. La nasione è la depressione tra il naso e la fronte. L'inione è la sporgenza ossea situata sulla linea mediana nella parte posteriore della testa, e il padiglione è la lamina di cartilagine che si estende sul lato anteriore dell'apertura del condotto uditivo.

Quando il cappuccio è in posizione, applicare un anello adesivo alla carcassa in plastica degli elettrodi. Ex cinque ed ex sei. Allineare l'apertura dell'anello con la pasticca dell'elettrodo.

Rimuovere il supporto di carta dall'anello adesivo e coprire il contatto dell'elettrodo con del gel conduttivo. Posizionare EX sei sul mastoide destro del soggetto ed EX cinque sul mastoide sinistro del soggetto. Utilizzare una siringa ottusa per applicare il gel conduttivo in ogni alloggiamento degli elettrodi del cappuccio.

Muovere leggermente la punta della siringa per separare i capelli del soggetto. Quindi premere contemporaneamente lo stantuffo e tirare la siringa lontano dalla testa, come se si stesse decorando una torta. Riempire fino a quando il gel è livellato con la parte superiore della custodia di plastica.

Assicurarsi di non riempire eccessivamente. È meglio avere troppo poco gel piuttosto che troppo; un eccesso di gel può fuoriuscire tra i siti degli elettrodi causando un collegamento indesiderato tra di essi. Se gli elettrodi si collegano tra loro, non c'è nulla da fare.

Ma per rimuovere il cappuccio, chiedere al soggetto di lavare e asciugare i capelli, quindi ricominciare posizionando i connettori dei cavi degli elettrodi sopra la spalla e tenendo le estremità sensoriali in una mano; posizionare delicatamente ciascun elettrodo nel relativo alloggiamento all'interno del cappuccio per elettrodi. Afferrare esclusivamente la parte in plastica degli elettrodi ed essere molto attenti a non schiacciare i fili. È fondamentale non toccare le punte degli elettrodi.

Il contatto con la pelle, i vestiti o qualsiasi materiale diverso dal gel conduttivo degrada la qualità degli elettrodi. Applicare il gel conduttivo su X uno fino a X quattro e utilizzare anelli adesivi per fissarli sul volto del soggetto. Posizionare X uno e X due rispettivamente circa un centimetro in orizzontale dai canthi esterni sinistro e destro del soggetto.

Posizionare X tre e DX quattro circa un centimetro al di sotto della metà degli occhi sinistro e destro del soggetto, sui processi zigomatici. Raccogliere delicatamente i cavi degli elettrodi dietro al soggetto e avvolgere in modo lento il cavo C-M-S-D-R-L attorno agli altri. Per creare una coda di cavallo, posizionare fermagli in Velcro in alto e in basso sulla coda per mantenere i cavi in posizione e utilizzare nastro medico per fissare la coda alla parte posteriore della maglietta del soggetto.

Assicurarsi di lasciare un margine sufficiente in questi cavi per consentire al collo del soggetto di flettersi in avanti comodamente. Preparare ora gli elettrodi GSR applicando una soluzione di cloruro di potassio su ciascun elettrodo. Utilizzare nastro medico per fissare gli elettrodi GSR sul secondo e terzo dito della mano non dominante del soggetto o su quella mano che non verrà utilizzata durante l'esperimento.

Per registrare le risposte comportamentali con tutti gli elettrodi posizionati, far sedere il soggetto su una sedia fissa non reclinabile. Davanti al monitor di presentazione dello stimolo, collegare tutti gli elettrodi al box convertitore e verificare sul computer di acquisizione EEG che gli offset degli elettrodi siano compresi entro ± 40 microvolt. Se un elettrodo presenta un offset molto elevato o un segnale rumoroso, rimuoverlo delicatamente dal cap.

Inserire altro gel nell'alloggiamento e sostituire l'elettrodo. Se un problema persiste in un singolo elettrodo, o se un singolo elettrodo risulta contaminato da artefatti dell'impulso, quel canale dovrebbe essere interpolato a partire dagli elettrodi circostanti. Al termine della registrazione, configurare il tracciamento dello sguardo fissando innanzitutto un adesivo bersaglio sopra la sopracciglio settico mediale rispetto all'occhio.

Avviare l'applicazione pop-up di calibrazione sul computer di presentazione dello stimolo. Iniziare una nuova sessione e modificare il menu a discesa del tipo in CMD. Dopo aver inserito il comando appropriato, premere il pulsante di invio per attivare la registrazione degli eventi dall'avvio dell'applicazione pop-up di calibrazione configurazione della telecamera.

Posizionare la telecamera in modo che l'adesivo target e la lettera I del soggetto siano centrati per la soglia automatica. Premere il tasto A sulla tastiera del computer per la presentazione dello stimolo. Regolare la messa a fuoco ruotando l'obiettivo della telecamera finché la I da tracciare non appare nitida.

Iniziare la calibrazione del sistema di tracciamento dello sguardo sul soggetto premendo C sulla tastiera del computer di presentazione degli stimoli. Un punto apparirà in nove posizioni diverse sullo schermo in ordine casuale. Il soggetto dovrebbe guardare il punto quando appare, invece di anticipare la posizione del punto successivo.

Per convalidare la calibrazione, premere il tasto V. I puntini verranno visualizzati nuovamente in ordine casuale. Se la calibrazione è stata eseguita correttamente, lo sguardo del soggetto verrà mappato su ciascun punto di convalida.

Se la calibrazione fallisce, assicurarsi che le soglie della pupilla e della riflessione corneale siano appropriate. Le soglie della pupilla e della cornea possono essere regolate dalla schermata di configurazione della telecamera presente nel computer host island in alto a sinistra dello schermo; fare clic sulle frecce su e giù della pupilla e della cornea per aumentare o diminuire rispettivamente le soglie. Assicurarsi che la frequenza di campionamento sia impostata a 500 hertz facendo clic sul pulsante 500 hertz.

Minimizzare l'applicazione popup di calibrazione sul computer di presentazione degli stimoli e iniziare la registrazione dei dati dello sguardo facendo clic con il tasto destro sull'icona iLink nella barra delle applicazioni e selezionando Avvia registrazione. Avviare la registrazione video sul computer di acquisizione video utilizzando il software Black Magic Media Express. Quindi avviare la registrazione EEG sul computer di acquisizione EEG cliccando sul pulsante di pausa.

Ora, durante la presentazione dello stimolo, il computer avvia il gioco "Polus", un gioco appositamente progettato per garantire una validità ecologica senza compromettere il controllo sperimentale. In un gioco, i soggetti devono salvare una nave cargo sotto attacco. Un compito di tipo go/no-go è implementato introducendo un wormhole, dal quale appare o un alleato che aiuta il giocatore o un nemico che danneggia il giocatore. I partecipanti eseguono anche un compito di coerenza del movimento di punti guidando un'astronave attraverso campi stellari in movimento durante un altro gioco.

I soggetti devono utilizzare un radar per raccogliere asteroidi in un compito di Posner modificato, in cui i quattro settori in cui potrebbero apparire gli asteroidi lampeggiano a frequenze fondamentali diverse. Le variazioni nel contenuto spettrale dell'EEG possono quindi valutare l'attenzione in base alle ampiezze delle frequenze associate a ciascun settore. Un altro gioco chiede ai soggetti di contribuire a stipulare un trattato galattico identificando le emozioni rappresentate nei volti.

Ciascuna delle cinque facce deve essere posizionata su spazi vuoti di una tavola di gioco per creare una riga o una colonna di tre facce che esprimono la stessa emozione. Un quarto gioco implementa il test di Sally Anne della teoria della mente dei giocatori. Osserva il Capitano Sally mentre posiziona il suo carico su uno dei quattro pianeti.

Il ruolo di Anne è interpretato da un pirata spaziale che sposta il carico su un altro pianeta. Infine, un ammiraglio osserva sia il capitano che il pirata e trasmette informazioni sulle azioni del pirata al capitano. I giocatori devono quindi tracciare rotte di intercettazione per il capitano e per il pirata, deducendo dove ciascuno cercherà il carico, implementando così la teoria della mente del primo e del secondo ordine in confronti tra diverse condizioni.

I risultati recenti nell'interazione uomo-computer indicano il potere del contesto ludico nel creare e mantenere la motivazione in compiti che altrimenti potrebbero non risultare coinvolgenti in questo modo. È possibile eseguire molteplici compiti cognitivi in numerose prove ripetute durante una singola sessione sperimentale senza affaticare il soggetto. Questo aspetto è particolarmente importante perché, al fine di ottenere un numero sufficiente di prove per la mediazione dell'EEG, i soggetti devono accumulare circa cento prove per ciascuna condizione di stimolo. Per gli stimoli uditivi, sostituire gli altoparlanti passivi sul computer di presentazione degli stimoli con altoparlanti amplificati.

Quindi collegare e accendere l'amplificatore. Impostare il volume al livello 60. Questo è necessario per raggiungere un livello massimo di suono di 80 decibel SPL quando il soggetto ha terminato di giocare.

Uscire dal gioco e interrompere la registrazione dei dati premendo il pulsante di arresto all'interno dell'interfaccia grafica. Su ciascuno dei computer per l'acquisizione video del tracciamento dello sguardo e l'acquisizione dell'EEG, spegnere il box convertitore EEG e scollegare tutti i cavi dal dispositivo.

Rimuovere gli anelli adesivi e posizionarli in acqua distillata calda. Utilizzare un flacone spray riempito con acqua distillata per rimuovere qualsiasi gel residuo dagli elettrodi e usare acqua calda del rubinetto e sapone per eliminare il gel dal cappuccio degli elettrodi. Ora mostreremo alcuni risultati rappresentativi di EEG.

Di seguito è riportato un grafico di perturbazione spettrale relativo a un evento ottenuto da un elettrodo frontale medio Fz. In questo gioco, la condizione "nemico presente" corrisponde all'apparizione di una nave nemica o a una condizione "go", mentre la condizione "amico presente" corrisponde all'apparizione di una nave amica o a una condizione "no-go" durante la condizione "no-go". Tipicamente, i bambini in via di sviluppo mostrano una potenza EEG significativamente maggiore nella banda gamma rispetto ai bambini affetti da disturbo dello spettro autistico.

Quando si esegue questa procedura, è importante evitare di toccare i contatti dell'elettrodo, schiacciare i fili dei collegamenti o utilizzare troppo gel.