Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
Click here for the English version

Neuroscience

Computer Game-Based combinando esperimenti comportamentali ad alta densità tracking Gaze EEG e infrarossi

Published: December 16, 2010 doi: 10.3791/2320

Summary

Procedure per la registrazione dei dati EEG e lo sguardo ad alta densità del computer durante compiti cognitivi basate su giochi sono descritti. Utilizzando un videogioco per presentare compiti cognitivi aumenta validità ecologica senza sacrificare il controllo sperimentale.

Abstract

Paradigmi sperimentali sono preziose in quanto i tempi e di altri parametri dei loro stimoli sono ben specificate e controllate, e nella misura in cui fornire dati rilevanti per il processo cognitivo che si verifica in condizioni ecologicamente valide. Questi due obiettivi spesso sono in disaccordo, in quanto gli stimoli ben controllati spesso sono troppo ripetitivi per sostenere la motivazione soggetti '. Studi che impiegano elettroencefalografia (EEG) sono spesso particolarmente sensibili a questo dilemma tra validità ecologica e controllo sperimentale: raggiungere sufficiente rapporto segnale-rumore nelle medie esigenze fisiologiche un gran numero di prove ripetute all'interno di lunghe sessioni di registrazione, limitando la piscina soggetto agli individui la possibilità e pazienza per svolgere un compito di più e più volte. Questo vincolo limita gravemente la capacità dei ricercatori 'di indagare più giovane popolazione, nonché le popolazioni clinici associati con l'ansia intensa o anomalie di attenzione. Anche per adulti, non clinici soggetti potrebbero non essere in grado di raggiungere i livelli tipici di prestazioni o di impegno cognitivo: un soggetto demotivato per il quale un compito sperimentale è poco più di un lavoro di routine non è la stessa, behaviourally, cognitivamente, o neuro, come soggetto che è intrinsecamente motivato e impegnato con il compito. Un numero sempre crescente di letteratura dimostra che l'inserimento all'interno di esperimenti videogiochi possono fornire un modo tra i corni di questo dilemma tra controllo sperimentale e validità ecologica. Il racconto di un gioco fornisce un contesto più realistico in cui si verificano le attività, migliorando la loro validità ecologica (Chaytor & Schmitter-Edgecombe, 2003). Inoltre, questo contesto fornisce la motivazione per completare le attività. Nel nostro gioco, i soggetti di eseguire le varie missioni per raccogliere risorse, respingere i pirati, intercettano le comunicazioni o facilitare le relazioni diplomatiche. Così facendo, hanno anche eseguire una serie di compiti cognitivi, tra cui una attenzione-shifting paradigma di Posner (Posner, 1980), un go / no-go test di inibizione motoria, un psicofisico coerenza task di movimento soglia, il test integrato Figure (Witkin , 1950, 1954) e una teoria-di-mente (Wimmer e Perner, 1983) compito. Il software di gioco registra automaticamente stimoli di gioco e azioni soggetti 'e le risposte in un file di log, e invia codici evento per la sincronizzazione con i registratori di dati fisiologici. Così il gioco può essere combinata con misure fisiologiche come EEG e fMRI, e momento per momento tracciamento dello sguardo. Monitoraggio sguardo può verificare il rispetto soggetti 'con compiti comportamentali (ad esempio la fissazione) e l'attenzione evidente agli stimoli sperimentali, ed anche l'eccitazione fisiologica, come risulta dilatazione della pupilla (Bradley et al., 2008). A grande frequenze di campionamento abbastanza, il monitoraggio sguardo può anche aiutare a valutare l'attenzione segrete, come risulta microsaccadi - movimenti oculari che sono troppo piccoli per foveate un nuovo oggetto, ma sono in rapida insorgenza e hanno lo stesso rapporto tra la distanza angolare e la velocità di punta come fanno saccadi che attraversano grandi distanze. La distribuzione delle direzioni di microsaccadi correla con la (non) senso dissimulata di attenzione (Hafed & Clark, 2002).

Protocol

1. Progettare un gioco divertente e scientificamente video informativo

  1. Applicare un processo iterativo di progettazione gioco in cui le preoccupazioni di valore scientifico e giocabilità informano reciprocamente. In qualità di sperimentatore, avete idee per gli stimoli e paradigmi di comportamento che si vuole vedere integrato in un gioco per computer. Perché non sono un game designer, il compito di costruire questi paradigmi in gioco può sembrare un dettaglio che può essere affrontato dopo che la maggior parte del lavoro è stata completata. Niente potrebbe essere ulteriore dalla verità. Se un gioco attirerà giocatori motivati ​​- e quindi se i dati saranno raccolti in condizioni di massima validità ecologica - dipende essenzialmente da un buon design. Design del gioco è distinta dalla programmazione del gioco e di attuazione, e di solito è fatto da persone diverse con competenze diverse. Il budget può permettere per designer professionisti, o può consentire solo per i progettisti degli studenti - a seconda del caso, però, il design dovrebbe essere trattato come un compito distinto dal attuazione, e una dimestichezza con il compito, ma non sinonimo, la specificazione del paradigma sperimentale . Non tutte le vostre idee e dei vincoli sarà realizzabile come un gioco giocabile. Un buon progettista tornerà a voi con domande e suggerimenti su come il vostro paradigma sperimentale potrebbe essere reso più flessibile, al fine di produrre una giocabile, divertente gioco. Nella nostra esperienza, game design per la scienza sperimentale è un processo iterativo in cui gli sperimentatori mano il gioco progettisti una serie di vincoli, il gioco designer mano posteriore idee progettuali e suggerimenti per la modifica di questi vincoli, il sperimentatori riformulare i vincoli in risposta a questo feedback , e così via.
  2. Design per i giocatori di entrambi i sessi. A livello di popolazione, culturalmente e biologicamente basato tratti cognitivi distinguere maschi e femmine (Valla et al., 2010). Molti i formati video standard di gioco - in particolare la "sparatutto in prima persona" - Appello per un profilo tipicamente maschile cognitiva. Disegni gioco standard, quindi, introdurre un pregiudizio maschile di reclutamento e di una confondere tra prestazioni e del comportamento sessuale. La triste realtà è che le persone che si specializzano nel game design ungendered (Graner Ray, 2004) sono insufficienti. Attenzione che la maggior parte dei professionisti di gioco (e studenti) sono di sesso maschile, e che se lasciato senza sorveglianza con un paradigma sperimentale che sarà, quasi inevitabilmente, finiscono per progettare un sparatutto in prima persona intorno ad esso.
  3. Usare il tempo di gioco per raccogliere le prove ripetute in modo efficiente. Basati sui giochi evento-correlati esperimenti potenzialità impone la raccolta di molte ripetute prove (in genere almeno un centinaio per ogni condizione) di molti compiti cognitivi separati da eseguire durante una singola sessione sperimentale, senza affaticare il soggetto sperimentale . Considerare la percentuale di tempo durante il quale il gioco prove sperimentali saranno effettivamente in corso. Quanto del tempo di contatto del giocatore con il gioco sarà direttamente scientificamente utile nel fornire dati sperimentali, e quanto di questo tempo di contatto sarà "filler" che lega insieme queste prove sperimentali in un gioco narrativo? Progettazione in modo da massimizzare la percentuale di tempo di gioco che saranno utili per l'acquisizione dei dati. Per evitare ripetizioni franca, si consideri inframmezzando esperimenti di tipo diverso, ad esempio un compito attivo di comportamento punteggiato da uno stimolo sensoriale passivo. Dopo aver respinto le prove male, si può accumulare prove a sufficienza per la media fisiologica, senza che il giocatore sta diventando impaziente o annoiato con il gioco? Se la risposta a questa domanda è no, è necessario modificare il progetto.
  4. Evitare esperimenti gonfiore con altri fattori o condizioni Può sembrare tentati di aggiungere condizioni e le variazioni all'interno di paradigmi sperimentali, in modo da affrontare le questioni relative -. Per esempio, in un compito attenzione come potrebbe elettrofisiologia e le prestazioni comportamentali essere colpiti in un contesto in cui distrattori può apparire, a fronte di un contesto in cui ogni stimolo è compito rilevanti? O in un contesto di segnali sensoriali multimodali contro unimodale? Nel migliore dei casi, il factoring tali aggiungere informazioni utili ei numeri fisiologicamente adeguata di prove sarebbero stati acquisiti all'interno di ciascun fattore. Nel peggiore dei casi, però, il factoring porta ad una "pesantezza esperimento" in cui nessuna condizione individuale porta un numero sufficiente di osservazioni, l'analisi deve quindi collasso osservazioni le varie patologie, e l'unico risultato è un aumento problematico in intra-campione varianza. Questo problema di "pesantezza esperimento" diventa più significativo quando gli esperimenti sono implementate in un formato di gioco, perché la varietà è una proprietà desiderabile in un gioco. Aggiungi fattori solo se si può essere certi che ogni fattore individuale conterrà una serie di prove sufficienti per una media, senza guidare il giocatore alla noia.
  5. <li> Evitare di eventi programmati; dare al giocatore il controllo di quando le cose accadono, quando possibile, pronto il giocatore Molte popolazioni neuropsichiatriche hanno difficoltà con la funzione esecutiva, vale a dire, in rapida progettazione ed esecuzione di azioni in risposta agli input sensoriali.. Possono avere una grande quantità di abilità e in alcune attività addirittura superare le prestazioni normali - ma questo può essere un intensamente studiato e considerato, lo stile deliberato di abilità, spesso non espresso in tempi ristretti. Quindi è importante accertarsi che la tempistica degli eventi è controllata non dal computer (tranne nei casi in cui l'esperimento lo richiede), ma dal giocatore. Piccole aggiunte ad esempio un pulsante "Avanti" o un pulsante "pronto" può fare la differenza. Ad esempio, parte del nostro gioco (Figura 1) implementa un test "go / no-go" di inibizione esecutivo, in cui il giocatore è richiesto di rispondere o di rifiutare una risposta in base all'identità di un obiettivo che emerge da uno spazio "wormhole". Piuttosto che causano l'obiettivo di emergere in un momento del tutto arbitrario, il nostro software attende il giocatore di lanciare un fascio che si apre il wormhole. L'obiettivo emerge poi, dopo un ritardo casuale. Questo approccio permette di misurare eventi cerebrali preventiva e la risposta legati elettrici pur permettendo al giocatore di preparare per il contesto comportamentale. Così, laddove i vincoli del permesso di paradigma sperimentale, i giochi dovrebbero essere giocatore centrato piuttosto che da computer centrato, e il gioco dovrebbe essere guidata dagli eventi piuttosto che il tempo-driven.
  6. Non dipendono dalla memoria di un giocatore di istruzioni;. Indurre il giocatore ogni volta che un corollario della funzione esecutiva problema è che il giocatore potrebbe avere difficoltà a ricordare una sequenza di passi. Anche se (s) ha imparato in un tutorial che il tasto A innesca l'azione X e il tasto B innesca l'azione Y, queste associazioni arbitrarie potrebbe non essere ricordato, a meno che il giocatore ha avuto la possibilità di praticare attivamente queste azioni, molte volte.
  7. Un ulteriore corollario: Non fare input-output mappature dipendono dallo stato game designer e soprattutto implementatori potrebbero essere tentati di nascondere le funzioni all'interno di sottomenu, il cui accesso dipende del giocatore clic sul menu primario corretto, o per effettuare una. trascinamento del mouse fare qualcosa di diverso dopo un clic che dopo non cliccare (o, peggio ancora, qualcosa di diverso dopo un sinistro del mouse che dopo un clic destro). Evitare tale logica sequenziale nell'interfaccia utente. Ove possibile, usare la logica puramente combinatoria. Una logica sequenziale è ovviamente inevitabile - per esempio nel passaggio da un contesto di gioco o mini-gioco ad un altro - ma dovrebbe essere usata con parsimonia e solo quando assolutamente necessario.
  8. Invece di una sequenza di azioni, per chiedere una sola azione alla volta. Azioni rapide può essere abbastanza difficile da soli, ma quando i pazienti neuropsichiatrici fronte alla domanda aggiuntiva di eseguire alcune di queste azioni rapidamente e in corretta sequenza possono sentirsi molto sopraffatti . Invece di richiedere sequenze di ingressi in risposta a un prompt singolo, provare per richiedere separatamente per ogni ingresso.
  9. Utilizzare immagini non esclusivamente parole giocatori con deficit nel linguaggio, la lettura, l'attenzione, o la memoria potrebbe non capire le istruzioni testuali. - Non perché il giocatore è incapace di comprendere, ma perché (s) lui è concentrarsi tanto sulla decodifica delle singole parole che (s ) non riesce a risparmiare molto sforzo per mettere insieme in quelle parole il significato di frasi e racconti. A volte il testo è inevitabile, se il testo viene utilizzato, evitare prolissità, non ingombrare lo schermo con le parole, non includono serie di "prossimo" che richiede passaggi separati in blocchi gestibili, e non permettono al giocatore di tornare indietro attraverso queste richieste a leggere testo che (s) ha già visto.
  10. I giocatori dovrebbero imparare facendo, non solo osservando o leggendo o ascoltando A questo proposito, popolazioni di pazienti non sono diverse dalle persone in generale:. Tutti noi impariamo meglio quando possiamo essere attivi piuttosto che passivi studenti. Le sfide affrontate dai pazienti neuropsichiatrici rendono ancora più importante che le attività di gioco coinvolgono learning-by-doing, piuttosto che a seconda del learning-by-lettura o learning-by-ascolto. Questo è particolarmente vero per i tutorial di gioco o le istruzioni.
  11. Evitare di dipendere da eventi simultanei o quasi simultanea in diversi canali percettivi (ad esempio luoghi diversi sullo schermo, o diversi sensi come il video con audio). Neuropsichiatrici Alcuni pazienti possono avere difficoltà con l'integrazione percettivo, e possono concentrarsi su un solo canale percettivo a un tempo. Quando concentrandosi su un punto o area del display, gli eventi da questo centro spaziale di attenzione non può registrare. Anatema per questo tipo di giocatore sarebbe un display pozzetto con molti indicatori che indicano quantità diverse, che tutti hanno bisogno di be contemporaneamente osservato - o di un display visivo che deve essere osservato al tempo stesso come un segnale uditivo parlato o altro. Invece, sia le informazioni devono essere visualizzate in una regione del display o un canale sensoriale, o tutto il tempo dovrebbe essere consentito di spostare l'attenzione tra i punti nello spazio visivo o tra i canali sensoriali. A giocatori con autismo, per esempio, turni di attenzione può prendere 2 o 3 secondi (Belmonte, 2000) - dieci volte più a lungo per gli altri giocatori! Pensate a cosa sarebbe come essere guardare il display attraverso un telescopio lungo che ingrandisce una piccola area ma chiude fuori la periferia.
  12. Evitare inutili allarmismi evocando popolazioni neuropsichiatrici possono essere molto più inclini all'ansia di altri giocatori -. Specialmente quando di fronte a un compito nuovo e inesperto, o con un compito a tempo, o con uno scenario interattivo che è fuori del loro controllo. Fare tutto il possibile per assicurarsi che il giocatore, non il computer, è quella che controlla quello che succede dopo, e che il giocatore ha tutte le opportunità di praticare e di sentirsi a proprio agio con le esigenze del gioco. Considerate anche un tutorial che permette al giocatore di passare attraverso tutte le azioni del gioco - ad esempio click e pressioni di tasti - come (s) riceve istruzioni.
  13. Per ripetere gli eventi, i tempi variano leggermente in modo che il tempo tra due istanze successive della manifestazione non è costante. Esperti di elaborazione del segnale conoscerà il fenomeno di aliasing, in cui un campione discreta di un segnale ad alta frequenza in un tasso troppo basso di campionamento produce un artefatti a bassa frequenza di oscillazione. La questione che circonda misure EEG di eventi ripetuti ha molto in comune con aliasing. Consideriamo come esempio la situazione che esiste quando un tasto di movimento è tenuto premuto: avatar del giocatore si muoverà in una certa velocità, diciamo, una volta ogni 500 ms. Supponiamo che uno è interessato nella risposta cerebrale per l'effetto movimento. Supponiamo anche, però, che c'è un corso, endogeno (cioè portato internamente) 10 hz oscillazione nella corteccia visiva che non ha nulla a che vedere con questo fenomeno esogeno. Dal 500 ms è un multiplo intero del periodo di 100 ms di questa oscillazione, il campionamento della risposta esogena cervello ad ogni movimento anche campione l'oscillazione endogena allo stesso punto nella sua fase ogni volta, e l'analisi in tal modo sarebbe misattribute il segnale endogene come una risposta allo stimolo esogeno movimento. Per prevenire questa ambiguità nell'analisi EEG, si può aggiungere una piccola quantità di jitter temporale con gli intervalli tra gli stimoli (Fortuna, 2005, p. 135) - non tanto da farli sembrare innaturale variabile per il giocatore, ma sufficiente per ottenere liberarsi di questo manufatto fase. L'importo esatto dipende da quello che sembra naturale, data la separazione evento, in questo esempio di un evento di 500 ms si potrebbe ritenere che qualsiasi variazione di oltre il 10% dell'intervallo in entrambe le direzioni sembrerebbe innaturale, per cui potremmo scegliere di variare gli intervalli più di una distribuzione uniforme da 450 ms a 550 ms. Aggiungi il più jitter temporale sembra naturale, senza sacrificare la giocabilità.
  14. . Progettare pensando all'estensibilità Portare un gioco completo del computer dall'idea alla realizzazione è un impegno di tempo e impiego di manodopera - si può trovare, in effetti, un lavoro di giorno lavora come ricercatore e un lavoro notturno come un game designer e project manager! Ha senso, quindi, per rendere il gioco flessibile ed estensibile, in modo che gli esperimenti che non può essere stato concepito quando il gioco è stato progettato possono essere aggiunti senza la definizione e l'implementazione di un sistema di gioco completamente nuovo. Questo obiettivo di estensibilità può essere realizzato in parte nel game design e in parte nella progettazione del software.

    Nel design del gioco, si consideri un sistema che permette l'aggiunta di nuovi moduli di gioco. Nel nostro sistema, un gioco principale è supportato da una serie estendibile di mini-giochi: i giocatori devono immettere ciascuno dei mini-giochi al fine di acquisire o mantenere le risorse che sono di valore nel gioco principale. Ogni mini-gioco incorpora 2-3 esperimenti. Per esempio, avendo progettato una colonia spaziale, i giocatori entrano in un esecutivo-funzione e percezione visiva mini-gioco in cui guidare una navicella spaziale attraverso un campo di stelle alla deriva e decidere come rispondere alle astronavi amichevoli o avversario (Figura 1), una attenzione visiva mini-gioco in cui si rilevano gli asteroidi che possono essere estratti per le materie prime per costruire quella colonia (Figura 2), una emozione-percezione mini-gioco in cui contribuiscono a una trattativa diplomatica facendo corrispondere i volti di persone diverse che stanno dimostrando le stesse emozioni (Figura 3), e una sociale, cognitivo mini-gioco in cui contrastare i pirati che vogliono rubare le forniture di loro colonia (Figura 4). In pratica, è abbastanza facile trovare un concetto in cui una nuova attività sperimentale può essere integrato nella narrazione gioco - ma l'impianto generale per consentire l'integrazione devono essere desiGNED in a priori.

    Anche se i giocatori sono consapevoli del fatto generale che stanno eseguendo esperimenti, la raccolta di dati sperimentali è discreto: Durante il compito di sterzo uno stimatore di massima verosimiglianza (Pentland, 1980; Lieberman & Pentland, 1982) calcola la soglia psicofisico del giocatore per la percezione di movimento coerente del campo stellare alla deriva. Durante il compito asteroide, lo sguardo viene mantenuto in basso al centro dello schermo in modo da guardare per impurità nel processore minerale (e questo la direzione dello sguardo è verificato il tracker sguardo), mentre ciascuno dei quattro settori in cui gli asteroidi potrebbero apparire sfarfallio a una frequenza diversa fondamentale (il minimo comune multiplo, di cui è grande) e l'attenzione segrete è rivolta a uno di questi settori in risposta ad un segnale spaziale. Cambiamenti nel contenuto spettrale EEG può quindi valutare l'andamento nel tempo di attenzione segrete in base alla ampiezza delle frequenze EEG sfarfallio che etichetta ogni settore (Morgan et al, 1996;. Belmonte, 1998).

    Nel software, il "motore di gioco" dovrebbe fornire non solo gli elementi fondamentali al solito per la visualizzazione grafica (ad esempio un motore di particelle), ma anche tutti i servizi comuni per il controllo sperimentale e la registrazione dei dati che saranno necessari per tutti gli esperimenti. In particolare, il motore di gioco dovrebbero fornire metodi per visualizzare fornito esternamente fisse e in movimento-picture risorse grafiche e suoni, e un registratore di eventi che scrive un file di disco locale e anche attraverso una porta di uscita (si usa la porta parallela standard) per sincronizzare con un registratore di dati comportamentali o fisiologici come un tracker sguardo, un sistema EEG, o uno scanner fMRI.
  15. Fornire un metodo per la registrazione eventi di gioco Nel nostro sistema, il file di log su disco contiene un superset dei dati inviati tramite la porta parallela:. Mentre la porta parallela riceve solo senza segno a 8-bit codici evento da 1 a 255, il file disco include ( 1) una marca temporale in cicli di clock (2), un timestamp in microsecondi, (3) il codice evento numerico inviati attraverso la porta parallela, (4) un mnemonico stringa univoca a questo codice di evento, e (5) un elenco di (nome del parametro, il valore del parametro) coppie. Per esempio, la comparsa di uno stimolo (ad esempio un asteroide) in particolare visualizzazione delle coordinate assolute o angolare potrebbe essere indicato con un codice di evento appropriato e mnemonico con le due coordinate come parametri. Perché ci potrebbero essere più di 255 eventi unici, l'opportunità di pubblicare i codici evento che segnano l'inizio e la fine del self-contained contesti (ad esempio singoli mini-giochi o scenari di gioco) all'interno del gioco principale, e riutilizzando codici evento da un contesto un altro. Le serie storiche dei codici numerici evento registrato dal registratore dati esterno e la serie storica dei codici evento dettagliate e parametrizzato registrati nel file di registro locale, allora può essere usata per posizionare il file di log e il file di dati esterni (s) nel registro temporale.
  16. Log codici evento per assolutamente tutto. Did avatar del giocatore basta spostare (o perché il tasto di movimento è appena stato depresso, o perché è stato premuto costantemente e si ripete)? Questo è un evento. Ha fatto una sorta di movimento avviare o interrompere o modificare la velocità? Questo è un evento. Assolutamente tutto ciò che accade nel gioco devono essere segnalati con un codice di evento. Sperimentatori può sempre ignorare i codici evento se decidono che non sono di interesse per l'analisi. Che cosa non si può fare, ovviamente, è quello di tornare indietro e inserire codici evento dopo che i dati sono stati registrati. Così si può mettere tutto in - non si sa mai quello che potrebbe essere utile, forse non subito ma in alcuni post hoc estrazione dei dati.

2. Preparare Attrezzature

  1. Un'ora prima che il soggetto arriva, equilibrio gli elettrodi, mettetelo a bagno in un bagno di sale (1 cucchiaino di sale da tavola per 1 litro di acqua distillata) per 5 o 10 minuti. Non lasciare gli elettrodi in liquidi per più di 10 minuti alla volta. Elettrodi equilibrato sono piccole (+ / - 20μV) offset.
  2. Poco prima soggetto arriva, accendere la fotocamera sguardo inseguimento, box di conversione, e computer.

    Il nostro programma di installazione utilizza quattro computer (vedi Figura 5): una dedicata sguardo-tracking computer (GC), un computer dedicato acquisizione EEG (CE), un computer dedicato presentazione dello stimolo (SC), e un computer per l'acquisizione video e analisi dei dati (VC ).

    Due caselle di convertitore (Figura 6) manipolare uscite VGA da GC e SC e inviare un segnale impiombato video VC. In questo modo, lo schermo visto dal ricoperte soggetto con un cursore che rappresenta la fissazione di corrente e un timestamp può essere registrato in un file video su VC.

3. Setup EEG

  1. Misurare la circonferenza della testa del soggetto intorno al fronte e inion. Selezionare un tappo di elettrodi in modo tale che la circonferenza del soggetto è vicino al centro del campo di misura per il tappo.
  2. Registrare la misura dal nasion del soggetto di inion e left Pinna a destra Pinna.
  3. Posizionare il cappuccio sulla testa del soggetto. Assicurarsi che il tag è fuori dal cappello, appoggiato sul collo del soggetto. Riposizionare il cappuccio fino a quando A1 (l'elettrodo al vertice) è centrata rispetto al nasion-inion e pinna-Pinna assi, e la linea mediana tappo (A25-C17) è parallela alla linea mediana della testa del soggetto.
  4. Applicare un anello adesivo al corpo di plastica di elettrodi EX5 e EX6. Allineare l'apertura dell'anello con l'elettrodo a pellet. Rimuovere la protezione di carta dal ring adesivo e coprire il contatto elettrodo con gel conduttore. Luogo EX6 sulla mastoide destra del soggetto e EX5 sulla mastoide sinistra del soggetto.
  5. Utilizzare una siringa per inserire gel conduttore in tutte le case degli elettrodi. Muovere la punta della siringa a parte i capelli del soggetto, poi simultaneamente premere lo stantuffo della siringa e tirare lontano dalla testa. Riempire fino gel è a filo con la parte superiore del contenitore plastico.

    E 'meglio avere gel troppo poco che troppo. Nel caso di troppo po 'di gel, più può sempre essere aggiunti. Con gel di troppo, l'eccesso può sanguinare tra i siti degli elettrodi, provocando elettrodo ponte. Se gli elettrodi diventare ponte, togliere il tappo, hanno il lavaggio soggetto e asciugare i capelli, e cominciare di nuovo.
  6. Con la fine tappo sopra la spalla e dei sensori in una mano, delicatamente ogni elettrodo posto nel suo alloggiamento corrispondente. Afferrare solo la custodia in plastica degli elettrodi e fare attenzione a non crimpare i fili.

    E 'fondamentale non toccare le punte degli elettrodi. Contatto con la pelle o gli indumenti si degradano la qualità degli elettrodi.
  7. Luogo gel conduttore sulla EX1-EX4 e utilizzare anelli adesivo per il fissaggio al volto del soggetto. Luogo EX1 EX2 e circa 1 cm dal soggetto in posizione orizzontale a sinistra ea destra angoli palpebrali esterni, rispettivamente. Luogo EX3 e EX4 circa 1 cm al di sotto del mezzo degli occhi a destra ea sinistra del soggetto sulle ossa zigomatiche.
  8. Delicatamente raccogliere porta elettrodo dietro al soggetto e liberamente avvolgere il CMS / DRL portano attorno agli altri per creare una coda di cavallo. Luogo legami velcro nella parte superiore e inferiore della coda di cavallo per tenere la porta in posizione. Usare nastro medico di apporre la coda di cavallo ai vestiti sulla schiena del soggetto.
  9. Applicare 0,5% soluzione di KCl (Lykken & Venables, 1971) per ogni elettrodo GSR. Usare nastro medico di apporre GSR elettrodi alle dita indice e l'anello del soggetto mano non dominante.
  10. Sono seduti in un soggetto non reclinabili, sedia stazionaria di fronte al monitor presentazione dello stimolo. Collegare tutti gli elettrodi nella casella convertitore EEG.

    Piccola (+ / - 40 uV) offset sono accettabili. Se qualche elettrodo mostra un maggiore compensazione a + / - 40 uV, rimuovere delicatamente l'elettrodo dal tappo, applicare più gel, e restituire l'elettrodo.

4. Sguardo impostazione del monitoraggio

  1. Apporre un adesivo obiettivo di cui sopra sopracciglio del soggetto mediale per l'occhio.
  2. Avviare il Popup-calibrazione EyeLink applicazione su VC. Iniziare una nuova sessione e utilizzare l'interfaccia CMD per attivare la registrazione degli eventi per il tracker sguardo. Posto uguale 'file_event_filter' il valore di 'Sinistra, Destra, fissazione, BLINK, MESSAGGIO, BUTTON, saccade, INPUT' Una lista completa dei comandi può essere trovata nel DATA.INI file che viene fornito con il software EyeLink.
  3. Dal Popup-calibrazione applicazione EyeLink, lancio Camera Setup. Posizionare la fotocamera in modo che l'adesivo target e gli occhi del soggetto sono centrati. Regolare la messa a fuoco fino a quando l'occhio di tenere traccia è chiara.
  4. Calibrare e validare il sistema di tracciamento sguardo al soggetto con il nove punti a matrice di punti. Dopo la convalida, il software EyeLink etichette di ciascun punto di taratura con l'errore in gradi di angolo visivo tra le misure calibrato e validato. In una calibrazione accettabilmente buona, l'errore medio di tutti i punti di taratura non deve superare 1 °, e l'errore in ogni singolo punto non superi i 1,5 °. In una taratura molto buono, errore medio non supera lo 0,5 ° e il più grande singolo punto di errore non supera 1 °.

    Se la calibrazione non riesce, in modo che le soglie riflessione allievo e corneali sono appropriati. Se la regolazione di questi valori non risolve problemi di taratura, occhi switch e ricalibrare. Garantire che la frequenza di campionamento è impostato a 500 Hz, cliccando sul pulsante 500 Hz a sinistra della schermata di impostazione della fotocamera.

    I processi di ottica e di calcolo con cui viene calcolato posizione lo sguardo sono interni al tracker sguardo e non devono essere conosciuti dagli utenti di questa procedura. In breve, la tecnica funziona illuminando l'occhio con luce infrarossa. Interferire luce sulla retina si riflette all'esterno dell'occhio sulla stessa strada lungo la quale è entrato - questa è la proprietà ottica che provoca "occhi rossi" nelle fotografie scattate con il flash fotocamere compatte. Per una telecamera posizionata lontano dalla fonte di luce, però, la pupilla appare scuro. Allo stesso tempo, alcuni dei illuminazione è riflessa dalla co rnea come un piccolo bagliore intenso, la cui posizione dipende solo dalla posizione della testa e non dalla direzione dello sguardo dell'occhio. La differenza di posizione tra l'alunno buio e il riflesso corneale allora può essere mappato matematicamente alla direzione dello sguardo (Ebisawa, 1998). Lo sguardo-tracking del computer registra una serie storica del conseguente punto di riguardo coordinate, integrate con i codici evento da stimolo-presentazione computer.

5. Iniziare Computer Game

  1. Dal Popup-calibrazione applicazione, iniziare a guardare i dati di registrazione. Avviare la registrazione video sul VC registrazione EEG e sul CE.
  2. Su SC, avviare il videogioco.
  3. Per stimoli uditivi, scambiare i diffusori passivi in ​​SC per altoparlanti alimentati. Quindi collegare e accendere l'amplificatore. Utilizzando un fonometro, impostare il volume ad un livello sufficiente per raggiungere la massima ampiezza (ad esempio 80 dB) richiesto dal paradigma sperimentale.

6. Pulizia del materiale

  1. Dopo che il soggetto ha terminato il gioco, uscire dal gioco e fermare la registrazione dei dati premendo il pulsante 'Stop' l'interfaccia grafica su CE, GC e VC. Spegnere e scollegare l'amplificatore e sostituire i diffusori passivi.
  2. Riempire un secchio di plastica 4-5 cm di profondità con acqua distillata e forno a microonde in alto per 90 secondi.
  3. Spegnere la casella EEG convertitore e scollegare tutti i cavi dal convertitore. Rimuovere il nastro medici e i velcri dalla coda di cavallo della porta EEG.
  4. Cogliere gli elettrodi dalla custodia in plastica solo, rimuovere tutti gli elettrodi e posizionare il sensore in acqua calda distillata. Dopo gli elettrodi sono stati rimossi tappo, togliere il tappo dalla testa del soggetto. Ricordarsi di togliere gli anelli adesivi da elettrodi prima di immergere in acqua.
  5. Utilizzare un flacone spray riempito di acqua distillata per rimuovere tutto il gel sinistra sugli elettrodi.
  6. Usare l'acqua calda di rubinetto e sapone per rimuovere gel dal tappo elettrodo.

7. Analisi dei dati

  1. Su SC, convertire lo sguardo-tracking FES file di dati di testo ASCII utilizzando l'applicazione EyeLink edf2asc.
  2. Consolidare i file di dati su VC, quindi lancia il Astropolis Processing Toolkit (APT).

    L'APT è un open source MATLAB (R2008a, The MathWorks, Natick, MA) toolkit costruito per l'ambiente open source EEGLAB (Delorme & Makeig, 2004). Si integra i file di dati diversi prodotti da questo paradigma sperimentale e automatizza l'analisi comportamentale e EEG. Questa automazione comprende il rifiuto di pre-elaborazione e artefatto, esteso Infomax analisi delle componenti indipendenti (ICA), come attuata con il algortihm runica (Makeig et al., 1997) in EEGLAB, ed equivalenti di localizzazione dipolo.

8. Rappresentante Risultati

I risultati qui presentati sono stati ottenuti da dati pilota che esamina i bambini dai 10-15 anni in tre gruppi: gli individui con una condizione dello spettro autistico (ASC), fratelli senza diagnosi clinica (SIB), e in genere lo sviluppo di bambini (TYP). Dati sguardo monitoraggio sono stati utilizzati per rifiutare le prove in cui lo sguardo del soggetto si è discostato dalla stimoli di interesse. (Applicazioni più complesse di dati sguardo anche sono possibili, per esempio utilizzando lo sguardo come parametro di calcolo medie fisiologiche e comportamentali.)

Figura 7 mostra un evento-correlati perturbazione spettrale ottenuti da un elettrodo frontale linea mediana (Fz). PresentEnemy è corrisponde alla comparsa di una nave nemica (Go) e corrisponde PresentFriendly alla comparsa di una nave amichevole (No-Go). Durante il No-Go condizione, il gruppo ha dimostrato TYP potenza significativamente più alta di gamma (30-75 Hz) 500-1500 ms post-stimolo.

L'APT permette un facile confronto tra le misure fisiologiche e psicometrici. Per esempio, nella nostra analisi, alfa potenza (8-12 hz) durante un periodo di tempo simile (300-1500ms post-stimolo) per No-Go prove nel corso di questo non-sociale compito di attenzione era negativamente correlata con la performance in una misura sociale percezione, riconoscimento facciale Benton prova (Benton et al., 1994).

Figura 1: il video di Maritime Defender (go / no-go e dot-motion compiti coerenza)
Clicca qui per vedere il video.

Figura 2: video di Stellar Prospector (modificato Posner compito attenzione visiva spaziale)
Clicca qui per vedere il video.

Figura 3: il video di Faceoff (riconoscimento delle emozioni facciali)
Clicca qui per vedere il video.

contenuto "> Figura 4: il video di StarJack (" Sally-Anne test "della teoria della mente)
Clicca qui per vedere il video.

Figura 5
Figura 5: Schema di cablaggio del setup di laboratorio.

Figura 6
Figura 6: Finestra di cablaggio Converter schema del setup di laboratorio.

Figura 7
Figura 7: perturbazioni spettrale evento-correlati di Go / No-Go compito registrato Fz PresentEnemy = Vai stimolo; PresentFriendly = No-Go stimolo; ASC = autismo gruppo; SIB = gruppo di fratelli; TYP = gruppo di controllo..

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Forse l'ostacolo più importante per gli studi integrativi è il limite pratico sulla quantità di tempo che un unico soggetto sperimentale (in particolare uno da una popolazione clinica) può ragionevolmente prevedere di effettuare prima di diventare affaticato. Purtroppo, spesso la più controllata è uno stimolo dal punto di vista scientifico, più ripetitivo e noioso l'esperimento può sembrare dal punto di vista del soggetto. Ricerche comportamentali di disturbi neuropsichiatrici in questi ultimi anni ha evidenziato l'importanza della motivazione, di comportamento, e l'istruzione compito di stabilire la strategia cognitiva e determinare le prestazioni (ad esempio Plaisted et al 1999;.. Dalton et al 2005). Alla luce di queste considerazioni, abbiamo incorporato stimoli sperimentali nel contesto di un videogioco che cattura e mantiene interesse soggetti ', in modo trasparente la raccolta di dati comportamentali e la sincronizzazione con la registrazione fisiologici come il soggetto gioca la partita. I vantaggi pratici di tale format accattivante ed ecologicamente validi sopra i blocchi solito ripetitivo di prove sono legione. Infatti, diversi livelli e le richieste di spostamento di attenzione integration e multimodali sono naturali nel contesto di video giochi, e misure psicofisiche come punto motion coerenza e figure incorporate are facilmente implementati come, ad esempio, il movimento di un campo stellare su una visione schermo e il rilevamento di un oggetto in un ambiente affollato. Inoltre, il carattere strategico e contraddittorio di un videogioco porta ad esplorare le opportunità naturali di livello superiore misure cognitive come la comprensione del gioco legati narrazioni e attribuzione sociale di un computer-generated avversario. Video giochi evocano alterazioni misurabili dell'attenzione e dei processi percettivi (Green & Bavelier 2003, 2006ab, 2007; Castel et al 2005;.. Feng et al 2007), e il formato videogioco è sempre più utilizzato per l'acquisizione simultanea osservazioni comportamentali ed EEG in contesti ecologicamente valido, per esempio nel monitoraggio visuomotoria (. Smith et al 1999), controllo del traffico aereo (Brookings et al 1996.), e il comando militare e simulazioni di controllo (San Giovanni et al 2002, 2004;. Berka et al 2004). . Recenti risultati di interazione uomo-computer (von Ahn 2006) sottolineano anche il potere del contesto di gioco per stabilire e mantenere la motivazione in compiti che altrimenti non potrebbe sembrare accattivanti, per insegnare le persone con disturbi dello sviluppo (Golan & Baron-Cohen 2006) , e di formare le funzioni esecutive (Thorell et al., 2009). Anche lungo queste linee, il formato video gioco permette soggetti più di una possibilità di sentirsi a proprio agio con il compito prima di entrare nel laboratorio, riducendo al minimo il potenziale di confondere l'ansia stato associato con le prestazioni di un compito non familiare in una situazione di test.

Una nuova generazione di amplificatori EEG grado di soddisfare le impedenze cuoio capelluto molto più alta (Ferree et al., 2001), combinata con reti sensore che parallellise il processo di posizionamento di elettrodi e applicazione di elettroliti, ha significativamente ridotto il tempo di applicazione degli elettrodi e le richieste per la conformità soggetto, permettendo ad alta densità di registrazione EEG in una gamma più ampia di pazienti. Ancora più significativo, nell'ultimo decennio, come i biologi hanno cominciato a comunicare meglio con i fisici e matematici, superata univariata metodi di analisi nel dominio del tempo sono stati soppiantati da metodi multivariati come l'Analisi delle Componenti Indipendenti (Bell & Sejnowski, 1995) e dal tempo frequenza analisi che in considerazione non solo per i segnali ad aggancio di fase ad eventi stimolo o una risposta, ma anche per i segnali composto da perturbazioni di oscillazioni in corso (Makeig et al., 2002, 2004). Questi sviluppi pratici e analitici hanno aperto elettroencefalografia ad una più ampia gamma delle popolazioni soggette e contesti comportamentali. Con questi sviluppi, però, l'importanza di preservare la validità ecologica ha fatto che crescere. Compiti cognitivi attuati nel contesto di un videogioco può essere più flessibile combinato con lo sguardo il monitoraggio simultaneo e ad alta densità EEG, e di fornire dati di maggiore validità ecologica. (Questo è particolarmente vero se i soggetti sono dato il tempo di familiarizzare con il gioco prima della sessione di registrazione. Per il nostro studio, i soggetti sono stati dati in prestito computer portatili su cui praticare il gioco almeno due settimane prima della registrazione EEG.) In futuro, il paradigma di gioco può diventare la norma nel campo della ricerca neurofisiologica e comportamentale, soprattutto se bambini o popolazioni cliniche sono interessati.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

Nessun conflitto di interessi dichiarati.

Acknowledgments

Questo progetto è finanziato da Autism Speaks Pilot Research Grant # 2597 e dalla US National Science Foundation Award Early Career Development Facoltà # BCS-0846892.

Materials

Name Company Catalog Number Comments
128-channel BioSemi ActiveTwo measurement system BioSemi http://www.biosemi.com
32 channel A-set + CMS/DRL BioSemi P32-ABC-ACMS
32 channel B-set BioSemi P32-ABC-B
32 channel C-set BioSemi P32-ABC-C
32 channel D-set BioSemi P32-ABC-D
EX1-EX8 electrodes BioSemi 8 x TP PIN
128-channel cap BioSemi CAP M 128
EyeLink 1000 infrared gaze tracker SR Research Ltd.
EyeLink 1000 Remote Camera Upgrade SR Research Ltd. n/a Allows for target sticker tracking
SignaGel electrode gel Parker Laboratories Inc. n/a
0.05% KCl electrolytic (NaCl) gel N/A n/a Purchased from compounding pharmacy
Intensity Pro Blackmagic Design

DOWNLOAD MATERIALS LIST

References

  1. Bell, A. J., Sejnowski, T. J. An information maximisation approach to blind separation and blind deconvolution. Neural Computation. 7, 1129-1159 (1995).
  2. Belmonte, M. K. Shifts of visual spatial attention modulate a steady-state visual evoked potential. Cognitive Brain Research. 6, 295-307 (1998).
  3. Belmonte, M. K. Abnormal attention in autism shown by steady-state visual evoked potentials. Autism. 4, 269-285 (2000).
  4. Benton, A. L., Sivan, A. B., Hamsher, K., Varney, N. R., Spreen, O. Contributions to Neuropsychological Assessment. , Oxford University Press. New York. (1994).
  5. Berka, C., Levendowski, D. J., Cvetinovic, M. M., Petrovic, M. M., Davis, G., Lumicao, M. N., Zivkovic, V. T. Real-time analyses of EEG indexes of alertness, cognition and memory acquired with a wireless EEG headset. International Journal of Human-Computer Interaction. 17, 151-170 (2004).
  6. Bradley, M. M., Miccoli, L., Escrig, M. A., Lang, P. J. The pupil as a measure of emotional arousal and autonomic activation. Psychophysiology. 45, 602-607 (2008).
  7. Brookings, J. B., Wilson, G. F., Swain, C. R. Psychophysiological responses to changes in work-load during simulated air traffic control. Biological Psychology. 42, 361-377 (1996).
  8. Castel, A. D., Pratt, J., Drummond, E. The effects of action video game experience on the time course of inhibition of return and the efficiency of visual search. Acta Psychologica. 119, 217-230 (2005).
  9. Chaytor, N., Schmitter-Edgecombe, M. The ecological validity of neuropsychological tests: a review of the literature on everyday cognitive skills. Neuropsychology Review. 13, 181-197 (2003).
  10. Dalton, K. M., Nacewicz, B. M., Johnstone, T., Schaefer, H. S., Gernsbacher, M. A., Goldsmith, H. H., Alexander, A. L., Davidson, R. J. Gaze fixation and the neural circuitry of face processing in autism. Nature Neuroscience. 8, 519-526 (2005).
  11. Delorme, A., Makeig, S. EEGLAB: an open source toolbox for analysis of single-trial EEG dynamics. Journal of Neuroscience Methods. 134, 9-21 (2004).
  12. Ebisawa, Y. Improved video-based eye-gaze detection method. IEEE Transactions on Instrumentation and Measurement. 47, 948-955 (1998).
  13. Feng, J., Spence, I., Pratt, J. Playing an action video game reduces gender differences in spatial cognition. Psychological Science. 18, 850-855 (2007).
  14. Ferree, T. C., Luu, P., Russell, G. S., Tucker, D. M. Scalp electrode impedance, infection risk, and EEG data quality. Clinical Neurophysiology. 112, 536-544 (2001).
  15. Golan, O., Baron-Cohen, S. Systemizing empathy: teaching adults with Asperger syndrome or high-functioning autism to recognize complex emotions using interactive media. Development and Psychopathology. 18, 591-617 (2006).
  16. Graner Ray, S., S, Gender inclusive game design: Expanding the market. , Charles River Media. Hingham, Massachusetts. (2004).
  17. Green, C. S., Bavelier, D. Action video game modifies visual selective attention. Nature. 423, 534-537 (2003).
  18. Green, C. S., Bavelier, D. Enumeration versus multiple object tracking: the case of action video game players. Cognition. 101, 217-245 Forthcoming.
  19. Green, C. S., Bavelier, D. Effect of action video games on the spatial distribution of visuospatial attention. Journal of Experimental Psychology Human Perception and Performance. 32, 1465-1478 (2006).
  20. Green, C. S., Bavelier, D. Action-video-game experience alters the spatial resolution of vision. Psychological Science. 18, 88-94 (2007).
  21. Hafed, Z. M., Clark, J. J. Microsaccades as an overt measure of covert attention shifts. Vision Research. 42, 2533-2545 (2002).
  22. Lieberman, H. R., Pentland, A. P. Microcomputer-based estimation of psychophysical thresholds: the best PEST. Behavior Research Methods and Instrumentation. 14, 21-25 (1982).
  23. Luck, S. J. An Introduction to the Event-Related Potential Technique. , MIT Press. Cambridge, Massachusetts. (2005).
  24. Lykken, D. T., Venables, P. H. Direct measurement of skin conductance: a proposal for standardization. Psychophysiology. 8, 656-672 (1971).
  25. Makeig, S., Delorme, A., Westerfield, M., Jung, T., Townsend, J., Courchesne, E., Sejnowski, T. J. Electroencephalographic brain dynamics following manually responded visual targets. PLoS Biology. 2, e176-e176 (2004).
  26. Makeig, S., Jung, T., Bell, A. J., Ghahremani, D., Sejnowski, T. J. Blind separation of auditory event-related brain responses into independent components. Proceedings of the National Academy of Sciences of the United States of America. 94, 10979-10984 (1997).
  27. Makeig, S., Westerfield, M., Jung, T. P., Enghoff, S., Townsend, J., Courchesne, E., Sejnowski, T. J. Dynamic brain sources of visual evoked responses. Science. 295, 690-694 (2002).
  28. Morgan, S. T., Hansen, J. C., Hillyard, S. A. Selective attention to stimulus location modulates the steady-state visual evoked potential. Proceedings of the National Academy of Sciences of the United States of America. 93, 4770-4774 (1996).
  29. Pentland, A. P. Maximum likelihood estimation: the best PEST. Perception and Psychophysics. 28, 377-379 (1980).
  30. Plaisted, K., Swettenham, J., Rees, L. Children with autism show local precedence in a divided attention task and global precedence in a selective attention task. Journal of Child Psychology and Psychiatry. 40, 733-742 (1999).
  31. Posner, M. I. Orienting of attention. Quarterly Journal of Experimental Psychology. 32, 3-25 (1980).
  32. Smith, M. E., McEvoy, L. K., Gevins, A. Neurophysiological indices of strategy development and skill acquisition. Cognitive Brain Research. 7, 389-404 (1999).
  33. St John, M., Kobus, D. A., Morrison, J. G. A multi-tasking environment for manipulating and measuring neural correlates of cognitive workload. Proceedings of the 2002 IEEE 7th Confer-ence on Human Factors and Power Plants, 15-19 Sept. 2002, Scottsdale, Arizona, , IEEE. New York. (2002).
  34. St John, M., Kobus, D. A., Morrison, J. G., Schmorrow, D. Overview of the DARPA augmented cognition technical integration experiment. International Journal of Human-Computer Interac-tion. 17, 131-149 (2004).
  35. Thorell, L. B., Lindqvist, S., Nutley, S. B., Bohlin, G., Klingberg, T. Training and transfer effects of executive functions in preschool children. Developmental Science. 12, 106-113 (2009).
  36. Valla, J. M., Ganzel, B. L., Yoder, K. J., Chen, G. M., Lyman, L. T., Sidari, A. P., Keller, A. E., Maendel, J. W., Perlman, J. E., Wong, S. K. L., Belmonte, M. K. More than maths and mindread-ing: sex differences in empathising/systemising covariance. Autism Research. , Forthcoming (2010).
  37. Witkin, H. A. Individual differences in ease of perception of embedded figures. Journal of Personality. 19, 1-15 (1950).
  38. Witkin, H. A., Lewis, H. B., Hertzman, M. Personality through Perception. Machover, K., Meissner, P. B., Wapner, S. , Greenwood Press. Westport, Connecticut. (1954).
  39. Wimmer, H., Perner, J. Beliefs about beliefs: Representation and constraining function of wrong beliefs in young children's understanding of deception. Cognition. 13, 103-128 (1983).
  40. von Ahn, L. Games with a purpose. Computer. 39, 92-94 (2006).

Tags

Neuroscienze Numero 46 ad alta densità EEG ERP ICA tracking sguardo gioco per computer la validità ecologica
Computer Game-Based combinando esperimenti comportamentali ad alta densità tracking Gaze EEG e infrarossi
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Yoder, K. J., Belmonte, M. K.More

Yoder, K. J., Belmonte, M. K. Combining Computer Game-Based Behavioural Experiments With High-Density EEG and Infrared Gaze Tracking. J. Vis. Exp. (46), e2320, doi:10.3791/2320 (2010).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter