Lo sguardo in azione: Head-mounted Eye Tracking dell'attenzione visiva dinamica dei bambini durante il comportamento naturalistico

Summary

I bambini piccoli non passivamente osservare il mondo, ma piuttosto attivamente esplorare e coinvolgere con il loro ambiente. Questo protocollo fornisce principi guida e consigli pratici per l'utilizzo di inseguitori testa-montata occhio per registrare degli infanti e dei più piccoli ambienti visivi dinamici e l'attenzione visiva nel contesto del comportamento naturale.

Abstract

Ambienti visivi dei bambini piccoli sono dinamici, cambiando momento per momento come bambini fisicamente e visivamente esplorare spazi e oggetti e interagiscono con le persone intorno a loro. Testa-montata eye-tracking offre un'opportunità unica per acquisire come allocare attenzione visiva all'interno di quei panorami e viste egocentriche dinamica dei bambini. Questo protocollo fornisce principi guida e consigli pratici per i ricercatori che usano inseguitori occhio testa-montata in laboratorio e impostazioni più naturalistiche. Testa-montata eye-tracking complemento altri metodi sperimentali e le opportunità di raccolta dei dati in contesti più ecologicamente validi attraverso maggiore portabilità e libertà di movimenti di testa e il corpo rispetto al basato su schermo eye-tracking. Questo protocollo può anche essere integrato con altre tecnologie, quali il tracciamento del movimento e della frequenza cardiaca monitoraggio, per fornire un dataset multimodale ad alta densità per l'esame di comportamento naturale, l'apprendimento e lo sviluppo rispetto al passato. Questo articolo illustra i tipi di dati generati da testa-montata eye-tracking in uno studio destinato per studiare l'attenzione visiva in un contesto naturale per i più piccoli: flusso libero gioco del giocattolo con un genitore. Riuscito uso di questo protocollo permetterà ai ricercatori di raccogliere dati che possono essere utilizzati per rispondere a domande non solo sull'attenzione visiva, ma anche su una vasta gamma di altre abilità percettivo, cognitivo e sociale e il loro sviluppo.

Introduction

Degli ultimi decenni hanno visto il crescente interesse per studiare lo sviluppo del neonato e bambino di attenzione visiva. Questo interesse ha derivava in gran parte dall'utilizzo di alla ricerca della misurazione del tempo come un primario mezzo per valutare altre funzioni cognitive nell'infanzia e si è evoluto nello studio dell'attenzione visiva infantile a sé stante. Indagini contemporanee dell'attenzione visiva neonato e bambino principalmente misurano movimenti oculari durante le attività di eye tracking basato su schermo. Infanti sedersi in una sedia o sul giro del genitore davanti ad uno schermo mentre loro movimenti oculari sono monitorati durante la presentazione di immagini statiche o eventi. Tali attività, tuttavia, non riescono a catturare la natura dinamica del naturale attenzione visiva e i mezzi con cui vengono generati ambienti visual naturali per bambini - esplorazione attiva.

Neonati e bambini piccoli sono creature attive, muovendo le loro mani, teste, occhi e corpi per esplorare gli oggetti, persone e spazi intorno a loro. Ogni nuovo sviluppo nella morfologia del corpo, capacità motorie e comportamento - la ricerca per indicizzazione, a piedi, raccogliendo oggetti, impegno con i partner sociali - è accompagnata da concomitanti cambiamenti nell'ambiente visual precoce. Perché i neonati che cosa determina ciò che vedono, e ciò che vedono serve per quello che fanno in azione visivamente guida, studiando lo sviluppo naturale dell'attenzione visiva è meglio effettuato nell'ambito del comportamento naturale¹.

Inseguitori di testa-montata occhio (ETs) sono stati inventati e utilizzati per adulti per decenni^2,3. Solo di recente hanno tecnologia eye-tracking testa-montata progressi tecnologici compiuti adatto per neonati e bambini piccoli. I partecipanti sono provvisti di due telecamere leggere sulla testa, una fotocamera di scena rivolta verso l'esterno che cattura la prospettiva in prima persona del partecipante e una telecamera occhio rivolto verso l'interno che cattura l'immagine dell'occhio. Una procedura di calibrazione fornisce dati di training a un algoritmo che esegue il mapping più accuratamente possibile le posizioni mutevoli della pupilla e riflesso cornea (CR) nell'immagine dell'occhio ai pixel corrispondenti nell'immagine scena che erano essendo visivamente frequentato. L'obiettivo di questo metodo è di catturare entrambi gli ambienti naturali di visual di neonati e bimbi piccoli attiva esplorazione visiva di quegli ambienti come infanti mossa liberamente. Tali dati possono aiutare a rispondere a domande non solo sull'attenzione visiva, ma anche su una vasta gamma di sviluppi percettivi, cognitivi e sociali^4,5,6,7,8. L'uso di queste tecniche ha trasformato comprensioni di attenzione congiunta^7,8,9, attenzione sostenuta¹⁰, cambiando esperienze visive con l'età e lo sviluppo di motore^{4 , 6 , 11}e il ruolo di esperienze visive in parola apprendimento¹². Il presente documento fornisce linee guida e consigli pratici per la realizzazione di esperimenti di eye tracking testa-montata con neonati e bambini piccoli e illustra i tipi di dati che possono essere generati da testa-montata eye-tracking in una naturale contesto per i più piccoli: flusso libero gioco del giocattolo con un genitore.

Protocol

Questo tutorial è basato su una procedura per la raccolta dati di eye tracking testa-montata con bimbi approvati dalla Institutional Review Board presso l'Indiana University. Consenso informato dei genitori è stata ottenuta prima della partecipazione dei più piccoli l'esperimento.

1. preparazione per lo studio

1. Apparecchiature di eye-Tracking. Selezionare uno dei diversi testa-montata eye tracking sistemi che sono commercialmente disponibili, uno commercializzato come specificatamente per bambini o modificare il sistema di lavorare con una protezione infantile su misura, per esempio come mostrato nelle figure 1 e 2. Assicurarsi che il sistema di eye tracking ha le caratteristiche necessarie per il test di neonati e/o per i più piccoli attenendosi alla seguente procedura:
   1. Selezionare una telecamera di scena che è regolabile in termini di posizionamento e ha un angolo abbastanza ampio per catturare un campo visivo adeguato per affrontare le questioni di ricerca. Per catturare la maggior parte dell'attività del vostro bambino in un ambiente di gioco libero come quello qui descritto, è necessario selezionare una fotocamera che cattura un almeno 100 gradi campo visivo diagonale.
   2. Selezionare una telecamera eye che è regolabile in termini di posizionamento e dispone di un LED infrarosso sia costruito nella fotocamera o adiacente alla fotocamera e posizionato in modo tale che la cornea dell'occhio rifletterà questa luce. Si noti che alcuni modelli di eye tracking hanno posizionamento fisso, ma modelli che permettere regolazioni flessibili sono raccomandati.
   3. Scegliere un sistema di eye tracking che è discreto e leggero possibile per poter offrire il massimo di probabilità che i neonati/bambini piccoli tollererà indossando l'attrezzatura.
      1. Incorporare il sistema in un tappo collegando le telecamere di scena e con gli occhi a un cinturino in Velcro che è apposto sul lato opposto del Velcro cucita sulla PAC, e il posizionamento delle telecamere fuori il centro della vista del bambino.
         Nota: I sistemi progettati per essere simili a occhiali non sono ottimali. La morfologia del viso del bambino è diversa da quella di un adulto e parti che poggiano sul naso o le orecchie del bambino possono essere fonte di distrazione e scomodo per il partecipante.
      2. Se l'ET è collegato a un computer, avvolgere i cavi e tenere loro alle spalle del partecipante per evitare distrazioni o inciampare. In alternativa, utilizzare un sistema autonomo che archivia i dati su un dispositivo intermedio, ad esempio un telefono cellulare, che può essere posizionato sul bambino, che permette una maggiore mobilità.
   4. Selezionare un pacchetto di software di calibrazione che permette per la calibrazione in linea.
2. Ambiente di registrazione.
   1. Prendere in considerazione nella misura in cui il bambino si muoverà in tutto lo spazio durante la raccolta dati. Se una singola posizione è preferibile, parlarne con caregiver del bambino in modo che possano aiutare il bambino a rimanere nella posizione desiderata. Rimuovere tutti i potenziali distrattori dallo spazio ad eccezione di quelli che il bambino dovrebbe interagire con, che dovrebbe essere a portata di mano.
   2. Impiegare una fotocamera di terza persona per assistere nella successiva codificazione del comportamento del bambino anche da identificare momenti quando può diventare sfollati ET. Se il bambino si muoverà in tutto lo spazio, prendere in considerazione ulteriori telecamere pure.

2. raccogliere i dati di Eye-Tracking.

1. Personale e attività. Hanno due sperimentatori presente, uno per interagire con e occupare il bambino e uno per inserire e posizionare la ET.
   1. Coinvolgere il bambino in un'attività che occupa le mani del bambino in modo che il bambino non raggiunga fino a mossa o afferrare il ET mentre esso è stato posto sul loro capo. Considera giocattoli che incoraggiano azioni manuali e libretti che il bambino può tenere mentre lo sperimentatore o il genitore legge al bambino.
2. Posto ET sul bambino. Poiché la tolleranza dei più piccoli di indossare la testa-montata ET varia, seguire questi consigli per promuovere il successo nel posizionamento e nel mantenere il ET sul bambino:
   1. Nel tempo che portano allo studio, chiedere gli operatori sanitari di avere il loro bambino di usura un cappello o berretto, simile a quello utilizzato con l'ET, a casa per farli abituati ad avere qualcosa sulla loro testa.
   2. Allo studio, hanno diverse tipologie di tappi disponibili a cui può essere collegato il ET. Personalizzare tappi l'acquisto di diverse dimensioni e stili di tappi, ad esempio un berretto palla che può essere indossato all'indietro o un cappellino con orecchie degli animali e aggiungendo a cui può essere collegato il sistema di eye tracking, montato con il lato opposto del Velcro, Velcro. Anche considerare di avere cappelli da indossare dal caregiver e sperimentatori, per incoraggiare l'interesse e la volontà di indossare anche un cappello del bambino.
      1. Prima di mettere il tappo sul bambino, avere uno sperimentatore desensibilizzare il bambino ai tocchi alla testa leggermente toccando i capelli più volte quando l'attenzione e l'interesse del bambino è diretto a un giocattolo.
   3. Per posizionare il ET sul bambino, essere dietro o al lato del bambino (Vedi Figura 2A). Posto il ET sul bambino quando le mani sono occupate, ad esempio quando il bambino sta tenendo un giocattolo in ogni mano.
      1. Se il bambino guarda verso lo sperimentatore ponendo l'ET, dire Ciao e lasciare che il bambino conosce che cosa è stato fatto mentre procedendo per posizionare rapidamente il ET sulla testa del bambino. Evitare di spostare troppo lentamente, pur ponendo l'ET, che possono provocare disagio del bambino e può portare a posizionamento difficile come il bambino ha una maggiore possibilità di spostare la testa o raggiungere per l'ET.
      2. Per ridurre il tempo speso regolando la fotocamera dopo la disposizione, prima di mettere il ET sul partecipante, insieme alle telecamere di essere nella loro posizione prevista quando sulla testa del bambino (vedere paragrafi 2.3.1 e 2.3.2).
3. Scena occhio telecamere e posizione di ET. Una volta che l'ET è sulla testa del bambino, è possibile apportare modifiche alla posizione delle telecamere scena e occhio durante il monitoraggio feed video queste telecamere:
   1. Posizione la macchina fotografica scena bassa sulla fronte per meglio approssimare campo visivo del bambino (Vedi Figura 1B); centro dell'inquadratura di scena su ciò che il bambino sarà guardare durante lo studio.
      1. Tenete a mente che mani e tenutosi oggetti saranno sempre molto vicino al bambino e basso nella vista della videocamera di scena, mentre ulteriori oggetti sarà in background e più in alto nella vista della videocamera di scena. Posizione la fotocamera di scena per meglio catturare il tipo di visualizzazione più rilevanti per la domanda di ricerca.
      2. Prova la posizione della fotocamera scena attirando l'attenzione del bambino a posizioni specifiche nel loro campo visivo utilizzando un piccolo puntatore laser o giocattolo. Garantire queste posizioni sono presso l'atteso distanza delle regioni che saranno di interesse durante lo studio di osservazione (Vedi Figura 3).
      3. Evitare il tilt controllando che le superfici orizzontali appaiono Appartamento in vista della telecamera di scena. Contrassegnare l'orientamento verticale della fotocamera scena per attenuare la possibilità della fotocamera ottenere inavvertitamente invertita durante il riposizionamento, ma si noti che i passaggi aggiuntivi in fase di elaborazione possono ripristinare le immagini nell'orientamento corretto se necessario.
   2. Per ottenere dati di alta qualità sguardo, posizionare la telecamera eye per rilevare la pupilla e il riflesso cornea (CR) (Vedi Figura 2).
      1. Posizionare la telecamera eye, in modo che sia centrato sulla pupilla del bambino, con nessuna occlusione da guance o ciglia tutto il gamma completa dell'occhio di movimento (Vedi Figura 2C-F per esempi di immagini per l'occhio di buoni e cattivi). Per aiutare con questo, posizionare la telecamera eye sotto l'occhio, vicino la guancia, rivolto verso l'alto, mantenendo la fotocamera fuori del centro della vista del bambino. In alternativa, posizionare la telecamera eye qui sotto e a lato esterno dell'occhio, punta verso l'interno.
      2. Accertarsi che la fotocamera è abbastanza vicina all'occhio che il suo movimento produce un relativamente grande spostamento della pupilla nell'immagine della telecamera occhio.
      3. Evitare il tilt facendo in modo che gli angoli dell'occhio nell'immagine dell'occhio possono formare una linea orizzontale (Vedi Figura 2C).
      4. Assicurarsi che il contrasto della pupilla contro l'iride è relativamente elevato, in modo che la pupilla può essere accuratamente distinta da iris (Vedi Figura 2C). Per aiutare con questo, è necessario regolare la posizione della luce a LED (se accanto alla fotocamera occhio) o la distanza della telecamera occhio dall'occhio (se il LED non è regolabile in modo indipendente). Per il rilevamento di maggiore pupilla, posizionare la luce di LED ad angolo e non direttamente nell'occhio. Assicurarsi che eventuali regolazioni alla luce LED producono ancora una chiara CR (Vedi Figura 2C).
4. Ottenere punti durante lo studio per la calibrazione in linea.
   1. Una volta che le immagini di scena e con gli occhi sono come di alta qualità come possono essere, i dati di calibrazione raccogliere attirando l'attenzione del bambino in posizioni diverse nel loro campo visivo.
      1. Ottenere punti di taratura su varie superfici con tutto ciò che chiaramente dirige l'attenzione del bambino ad un piccolo punto chiaro nel loro campo visivo (vedere la Figura 3). Per esempio, è possibile utilizzare un puntatore laser contro un background solido o una superficie con piccole luci a LED attivato in modo indipendente.
      2. Limitare la presenza di altre destinazioni interessanti in vista del bambino per assicurare che il bambino Guarda il target di calibrazione.
   2. Alternare di attirare l'attenzione in diverse posizioni che richiedono grandi spostamenti angolari dell'occhio.
      1. Coprire il campo di vista ugualmente e non spostare troppo in fretta tra punti, che saranno di aiuto nella ricerca di saccadi chiari dal bambino durante la calibrazione non in linea per aiutare a dedurre quando sembravano alla posizione successiva.
      2. Se il bambino non sembra immediatamente nella nuova posizione evidenziata, ottenere la loro attenzione al percorso dimenando il laser, tornitura off/sui LED, o toccando la posizione con un dito.
      3. Se fattibile, ottenere più punti di calibrazione che necessari nel caso in cui alcuni si rivelano per essere inutilizzabile in seguito.
   3. Assicurarsi che la posizione del corpo del bambino durante la calibrazione corrisponde alla posizione che verrà utilizzata durante lo studio.
      1. Ad esempio, non raccolgono punti di calibrazione quando il bambino è seduto se si prevede che il bambino sarà più tardi in piedi.
      2. Verificare che la distanza tra il bambino e il target di calibrazione è simile alla distanza tra il bambino e le regioni che saranno di interesse durante lo studio.
      3. Non posizionare punti di calibrazione molto vicino al corpo del bambino se, durante l'esperimento, il bambino sarà principalmente guardando gli oggetti che sono più lontano. Se uno è interessato a oggetti vicini e lontani, è consigliabile ottenere due diversi insiemi di punti di taratura, che successivamente può essere utilizzato per creare calibrazioni univoco per ogni distanza di osservazione (per ulteriori informazioni, vedere la sezione 3.1).
         Nota: Binoculare eye-tracking è una via di sviluppo di tecnologia^13,14 che promesse avanza nell'inseguimento lo sguardo in profondità.
   4. Per ospitare per deriva o movimento dell'ET durante lo studio, raccogliere punti di calibrazione all'inizio e di fine dello studio al minimo. Se fattibile, è possibile raccogliere punti di taratura addizionali a intervalli regolari durante la sessione.
5. Monitorare i feed Video ET e terza persona durante lo studio.
   1. Se il ET ottiene urtato o disallineati a causa di altri movimenti/azioni, prendere nota di quando nello studio questo è accaduto perché potrebbe essere necessario ricalibrare e codificare le porzioni dello studio prima e dopo l'urto/disallineamento separatamente (vedere paragrafo 3.1.1).
   2. Se possibile, interrompere lo studio dopo ogni urto/disallineamento per riposizionare le telecamere di scena e occhio (Vedi sezione 2.3), quindi ottenere nuovi punti di calibrazione (Vedi sezione 2.4).

3. dopo lo studio, calibrare i dati ET utilizzando Software di calibrazione.

Nota: Una varietà di pacchetti di software di calibrazione sono commercialmente disponibili.

1. Considerare la creazione di calibrazioni più. Personalizzare i punti di calibrazione per diversi segmenti di video per massimizzare la precisione della pista lo sguardo di non nutrire i dati algoritmo corrispondenza in modo non corretto.
   1. Se il ET ha cambiato posizione in qualsiasi momento durante lo studio, creare calibrazioni separate per le porzioni prima e dopo la modifica della posizione di ET.
   2. Se siete interessati nell'attenzione agli oggetti a distanze di osservazione molto differenti, creare calibrazioni separate per le porzioni del video dove il bambino è alla ricerca di oggetti ad ogni distanza di osservazione. Tenete a mente che le differenze nella distanza di osservazione può essere creato da turni in attenzione visiva del bambino tra molto vicino e variare gli oggetti lontani, ma anche dai cambiamenti nella posizione del corpo del bambino rispetto a un oggetto, ad esempio spostando da seduto a in piedi.
2. Eseguire ogni calibrazione. Stabilire il mapping tra scena e occhio creando una serie di punti di taratura - punti dell'immagine di scena a cui lo sguardo del bambino era chiaramente diretto durante quel lasso. Nota che il software di calibrazione può estrapolare e interpolare il punto dello sguardo (POG) in tutti i fotogrammi da un insieme di punti di taratura uniformemente dispersi in tutta l'immagine di scena.
   1. Assistere il software di calibrazione nella rilevazione della pupilla e CR in ogni fotogramma della telecamera occhio dei video per assicurare che il POG identificati sia affidabile. In casi dove il software non riesce a rilevare il CR in modo affidabile e coerente, utilizzare la pupilla solo (nota, tuttavia, che dati qualità soffrirà di conseguenza).
      1. Ottenere un'immagine di buon occhio nei frame fotocamera occhio regolando le soglie della calibrazione vari parametri di rilevamento del software, che possono includere: la luminosità dell'immagine dell'occhio, la dimensione della pupilla il software si aspetta, e un riquadro di delimitazione che imposta il confini di dove il software cercherà la pupilla. Disegnare il riquadro piccolo come possibile, garantendo nel contempo che la pupilla rimane all'interno della scatola in tutta gamma completa dell'occhio di movimento. Essere consapevoli del fatto che un più grande riquadro che racchiude lo spazio che la pupilla mai occupa aumenta la probabilità di rilevazione falsa pupilla e può causare piccoli movimenti della pupilla per essere rilevato in modo meno accurato.
      2. Essere consapevoli del fatto che anche dopo aver regolato varie soglie di rilevazione del software, il software a volte ancora in modo non corretto può individuare la pupilla o CR; per esempio, se ciglia coprono la pupilla.
   2. Trovare punti di calibrazione basati sulle strutture della macchina fotografica scena e occhio. Si noti che i migliori punti di calibrazione forniti al software sono quelli in cui la pupilla e CR sono accuratamente rilevati, l'occhio è stabilmente fissata su di un punto chiaramente identificabile nello spazio dell'immagine di scena, e i punti sono distribuiti uniformemente su tutta la gamma dell'immagine di scena.
      1. Garantire che la rilevazione di pupilla è accurata per ogni frame in cui viene tracciato un punto di calibrazione, affinché sia valido x-y scena coordinate e valido x-y pupilla sono alimentati nell'algoritmo.
      2. Durante il primo passaggio alla calibrazione, identificare i punti di calibrazione in momenti quando il bambino è chiaramente alla ricerca di un punto distinto dell'immagine di scena. Tenete a mente che questi possono essere punti intenzionalmente creati dallo sperimentatore durante la raccolta di dati, ad esempio con un puntatore laser (Vedi Figura 3A-B), oppure possono essere punti dallo studio in cui il POG è facilmente identificabili (Vedi Figura 3C), purché la pupilla viene rilevata con precisione per quei fotogrammi.
      3. Per trovare momenti di sguardo più estrema di x-y scena immagine coordinate, scorrere i fotogrammi di fotocamera occhio trovare momenti con rilevamento accurato pupilla quando l'occhio del bambino è nella posizione più estrema di x-y.
   3. Fare più "passaggi" per ogni calibrazione a perfezionare in modo iterativo in sulla taratura più accurata possibile. Si noti che dopo aver completato un primo "passaggio" alla calibrazione, molti programmi software consentirà l'eliminazione dei punti precedentemente utilizzato senza perdere la traccia corrente (ad es. mirino). Selezionare un nuovo insieme di punti di taratura per addestrare l'algoritmo da zero ma con l'aiuto complementare della pista POG generata dal passaggio precedente taratura, che permette di aumentare gradualmente la precisione di calibrazione da progressivamente "ripulire" qualsiasi rumore o imprecisioni introdotti dai passaggi precedenti.
3. Valutare la qualità della calibrazione, osservando quanto bene il POG corrisponde a luoghi noti lo sguardo, quali i puntini prodotti da un puntatore laser durante la calibrazione e riflette la direzione e l'entità delle saccadi del bambino. Evitare di utilizzare punti per valutare la qualità di calibrazione che sono stati anche utilizzati come punti durante il processo di calibrazione.
   1. Ricordo che perché bambini teste e gli occhi sono in genere allineati, attenzione visiva dei bambini più spesso è diretto verso il centro dell'immagine di scena e una traccia precisa rifletterà questo. Per valutare la centralità della pista, tracciare le coordinate POG frame-by-frame x-y dell'immagine di scena generato dalla calibrazione (Vedi Figura 4). Verificare che i punti siano più densa al centro dell'immagine scena e distribuita simmetricamente, tranne in casi dove la fotocamera di scena non è stata centrata al centro del campo di vista di bambino quando originariamente posizionato.
   2. Si noti che alcuni software di calibrazione genererà punteggi di forma lineare e/o omografia che riflettono la precisione di calibrazione. Tenete a mente che questi punteggi sono utili in una certa misura dal momento che, se sono poveri, la pista probabilmente saranno anche povera. Tuttavia, non utilizzare punteggi forma come la misura primaria di precisione di calibrazione come essi riflettono il grado a cui i punti di calibrazione selezionate sono d'accordo con se stessi, che non fornisce alcuna informazione circa la misura di tali punti nella posizione di verità di terra della POG.
   3. Ricordate che ci sono momenti nello studio che il bersaglio dello sguardo è facilmente identificabile e pertanto può essere utilizzato come verità di terra. Calcolare la precisione in gradi di angolo visivo misurando l'errore tra obiettivi noti lo sguardo e il mirino POG (errore in pixel dall'immagine video può essere convertito circa a gradi basati su caratteristiche dell'obiettivo della macchina fotografica scena)⁴.

4. codice regioni di interesse (ROI).

Nota: Codifica di ROI è la valutazione dei dati POG per determinare quale regione un bambino è visivamente frequentando a durante un particolare momento nel tempo. ROI può essere codificato con alta precisione e ad alta risoluzione dai dati POG frame-by-frame. L'output di questa codifica è un flusso di punti di dati - un punto per ogni fotogramma video - che indicano la regione di POG nel tempo (Vedi Figura 5A).

1. Prima di iniziare la codifica di ROI, compilare un elenco di tutte le ROIs che devono essere codificate sulla base delle domande di ricerca. Essere consapevoli del fatto che codifica ROIs che non sono necessari per la ricerca di rispondere domande rende inutilmente che richiede tempo di codifica.
2. Principi di codifica di ROI.
   1. Ricordate che codifica successo richiede rinunciando a supposizioni di coder dove il bambino dovrebbe essere alla ricerca e invece esaminando attentamente ogni fotogramma immagine dell'occhio, immagine di scena e computata POG. Ad esempio, anche se un oggetto è correntemente da bambino ed è molto grande dell'immagine di scena per un particolare fotogramma, non dedurre che il bambino sta guardando quell'oggetto in quel momento a meno che non indicato anche dalla posizione degli occhi. Si noti che ROIs indicano quale regione il bambino è foveating, ma non cattura l'informazione visiva completa il bambino sta prendendo in.
   2. È possibile utilizzare l'immagine dell'occhio, immagine di scena e POG pista per determinare quali ROI è visivamente curato.
      1. Utilizzare la pista POG come una guida, non come terra-verità. Anche se idealmente la pista POG indicherà chiaramente la posizione esatta contemplata dal bambino per ogni fotogramma, essere consapevoli che non questo sarà sempre il caso a causa della natura (2D) dimensionale 2 di immagine scena rispetto alla natura 3D del mondo reale visualizzato dalla chil d e variazione di precisione di calibrazione tra i partecipanti.
         1. Ricordate che la traccia POG computata è una stima basata su un algoritmo di calibrazione e che affidabilità della pista POG per un particolare fotogramma dipende quindi da quanto bene la pupilla e CR sono rilevati; Se uno o entrambi non vengono rilevati o sono corrette, è possibile che la traccia POG non sarà affidabile.
            Nota: In alcuni casi, il mirino sarà costantemente fuori bersaglio da una distanza fissa. Software più recenti può consentire uno correggere informaticamente per questa discrepanza. In caso contrario, un ricercatore addestrato può fare la correzione manualmente.
      2. Utilizzare movimento della pupilla nell'immagine dell'occhio come la stecca primaria che il ROI può essere cambiato.
         1. Scorrere i fotogrammi uno guardando l'immagine dell'occhio. Quando si verifica un movimento visibile dell'occhio, controllare se il bambino si sta spostando loro POG per un ROI nuovo o non definito ROI.
         2. Si noti che non tutti i movimenti di occhio indicano un cambiamento di ROI. Se il ROI costituisce una grande regione di spazio (ad esempio, un oggetto ravvicinato), tenere a mente che l'occhio piccolo movimento può riflettere un aspetto in una nuova posizione all'interno della ROI stessa. Allo stesso modo, ricordare che i movimenti di occhio possono verificarsi come il bambino tiene traccia un singolo movimento ROI, o come un bambino che si sta muovendo la testa si muove anche i loro occhi per mantenere lo sguardo sul ROI stesso.
         3. Notare che con alcuni ETs l'immagine dell'occhio è un'immagine speculare dell'occhio del bambino, nel qual caso se l'occhio si muove a sinistra che dovrebbe corrispondere ad uno spostamento verso destra della scena.
   3. Perché la pista POG serve solo come una guida, fare uso di informazioni contestuali disponibili anche per guidare le decisioni di codifica.
      1. Integrare informazioni provenienti da fonti diverse o fotogrammi quando si codifica il ROI. Anche se il ROI è codificato separatamente per ciascun fotogramma, utilizzare fotogrammi prima e dopo il fotogramma corrente per ottenere informazioni contestuali che possono aiutare a determinare il ROI corretto. Per esempio, se la pista POG è assente o non corretto per un determinato frame dovuto rilevazione allievo mediocre, ma l'occhio non si mosse basato sui fotogrammi precedenti e successivi, in cui l'allievo è stato rilevato con precisione, quindi ignorare la pista POG per quel fotogramma e codice ba ROI SED sui fotogrammi circostanti.
      2. Prendere altre decisioni specifiche a domande di ricerca degli utenti.
         1. Ad esempio, fare un protocollo per come codice ROI quando due ROIs sono nella prossimità vicina ad uno altro, nel qual caso può essere difficile determinare qual è il ROI "corretto". Nei casi in cui il bambino sembra essere fissazione all'incrocio tra le due ROIs, decidere se codificare entrambi ROIs contemporaneamente oppure se a formulare un insieme di regole di decisione per come selezionare e assegnare solo una delle categorie di ROI.
         2. Come un altro esempio, quando un oggetto di interesse è tenuto tale che una mano è che occlude l'oggetto, decidere se il POG di codice come un ROI per la mano o come un ROI per l'oggetto tenuto.
3. Codice ROI per affidabilità. Implementare una procedura di codificazione dopo il ROI iniziale protocollo di codifica è stato completato di affidabilità. Ci sono molti diversi tipi di procedure di codificazione di affidabilità disponibile; scegliere la procedura più rilevante sulla base delle domande di ricerca specifici.

Representative Results

Il metodo descritto qui è stato applicato a un contesto di gioco giocattolo flusso libero tra i più piccoli e i loro genitori. Lo studio è stato destinato per studiare naturale attenzione visiva in un ambiente disordinato. Diadi sono stati incaricati di giocare liberamente con un insieme di 24 giocattoli per sei minuti. Attenzione visiva dei più piccoli è stato misurato tramite l'insorgenza di codifica e offset di Guarda a specifiche regioni di interesse (ROI) - ciascuno dei 24 Giocattoli e faccia del genitore-- e analizzando la durata e la proporzione di guardare il tempo di ogni ROI. I risultati vengono visualizzati nella Figura 5.

Figura 5 A Mostra flussi ROI campione per due bambini di 18 mesi. Ogni blocco colorato nei ruscelli rappresenta fotogrammi consecutivi in cui il bambino guardava un ROI particolare. I dati di sguardo fisso dell'occhio ottenuti dimostrano una serie di interessanti proprietà di attenzione visiva naturale.

In primo luogo, i bambini mostrano differenze individuali nella loro selettività per le diverse sottopopolazioni di giocattoli. Figura 5 B Mostra la proporzione dell'interazione 6 minuti che ogni bambino passato a guardare ciascuno dei 10 selezionati giocattolo ROIs. Anche se la percentuale totale di tempo 1 bambino e bambino 2 trascorso guardando giocattoli (compresi tutti i 24 giocattolo ROIs) era piuttosto simile, 0,76 e 0,87, rispettivamente, le proporzioni di tempo speso su giocattoli individuali varia notevolmente, sia all'interno che tra i soggetti.

Come queste proporzioni di guardare il tempo sono stati realizzati inoltre hanno differito da attraverso i bambini. Figura 5 C indica la durata media di ogni bambino di sguardi per ciascuno dei 10 selezionati giocattolo ROIs. La durata media di sguardi per tutte le 24 ROIs di giocattoli per bambini 2 (M = 2,38 s, SD = 2.20 s) era quasi due volte più a lungo come quello del bambino 1 (M = 1.20 s, SD = 0,78 s). Confrontando i modelli dall'aspetto di cui il sonaglio di coccinella rossa (purple bar) in Figura 5B, C illustra perché computing più misure cercando, quali le proporzioni e le durate di guardare, è importante per una comprensione completa dei dati; la stessa proporzione di guardare a questo giocattolo è stata realizzata per questi bambini attraverso diversi numeri di sguardi di durate diverse.

Un'altra proprietà dimostrata da questi dati è che entrambi i bambini hanno visto raramente alla faccia dei loro genitori: le proporzioni del volto alla ricerca di 1 bambino e bambino 2 erano.015 e.003, rispettivamente. Inoltre, la durata di sguardi di questi bambini alla faccia dei loro genitori erano brevi, su media 0.79 s (SD = 0,39 s) e 0.40 s (SD = 0.04 s) per 1 bambino e il bambino 2, rispettivamente.

Figura 1 . Testa-montata eye-tracking impiegato in tre contesti diversi: (A) giochi da tavolo, giochi di (B) al piano, e (C) leggendo un libro di foto. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 2 . Istituisce il sistema di eye tracking testa-montata. (A) un ricercatore posizionamento eye tracker su un infante. (B) un tracker di occhio ben posizionata in un infante. (C) buon occhio immagine con grande pupilla centrata e deselezionare il riflesso cornea (CR). (D, E, F) Esempi di immagini di cattivo occhio. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 3 . Tre modi diversi di ottenere punti di calibrazione. Vengono visualizzati due punti di vista di ogni momento; Top: visuale in terza persona, in basso: visuale in prima persona del bambino. Frecce nella visuale in terza persona illustrano la direzione di un fascio laser. Inserto caselle in alto a destra Visualizza Mostra del bambino immagini di buon occhio in ogni momento utilizzato per la calibrazione e mirino rosa indicano punto dello sguardo fisso basato sulla taratura completata. (A) punto di calibrazione generato da uno sperimentatore utilizzando un dito e puntatore laser per dirigere l'attenzione a un oggetto sul pavimento. (B) punto di calibrazione generato da uno sperimentatore utilizzando un puntatore laser per dirigere l'attenzione su punti su una superficie. (C) punto di taratura durante giocattolo giocare con un genitore in cui l'attenzione del bambino è diretto a un oggetto tenuto. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 4 . Trame di esempio utilizzati per valutare la qualità di calibratura. Singoli punti rappresentano il punto di x-y per frame delle coordinate di sguardo (POG) nell'immagine della telecamera di scena, come determinato dall'algoritmo di calibrazione. (A) qualità buona taratura per un esperimento di gioco del giocattolo del bambino, indicato da densità approssimativamente circolare di POG centrato e basso (bambino POG è in genere diretto leggermente verso il basso quando guardando giocattoli il bambino è in possesso) e più o meno uniformemente POG distribuita nell'immagine della telecamera di scena rimanenti. (B) qualità scarsa calibrazione, indicato da densità di forma allungata e inclinata di POG che è decentrato e mal distribuita POG nell'immagine della telecamera di scena rimanenti. (C) taratura scarsa qualità e/o posizionamento iniziale difficile della fotocamera scena, indicata da POG decentrato. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 5 . Di due bambini sguardo fisso dell'occhio dati e statistiche. (A) campione ROI flussi per 1 bambino e il bambino 2 durante 60 s dell'interazione. Ogni blocco colorato nei ruscelli rappresenta fotogrammi consecutivi in cui il bambino guardava un ROI per un giocattolo specifico o faccia del genitore. Lo spazio vuoto rappresenta fotogrammi in cui il bambino non aveva un aspetto in qualsiasi della ROIs. (B) percentuale di tempo guardando il padre faccia e 10 giocattolo ROIs, per entrambi i bambini. Percentuale è stata calcolata sommando le durate di tutti i look di ogni ROI e dividendo le durate sommate al tempo totale della sessione di 6 minuti. (C) durata media di sguardi al viso del genitore e dieci giocattolo ROIs, per entrambi i bambini. La durata media è stata calcolata facendo la media delle durate di sguardi individuali per ogni ROI durante l'interazione di 6 minuti. Clicca qui per visualizzare una versione più grande di questa figura.

Discussion

Questo protocollo fornisce principi guida e consigli pratici per l'implementazione di testa-montata eye-tracking con neonati e bambini piccoli. Questo protocollo è basato sullo studio dei comportamenti naturali del bambino nel contesto di gioco libero del genitore-bambino con i giocattoli in un ambiente di laboratorio. In-House eye tracking apparecchiature e software sono stati utilizzati per la taratura e la codifica dei dati. Tuttavia, questo protocollo è destinato a essere generalmente applicabile per i ricercatori che usano una varietà di sistemi di eye tracking testa-montata per studiare una varietà di argomenti in sviluppo infantile e del bambino. Anche se un uso ottimale del presente protocollo coinvolgerà specifici dello studio sartoriale, l'adozione di queste pratiche generali hanno portato a riuscito uso di questo protocollo in una varietà di contesti (Vedi Figura 1), compreso l'occhio testa-montata simultanea di rilevamento di genitori e bambini^7,8,9,10e rilevamento di testa-montata occhio di popolazioni cliniche, compresi i bambini con impianti cocleari¹⁵ e bambini diagnosticati con autismo spettro disordini di^16,17.

Questo protocollo fornisce numerosi vantaggi per indagare lo sviluppo di una varietà di comportamenti e competenze naturali. La libertà di movimento di testa e il corpo che testa-montata ETs permettono ai ricercatori di dà l'opportunità di catturare sia autogenerata ambienti visivi dei partecipanti e la loro esplorazione attiva di quegli ambienti. La portabilità di testa-montata ETs migliora la capacità dei ricercatori di raccogliere dati in contesti più ecologicamente validi. A causa di questi vantaggi, questo metodo fornisce un'alternativa ai metodi di eye tracking per studiare lo sviluppo domini come attenzione visiva, attenzione sociale e integrazione percettivo-motoria e tempo cercando basata su schermo e integra e occasionalmente le sfide i ricercatori di inferenze possono disegnare utilizzando metodi sperimentali più tradizionali. Ad esempio, il protocollo descritto qui aumenta la possibilità per i partecipanti ad esporre le differenze individuali alla ricerca di comportamento, perché i partecipanti hanno controllo non solo oltre dove e per quanto tempo essi si concentrerà la loro attenzione visiva in una scena, come in Basato su schermo eye-tracking, ma anche sopra la composizione di quelle scene attraverso i loro occhi, testa e i movimenti del corpo e manipolazione fisica degli elementi nell'ambiente. I dati dei due partecipanti presentati qui dimostrano le differenze individuali in quanto per i più piccoli sguardo e cosa assaggiare i più piccoli oggetti quando essi sono in grado di creare attivamente e di esplorare il loro ambiente visual. Inoltre, i dati presentati qui, così come altre ricerche che impiegano questo protocollo, suggeriscono che in naturalistici giocattolo gioco con i loro genitori, per i più piccoli sguardo alla faccia dei genitori molto meno di suggerito dalla precedente ricerca^{4,5 ,7,8,9,10}.

Nonostante questi vantaggi, testa-montata eye-tracking con neonati e bambini piccoli pone una serie di sfide metodologiche. La sfida più critica è l'ottenimento di una buona taratura. Perché l'immagine di scena è solo una rappresentazione 2D del mondo 3D che è stato effettivamente visualizzato, un perfetto mapping tra posizione degli occhi e guardava scena posizione è impossibile. Seguendo le indicazioni fornite nel presente protocollo, il mapping può diventare attendibilmente vicino alla "verità della terra", dovrebbe essere tuttavia particolare attenzione ai diversi problemi. In primo luogo, la libertà di movimento di testa e corpo consentito dalla testa-montata eye-tracking inoltre significa che i giovani partecipanti spesso si imbatterà il sistema di eye tracking. Questo è un problema, perché qualsiasi cambiamento nella posizione fisica dell'occhio rispetto le telecamere dell'occhio o scena cambierà il mapping tra la pupilla/CR e il corrispondente pixel ha partecipato nell'immagine scena. Lo svolgimento di tarature separate per queste porzioni dello studio pertanto è critico, come non farlo si tradurrà in un algoritmo che tiene traccia solo lo sguardo del bambino accuratamente per una parte dello studio, se solo punti durante una porzione sono usati per calibrare. In secondo luogo, precisa rilevazione della pupilla CR e del bambino sono fondamentali. Se un punto di calibrazione dell'immagine di scena è tracciato mentre la pupilla è erroneamente rilevata o no a tutti, allora l'algoritmo o impara ad associare questa coordinata di x-y di calibrazione dell'immagine di scena con una coordinata di x-y di pupilla non corretto, o il algoritmo è alimentato dati vuota nel caso in cui l'allievo non viene rilevata affatto. Così, se buona rilevazione non viene raggiunto per un segmento dello studio, qualità di calibrazione per queste cornici saranno poveri e non dovrebbe essere attendibile per la codifica POG. In terzo luogo, perché in genere sono allineati teste e gli occhi dei bambini, attenzione visiva più spesso è diretto verso il centro dell'immagine scena. Tuttavia, punti di calibrazione di estremi x-y dell'immagine di scena sono anche necessarie per stabilire una traccia precisa sguardo attraverso l'immagine di tutta la scena. Così, anche se punti di taratura devono essere scelto in genere in momenti quando l'occhio è stabile su un oggetto, questo potrebbe non essere possibile per punti di calibrazione in angoli lontani dell'immagine di scena. Infine, tenere presente che anche quando si ottiene un immagine di buon occhio e calibra il sistema, questo non garantisce che i dati siano di qualità sufficiente per le analisi previste. Differenze in fattori individuali quali fisiologia dell'occhio, così come i fattori ambientali come l'illuminazione e differenze di eye tracking hardware e software possono influenzare la qualità dei dati e hanno il potenziale per creare gli offset o imprecisioni nei dati. ^{18 , 19} fornire ulteriori informazioni e le possibili soluzioni per questi problemi (Vedi anche Franchak 2017²⁰).

Lavoro anche con neonati e bambini piccoli comporta la sfida di garantire tolleranza dell'ET testa-montata per tutta la sessione. Impiegando le raccomandazioni contenute nel presente protocollo, progettato per l'utilizzo con gli infanti da circa 9-24 mesi di età, un laboratorio possa ottenere alta qualità testa-montata eye tracking dati da circa il 70% di partecipanti²⁰. L'altro 30% dei partecipanti non possono neanche iniziare lo studio a causa di intolleranza dell'inseguitore dell'occhio o Chiasso fuori dallo studio prima dati sufficienti (ad es., > 3-5 minuti di gioco) con un buon occhio traccia possa essere ottenuto. Per il successo 70% dei partecipanti di neonato e bambino, queste sessioni in genere ultima per verso l'alto di 10 minuti, tuttavia molto sessioni più lunghe possono essere non fattibile con le tecnologie attuali, secondo l'età del partecipante e la natura dell'attività in cui il partecipante è impegnato. Quando si progetta l'attività di ricerca e l'ambiente, i ricercatori dovrebbero tenere a mente lo stato dello sviluppo dei partecipanti, come abilità motoria, capacità cognitive e lo sviluppo sociale, tra cui il senso di sicurezza con gli estranei, può influenza tutti i capacità di attenzione dei partecipanti e la capacità di eseguire il compito previsto. Impiegando questo protocollo con gli infanti molto più giovani di 9 mesi coinvolgerà anche ulteriori sfide pratiche come puntellare infanti che non possono ancora sedersi su di loro, come pure la considerazione dell'occhio morfologia e fisiologia, come la disparità binoculare, che differisce da quella di^19,di bambini e adulti più anziani²¹. Inoltre, questo protocollo è maggior successo quando effettuate da esperti addestrati sperimentatori, che possono limitare la gamma di ambienti in cui i dati possono essere raccolti. Gli sperimentatori di pratica più sono, più è probabile che essi saranno in grado di condurre l'esperimento senza intoppi e raccogliere i dati di rilevamento di occhio di alta qualità.

Testa-montata eye-tracking può anche rappresentare la sfida aggiuntiva di codifica di dati richiede tempo relativamente più. Infatti, ai fini di trovare ROIs, testa-montata eye tracking dati sono meglio codificati fotogramma per fotogramma rispetto da "fissazioni" di attenzione visiva. Cioè, fissazioni in genere vengono identificate quando il tasso di variazione delle coordinate POG frame-by-frame x-y è basso, preso come un'indicazione che gli occhi sono stabili su un punto. Tuttavia, perché la scena vista da un tracker di testa-montata occhio si muove con la testa del partecipante e i movimenti del corpo, posizione dell'occhio possa essere accuratamente mappati solo in una posizione fisica essendo raggingimento considerando come si muovono gli occhi relativa testa e movimenti del corpo. Per esempio, se un partecipante si muove loro testa e gli occhi insieme, piuttosto che i loro occhi solo, POG coordinate x-y all'interno della scena possono rimanere immutate anche mentre un partecipante analizza una camera o tiene traccia di un oggetto in movimento. Così, "fissazioni" di attenzione visiva non possono essere facilmente ed accuratamente determinate da solo i dati POG. Per ulteriori informazioni sulle questioni connesse con l'identificazione fissazioni in testa-montata occhio dati di rilevamento, si prega di consultare altri lavoro^15,22. Manualmente codifica dati frame-by-frame per ROI può richiedere più tempo rispetto alla codifica fissazioni. Come riferimento, ci sono voluti programmatori altamente qualificati tra 5 e 10 minuti per manualmente il codice per ROI ogni minuto dei dati presentati qui, che è stato raccolto a 30 fotogrammi al secondo. Il tempo richiesto per la codifica è altamente variabile e dipende dalla qualità dell'occhio rilevamento dati; la dimensione, il numero e il visual discriminability degli obiettivi ROI; l'esperienza del coder; e utilizzare lo strumento di annotazione.

Nonostante queste sfide, questo protocollo può essere flessibilmente adattata a una gamma di ambienti controllati e naturalistici. Questo protocollo può anche essere integrato con altre tecnologie, quali il tracciamento del movimento e della frequenza cardiaca monitoraggio, per fornire un dataset multimodale ad alta densità per l'esame di comportamento naturale, l'apprendimento e lo sviluppo rispetto al passato. Continui progressi nella tecnologia di eye tracking testa-montata saranno senza dubbio alleviare molti attuali sfide e fornire frontiere ancora maggiore per i tipi di domande di ricerca che possono essere affrontate utilizzando questo metodo.

Materials

Name	Company	Catalog Number	Comments
Head-mounted eye tracker	Pupil Labs	World Camera and Eye Camera