Blik in actie: Head-mounted Eye Tracking van kinder dynamische visuele aandacht tijdens naturalistische gedrag

Summary

Jonge kinderen niet passief observeren van de wereld, maar eerder actief verkennen en zich met hun omgeving. Dit protocol biedt leidende beginselen en praktische aanbevelingen voor het gebruik van hoofd gemonteerde oog trackers opnemen zuigelingen en peuters dynamische visuele omgevingen en visuele aandacht in het kader van natuurlijke gedrag.

Abstract

Jonge kinderen visuele omgevingen zijn dynamisch, veranderen van elk-moment-zoals kinderen fysiek en visueel ruimten en objecten verkennen en interactie met mensen om hen heen. Hoofd gemonteerde eye tracking biedt een unieke kans te vangen kinderen dynamische egocentrisch uitzicht en hoe zij verdelen visuele aandacht in deze weergaven. Dit protocol biedt leidende beginselen en praktische aanbevelingen voor onderzoekers met behulp van hoofd gemonteerde oog trackers in zowel laboratorium en meer naturalistische instellingen. Hoofd gemonteerde eye tracking is een aanvulling op andere experimentele methoden door het verbeteren van de mogelijkheden voor het verzamelen van de gegevens in een meer ecologisch geldig context door grotere draagbaarheid en vrijheid van de bewegingen van het hoofd en lichaam ten opzichte van schermgebaseerde eye tracking. Dit protocol kan ook worden geïntegreerd met andere technologieën, zoals het volgen van beweging en hartslag-controle, om te voorzien in een hoge dichtheid multimodale dataset natuurlijke gedrag, leren en ontwikkeling dan voorheen mogelijk te onderzoeken. Dit Groenboek illustreert de soorten gegevens die zijn gegenereerd uit hoofd gemonteerde eye tracking in een studie die is ontworpen om te onderzoeken van de visuele aandacht in een natuurlijke context voor peuters: vrijstromend speelgoed spelen met een ouder. Succesvol gebruik van dit protocol zal het toestaan van onderzoekers voor het verzamelen van gegevens die kunnen worden gebruikt voor het beantwoorden van de vragen niet alleen over visuele aandacht, maar ook over een breed scala van andere perceptuele, cognitieve en sociale vaardigheden en hun ontwikkeling.

Introduction

De laatste decennia hebben gezien groeiende interesse in de ontwikkeling van baby- en kindervoeding visuele aandacht bestuderen. Deze belangstelling heeft voor een groot deel voortvloeide uit het gebruik van tijdmetingen kijken als een primaire middel om te beoordelen van andere cognitieve functies in kinderschoenen en heeft zich ontwikkeld tot de studie van de zuigeling visuele aandacht in zijn eigen recht. Hedendaagse onderzoek van baby- en kindervoeding visuele aandacht meet hoofdzakelijk oogbewegingen tijdens schermgebaseerde eye-tracking taken. Kinderen zitten in een stoel of ouder schoot voor een scherm terwijl hun oogbewegingen worden gecontroleerd tijdens de presentatie van statische beelden of gebeurtenissen. Dergelijke taken, ontbreken echter te vangen van de dynamische aard van natuurlijke visuele aandacht en de middelen waarmee kinderen natuurlijke visuele omgevingen worden gegenereerd - actieve exploratie.

Baby's en peuters zijn actieve wezens, verplaatsen van hun handen, hoofd, ogen en organen om te verkennen van de objecten, mensen en ruimten om hen heen. Elke nieuwe ontwikkeling in het lichaam morfologie, motorische vaardigheid en gedrag - kruipen, lopen, oppakken van objecten, met de sociale partners - gaat vergezeld van de daarmee gepaard gaande wijzigingen in de vroege visuele omgeving. Omdat bepaalt wat baby's doen wat ze zien en wat ze zien voor wat zij in visueel begeleide actie doen serveert, wordt bestuderen de natuurlijke ontwikkeling van de visuele aandacht best uitgevoerd in de context van natuurlijke gedrag¹.

Hoofd gemonteerde oog trackers (ETs) zijn uitgevonden en gebruikt voor volwassenen voor decennia^2,3. Pas onlangs zijn technologische vooruitgang hoofd gemonteerde eye-tracking technologie geschikt voor baby's en peuters. Deelnemers zijn uitgerust met twee lichtgewicht camera's op het hoofd, een scène camera naar buiten geconfronteerd met die het eerste persoon perspectief van de deelnemer vangt en een eye camera geconfronteerd met naar binnen die het oog beeld vastlegt. Een kalibratieprocedure biedt trainingsgegevens aan een algoritme dat de kaarten zo nauwkeurig mogelijk de veranderende standpunten van de leerling en het hoornvlies reflectie (CR) in de afbeelding van de ogen aan de overeenkomstige pixels in de afbeelding van de scène die waren visueel wordt bijgewoond. Het doel van deze methode is om te vangen beide de natuurlijke visuele omgevingen van zuigelingen en zuigelingen actieve visuele verkenning van deze omgevingen als zuigelingen zet vrij. Dergelijke gegevens kunnen helpen om vragen niet alleen over visuele aandacht, maar ook over een breed scala van perceptuele, cognitieve en sociale ontwikkelingen,^4,5,6,7,8te beantwoorden. Het gebruik van deze technieken heeft getransformeerd afspraken van gezamenlijke aandacht^7,8,9, aanhoudende aandacht¹⁰, veranderende visuele ervaringen met leeftijd en motorische ontwikkeling^{4 , 6 , 11}en de rol van visuele ervaringen in woord leren¹². De huidige papier biedt leidende beginselen en praktische aanbevelingen voor het uitvoeren van hoofd gemonteerde eye-tracking experimenten met baby's en peuters en illustreert de soorten gegevens die kunnen worden gegenereerd vanaf hoofd gemonteerde eye tracking in een natuurlijke context voor peuters: vrijstromend speelgoed spelen met een ouder.

Protocol

Deze tutorial is gebaseerd op een procedure voor het verzamelen van gegevens van hoofd gemonteerde eye-tracking met peuters goedgekeurd door de institutionele Review Board aan de Indiana University. Geïnformeerde toestemming van de ouders is verkregen vóór de peuters deelname aan het experiment.

1. voorbereiding van de studie

1. Eye-Tracking apparatuur. Selecteer een van de verschillende hoofd gemonteerde eye-tracking systemen die commercieel beschikbaar zijn, ofwel een zo specifiek voor kinderen op de markt gebracht of wijzigen van het systeem te werken met een op maat gemaakte baby Pet, bijvoorbeeld zoals in de figuren 1 en 2. Zien erop toe dat de eye-tracking systeem de noodzakelijke functies heeft voor het testen van zuigelingen en/of peuters door deze stappen te volgen:
   1. Selecteer een scène-camera die is instelbaar op het gebied van positionering en heeft een breed genoeg hoek te vangen een gezichtsveld die geschikt is voor het aanpakken van de onderzoeksvragen. Selecteer om te registreren de meeste van peuter van activiteiten in de omgeving van een gratis spelen zoals hier beschreven, een camera die een diagonale ten minste 100 graden gezichtsveld registreert.
   2. Selecteer een oog-camera die is instelbaar op het gebied van positionering en heeft een infrarood LED ofwel gebouwd in de camera of grenzend aan de camera en gepositioneerd op een zodanige wijze dat het oog hoornvlies dit licht zullen reflecteren. Merk op dat sommige eye-tracking modellen hebben vaste positionering, maar modellen die flexibele aanpassingen veroorloven worden aanbevolen.
   3. Kies een eye-tracking-systeem zo onopvallend en lichtgewicht mogelijk om de grootste kans dat baby's / peuters zullen tolereren dragen van de apparatuur.
      1. Het systeem in een GLB insluiten door de scène en eye camera's aansluiten met een Velcro band die wordt aangebracht aan de andere kant van de Velcro genaaid op het GLB, en positionering van de camera's uit het midden van de weergave van de peuter.
         Opmerking: Systemen die zijn ontworpen om te worden vergelijkbaar met glazen zijn niet optimaal. De morfologie van de peuter het gezicht is anders dan die van een volwassene en onderdelen die op de peuter de neus of oren rusten kunnen afleiden en ongemakkelijk voor de deelnemer.
      2. Als de ET is aangesloten op een computer, de kabels te bundelen en houden hen achter de rug van de deelnemer om te voorkomen dat afleiding of trippende. Ook gebruiken een op zichzelf staand systeem waarop gegevens worden opgeslagen op een tussenliggend apparaat, zoals een mobiele telefoon, die kan worden geplaatst op het kind, waarmee een grotere mobiliteit.
   4. Selecteer een kalibratie softwarepakket dat voor off line kalibratie toelaat.
2. Opnameomgeving.
   1. Gaan in hoeverre waarnaar het kind wordt verplaatst in de ruimte tijdens het verzamelen van gegevens. Als één standpunt verdient, vermeld dit bij de verzorger van het kind zodat ze kunnen helpen het kind blijven op de gewenste locatie. Verwijder alle potentiële afleiders uit de ruimte met uitzondering van die het kind met communiceren moet, binnen handbereik moet.
   2. Gebruikmaken van een derde persoon camera om mee te helpen in de latere codage van het gedrag van kinderen alsmede over het identificeren van de momenten wanneer het ET kan worden verplaatst. Als het kind in de ruimte verplaatsen zal, overweeg dan extra camera's ook.

2. Verzamel de Eye-Tracking-gegevens.

1. Personeel en activiteit. Hebben twee onderzoekers presenteren, een interactief werken met en het kind, en één om te plaatsen en plaatsen de ET bezetten.
   1. Volledig deelnemen aan het kind een activiteit die van het kind handen in beslag neemt, zodat het kind niet tot verplaatsen oplopen of de ET grijpen terwijl het wordt geplaatst op hun hoofd. Speelgoed dat handmatige acties en kleine boeken die het kind kan houden terwijl de experimentator of de ouder leest het kind aanmoedigen te overwegen.
2. Plaats van de ET op het kind. Omdat peuters tolerantie van het dragen van de hoofd gemonteerde ET varieert, volg deze aanbevelingen ter bevordering van succes bij het plaatsen en onderhouden van de ET op het kind:
   1. In de tijd voorafgaand aan de studie, door verzorgers hebben hun kind slijtage te vragen een cap of muts, vergelijkbaar met wat wordt gebruikt met de ET, thuis om hen gewend aan het hebben van iets op hun hoofd.
   2. In de studie, hebben verschillende soorten caps beschikbaar waarnaar het ET kan worden bevestigd. Caps aanpassen door de aankoop van verschillende maten en stijlen voor caps, zoals een bal-cap die achteruit kan worden gedragen of een muts met dierlijke oren, en het toevoegen van Velcro waarnaar de eye-tracking systeem, voorzien van de andere kant van de Velcro, kan worden aangesloten. Overwegen ook hoeden om gedragen te worden door de verzorger en de onderzoekers, aan te moedigen van het kind belangstelling en bereidheid om ook het dragen van een cap.
      1. Alvorens het GLB op het kind, hebben een experimentator desensibiliseren de peuter aan raakt aan het hoofd door het licht aanraken van het haar meerdere malen als de aandacht en de belangstelling van de peuter is gericht op een stuk speelgoed.
   3. Als u wilt plaatsen de ET op het kind, worden achter of aan de kant van het kind (Zie Figuur 2). Plaats de ET op het kind, wanneer hun handen zijn bezet, zoals wanneer het kind een speeltje in elke hand houdt.
      1. Als het kind naar de experimentator plaatsen de ET kijkt, zeggen "Hallo" en laat het kind weten wat gebeurt er tijdens de procedure om snel de ET op hoofd van het kind. Vermijd ook langzaam terwijl de plaatsing van de ET, die kan leiden tot de nood van het kind en kan leiden tot slechte plaatsing als het kind grotere kans heeft om hun hoofd te verplaatsen of te bereiken voor de ET.
      2. Ter vermindering van de tijd de camera aanpassen na plaatsing, alvorens de ET te plaatsen op de deelnemer, het instellen van de camera's in hun verwachte positie wanneer op het hoofd van het kind (Zie de punten 2.3.1 en 2.3.2).
3. Positie van de ET scène en Eye camera. Zodra de ET op hoofd van het kind, aanpassingen aan de positie van de scène en eye camera's terwijl het toezicht op deze camera video-feeds:
   1. Positie van de laag op het voorhoofd om beste scène-camera bij benadering van het kind gezichtsveld (Zie Figuur 1B); Hiermee centreert u de cameraweergave scène op wat het kind tijdens de studie kijken zal.
      1. Houd in gedachten dat handen gehouden objecten zal altijd zeer dicht bij het kind en zijn laag in de scène cameraweergave, terwijl verder objecten op de achtergrond en hoger in de cameraweergave scène zal worden. Plaats de camera van de scène tot beste vangst het type weergave meest relevant zijn voor de onderzoeksvraag.
      2. De positie van de camera scène testen door het aantrekken van het kind aandacht aan specifieke locaties in hun gezichtsveld met behulp van een klein speelgoed of laser pointer. Zorgen deze locaties bekijkt op de verwachte afstand van de regio's die van belang tijdens de studie (Zie Figuur 3).
      3. Tilt voorkomen door te controleren dat horizontale oppervlakken plat in de scène camera weergegeven worden. Mark de rechtop oriëntatie van de camera van de scène te verzachten van de mogelijkheid van de camera krijgen per ongeluk omgekeerd tijdens herpositionering, maar er rekening mee dat extra stappen tijdens post-processing de beelden naar de juiste stand kunnen herstellen indien nodig.
   2. Hoge kwaliteit blik om gegevens te verkrijgen, plaats de camera van de ogen voor het detecteren van zowel de leerling als het hoornvlies reflectie (CR) (Zie Figuur 2).
      1. Plaats van de oog-camera, dus het is gecentreerd op de leerling van het kind, met geen occlusie door wangen of wimpers gedurende de eye's volledige scala van beweging (Zie Figuur 2C-F voor voorbeelden van goede en slechte ogen beelden). Om te helpen met dit, plaatst u de eye camera onder het oog, in de buurt van de Wang, wijzen omhoog, houden de camera uit het midden van de weergave van het kind. Uitwijkmogelijkheid, plaats de eye camera hieronder en aan de buitenkant van het oog, wijzen naar binnen.
      2. Zorg ervoor dat de camera dicht genoeg bij het oog dat de beweging een relatief grote verplaatsing van de pupil in het oog camera beeld produceert.
      3. Tilt voorkomen door ervoor te zorgen dat de hoeken van het oog in het oog-beeld kunnen vormen van een horizontale lijn (Zie Figuur 2C).
      4. Zorg ervoor dat het contrast van de leerling ten opzichte van de iris relatief hoog zodat de leerling nauwkeurig onderscheiden van iris worden kan (Zie Figuur 2C). Om te helpen met dit, aanpassen of de positie van de LED-licht (als naast de eye camera) of de afstand van de camera van de ogen van het oog (als de LED niet onafhankelijk van elkaar regelbaar is). Bij verhoogde leerling detectie, plaatst u de LED-licht in een hoek en niet meteen in het oog. Er zeker van te zijn dat eventuele aanpassingen van de LED-licht nog steeds een duidelijke CR produceren (Zie Figuur 2C).
4. Punten verkrijgen tijdens de studie voor off line kalibratie.
   1. Zodra de scène en oog beelden zijn zo hoge kwaliteit als kunnen ze, verzamelen ijkgegevens door de aandacht van het kind op verschillende locaties in hun gezichtsveld.
      1. Verkrijgen van meetpunten op verschillende oppervlakken met iets dat duidelijk de aandacht van het kind naar een kleine, heldere punt in hun gezichtsveld leidt (Zie Figuur 3). Bijvoorbeeld, gebruiken een laserpointer tegen een effen achtergrond, of een oppervlak met kleine onafhankelijk-activated LED-verlichting.
      2. Het beperken van de aanwezigheid van andere interessante doelen in de weergave van het kind om ervoor te zorgen dat het kind kijkt aan de doelstellingen van de kalibratie.
   2. Afwisselend aandacht te vestigen op verschillende locaties waarvoor grote hoekige verplaatsingen van het oog.
      1. Betrekking hebben op het gezichtsveld even en niet te snel verplaatsen tussen de punten, die helpen zal bij het vinden van duidelijke saccades van het kind tijdens off line kalibratie om te concluderen dat toen ze keek naar de volgende locatie.
      2. Als het kind onmiddellijk er niet naar de nieuwe locatie van de gemarkeerde ziet, krijgen hun aandacht naar de locatie door de laser wiebelen, draaien uit/aan de LEDs of aanraken van de locatie met een vinger.
      3. Als haalbaar is, krijgen meer kalibratiepunten dan nodig voor het geval dat sommige blijken te zijn later onbruikbaar.
   3. Er zeker van te zijn dat het kind lichaamshouding tijdens de kalibratie overeenkomt met de positie die wordt gebruikt tijdens de studie.
      1. Bijvoorbeeld, verzamelen geen kalibratiepunten wanneer het kind zit als de verwachting is dat het kind later permanent zal worden.
      2. Zorgen ervoor dat de afstand tussen het kind en de doelstellingen van de kalibratie is gelijkaardig aan de afstand tussen het kind en de regio's die tijdens het onderzoek van belang zal zijn.
      3. Plaats kalibratiepunten zeer dicht bij het lichaam van het kind niet als tijdens het experiment, het kind zal vooral kijken naar objecten die verder weg bent. Als men geïnteresseerd is in zowel de nabije en de verre objecten, kunt u overwegen verkrijgen van twee verschillende sets van kalibratiepunten die later kan worden gebruikt voor het maken van unieke kalibraties voor elke kijkafstand (zie punt 3.1 voor meer informatie).
         Opmerking: Verrekijker eye tracking is een ontwikkelende technologie^13,14 dat beloften advances in blik in detail bijhouden.
   4. Verzamelen om ruimte voor drift of beweging van de ET tijdens de studie, de kalibratiepunten aan zowel het begin en het einde van de studie minimaal. Als haalbaar is, verzamelen aanvullende meetpunten op gezette tijden tijdens de sessie.
5. De ET en Third-Person Video-Feeds controleren tijdens de studie.
   1. Als de ET bumped of uitgelijnd als gevolg van andere bewegingen/acties krijgt, nota nemen van wanneer in de studie dat dit gebeurde omdat het misschien nodig code van de gedeelten van de studie van voor en na de bult/afwijking apart te kalibreren (zie punt 3.1.1).
   2. Indien mogelijk, de studie na elke hobbel/afwijking om de positie van de scène en eye camera's (zie sectie 2.3) te onderbreken, dan nieuwe punten voor de kalibratie te verkrijgen (zie punt 2.4).

3. na de studie, kalibreer de ET-gegevens met behulp van kalibratiesoftware.

Opmerking: Een verscheidenheid van kalibratie softwarepakketten zijn commercieel verkrijgbaar.

1. Kunt u overwegen meerdere kalibraties maken. Kalibratiepunten aan verschillende video segmenten te maximaliseren van de nauwkeurigheid van de blik-track door het niet voeren van het algoritme onjuist onjuiste gegevens aanpassen
   1. Als de ET gewijzigd positie op elk gewenst moment tijdens de studie, Maak aparte kalibraties voor de gedeelten voor en na de wijziging in ET positie.
   2. Indien geïnteresseerd in aandacht voor objecten op zeer verschillende bekijken afstanden, Maak aparte kalibraties voor de gedeelten van de video waar het kind is op zoek naar objecten op elke kijkafstand. Houd er rekening mee dat de verschillen in het bekijken van afstand kunnen worden geproduceerd door verschuivingen in de visuele aandacht van het kind tussen zeer nauwe en variëren van verre objecten, maar ook door veranderingen in lichaamshouding van het kind ten opzichte van een object, zoals het verschuiven van zitten tot staan.
2. Uitvoeren van iedere kalibratie. Stellen de toewijzing tussen scène en oog door het creëren van een aantal kalibratiepunten - punten in het beeld van de scène waarnaar het kind blik duidelijk tijdens dat frame gericht was. Opmerking dat de kalibratiesoftware kunt extrapoleren en interpoleren van het punt van blik (POG) in alle frames uit een reeks van kalibratiepunten gelijkmatig verspreid over het beeld van de scène.
   1. De kalibratiesoftware helpen bij het opsporen van de leerling en CR in elk frame van de eye camera video om ervoor te zorgen dat de geïdentificeerde POG betrouwbaar is. In gevallen waar de software niet wordt gedetecteerd door de CR betrouwbaar en consequent, gebruikt u de leerling enige (notitie, echter dat de kwaliteit van de gegevens als gevolg lijden zal).
      1. Verkrijgen van een goede oog-beeld in de eye camera frames door aanpassing van de drempels van de kalibratie software van verschillende detectie parameters, die kunnen bestaan uit: de helderheid van het beeld van het oog, de grootte van de leerling de software verwacht, en een selectiekader ingesteld dat de grenzen van waar de software er voor de leerling ziet. Tekenen van het selectiekader zo klein mogelijk en tegelijkertijd te garanderen dat de leerling blijft binnen het vak in het oog van volledig gamma van motie. Wees ervan bewust dat een grotere selectiekader dat omvat ruimte die de leerling nooit inneemt de kans op detectie van valse leerling verhoogt en kan leiden tot kleine bewegingen van de leerling minder nauwkeurig worden gedetecteerd.
      2. Let erop dat zelfs na het aanpassen van de software verschillende detectie drempels, de software soms nog steeds verkeerd de leerling of CR vinden kan; bijvoorbeeld, als de leerling van de dekking van de wimpers.
   2. Het vinden van goede kalibratiepunten, gebaseerd op de scène en eye camera-frames. Merk op dat de beste kalibratiepunten verstrekt aan de software die waarin de leerling en CR zijn correct gedetecteerd zijn, het oog is stabiel gefixeerd op een duidelijk herkenbaar punt in de ruimte in het beeld van de scène, en de punten zijn gelijkmatig verspreid over het gehele bereik van het beeld van de scène.
      1. Zorg ervoor dat leerling detectie correct voor elk frame waarin een kalibratiepunt is uitgezet, zodat zowel geldige x-y scène coördinaten en geldig x-y leerling-coördinaten in het algoritme worden gevoed.
      2. Tijdens de eerste pas op kalibratie, identificeren kalibratiepunten op momenten wanneer het kind duidelijk naar op zoek is naar een verschillend punt in de afbeelding van de scène. Houd er rekening mee dat deze punten opzettelijk gemaakt door de experimentator tijdens het verzamelen van gegevens, bijvoorbeeld met een laserpointer kunnen worden (Zie Figuur 3A-B), of kunnen zij punten uit de studie waarin de POG gemakkelijk te identificeren (Zie is Figuur 3C), zolang de leerling is correct gedetecteerd voor die frames.
      3. Vind je momenten van blik naar meer extreme x-y scène afbeelding coördinaten, scannen door de eye camera frames momenten met nauwkeurige leerling detectie vinden wanneer het kind de oog op de meest extreme x-en y-positie is.
   3. Meerdere "passen" voor elke kalibratie aan iteratief slijpen op de meest nauwkeurige kalibrering mogelijk doen. Merk op dat veel softwareprogramma's na het voltooien van een eerste "pass" op kalibratie, de verwijdering van punten eerder gebruikt zonder verlies van de huidige track (bijvoorbeeld draadkruis) zal toestaan. Selecteer een nieuwe set kalibratiepunten te trainen van het algoritme vanaf nul, maar met de extra hulp van de POG track gegenereerd door de eerdere kalibratie-pas, zodat naar de nauwkeurigheid van de kalibratie geleidelijk te verhogen door het geleidelijk "opruimen" geen geluid of onjuistheden geïntroduceerd door eerdere passeert.
3. Beoordelen van de kwaliteit van kalibratie door het observeren van hoe goed de POG komt overeen met de bekende blik locaties, zoals de puntjes geproduceerd door een laserpointer tijdens de kalibratie, en weerspiegelt de richting en de omvang van de kind saccades. Vermijd het gebruik van punten te beoordelen van de kwaliteit van de kalibratie die werden ook gebruikt als punten tijdens het kalibratieproces.
   1. Onthoud dat omdat kinderen hoofden en ogen zijn meestal op elkaar afgestemd, kinder visuele aandacht meestal op het midden van de afbeelding van de scène gericht is en een nauwkeurige track dit weerspiegelen zal. Om te beoordelen de centeredness van het spoor, het uitzetten van de frame-voor-frame x-y POG coördinaten in het beeld van de scène gegenereerd door de kalibratie (Zie Figuur 4). Bevestigen dat de punten zijn meest dichte in het midden van de afbeelding van de scène en gedistribueerde symmetrisch, behalve in gevallen waar de camera scène was niet gecentreerd in het midden van het kind in gezichtsveld bij Oorspronkelijk geplaatst.
   2. Merk op dat sommige kalibratiesoftware lineaire en/of homography fit scores die kalibratie nauwkeurigheid weerspiegelen zal genereren. Houd in gedachten dat deze scores nuttig tot op zekere hoogte, zijn omdat, als ze arm zijn, de track zal waarschijnlijk ook slecht. Echter, gebruik geen fit scores als de belangrijkste maatregel van de nauwkeurigheid van de kalibratie zoals ze weerspiegelen de mate waarmee de gekozen kalibratiepunten instemmen met zichzelf, die geen informatie over de pasvorm van deze punten naar de grond waarheid locatie van de POG geeft.
   3. Vergeet niet dat er momenten in de studie dat de doelstelling van blik eenvoudig te herkennen is, en daarom kan worden gebruikt als waarheid van de grond. Nauwkeurigheid in graden van visuele hoek berekenen door het meten van de fout tussen bekende blik doelstellingen en het dradenkruis POG (fout in pixels van het videobeeld kan worden ongeveer geconverteerd naar graden op basis van kenmerken van de lens van de camera van de scène)⁴.

4. code regio's van belang (ROIs).

Opmerking: ROI-codering is de evaluatie van POG gegevens om te bepalen welke regio een kind is visueel aanwezig zijn bij tijdens een bijzonder moment. ROI kan worden gecodeerd met hoge nauwkeurigheid en hoge resolutie van de frame-voor-frame POG gegevens. De output van deze codering is een stroom van gegevenspunten - één punt per videoframe - die de regio van POG na verloop van tijd geven (Zie Figuur 5A).

1. Voorafgaand aan begin ROI codering, een lijst samenstellen van alle ROIs die moet worden gecodeerd op basis van de onderzoeksvragen. Wees ervan bewust dat maakt onnodig tijdrovend codering codering ROIs die niet nodig zijn om het onderzoek te beantwoorden vragen.
2. Beginselen van ROI codering.
   1. Vergeet niet dat succesvolle codering de coder's veronderstellingen vereist over waar het kind moet worden op zoek, en in plaats daarvan zorgvuldig te hebben onderzocht van elk frame oog beeld, beeld van de scène, en berekende POG afstaan. Bijvoorbeeld, zelfs als een object wordt vastgehouden door het kind en erg groot in het beeld van de scène voor een bepaald frame is, niet afleiden dat het kind dat object op dat moment kijkt tenzij ook aangegeven door de positie van de ogen. Merk op dat ROIs welke regio het kind is foveating, maar niet vangen de volledige visuele informatie het kind neemt aangeven aan.
   2. Gebruik de afbeelding van het oog, de scène image en POG track om te bepalen welke ROI is visueel wordt bijgewoond aan.
      1. De POG track gebruiken als een gids, niet als grond-waarheid. Hoewel de POG track de exacte locatie keek geeft op door het kind voor elk frame ideaal duidelijk, weet dat dit niet altijd het geval door de 2 dimensionale (2D) aard van de scène afbeelding ten opzichte van het 3D-karakter van de echte wereld door het chil bekeken worden d en variatie in de nauwkeurigheid van de kalibratie tussen deelnemers.
         1. Vergeet niet dat de berekende POG koers een schatting op basis van een kalibratie-algoritme is en dat betrouwbaarheid van het spoor POG voor een bepaald frame dan ook afhangt van hoe goed de leerling en CR worden gedetecteerd; Als een of beide worden niet gedetecteerd of onjuist zijn, zal de track POG niet betrouwbaar.
            Opmerking: Het dradenkruis zal gebeuren dat consequent uit-target door een vaste afstand. Nieuwere software kan toestaan dat een computationeel corrigeren voor deze discrepantie. Anders kan een opgeleide onderzoeker de correctie handmatig doen.
      2. Verkeer van de leerling in de oog-afbeelding gebruiken als de primaire cue die de ROI kan zijn gewijzigd.
         1. Blader door frames één voor één het oog beeld kijken. Wanneer een zichtbare beweging van het oog optreedt, moet u controleren of het kind hun POG naar een nieuwe ROI of geen gedefinieerde ROI verschuift.
         2. Merk op dat niet alle oogbewegingen een verandering in de ROI aangeven. Als de ROI vormt een groot gebied van de ruimte (bijvoorbeeld een up-close-object), in gedachten houden dat kleine oog verkeer kan weerspiegelen een kijken naar een nieuwe locatie binnen de dezelfde ROI. Vergeet ook niet dat oogbewegingen optreden kunnen als het kind een enkele bewegende ROI tracks, of als een kind die in beweging is hun hoofd ook hun ogen beweegt om de blik op de dezelfde ROI.
         3. Merk op dat met sommige ETs de oog-afbeelding een gespiegeld beeld van het kind de oog, in welk geval is als het oog naar links die moet overeenkomen met tot een verschuiving in de scène naar rechts verplaatst.
   3. Omdat de POG track alleen als een gids dient, maak gebruik van de beschikbare contextuele informatie zo goed als leidraad codering besluiten.
      1. Integreer informatie uit verschillende bronnen of frames bij het coderen van de ROI. Hoewel de ROI is afzonderlijk gecodeerd voor elk frame, gebruikmaken van frames voor en na het huidige frame om contextuele informatie die helpen kan bij het bepalen van de juiste ROI te verkrijgen. Bijvoorbeeld, als de POG track afwezig of niet geschikt zijn voor een bepaald frame als gevolg van slechte leerling detectie is, maar het oog bewoog niet op basis van de voorgaande en volgende frames waarin de leerling was correct gedetecteerd door, dan negeren de POG track voor dat frame en code van de ROI-ba sed op de omringende frames.
      2. Aanbrengen overige besluiten specifieke onderzoeksvragen van de gebruikers.
         1. Bijvoorbeeld, het maken van een protocol voor hoe ROI wanneer twee ROIs dicht bij elkaar zijn, in welk geval het moeilijk om te bepalen welke is de "juiste" ROI kan zijn. In gevallen waar het kind lijkt te worden op de kruising van de twee ROIs fixering, besluiten of code beide ROIs gelijktijdig of aan het formuleren van een set van beslissingsregels voor hoe om te selecteren en toewijzen van slechts één van de categorieën van de ROI.
         2. Als extra voorbeeld, wanneer een object van belang wordt gehouden zodat een hand is het object occluding, beslissen of de POG code als een ROI voor de hand, of als een ROI voor het gehouden-object.
3. Code van ROI voor betrouwbaarheid. Implementeren van een betrouwbaarheid codering procedure na de aanvankelijke ROI protocol codering is voltooid. Er zijn vele verschillende types van betrouwbaarheid codering procedures beschikbaar; Kies de meest relevante procedure op basis van de specifieke onderzoeksvragen.

Representative Results

De hier besproken methode werd toegepast op een vrijstromend speelgoed spelen context tussen peuters en hun ouders. De studie werd ontworpen om de natuurlijke visuele aandacht in een rommelige omgeving onderzoeken. Dyads kregen de opdracht om te spelen vrij met een set van 24 speelgoed gedurende zes minuten. Peuters visuele aandacht werd gemeten door de codering van het begin en offset van kijkt op specifieke regio's van belang (ROIs)--elk van de 24 speelgoed en van de ouder gezicht-- en door het analyseren van de duur en het percentage op zoek tijd aan elke ROI. De resultaten worden gevisualiseerd in Figuur 5.

Figuur 5 A monster ROI stromen toont voor twee 18-maand-oude kinderen. De gekleurde blokken in de streams vertegenwoordigt continu frames waarin het kind gekeken naar een bepaalde ROI. De ogen-blik verkregen gegevens tonen een aantal interessante eigenschappen van natuurlijke visuele aandacht.

Eerst, tonen de kinderen individuele verschillen in hun selectiviteit voor verschillende subgroepen van speelgoed. Figuur 5 B toont het aandeel van de 6 minuten durende interactie dat elk kind bezig is geweest met het kijken naar elk van de 10 geselecteerde speelgoed ROIs. Hoewel het totale aandeel van tijd Kind1 en Kind2 doorgebracht was kijkend speelgoed (met inbegrip van alle 24 speelgoed ROIs) enigszins vergelijkbaar, 0,76 en 0.87, respectievelijk verhoudingen van tijd besteed aan individuele speelgoed varieerde sterk, zowel binnen als tussen onderwerpen.

Hoe deze verhoudingen van op zoek tijd werden bereikt ook verschilden over kinderen. Figuur 5 C toont de gemiddelde duur van elk kind van kijkt naar elk van de 10 geselecteerde speelgoed ROIs. De gemiddelde duur van kijkt naar alle 24 speelgoed ROIs voor Kind2 (M = 2.38 s, SD = 2.20 s) was bijna twee keer zo lang als die van Kind1 (M = 1,20 s, SD = 0.78 s). Vergelijking van de Zoek patronen aan de rode lieveheersbeestje rammelaar (paarse balken) in Figuur 5,B, C illustreert waarom meerdere uitziende maatregelen, zoals de verhoudingen en de duur van het kijken, computergebruik belangrijk voor een compleet begrip van de gegevens is; hetzelfde aandeel van het kijken naar dit speelgoed werd bereikt voor deze kinderen door verschillende nummers van blikken van verschillende duur.

Een andere eigenschap die blijkt uit deze gegevens is dat beide kinderen zelden keek naar hun ouders gezicht: de verhoudingen van gezicht zoekt Kind1 en Kind2.015 en.003, respectievelijk waren. Bovendien, de duur van deze kinderen kijkt naar hun ouders gezicht waren kort, op de gemiddelde 0.79 s (SD = 0.39 s) en 0.40 s (SD = 0.04 s) voor Kind1 en Kind2, respectievelijk.

Figuur 1 . Hoofd gemonteerde eye tracking werkzaam in drie verschillende contexten: (A) tafelblad speelgoed spelen, (B) speelgoed spelen op de vloer, en (C) het lezen van een prentenboek. Klik hier voor een grotere versie van dit cijfer.

Figuur 2 . Het opzetten van de hoofd gemonteerde eye-tracking systeem. (A) een onderzoeker een eye tracker positionering op de zuigeling. (B) een goed gepositioneerd eye tracker op de zuigeling. (C) goed ogend beeld met grote gecentreerd leerling en duidelijk hoornvlies reflectie (CR). (D, E, F) Voorbeelden van slechte oog-beelden. Klik hier voor een grotere versie van dit cijfer.

Figuur 3 . Drie verschillende manieren voor het verkrijgen van de kalibratiepunten. Twee weergaven van elk moment staan; boven: derde-persoonsmening, bodem: kind first person view. Pijlen in de derde persoon weergave illustreren de richting van een laserstraal. Inzet vakken in de rechterbovenhoek van het kind weergeven goed oog beelden op elk moment gebruikt voor kalibratie en roze crosshairs plaats van blik op basis van de voltooide kalibratie aangeven. (A) kalibratiepunt gegenereerd door experimentator met behulp van een vinger en laser pointer naar de aandacht vestigen op een object op de verdieping. (B) kalibratiepunt gegenereerd door experimentator met behulp van een laserpointer naar de directe aandacht aan dots op een oppervlak. (C) kalibratiepunt tijdens speelgoed spelen met een ouder waar het kind aandacht is gericht op een gehouden-object. Klik hier voor een grotere versie van dit cijfer.

Figuur 4 . In het volgende voorbeeld percelen gebruikt ter beoordeling van de kwaliteit van de kalibratie. Afzonderlijke puntjes vertegenwoordigen per-frame x-y punt van blik (POG) coördinaten in het beeld van de camera scène, zoals bepaald door de kalibratie-algoritme. (A) goede kalibratie kwaliteit voor een kind speelgoed afspeelbare experiment, aangegeven door ruwweg cirkelvormige dichtheid van POG die is gecentreerd en lage (kind POG meestal iets naar beneden gericht is wanneer kijken naar speelgoed het kind houdt), en ongeveer gelijkmatig gedistribueerde POG in de resterende scène camera beeld. (B) slechte kalibratie kwaliteit, aangegeven door langwerpig en gekanteld dichtheid van POG dat is off-gecentreerd, en slecht gedistribueerde POG in de resterende scène camera beeld. (C) slechte kalibratie kwaliteit en/of slechte eerste positionering van de camera van de scène, aangegeven door POG af-gecentreerd. Klik hier voor een grotere versie van dit cijfer.

Figuur 5 . Twee kinder-ogen-blik gegevens en statistieken. (A) monster ROI streams voor Kind1 en Kind2 tijdens 60 s van de interactie. De gekleurde blokken in de streams vertegenwoordigt continu frames waarin het kind gekeken naar een ROI voor een specifieke speelgoed of de ouder gezicht. Witruimte vertegenwoordigt frames waarin keek het kind niet op een van de ROI. (B) deel van de tijd te kijken naar de ouder gezicht en 10 speelgoed ROIs, voor zowel kinderen. Aandeel is berekend door optelling van de totale duur van alle blikken aan elke ROI en de opgeteld duur te delen door de totale sessieduur van 6 minuten. (C) betekent duur van kijkt naar de ouder gezicht en tien speelgoed ROIs, voor zowel kinderen. Gemiddelde duur is berekend door het gemiddelde van de totale duur van individuele kijkt naar elke ROI tijdens de interactie die 6 minuten. Klik hier voor een grotere versie van dit cijfer.

Discussion

Dit protocol biedt leidende beginselen en praktische aanbevelingen voor de tenuitvoerlegging van hoofd gemonteerde eye tracking met zuigelingen en jonge kinderen. Dit protocol is gebaseerd op de studie van natuurlijke peuter gedrag in het kader van ouder-peuter gratis spelen met speelgoed in een laboratorium-omgeving. In-House eye-tracking apparatuur en software werden gebruikt voor kalibratie en gegevens codering. Dit protocol is echter bedoeld als algemeen toepasbaar voor onderzoekers met behulp van een verscheidenheid van hoofd gemonteerde eye-tracking-systemen te bestuderen van een verscheidenheid van onderwerpen in de ontwikkeling van baby en kind. Hoewel optimaal gebruik van dit protocol betrekking op studie-specifieke hebben zal hebben afstemming, de goedkeuring van deze algemene praktijken geleid tot succesvolle gebruik van dit protocol in een verscheidenheid van contexten (Zie Figuur 1), waaronder de gelijktijdige hoofd gemonteerde eye tracking voor ouders en peuters^7,,^8,,^9,10, en hoofd gemonteerde eye tracking van klinische bevolking, met inbegrip van kinderen met cochleaire implantaten¹⁵ en kinderen gediagnosticeerd met autismespectrum stoornissen^16,17.

Dit protocol biedt tal van voordelen voor het onderzoek naar de ontwikkeling van een verscheidenheid van natuurlijke vaardigheden en gedrag. De vrijheid van hoofd en lichaam beweging die hoofd ETs gemonteerde toestaan geeft onderzoekers de kans te vangen zowel deelnemers self-generated visuele omgevingen en hun actieve verkenning van deze omgevingen. De overdraagbaarheid van hoofd gemonteerde ETs verbetert onderzoekers vermogen voor het verzamelen van gegevens in een meer ecologisch geldige context. Als gevolg van deze voordelen, deze methode biedt een alternatief voor schermgebaseerde uitziende tijd en eye-tracking methoden voor het bestuderen van ontwikkeling in verschillende domeinen zoals visuele aandacht, sociale aandacht en perceptuele-motor integratie, en vormt een aanvulling op en af en toe uitdagingen de gevolgtrekkingen onderzoekers kunnen trekken met behulp van de meer traditionele experimentele methoden. Bijvoorbeeld, het protocol hier beschreven verhoogt de mogelijkheid voor deelnemers om individuele verschillen in tentoon te stellen op zoek naar gedrag, omdat deelnemers controle niet alleen meer dan hebben waar en voor hoe lang ze richten hun visuele aandacht in een scène, zoals in schermgebaseerde oog volgen, maar ook over de samenstelling van die scènes door middel van hun ogen, hoofd, en lichaamsbewegingen en fysieke manipulatie van de elementen in het milieu. De twee deelnemers hier gepresenteerde gegevens tonen aan individuele verschillen in hoe lang peuters kijken en wat objecten peuters proef wanneer ze zijn in staat om actief te maken en hun visuele omgeving verkennen. Bovendien, suggereren de gegevens gepresenteerd hier, evenals andere onderzoek met dit protocol, dat in naturalistische speelgoed spelen met hun ouders, peuters kijken naar hun ouders gezicht veel minder dan voorgesteld door eerdere onderzoek^{4,5 ,7,},^8,,^9,10.

Ondanks deze voordelen, hoofd gemonteerde eye tracking met baby's en peuters een aantal methodologische problemen met zich meebrengt. De belangrijkste uitdaging is het verkrijgen van een goede kalibratie. Omdat de scène-afbeelding alleen een 2D weergave van de 3D-wereld die eigenlijk gezien is was, is het een perfecte koppeling tussen ooghoogte en keek scène locatie onmogelijk. Door het volgen van de richtlijnen in dit protocol, kan de toewijzing op betrouwbare wijze worden dicht bij de 'grond waarheid', echter bijzondere aandacht moet worden besteed aan verschillende problemen. Ten eerste, de vrijheid van beweging van het hoofd en lichaam toegestaan door hoofd gemonteerde eye tracking ook betekent dat jonge deelnemers vaak de eye-tracking systeem stoten zullen. Dit is een probleem omdat elke wijziging in de fysieke positie van het oog ten opzichte van de camera's eye of scène de toewijzing tussen de leerling/CR en de overeenkomstige pixels bijgewoond in de afbeelding van de scène verandert. Uitvoeren van afzonderlijke kalibraties voor deze gedeelten van de studie is daarom cruciaal, aangezien niet doet in een algoritme die wordt alleen getraceerd van het kind blik nauwkeurig voor een gedeelte van de studie, resulteren zal als alleen punten tijdens één portie zijn gebruikt om te kalibreren. Tweede, nauwkeurige detectie van de leerling en de CR van het kind staan kritisch tegenover. Als een kalibratiepunt in de scène afbeelding wordt getekend terwijl de leerling is onjuist gedetecteerd of helemaal niet gedetecteerd dan het algoritme ofwel leert deze kalibratie-x-y-coördinaat in de scène afbeelding koppelen aan een onjuiste leerling x-y-coördinaat, of de algoritme is gevoed met lege data in het geval waar de leerling helemaal niet wordt gedetecteerd. Dus, als zoet speurder, niet wordt bereikt voor een segment van de studie kalibratie kwaliteit voor deze frames zullen arme en moet niet worden vertrouwd voor het coderen van POG. Ten derde, omdat kinderen hoofden en ogen zijn meestal uitgelijnd, visuele aandacht is meestal gericht op het midden van de afbeelding van de scène. Extreme x-y kalibratiepunten in de scène afbeelding zijn echter ook nodig voor de vaststelling van een nauwkeurige blik track over het beeld van de gehele scène. Dus, hoewel kalibratiepunten moeten meestal worden gekozen op momenten wanneer het oog stabiel op een object is, dit niet mogelijk voor kalibratiepunten in de verre uithoeken van het beeld van de scène. Ten slotte, houd er rekening mee dat zelfs wanneer een goed oog beeld wordt verkregen en het systeem kalibreert, dit niet garandeert dat de gegevens van voldoende kwaliteit voor de beoogde analyses is. Verschillen in individuele factoren zoals oog fysiologie, evenals omgevingsfactoren zoals verlichting en in eye-tracking hardware en software kunnen alle invloed hebben op kwaliteit van de gegevens en mogelijkheden voor het scheppen van compensaties of onjuistheden in de gegevens hebben. ^{18 , 19} bieden meer informatie en mogelijke oplossingen voor dergelijke zaken (Zie ook Franchak 2017²⁰).

Werken met baby's en peuters ook houdt de uitdaging ervoor te zorgen de tolerantie van de hoofd gemonteerde ET tijdens de sessie. Met de aanbevelingen in dit protocol, ontworpen voor gebruik met zuigelingen vanaf ongeveer 9-24 maanden oud, verkrijgen een laboratorium kwalitatief hoogwaardige hoofd gemonteerde eye-tracking-gegevens van ongeveer 70% van de deelnemers²⁰. De andere 30% van de deelnemers kunnen ofwel niet beginnen de studie vanwege intolerantie van de eye tracker of gedoe uit de studie voordat er voldoende gegevens (bijvoorbeeld > 3-5 minuten spelen) met een goed oog track kan worden verkregen. Voor de succesvolle 70% van de baby- en kindervoeding deelnemers, deze sessies meestal laatst voor omhoog van 10 minuten, echter veel langere sessies mogelijk onbruikbare met huidige technologieën, afhankelijk van de leeftijd van de deelnemer en de aard van de taak in die de deelnemer is betrokken. Bij het ontwerpen van de onderzoeksopdracht en het milieu, moeten onderzoekers in gedachten houden de ontwikkelings status van de deelnemers, zoals motoriek, cognitieve capaciteit en sociale ontwikkeling, met inbegrip van gevoel van veiligheid rond vreemden, alle invloed kunnen deelnemers concentratieperiode en mogelijkheid voor het uitvoeren van de geplande taak. Dit protocol met zuigelingen veel jonger dan 9 maanden in dienst houdt ook extra praktische uitdagingen zoals het stutten van zuigelingen die niet nog op hun eigen zitten, evenals de behandeling van het oog morfologie en fysiologie, zoals verrekijker ongelijkheid, die verschillen van die van oudere kinderen en volwassenen^19,21. Dit protocol is bovendien succesvolste wanneer uitgevoerd door ervaren opgeleide onderzoekers, die kunnen beperken het scala van omgevingen waarin gegevens kunnen worden verzameld. De meer praktijk onderzoekers hebben, des te waarschijnlijker zij zal zitten kundig voor voeren het experiment soepel en eye trackingsgegevens verzamelen van hoge kwaliteit.

Hoofd gemonteerde eye tracking kan ook opleveren voor de extra uitdaging van relatief meer tijdrovende gegevens codering. Immers, met het oog op het vinden van ROIs, hoofd gemonteerde eye-tracking gegevens is beter gecodeerd frame voor frame dan door "vastleggingen" van visuele aandacht. Dat wil zeggen worden vastleggingen normaal gesproken aangeduid wanneer de mate van verandering in de frame-voor-frame x-y POG coördinaten slinkt, zijn genomen als indicatie dat de ogen stabiel op een punt zijn. Echter omdat de weergave van de scène uit een hoofd gemonteerde eye tracker met het hoofd van de deelnemer en bewegingen van het lichaam bewegingen, kan de eye's standpunt alleen worden nauwkeurig gekoppeld aan een fysieke locatie wordt foveated door te kijken hoe de ogen zijn bewegende ten opzichte van het hoofd en lichamelijke bewegingen. Bijvoorbeeld, als een deelnemer hun hoofd en ogen samen, in plaats van hun ogen alleen beweegt, kunnen de x-y POG coördinaten binnen de scène blijven ongewijzigd terwijl een deelnemer een kamer scant of een bewegend object wordt bijgehouden. Worden dus, "vastleggingen" van visuele aandacht kunnen niet gemakkelijk en nauwkeurig bepaald van alleen de POG gegevens. Raadpleeg voor meer informatie over kwesties in verband met het identificeren van de vastleggingen in hoofd gemonteerde oog voor het bijhouden van gegevens, andere werk^15,22. Handmatig codeert gegevens frame-voor-frame voor ROI kan extra tijd ten opzichte van vastleggingen codering vereisen. Als referentie vond het hoog opgeleide codeurs tussen 5 en 10 minuten om te handmatig coderen voor een ROI van elke minuut van de hier gepresenteerde gegevens die werd verzameld bij 30 kaders per seconde. De tijd die nodig is voor het coderen is zeer variabel en hangt af van de kwaliteit van het oog voor het bijhouden van gegevens; het grootte, het aantal en de visuele discriminability van ROI doelstellingen; de ervaring van de codeur; en de aantekeningsfunctie gebruikt.

Ondanks deze uitdagingen, kan dit protocol flexibel aangepast worden aan een aantal gecontroleerde en naturalistische omgevingen. Dit protocol kan ook worden geïntegreerd met andere technologieën, zoals het volgen van beweging en hartslag-controle, om te voorzien in een hoge dichtheid multimodale dataset natuurlijke gedrag, leren en ontwikkeling dan voorheen mogelijk te onderzoeken. Verdere vooruitgang in de hoofd gemonteerde eye-tracking technologie zal ongetwijfeld vele huidige uitdagingen te verlichten en bieden nog meer grenzen voor de soorten onderzoeksvragen die kunnen worden aangepakt met behulp van deze methode.

Materials

Name	Company	Catalog Number	Comments
Head-mounted eye tracker	Pupil Labs	World Camera and Eye Camera