Blicka ut i aktion: huvud-monterad Eye Tracking av barnens dynamiska visuella uppmärksamhet under naturalistiska beteende

Summary

Barn gör inte passivt iaktta världen, men ganska aktivt utforska och interagera med sin omgivning. Detta protokoll ger vägledande principer och praktiska rekommendationer för att använda huvud-monterad eye trackers spela in spädbarn och småbarn dynamiska visuella miljöer och visuell uppmärksamhet i samband med naturliga beteende.

Abstract

Små barns visuella miljöer är dynamiska, ändra ögonblick av ögonblick som barn fysiskt och visuellt utforska platser och objekt och interagera med människor runt omkring dem.. Huvud-monterad eyetracking erbjuder en unik möjlighet att fånga barns dynamiska egocentriska vyer och hur de fördela visuell uppmärksamhet inom dessa åsikter. Detta protokoll ger vägledande principer och praktiska rekommendationer för forskare som använder huvud-monterad eye trackers i både laboratorium och mer naturalistisk inställningar. Huvud-monterad eyetracking kompletterar andra experimentella metoder genom verksamhetsmöjligheterna för datainsamling i mer ekologiskt giltigt sammanhang genom ökad bärbarhet och frihet av huvud och kropp rörelser jämfört med skärmbaserad eyetracking. Detta protokoll kan också integreras med andra tekniker, såsom rörelseregistrering och puls övervakning, för att ge en hög densitet multimodala datamängd för att undersöka naturliga beteende, inlärning och utveckling än tidigare varit möjligt. Detta papper visar typerna av data som genereras från huvud-monterad eyetracking i en studie med syfte att undersöka visuell uppmärksamhet i ett naturligt sammanhang för småbarn: lättflytande leksak lek med en förälder. Framgångsrik användning av detta protokoll tillåter forskare att samla in data som kan användas för att besvara frågor inte bara om visuell uppmärksamhet, utan också om en rad andra perceptuella, kognitiva och sociala färdigheter och deras utveckling.

Introduction

De senaste årtiondena har sett växande intresse för att studera utvecklingen av spädbarn och småbarn visuell uppmärksamhet. Detta intresse har berodde till stor del från användning av ser mätningar som en primär innebär att bedöma andra kognitiva funktioner i Linda och har utvecklats till studiet av spädbarn visuell uppmärksamhet i sin egen rätt. Samtida undersökningar av spädbarn och småbarn visuell uppmärksamhet mäta primärt ögonrörelser under eye-tracking uppgifter i skärmen. Spädbarn som sitter i en stol eller förälderns knä framför en skärm medan deras ögonrörelser övervakas under presentationen av statiska bilder eller händelser. Sådana uppgifter, men misslyckas att fånga den dynamiska karaktären av naturlig visuell uppmärksamhet och de medel som genereras barns naturliga visuella miljöer - aktiv utforskning.

Spädbarn och småbarn är aktiva varelser, flytta deras händer, huvud, ögon och organ att utforska objekt, personer och platser runt dem. Varje ny utveckling i kroppen morfologi, motorisk skicklighet och beteende - krypa, gå, plocka upp objekt, att engagera arbetsmarknadens parter - åtföljs av samtidiga ändringar i den tidiga visuell miljön. Eftersom vad spädbarn göra avgör vad de ser, och vad de ser serverar för vad de gör i visuellt guidade åtgärder, är studerar den naturliga utvecklingen av visuell uppmärksamhet bäst utförs i samband med naturliga beteende¹.

Huvud-monterad eye trackers (ETs) har uppfunnit och använts för vuxna för årtionden^2,3. Först nyligen har teknologiska framsteg gjort huvud-monterad eye-tracking-teknik lämplig för spädbarn och småbarn. Deltagarna är utrustade med två lätta kameror på huvudet, en scen kamera utåt som fångar den första person perspektivet av deltagaren och en eye-kameran inåt som fångar ögat bilden. En kalibrering ger träningsdata till en algoritm som kartor så exakt som möjligt de förändrade positionerna för elev och hornhinnans reflektion (CR) i ögat bilden till motsvarande pixlar i bilden scen som var att vara visuellt deltog. Målet med denna metod är att fånga både naturliga visuella miljöer för barn och spädbarn aktiv visuell utforskning av de miljöer som spädbarn flytta fritt. Sådana data kan hjälpa till att besvara frågor inte bara om visuell uppmärksamhet, utan också om ett brett spektrum av perceptuella, kognitiva och sociala utveckling^4,5,6,7,8. Användningen av dessa tekniker har förvandlat förståelser av gemensam uppmärksamhet^7,8,9, bibehållen uppmärksamhet¹⁰, ändra visuella upplevelser med ålder och motoriska utveckling^{4 , 6 , 11}och visuella upplevelser i ordet lärande¹²roll. Detta dokument innehåller vägledande principer och praktiska rekommendationer för att utföra huvud-monterad eye-tracking experiment med spädbarn och småbarn och illustrerar datatyper som kan genereras från huvud-monterad eyetracking i en naturlig ramen för småbarn: lättflytande leksak lek med en förälder.

Protocol

Denna handledning är baserad på ett förfarande för datainsamling huvud-monterad eye-tracking med småbarn som godkänts av den institutionella Review Board vid Indiana University. Informerade samtycke erhållits före småbarn deltagande i experimentet.

1. beredning för studien

1. Eye-Tracking utrustning. Välj ett av flera huvud-monterad eye-tracking system som är kommersiellt tillgängliga, antingen en marknadsförs som specifikt för barn eller modifiera systemet att fungera med en skräddarsydd spädbarn mössa, till exempel som visas i figurerna 1 och 2. Kontrollera att det eye-tracking systemet har funktionerna som behövs för att testa spädbarn eller småbarn genom att följa dessa steg:
   1. Välj en scen kamera som är ställbar i fråga om positionering och har en tillräckligt bred vinkel för att fånga ett synfält som är lämpliga för att hantera forskningsfrågorna. För att fånga de flesta av barns aktivitet i en gratis-play-inställning som beskrivs här, Välj en kamera som fångar en minst 100 graders diagonal bildvinkel.
   2. Välj en eye-kamera som är ställbar i fråga om positionering och har en infraröd LED antingen inbyggd i kameran eller i anslutning till kameran och placerad på ett sådant sätt att ögats hornhinna kommer att återspegla detta ljus. Observera att vissa eye-tracking-modeller har fasta positionering, men modeller som råd flexibla justeringar rekommenderas.
   3. Välja en eye-tracking-system som är så diskreta och lätta som möjligt att ge störst chans att spädbarn/småbarn kommer att tolerera bär utrustning.
      1. Bädda in systemet i ett tak genom att bifoga den scen och ögat kameror till en Velcro strap som fästs på motsatt sida av Velcro fastsydda den gemensamma jordbrukspolitiken, och positionering kamerorna ur centrum av toddler's view.
         Obs: System som utformats för att likna glasögon är inte optimala. Morfologi av toddler's ansikte är annorlunda än en vuxen och delar som vilar på barn näsa eller öron kan vara störande och obehagligt för deltagaren.
      2. Om ET är kopplad till en dator, bunta ihop kablar och hålla dem bakom deltagarens rygg att förhindra distraktion eller tripping. Alternativt använda en fristående system som lagrar data på en mellanliggande enhet, till exempel en mobiltelefon, som kan placeras på barnet, vilket möjliggör större rörlighet.
   4. Välj en kalibrering programvarupaket som möjliggör offline kalibrering.
2. Inspelningsmiljön.
   1. Överväga i vilken utsträckning som barnet kommer att flytta hela utrymmet under datainsamling. Om en enda ståndpunkt är att föredra, nämner detta till barnets vårdgivare så de kan hjälpa barnet bo på önskad plats. Ta bort alla potentiella distraktorer från rymden med undantag av barnet bör interagera med, som bör vara inom räckhåll.
   2. Anställa en tredje person kamera för att underlätta i senare kodningen av barns beteende samt identifiera stunder när ET kan bli fördrivna. Om barnet kommer att flytta i hela utrymmet, överväga ytterligare kameror också.

2. samla in Eye-Tracking uppgifter.

1. Personal och verksamhet. Har två praktiker presentera, en att interagera med och ockupera barnet, och en för att placera och placera ET.
   1. Fullo engagera barnet i en verksamhet som upptar barnets händer så att barnet inte når upp till flytta eller ta ET medan det läggs på huvudet. Överväga leksaker som uppmuntrar till manuella åtgärder och små böcker som barnet kan hålla samtidigt experimenter eller föräldern läser till barnet.
2. Placera ET på barnet. Eftersom småbarn tolerans av att bära den huvud-monterad ET varierar, Följ dessa rekommendationer för att främja framgång i att placera och underhålla ET på barnet:
   1. I tiden fram till studien, be vårdgivare att ha sina barn slitage en keps eller mössa, liknar vad används med ET, hemma för att få dem vana vid att ha något på huvudet.
   2. Studien, har olika typer av mössor tillgängliga som ET kan fästas. Anpassa mössor genom att köpa olika storlekar och stilar av mössor, såsom en ball mössa som kan bäras bakåt eller en mössa med djurens öron, och lägga till Velcro som systemet eye-tracking, försedd med motsatt sida av Velcro, kan fästas. Också överväga att ha hattar att bäras av vårdgivare och praktiker, att uppmuntra barnets intresse och vilja att också bära badmössa.
      1. Innan du sätter locket på barnet, har en försöksledaren okänsliga toddler till handen till huvudet genom att lätt röra håret flera gånger när den uppmärksamhet och intresse av toddler är riktad till en leksak.
   3. För att placera ET på barnet, vara bakom eller vid sidan av barnet (se figur 2A). Placera ET på barnet när händerna är upptagna, till exempel när barnet håller en leksak i varje hand.
      1. Om barnet ser mot den försöksledaren att placera ET, säga Hej och låt barnet veta vad som görs samtidigt fortsätter att snabbt placera ET på barnets huvud. Undvik att flytta långsamt medan placera den ET, vilket kan orsaka barnet lidande och kan leda till dålig positionering som barnet har större möjlighet att flytta sitt huvud eller nå för ET.
      2. För att minska tid justera kameran efter placering, innan du placerar ET på deltagaren, ställa in kamerorna vara i deras förväntade position när på barnets huvud (se avsnitt 2.3.1 och 2.3.2).
3. Position ETS scen och ögat kameror. När ET är på barnets huvud, gör justeringar placeringen av scenen och ögat kamerorna när du övervakar dessa kameror video feeds:
   1. Ställning scen kameran låg i pannan till bästa ungefärliga barnets synfält (se figur 1B); Centrera vyn scen kamera på vad barnet kommer att titta på under studien.
      1. Tänk på att händer och höll objekt kommer alltid vara mycket nära barnet och låg i kameravyn scen medan ytterligare objekt kommer att vara i bakgrunden och högre i scen kameravyn. Placera scen kameran till bästa fånga typ av vy som är mest relevanta för forskningsfrågan.
      2. Testa placeringen av scenen kameran genom att locka barnets uppmärksamhet till specifika platser i deras synfält med hjälp av en liten leksak eller laser-pekare. Se till att dessa platser på den förväntade synavstånd av de regioner som kommer att vara av intresse under studien (se figur 3).
      3. Undvika tilt genom att kontrollera att horisontella ytor visas plant i scen kameravyn. Markera scenen kameran att mildra risken för kameran att få oavsiktligt inverterad under ompositionering upprätt orientering, men Observera att extra steg under efterbearbetning kan återställa bilder till rätt orientering om det behövs.
   2. För att få data av hög kvalitet blick, placera kamerans öga för att upptäcka både elev och hornhinnans reflektion (CR) (se figur 2).
      1. Placera den eye-kameran så den är centrerad på barnets elev, med ingen ocklusion av kinder eller ögonfransar hela ögats full rörelseomfång (se figur 2C-F för exempel på bra och dåliga öga bilder). För att underlätta detta, placera öga kameran under ögat, nära kinden, pekande uppåt, hålla kameran ur centrum av barnets uppfattning. Alternativt placera öga kameran nedan och den yttre sidan av ögat, pekar inåt.
      2. Kontrollera att kameran är tillräckligt nära ögat att dess rörelse ger en relativt stor förskjutning av pupillen i ögat kamerabilden.
      3. Undvika tilt genom att se till att hörnen på ögat i ögonen bilden kan bilda en vågrät linje (se figur 2C).
      4. Se till att kontrasten av eleven kontra iris är relativt hög så att eleven kan vara exakt distingerad från iris (se figur 2C). För att underlätta detta, justera antingen placera av LED-lampan (om bredvid ögat kameran) eller distansera av kamerans öga från ögat (om lysdioden inte självständigt justerbar). För ökad elev detektering, placera lampan i en vinkel och inte rakt in i ögat. Se till att eventuella justeringar av LED-lampan fortfarande producerar en tydlig CR (se figur 2C).
4. Erhålla poäng under studien för Offline kalibrering.
   1. När scenen och ögat bilderna är så hög kvalitet som kan de vara, samla kalibreringsdata genom uppmärksamma barnets till olika platser i deras synfält.
      1. Erhålla kalibreringspunkter på olika ytor med något som tydligt riktar barnets uppmärksamhet till en liten, tydligt punkt i deras synfält (se figur 3). Till exempel använda en laserpekare mot en enfärgad bakgrund eller en yta med små självständigt-aktiverad LED-lampor.
      2. Begränsa förekomsten av andra intressanta mål i barnets se att säkerställa att barnet ser på kalibrering mål.
   2. Växla mellan att uppmärksamma olika platser som kräver stora kantiga förskjutningar av ögat.
      1. Täcka synfältet lika och inte flytta för snabbt mellan punkter, som kommer att hjälpa att hitta tydliga saccades från barnet under offline kalibrering för att sluta när de såg till nästa plats.
      2. Om barnet inte ser omedelbart till den nya markerade platsen, få deras uppmärksamhet till placeringen av vickar laser, att stänga av/på lysdioderna eller röra platsen med ett finger.
      3. Om möjligt, få fler kalibreringspunkter än behövs ifall några visar sig vara oanvändbart senare.
   3. Vara säker på att barnets kropp position under kalibrering matchar den ståndpunkt som kommer att användas under studien.
      1. Till exempel samla inte kalibreringspunkter när barnet sitter om det förväntas att barnet senare kommer att stå.
      2. Se till att avståndet mellan barnet och de kalibrering mål liknar avståndet mellan barnet och regioner som kommer att vara av intresse under studien.
      3. Placera inte kalibreringspunkter mycket nära barnets kropp om, under experimentet, barnet kommer främst att titta på objekt som finns längre bort. Om man är intresserad av både nära och fjärran objekt, överväga att få två olika uppsättningar kalibreringspunkter som kan senare användas för att skapa unika kalibreringar för varje läsavstånd (se avsnitt 3.1 för mer information).
         Obs: Kikare eyetracking är en utveckla teknik^13,14 att löften förskott i spårning blick på djupet.
   4. För att tillgodose för drift eller rörelse i ET under studien, samla kalibreringspunkter både i början och slutet av studien på minimum. Om möjligt, samla ytterligare kalibreringspunkter med jämna mellanrum under sessionen.
5. Övervaka de ET och tredje Person videoflöden under studien.
   1. Om ET blir stötte eller feljusterade på grund av andra rörelser/åtgärder, ta del av när i studien detta hänt eftersom det kan vara nödvändigt att kalibrera om och kod portionr av studien före och efter bula/feljusteringen separat (se avsnitt 3.1.1).
   2. Om möjligt avbryta studien efter varje bula/förskjutning att flytta scenen och ögat kamerorna (se avsnitt 2.3) och sedan få nya punkter för kalibrering (se avsnitt 2.4).

3. efter studien, kalibrera ET Data med hjälp av kalibrering programvara.

Obs: En mängd kalibrering programvarupaket är kommersiellt tillgängliga.

1. Överväga att skapa flera kalibreringar. Anpassa kalibreringspunkter till olika video segment att maximera noggrannheten i spåret blick genom att inte mata algoritm felaktigt inkompatibla data.
   1. Om ET ändrat ståndpunkt vid någon tidpunkt under studien, skapa separata kalibreringar för portionr före och efter ändringen i ET position.
   2. Om intresserad uppmärksamhet till objekt på mycket olika visning avstånd, skapa separata kalibreringar för delarna av videon där barnet ser att objekt på varje visning avstånd. Tänk på att skillnader i synavstånd kan skapas av förskjutningar i barnets visuella uppmärksamhet mellan mycket nära och variera fjärran objekt, men också av förändringar i barnets kropp position i förhållande till ett objekt, såsom skiftande från sittande till stående.
2. Utför varje kalibrering. Fastställa mappningen mellan scen och ögat genom att skapa en serie av kalibreringspunkter - punkter i bilden scen som barnets blick riktades tydligt under ramen. Observera att kalibrering programvaran kan extrapolera och interpolera peka av blick (POG) i alla bildrutor från en uppsättning kalibreringspunkter jämnt spridda över scen bilden.
   1. Bistå kalibrering programvaran att upptäcka den elev och CR i varje bildruta i ögat kameran video för att den identifierade POG är tillförlitlig. I fall där mjukvaran inte kan upptäcka CR pålitligt och konsekvent använda den elev bara (Observera, dock att uppgifternas kvalitet kommer att drabbas som en följd).
      1. Uppnå en bra öga bild i eye kamera ramar genom att justera tröskelvärdena i kalibreringen programvarans olika upptäckt parametrar, vilket kan inkludera: öga bilden ljusstyrka, storleken på eleven programvaran förväntar sig, och en begränsningsram som sätter den gränserna för där programvaran kommer att leta efter eleven. Rita markeringsramen så liten som möjligt samtidigt som eleven återstår inuti rutan hela ögats komplett utbud av rörelse. Tänk på att en större begränsningsram som omfattar utrymme som eleven aldrig upptar ökar sannolikheten för falska elev upptäckt och kan orsaka små rörelser av eleven för att upptäckas mindre exakt.
      2. Vara medveten om att även efter justering programvarans olika upptäckt tröskelvärden, programvaran kan ibland fortfarande felaktigt leta upp elev eller CR; exempelvis om ögonfransarna täcker pupillen.
   2. Hitta bra kalibreringspunkter baserat på scen och eye kamera ramar. Observera att de bästa kalibreringspunkter som tillhandahålls av programvaran är de där den elev och CR exakt upptäcks, ögat är stabilt fixerad vid en tydligt identifierbar punkt i rummet i bilden scen, och punkterna som är jämnt spridda över hela av scen bilden.
      1. Se till att eleven upptäckt är exakt för varje bildruta som en kalibreringspunkt ritas, så att både giltigt x-y scen-koordinater och giltigt x-y elev-koordinater matas in algoritmen.
      2. Under det första passet på kalibrering, identifiera kalibreringspunkter vid tillfällen som när barnet tydligt tittar till en distinkt punkt i bilden scen. Tänk på att dessa kan vara punkter avsiktligt skapad av experimenter under datainsamling, exempelvis med en laserpekare (se figur 3A-B), eller de kan vara punkter från studien där POG är lätt identifierbara (se Figur 3C), så länge eleven identifieras korrekt för de ramarna.
      3. För att hitta stunder av blick till mer extrema x-y scen bild koordinater, skanna igenom eye kamera ramar att hitta stunder med korrekt elev upptäckt när barnets öga är i sina mest extrema x-y-position.
   3. Göra flera ”passerar” för varje kalibrering till iterativt slipa på den mest exakta kalibreringen som möjligt. Observera att efter att ha avslutat ett första ”pass” på kalibrering, kommer många program tillåter borttagningen av punkter som tidigare har använts utan att förlora den aktuella låten (e.g. hårkors). Välj en ny uppsättning kalibreringspunkter att träna algoritmen från grunden men med det tilläggsstöd i POG spåret genereras av föregående kalibrering passet, att tillåta att gradvis öka kalibrering noggrannhet genom att successivt ”städa upp” något buller eller felaktigheter som infördes genom tidigare passerar.
3. Bedöma kvaliteten på kalibrering genom att observera hur väl POG motsvarar kända blick platser, såsom prickar produceras av en laserpekare under kalibrering, och återspeglar riktning och storlek av barnets saccades. Undvik att använda punkter för att bedöma kalibrering kvalitet som användes också som punkter under kalibreringsprocessen.
   1. Kom ihåg att eftersom barnens huvuden och ögon är vanligtvis inriktade, barnens visuell uppmärksamhet riktas oftast mot mitten av scenen bilden och ett korrekt spår kommer att återspegla detta. För att bedöma framåtbjudning av spår, rita bildruta-för-bildruta x-y POG koordinaterna i scen bilden genereras av kalibrering (se figur 4). Bekräfta att punkterna som är mest tät i mitten av scenen bilden och distribuerade symmetriskt, utom i fall där scenen kameran inte var centrerad i mitten av barnets synfält när ursprungligen placerad.
   2. Observera att vissa kalibrering programvara kommer att generera linjära eller homography fit noter som återspeglar kalibrering noggrannhet. Tänk på att dessa noter är användbart till viss del eftersom, om de är fattiga, banan kommer sannolikt också att dålig. Men Använd inte fit noter som den primära åtgärden kalibrering noggrannhet som de speglar den grad som valt kalibreringspunkterna håller med sig själva, som ger ingen information om passformen av dessa punkter till marken sanningen platsen för POG.
   3. Kom ihåg att det finns stunder i studien att målet för blick är lätt identifierbara och kan därför användas som marken sanning. Beräkna exakthet i grader av visuell vinkel genom att mäta fel mellan kända blick mål och POG hårkorset (fel i pixlar från videobilden kan cirka omvandlas till grader baserat på objektivets egenskaper scen kamerans)⁴.

4. kod regioner av intresse (ROIs).

Obs: ROI kodning är utvärderingen av POG data för att avgöra vilken region som ett barn visuellt ska gå till under en viss tidpunkt. ROI kan kodas med hög noggrannhet och hög upplösning från bildruta-för-bildruta POG data. Produktionen av denna kodning är en ström av datapunkter - en punkt per bildruta - som visar regionen i POG över tiden (se figur 5A).

1. Före början ROI kodning, sammanställa en lista över alla ROIs som ska kodas utifrån forskningsfrågorna. Tänk på att kodning ROIs som inte behövs för att besvara forskningen ifrågasätter gör kodning onödigt tidskrävande.
2. Principer för ROI kodning.
   1. Kom ihåg att framgångsrika kodning kräver avsäga sig programmerares antaganden om där barnet bör vara inne, och istället noggrant undersöka varje ramens öga bild, scen bild och beräknade POG. Till exempel, även om ett objekt hålls av barnet och är mycket stor i bilden scenen för en viss bildruta, inte dra slutsatsen att barnet tittar på objektet i det ögonblicket om också anges av ögonen. Observera att ROIs visar vilken region barnet är foveating, men inte fånga fullständig visuell information om barnet tar i.
   2. Använd eye bild, scen bild och POG spår för att fastställa vilken ROI är att vara visuellt deltog.
      1. Använda POG spåret som en guide, inte som marken-sanningen. Även idealiskt POG spåret kommer att tydligt ange den exakta platsen som stirrade på barnet för varje bildruta, vara medveten om att detta inte alltid är fallet på grund 2 tvådimensionell (2D) scen bilden i förhållande till 3D arten av den verkliga världen tittade på av chil d och variation i kalibrering noggrannhet mellan deltagarna.
         1. Kom ihåg att beräknade POG spåret är en uppskattning baserad på en algoritm för kalibrering och att tillförlitligheten i POG spåret för en viss bildruta beror därför på hur väl den elev och CR upptäcks; om någon eller båda identifieras inte eller är felaktiga, POG spåret inte tillförlitlig.
            Obs: Ibland hårkorset, kommer att vara konsekvent off-target genom ett fast avstånd. Nyare programvara kan tillåta en att beräkningsmässigt korrigera för denna diskrepans. Annars kan en utbildad forskare gör korrigeringen manuellt.
      2. Använda rörelse av eleven i ögat bilden som den primära cue att ROI kan ha ändrats.
         1. Bläddra igenom bilder en vaktande öga bilden. När en synlig rörelse av ögat inträffar, kontrollera huruvida barnet förskjuts deras POG till en ny ROI eller inga definierade ROI.
         2. Observera att inte alla ögonrörelser indikera en förändring i ROI. Om ROI utgör en stor region för utrymme (t.ex. ett Posas objekt), ha i åtanke att små öga rörelse kan återspegla en titt till en ny plats inom samma ROI. På samma sätt, kom ihåg att ögonrörelser kan uppstå som barnet spårar en enda rörliga avkastning, eller som ett barn som rör sig huvudet flyttar också deras ögon att behålla blicken på samma ROI.
         3. Observera att med vissa ETs öga bilden är en speglad bild av barnets öga, i vilket fall om ögat flyttas till vänster som bör motsvara till en förskjutning till höger i scenen.
   3. Eftersom POG spåret fungerar endast som en guide, se använda tillgänglig kontextuell information samt att vägleda kodning beslut.
      1. Integrera information från olika källor eller ramar när kodning ROI. Även om ROI kodas separat för varje bildruta, utnyttja bildrutor före och efter den aktuella bildrutan att få sammanhangsberoende information som kan bidra till att fastställa den rätta ROI. Till exempel om POG spåret är frånvarande eller felaktig för en given ram på grund av dålig elev upptäckt, men ögat inte flytta baserat på föregående och efterföljande bildrutorna där eleven upptäcktes korrekt, sedan ignorera POG spåret för att frame och kod ROI ba sed på de omgivande bildrutorna.
      2. Fatta andra beslut specifika till användarnas forskningsfrågor.
         1. Exempelvis gör ett protokoll för hur man kod ROI när två ROIs är i nära närhet till varandra, i vilket fall kan det vara svårt att avgöra vilken som är den ”rätta” ROI. I fall där barnet verkar vara fixerande vid korsningen av de två ROIs, besluta om att kod både ROIs samtidigt eller om att formulera en uppsättning beslutsregler för hur man väljer och tilldela endast en av kategorierna ROI.
         2. Som ett ytterligare exempel, när ett objekt av intresse hålls så att en hand occluding objektet, besluta om att koden i POG som en ROI för hand eller som en ROI för objektet hålls.
3. Kod ROI för tillförlitlighet. Implementera en tillförlitlighet för kodning förfarande efter den initiala ROI kodning protokoll har slutförts. Det finns många olika typer av tillförlitlighet kodning förfaranden; Välj det mest relevanta förfarandet baserat på de specifika forskningsfrågorna.

Representative Results

Den metod som diskuteras här tillämpades på ett lättflytande leksak spela sammanhang mellan småbarn och deras föräldrar. Studien utformades för att undersöka naturlig visuell uppmärksamhet i en rörig miljö. Hjärtsvikten instruerades att spela fritt med en uppsättning 24 leksaker sex minuter. Småbarn visuell uppmärksamhet mättes genom kodning uppkomsten och förskjutning av ser till specifika regioner av intresse (ROIs)--varje 24 leksaker och förälderns ansikte-- och genom att analysera varaktighet och andelen tittar tid att varje ROI. Resultatet visualiseras i figur 5.

Figur 5 A visar provet ROI strömmar för två 18 månader gamla barn. Varje färgade block i strömmar representerar kontinuerlig ramar där barnet tittade på en viss avkastning. Ögon-blick uppgifterna visar ett antal intressanta egenskaper av naturlig visuell uppmärksamhet.

Det första visar barnen individuella skillnader i deras selektivitet för olika undergrupper av leksaker. Figur 5 B visar andelen 6 minuters interaktionen som varje barn tittar på varje 10 valda leksak ROIs. Men den totala andelen tid barn 1 och barn 2 tillbringade var tittar på leksaker (inklusive alla 24 leksak ROIs) något liknande, 0.76 och 0.87, respektive andelen tid som tillbringas på enskilda leksaker varierade kraftigt, både inom och mellan individer.

Hur dessa proportioner av tittar tid uppnåddes också skilde sig över barn. Figur 5 C visar varje barns medelduration av ser till varje 10 valda leksak ROIs. Genomsnittlig varaktighet av ser till alla 24 toy ROIs för barn 2 (M = 2,38 s, SD = 2.20 s) var nästan dubbelt så lång som barn 1 (M = 1,20 s, SD = 0,78 s). Jämföra de söka mönster till röd nyckelpiga skramlet (lila staplar) i figur 5B, C illustrerar varför computing flera snygga åtgärder, såsom proportioner och varaktigheter för att titta, är viktigt för en fullständig förståelse av uppgifterna. samma andel av ser att denna leksak uppnåddes för dessa barn genom olika antal ser av olika löptider.

En annan egenskap som framgår av dessa uppgifter är att båda barnen sällan såg att förälderns ansikte: proportionerna av ansikte söker barn 1 och barn 2 var.015.003, respektive. Dessutom varaktigheten av dessa barns utseende till förälderns ansikte var kort, på genomsnittet 0,79 s (SD = 0,39 s) och 0,40 s (SD = 0,04 s) för barn 1 och barn 2, respektive.

Figur 1 . Huvud-monterad eyetracking anställd i tre olika sammanhang: (A) bordsskiva leksak lek, (B) leksak lek på golvet, och (C) en bild-bok. Klicka här för att se en större version av denna siffra.

Figur 2 . Ställa in systemets huvud-monterad eye-tracking. (A) forskare positionering en eye-tracker på ett spädbarn. (B) en behändiga eye tracker på ett spädbarn. (C) bra öga bilden med stor centrerad elev och rensa hornhinnans reflektion (SP). (D, E, F) Exempel på dåliga öga bilder. Klicka här för att se en större version av denna siffra.

Figur 3 . Tre olika sätt att erhålla kalibreringspunkter. Två vyer av varje ögonblick visas; topp: tredje persons perspektiv, botten: barnets första person vy. Pilar i tredje person vy illustrerar riktningen av en laserstråle. Infällda lådor i barnets Visa Visa gott öga bilder vid varje ögonblick som används för kalibrering och rosa hårkorset ange punkt blick baserat på avslutade kalibreringen övre högra hörn. (A) kalibreringspunkten genereras av en försöksledare med en finger och laser pekare för att rikta uppmärksamhet på ett objekt på golvet. (B) kalibreringspunkten genereras av en försöksledare med en laserpekare för att direkt uppmärksamhet till prickar på en yta. (C) kalibreringspunkten under leksak spela med förälder där barnets uppmärksamhet riktas till lagrade objekt. Klicka här för att se en större version av denna siffra.

Figur 4 . Exempel tomter används för att bedöma kalibrering kvalitet. Enskilda punkter representerar per-frame x-y punkt blick (POG) koordinater i scen kamerabilden, som bestäms av algoritmen som kalibrering. (A) bra kalibrering kvalitet för ett barn leksak-play experiment, indikeras av ungefär rund densitet av POG som är centrerad och låg (barn POG riktas vanligtvis något nedåt när du tittar på leksaker barnet håller), och ungefär jämnt distribuerade POG i återstående scen kamerabilden. (B) dålig kalibrering kvalitet, anges med långsträckt och lutande täthet av POG som är off-centrerad, och dåligt distribuerade POG i återstående scen kamerabilden. (C) dålig kalibrering kvalitet eller dålig initial positionering av scen kameran, indikeras av off-centrerad POG. Klicka här för att se en större version av denna siffra.

Figur 5 . Två barns ögon-blick data och statistik. (A) prov ROI strömmar för barn 1 och barn 2 under 60 s av interaktionen. Varje färgade block i strömmar representerar kontinuerlig ramar där barnet tittade på en ROI för antingen en viss leksak eller förälderns ansikte. Blanktecken representerar ramar där barnet inte såg på någon av ROIs. (B) andelen tid att titta på förälderns ansiktetoch 10 leksak ROIs, för båda barnen. Andel beräknades genom att summera varaktigheterna för alla looks till varje ROI, och summerade varaktigheterna divideras med den totala sessionstiden på 6 minuter. (C) menar varaktighet ser ut att förälderns ansiktetoch tio leksak ROIs, för båda barnen. Medelduration beräknades som genomsnittet varaktigheterna av enskilda ser till varje ROI under 6 minuter interaktionen. Klicka här för att se en större version av denna siffra.

Discussion

Detta protokoll ger vägledande principer och praktiska rekommendationer för genomförande av huvud-monterad eyetracking med spädbarn och småbarn. Detta protokoll baserades på studier av naturliga småbarn beteenden i samband med förälder-barn fri lek med leksaker i laboratoriemiljö. In-House eye-tracking utrustning och programvara användes för kalibrering och data kodning. Dock är detta protokoll avsett att vara allmänt tillämpliga för forskare som använder olika huvud-monterad eye-tracking system för att studera olika ämnen i spädbarns och barns utveckling. Även om optimal användning av detta protokoll kommer innebär studie-specifika har skrädderi, antagandet av dessa allmänna praxis lett till framgångsrik användning av detta protokoll i olika sammanhang (se figur 1), inklusive den samtidiga huvud-monterad eye tracking föräldrar och småbarn^7,8,9,10, och huvud-monterad ögat spårning av kliniska populationer inklusive barn med cochleaimplantat¹⁵ och barn med diagnosen autismspektrum sjukdomar i^16,17.

Detta protokoll ger många fördelar för att undersöka utvecklingen av en mängd naturliga kompetenser och beteenden. Rörelsefriheten huvud och kropp som huvud-monterad ETs tillåta ger forskare möjlighet att fånga både deltagarnas självgenererade visuella miljöer och deras aktiva utforskning av dessa miljöer. Överförbarheten av huvud-monterad ETs förbättrar forskarnas möjligheter att samla in data i mer ekologiskt giltigt sammanhang. På grund av dessa fördelar, denna metod ger ett alternativ till skärmbaserad söker tid och eye-tracking metoder för att studera utvecklingen över domäner som visuell uppmärksamhet, social uppmärksamhet och perceptuella-motor integration och kompletterar och ibland utmaningar slutsatser forskarna kan rita med mer traditionella experimentella metoder. Exempelvis i protokollet som beskrivs här ökar möjlighet för deltagarna att ställa ut individuella skillnader i söker beteende, eftersom deltagarna har kontroll inte endast över där och för hur länge de fokuserar deras visuella uppmärksamhet i en scen, som i skärmbaserad eyetracking, men också över sammansättningen av dessa scener genom deras ögon, huvud, och kroppsrörelser och fysisk manipulation av element i miljön. Två deltagarnas data presenteras här visar individuella skillnader i hur länge småbarn titta och vad objekt småbarn prov när de har möjlighet att aktivt skapa och utforska deras visuella miljön. Dessutom tyder de data som presenteras här, liksom annan forskning som sysselsätter detta protokoll, på att i naturalistiska leksak lek med sina föräldrar, småbarn ser att förälderns ansikte mycket mindre än föreslagit tidigare forskning^{4,5 ,7,8,9,10}.

Trots dessa fördelar utgör huvud-monterad eyetracking med spädbarn och småbarn ett antal metodologiska utmaningar. Den mest kritiska utmaningen är att få en bra kalibrering. Eftersom platsen bilden är endast en 2D representation av 3D-världen som visades faktiskt, är en perfekt matchning mellan ögonläge och stirrade scen läge omöjligt. Genom att följa de riktlinjer som fastställs i detta protokoll, kan mappningen bli tillförlitligt nära ”marken sanningen”, men särskild uppmärksamhet bör ägnas flera frågor. Första, rörelsefriheten huvud och kropp tillåts av huvud-monterad eyetracking också innebär att unga deltagarna ofta kommer att stöta på eye-tracking system. Detta är ett problem eftersom någon förändring i den fysiska positionen i ögat i förhållande till ögat eller scen kamerorna kommer att ändra mappningen mellan elev/CR och motsvarande pixlar deltog i bilden scen. Genomföra separata kalibreringar för dessa delar av studien är därför kritisk, eftersom underlåtenhet att göra detta kommer att resultera i en algoritm som bara spårar barnets blick korrekt för en del av studien, om bara punkter under en portion används för att kalibrera. Andra, exakt identifiering av barnets elev och CR är kritiska. Om en kalibreringspunkt i scen bilden ritas medan eleven är felaktigt upptäcks eller inte identifieras alls, då algoritmen antingen lär sig att associera denna kalibrering x-y-koordinaten i bilden scen med en felaktig elev x-y-koordinat, eller algoritmen är matas tomma data i fall där eleven inte identifieras alls. Således, om bra upptäckt inte uppnås för ett segment av studien, kalibrering kvalitet för dessa ramar blir dålig och bör inte lita för kodning POG. För det tredje, eftersom barnens huvuden och ögon är vanligtvis inriktade, visuell uppmärksamhet riktas oftast mot mitten av scenen bilden. Extreme x-y kalibreringspunkter i bilden scen är dock också nödvändigt för att fastställa en korrekt blick spår över hela scenen bilden. Således, även om kalibreringspunkter bör normalt väljas i stunder när ögat är stabil på ett objekt, kanske detta inte möjligt för kalibreringspunkter i avlägsna hörn av scen bilden. Slutligen, Tänk på att även när en bra öga bild erhålls systemet kalibrerar, detta inte garanterar att data är av tillräcklig kvalitet för de avsedda analyserna. Skillnader i individuella faktorer såsom öga fysiologi, samt miljöfaktorer såsom belysning och skillnader i eye-tracking maskinvara och programvara kan alla påverka datakvaliteten och har potential att skapa förskjutningar eller felaktigheter i data. ^{18 , 19} ge mer information och möjliga lösningar för dessa frågor (se också Franchak 2017²⁰).

Arbeta med spädbarn och småbarn också innebär utmaningen att säkerställa tolerans i huvud-monterad ET hela sessionen. Anställa rekommendationerna i detta protokoll, utformad för användning med spädbarn från ca 9-24 månaders ålder, kan ett laboratorium få hög kvalitet huvud-monterad eye-tracking uppgifter från ungefär 70% av deltagarna²⁰. De övriga 30% av deltagarna får heller inte börja studien på grund av intolerans av eye tracker eller krångel ur studien innan tillräckliga data (t.ex. > 3-5 minuters spel) med ett bra öga spår kan erhållas. För framgångsrika 70% av spädbarn och småbarn deltagare, kan dessa sessioner normalt senast för uppemot 10 minuter, dock mycket längre sessioner vara omöjligt med nuvarande teknik, beroende på åldern av deltagaren och arten av uppgiften som deltagaren är engagerad. När du utformar den forskningsuppgift och miljön, bör forskare ha i åtanke utvecklings status för deltagarna, motorisk förmåga, kognitiv förmåga och social utveckling inklusive trygghet runt främlingar, kan allt inflytande deltagarnas uppmärksamhet span och förmåga att utföra den avsedda uppgiften. Anställa detta protokoll med spädbarn mycket yngre än 9 månader kommer också att innebära ytterligare praktiska utmaningar såsom propping upp spädbarn som inte ännu sitter på sina egna, samt övervägande av ögat morfologi och fysiologi, såsom kikare skillnader, som skiljer sig från äldre barn och vuxna^19,21. Detta protokoll är dessutom mest framgångsrika när de utförs av erfarna utbildade praktiker, vilket kan begränsa mängd miljöer där data kan samlas. Mer praxis praktiker har, desto mer sannolikt kommer de att kunna genomföra experimentet smidigt och samla in eye tracking data av hög kvalitet.

Huvud-monterad eyetracking kan också medföra ytterligare utmaningen att förhållandevis mer tidskrävande data kodning. Detta beror på, i syfte att hitta ROIs, huvud-monterad eye-tracking data är bättre kodad bildruta för bildruta än genom ”upptagningar” av visuell uppmärksamhet. Det vill säga identifieras upptagningar vanligtvis när förändringstakten i bildruta-för-bildruta x-y POG koordinaterna är låg, tas som en indikation på att ögonen är stabil på en punkt. Men eftersom vyn scen från en huvud-monterad eye tracker flyttar med deltagarens chef och kroppsrörelser, kan ögats position endast korrekt mappas till en fysisk plats som foveated genom att betrakta hur ögonen är rörliga i förhållande till huvud och kroppen rörelser. Exempelvis om en deltagare flyttar huvudet och ögonen tillsammans, snarare än deras ögon bara, kan x-y POG koordinaterna inom scenen förbli oförändrade även när en deltagare File ett rum eller spårar ett rörligt objekt. Enkelt och exakt således, ”upptagningar” av visuell uppmärksamhet inte kan fastställas från endast POG data. För ytterligare information om frågor i samband med att identifiera upptagningar i huvud-monterad eyetracking data, kontakta andra arbete^15,22. Manuellt kodar data bildruta-för-bildruta för ROI kan kräva extra tid jämfört med kodning upptagningar. Som referens tog det välutbildade kodare mellan 5 och 10 minuter till manuellt kod för ROI varje minut av de data som presenteras här, som samlades vid 30 bildrutor per sekund. Den tid som krävs för kodning är mycket varierande och beror på kvaliteten på ögat spåra data; storlek, antal och visuell discriminability av ROI mål. upplevelsen av coder; och den anteckningsverktyg som används.

Trots dessa utmaningar kan detta protokoll flexibelt anpassas till en rad kontrollerade och naturalistiska miljöer. Detta protokoll kan också integreras med andra tekniker, såsom rörelseregistrering och puls övervakning, för att ge en hög densitet multimodala datamängd för att undersöka naturliga beteende, inlärning och utveckling än tidigare varit möjligt. Fortsatta framsteg inom huvud-monterad eye-tracking-teknik kommer utan tvekan lindra många aktuella utmaningar och ge ännu större gränser för typer av frågeställningar som kan lösas med den här metoden.

Materials

Name	Company	Catalog Number	Comments
Head-mounted eye tracker	Pupil Labs	World Camera and Eye Camera