Kombination af Eye-tracking data med en analyse af videoindhold fra Free-visning af en video af en tur i et Urban Park miljø

Summary

Formålet med protokollen er at præcisere, hvordan man indsamler video data til brug i laboratoriet. hvordan man registrerer Eye-tracking data af deltagerne kigger på data, og hvordan man effektivt analysere indholdet af de videoer, de var på udkig på ved hjælp af en maskine indlæringsteknik.

Abstract

Som individer i stigende grad bor i byerne, metoder til at studere deres daglige bevægelser og de data, der kan indsamles bliver vigtige og værdifulde. Eye-tracking informatik er kendt for at forbinde til en række følelser, sundhedsmæssige betingelser, mentale tilstande og handlinger. Men fordi vision er resultatet af konstante øjenbevægelser, drilleri ud af, hvad der er vigtigt fra, hvad der er støj er kompleks og dataintensive. Desuden er en betydelig udfordring at kontrollere, hvad folk ser på i forhold til, hvad der præsenteres for dem.

Følgende præsenterer en metode til at kombinere og analysere Eye-tracking på en video af en naturlig og kompleks scene med en maskine indlæringsteknik til at analysere indholdet af videoen. I protokollen fokuserer vi på at analysere data fra filmede videoer, hvordan en video bedst kan bruges til at registrere deltagernes Eye-tracking data, og vigtigere, hvordan indholdet af videoen kan analyseres og kombineres med Eye-tracking data. Vi præsenterer et kort resumé af resultaterne og en diskussion af potentialet i metoden til yderligere undersøgelser i komplekse miljøer.

Introduction

Vores daglige levede oplevelser af bymiljøer har stor indflydelse på vores sundhed og velvære. Vores velbefindende kan afhænge af mængden af grønne områder, som vi ser og oplever^1,2,3, og disse synspunkter kan kvantificeres ved hjælp Eye-tracking udstyr til at guide beslutningsprocessen om Park design. Der opstår dog et problem med mængden af øjesporings data, der genereres, og som giver mening for disse data. Da udstyret til registrering af blik data i et laboratorium eller en naturlig indstilling bliver lettere at bruge og mere kraftfuld, skal forskerne overveje, hvordan vi kan indsamle og analysere data gyldigt for at hjælpe med beslutningstagende spørgsmål.

Hidtil har en stor del af øjet tracking forskning brugt fotografier i en undersøgelse eller laboratorium indstilling⁴. Mens denne metode giver mulighed for en stor reproducerbarhed og kontrol over resultater, er det ikke i stand til at drage fordel af de seneste fremskridt inden for Eye-tracking-teknologi, som omfatter brugen af video og bærbare mobile Eye-trackers. Desuden vil vi hævde, at den handling at gå og slappe af, er nødvendigvis dynamisk, især når de er orienteret mod en opgave som Wayfinding⁵. Derfor bør en fuldstændig videnskabelig forståelse af disse indstillinger finde sted uden for laboratoriet. Men i øjeblikket, Eye-tracking i en Real-Life naturalistiske indstilling gør at sammenligne erfaringer mellem meget vanskeligt. For eksempel, hvis vi ønskede at sammenligne, om en respondent ser på træer mere end en anden, hvordan kunne vi kontrollere for det faktum, at deres synspunkt ville være i konstant forandring i forhold til andre, eller at deres hoved kunne have vendt. Detaljeret analyse i disse betingelser er næsten umulig med aktuelle analyseteknikker. Vi vil hævde, at det er vigtigt at kontrollere de visningsområder til rådighed for den enkelte, der undersøges, og i analysen for at kunne tage højde for den samlede scene bliver set på et tidspunkt.

Der er et sæt af teorier forbinder stress niveauer og opfattelser af sikkerhed til landskabet synspunkter og veludviklede målinger af stress^6,7. Der har også været en hurtig stigning i den sofistikerede Eye-tracking udstyr til at måle blik⁸. Eye-tracking er vigtigt, fordi ufrivillige øjenbevægelser kan være mere pålideligt forbundet til præference, stress og andre traditionelle foranstaltninger end undersøgelser og påtrængende, fysiologiske tests såsom spyt kortisolniveauer. Formålet med denne forskning er at udvikle værktøjer, der muliggør en mere præcis måling af Eye-tracking data anvendes til mere naturalistiske indstillinger, for at give yderligere dokumentation for eller gendelte langvarige landskab teorier, der har informeret Park design for Årtier.

Formålet med dette projekt er at udvikle og afprøve en ny analyseteknik, der kan generere relevante Eye-tracking data for forskellige videoer af Park Walk simuleringer. Vores arbejde rapporteret her og andre steder⁹ repræsenterer en halvvejs punkt mellem den naturalistiske indstilling af et fuldt mobilt Eye-tracking system og lab-baserede foto undersøgelser nævnt ovenfor. Især koncentrerer vi os om at bruge videoer som stimulus materiale, undersøge, hvordan dette materiale kan bruges til at teste mængden af fascination, at forskellige parker generere i byen Melbourne. Vores arbejde er baseret på den antagelse, at detaljeret analyse af videoer er et nødvendigt skridt til at bryde, før der gennemfører en fyldigere og mere naturalistisk vurdering af potentialet i parker til at give restaurering fra stress.

I denne undersøgelse, vi ansat en desktop Eye-tracker med videoer af gåture gennem byparker og spurgte deltagerne til at forestille sig, at de tog en afslappende gåtur gennem en Park. Vi beskriver en metode til at tillade den tid, som deltagerne brugte på at se på forskellige objekter, at være sammenlignelige mellem parkerne. Desktop undersøgelser er generelt lettere at kontrollere i forhold til mobile ET undersøgelser og tillade sammenlignende analyse af hvert emne.

Standard Eye-tracking software bruger et manuelt område af interesse værktøj, hvor en operatør kan manuelt trække grænser omkring objekter af interesse i hver scene. Dette gør det muligt at tælle den tid, som deltagerne har brugt på at se på forskellige objekter, automatisk. For video data er denne proces arbejdskraftintensiv og underlagt operatørens subjektivitet og fejl. I senere versioner af Eye-tracking analyse software, kan AOIs automatisk spore objekter på tværs af frames, når de har samme størrelse i videoen. Dette er en forbedring, men dette er kun beregnet til at blive brugt til et lille antal stimuli i hvert billede, og hvert billede skal kontrolleres og bekræftes.

Manuel mærkning af objekter i et billede er almindeligt og understøttes af billedredigeringssoftware som GNU Image manipulation program (GIMP). I betragtning af at 1 s producerer 30 billeder eller billeder, er den manuelle mærkning af videoer upraktisk. Desuden er AOI mærkning ved at tegne vektor polygoner omkring kanten af komplekse objekter såsom træ baldakiner er meget tidskrævende. Endelig, selv om det er tænkes muligt at beregne størrelsen af objekter i et synsfelt ved hjælp af vektor mærkning, denne funktion er ikke i øjeblikket tilgængelig.

Den metode, som vi rapporterer om nedenfor beskæftiger sig med disse begrænsninger. I denne undersøgelse blev der anvendt automatisk mærkning af genstande. Dette er muligt ved hjælp af en billedbehandling teknik kendt som semantisk mærkning, hvor hver pixel i hvert billede af videoen er tildelt en etiket, der angiver en objektklasse. Maskinel indlæring bruges til at udlede pixel klassifikatorer for hver enkelt objektklasse af interesse. Disse klassificeringer giver en probabilistisk etiket for hver pixel (kendt som unære potentialer), som derefter raffineres i en efterfølgende optimeringsproces for at opnå det endelige mærkede output. Disse klassificeringer lærer statistiske beslutnings grænser mellem hver objektklasse i løbet af de funktioner, der udvindes fra billedet, herunder tekstur, histogrammet af kant retninger, RGB-farveværdier og de normaliserede billed koordinater. En passende teknik til dette er implementeret i DARWIN Machine Learning værktøjskasse¹⁰ og er beskrevet nedenfor.

Protocol

Den etiske godkendelse af dette projekt blev givet af den australske katolske Universitets etiske komité-godkendelsesnummer #201500036E. Dette sikrede, at der blev indhentet informeret samtykke fra alle deltagere, og at alle deltagere deltog frivilligt, og at deltagernes data forblev anonyme og fortrolige. Derudover blev godkendelsen givet på grund af den metode og udstyr, der opfylder australske standarder sikkerhedsregler.

1. filme Urban scenes, der kan bruges i en Eye-tracking undersøgelse

1. Brug et digitalt videokamera af høj kvalitet, der er knyttet til et kardan, til at skabe en simuleret ' walking ' eller ' siddende ' video.
2. Optag filmen med glatte væske bevægelser i 4k-opløsning ved 25 fps, og gem dem på 1920 x 1080 HD.
3. Brug en professionel filme selskab til at producere digitale film, hvis ukendt med dette eller mangler adgang til udstyr.
4. Skyd film i én tage, til en enkelt længde på tværs af alle videoer med præcise foruddefinerede ruter og karakteristika.
   Bemærk: eksempel video detaljer: hver simuleret gang film var 3 min 50 s lang og hver simuleret siddende film var 1 minut lang. For begge videoer i denne undersøgelse startede videoerne med en kort trappe stigning, der førte til en sti. Stien blev fulgt i præcis 1 min 30 s og derefter kameraet stoppet og panoreret til venstre for 45-60 grader og stoppede i 15 sekunder. Kameraet fortsatte derefter langs Walking stien indtil 3 min 25 s mærke, panoreret venstre 40-70 grader i 15 sekunder, fortsatte langs stien indtil 3 min 50 s mærke, derefter falmede til sort.
5. Sørg for, at filmene er sammenlignelige, med andre ord, at de ikke introducerer nye blik data fra forskellige Walk-baner eller kamerabevægelser. En film blev taget af hver gang, to i alt.
6. Som øjenbevægelser er påvirket af lyd, optage en fil af generiske Urban Park lyde fra en af de ture for den samme længde af videoen uden afbrydelser fra pludselige høje lyde uden for parken (f. eks, bil alarmer). Dette kan spilles i stedet for det eksisterende soundtrack fra begge videoer, så den visuelle effekt af videoen kan isoleres.
   Bemærk: overdreven bevægelse af køretøjer og andre genstande kan påvirke øjenbevægelser og skævvride resultaterne. Hvis nogle af disse indtrængen sker, kan filmen spilles til deltagerne, men rammerne kan være nødvendigt at blive udelukket fra analysen.
7. Hvis du er interesseret i forskellige aktiviteter i en gåtur, såsom at gå og derefter sidde på en bænk, gemme eller redigere mødet og Walking scener som separate filer for at teste dem selvstændigt.

2. opsætning og desktop kalibrering af Eye-tracking udstyr

1. Vis de filmede sekvenser til enkeltpersoner i et rum, hvor naturligt lys kan udelukkes for at undgå refleksioner på skærmen. Vis det til dem på så stor en skærm som muligt at besætte så meget af det visuelle felt, og dermed undgå distraktion udefra synsfelt. En widescreen (16:9) PC-skærm (22 tommer) med deltagere ca. 60 cm væk fra skærmen er en acceptabel standard.
2. Udfør en kalibrering til skærmen for hver deltager ved hjælp af det indbyggede kalibreringsværktøj på Eye-tracking software. Kræv, at deltagerne ser på en rød kugle, der bevæger sig rundt på skærmen som en del af dette og stopper ved 5 taste kalibreringspunkter.
3. Under kalibreringen observere deltagerne og sikre, at de ikke flytter deres hoved så godt. Hvis de er for tæt på skærmen, og skærmen er meget stor dette kan være et problem. Juster afstanden fra skærmen i overensstemmelse hermed.
4. Rediger hver film til at have et hvidt kors beliggende i øverste venstre hjørne af de tidlige billeder af videoen. Dette kan gøres ved hjælp af en videoredigeringssoftware. Vis denne skærm i 3 sekunder, derefter begynde at spille turen. Dette er for at kontrollere Eye-tracking kalibrering og for at sikre, at Eye-tracking dataindsamling gange kunne matches med individuelle frame numre.

3. rekruttering og etik

1. Brug en professionel forskning rekruttering selskab til at sikre en spredning af forskellige køn, aldre og erhverv blandt stikprøven eller rekruttere på stedet blandt de studerende og personale organ.
2. Skærm deltagere for kendte okulære eller neurologiske tilstande og/eller skader. De skal spørges, om de tager medicin, der vides at påvirke øjenbevægelser (f. eks. benzodiazepiner).
3. Adfærd nær vision læsning tests og en pen lommelygte øje bevægelse udflugt test for at demonstrere, at de har fuld øje bevægelse udflugter.
4. Undersøgelsens deltagere om deres alder, køn og hyppighed af Park brug.

4. eksperimentel opsætning af deltageren

1. Bed deltagerne om at forestille sig, at de har behov for restaurering. Brug en sætning, der giver dem mulighed for at forestille sig konteksten af Eye-tracking video, der anvendes som: "Forestil dig, at det er middag, og du går alene i Melbourne. Du er mentalt træt af intens koncentration på arbejdspladsen og er på udkig efter et sted at gå en tur, sidde ned og hvile i et stykke tid, før de går tilbage til arbejdet ".
2. Sid deltagerne komfortabelt foran computerskærmen i en afstand af 60 – 65 cm for at se filmene.
3. Brug et regnearksprogram til at bestille filmene tilfældigt, før du spiller foran deltagerne.
4. Brug højttalerne til at afspille den samme lyd til alle film.
5. Optag blik bane af deltagerne ved hjælp af en desktop Eye-tracking system. Monter den stationære øjesporings enhed i henhold til producentens anvisninger. Dette kan være lige under skærmen på et bord, eller det kunne klippe til kanten af skærmen, på toppen for eksempel.
6. Brug en øjen sporingsenhed med en prøvetagnings hastighed på 120 Hz og en nøjagtighed på 0,50 °, som giver mulighed for stor bevægelsesfrihed i hovedet, hvilket muliggør optagelse under naturlige hoved bevægelser. En lavere frekvens øje-Tracker er også acceptabelt. Ved 57,3 cm svarer 1 ° af den visuelle vinkel til ~ 1 cm på skærmen.
7. Giv deltagerne mulighed for at se optagelserne på en skærm i høj opløsning.
8. Optag øjenbevægelser ved hjælp af Eye-tracking software
9. Ansæt et fikserings filter til at konvertere de rå øjen prøve data til analyse. Fra hovedmenuen skal du klikke på funktioner ≫ indstillinger. Vælg fanen fikserings filtre. Vælg fikserings filteret i henhold til producentens specifikationer for den bedste type filter til at aggregere de rå Eye-tracking data i fikseringer.
10. Hvis du optager øjesporings data ved hjælp af flere film, kan du give pauser mellem optagelses sessioner, når deltagerne anmoder om det.

5. tilslutning af sete parker til indtryk af videoerne

1. Sammenlign i hvor høj grad folk set objekter og deres meninger af videoerne ved at bede deltagerne om at bedømme hver af de parker på en skala fra 1 – 10, for det første for, om de følte, at de ville være i stand til at hvile og inddrive i dette miljø (1 , ikke meget, til 10, meget) og for det andet, hvor meget de kunne lide parken (1, ikke meget, til 10, meget).
2. Spørg deltagerne, om de ville bruge parken til at slappe af eller lindre stress (Y/N), og om de anerkendte den Park, de kigger på (j/N) for at kontrollere den potentielle virkning af en forudgående tilknytning til parken.
3. Optag korte svar svar fra deltagerne for at forklare deres indtryk ved hjælp af en stemmeoptager og derefter transskribere disse.

6. automatisk video analyse for interesseområde udvinding

1. Udvælgelse af AOIs
   1. Vælg elementer, der er af interesse for Park designere, Urban designere, planlæggere eller arkitekter, såsom træer, buske, skilte, bygninger, græstørv, stier, trin, etc.
   2. For optimal ydeevne og minimal træning krav (diskuteret nedenfor), bruge elementer, der er let visuelt skelnes fra hinanden med det blotte øje, og/eller konsekvent besætte forskellige regioner i hver video frame. Generelt bør tilstrækkelige uddannelses eksempler, der skildrer visuelt skelne mellem hver AOI, være tilstrækkelig til robust ydeevne.
2. Trænings klassifikatorer til AOI-ekstraktion
   1. Udvælgelse af de Trænings rammer, der skal anvendes, antal og rationale
      1. Vælg et passende antal Trænings rammer (herefter benævnt Træningssættet). Der er ikke noget fast nummer, der er relevant.
         Bemærk: rammerne skal give tilstrækkelig dækning af det visuelle udseende af hver objektklasse (dvs. de objekter, der skal mærkes) i hele videoen. For eksempel, 40 frames ud af en 15.000 frame videosekvens skildrer en enkelt Parkland scene blev fundet for at opnå tilstrækkelig nøjagtighed. Hvis en sekvens indeholder betydelige variationer i hele, kan der være behov for flere rammer.
      2. Overvej rammeindholdet, når du vælger Trænings rammer. Disse omfatter: belysning, former med hensyn til, hvad der bliver klassificeret (f. eks, ikke bare en type træ, men en række af træ typer, deres position i billedet, den måde, de er tændt, osv.), tekstur, og farve.
      3. Overvej også det antal rammer, der skal medtages. Specifikt, længde og variation af visuelle forhold udstillet på tværs af videoen analyseres, samt antallet af objektklasser til at identificere, og hyppigheden af deres udseende.
   2. Manuel pixel mærkning af Trænings stel
      Bemærk: manuel mærkning af Trænings rammer vil forbinde pixels med objektklasser af interesse.
      1. Pixel mærkning af Trænings stel
         1. Åbn derefter hver Trænings ramme fra videoen i billedredigeringssoftwaren.
         2. For hver Trænings ramme fra videoen, overlay et gennemsigtigt billedlag på det indlæste billede til mærkning og skabe en farvepalet, der giver en farve for hver given objektklasse af interesse (dvs., AOI).
         3. Sørg for, at farvepaletten og tilknytningen af farve til objektklasser er den samme i hele mærkningsprocessen.
         4. Vælg farven til eksemplet AOI.
         5. Farve regioner af Sample AOIs ved at vælge, med et klik med musen og træk, pixels i området til "farve i" ved hjælp af de relevante palet valg.
            Bemærk: det er muligt at farve store objekter upræcist. Men for smalle/små objekter af kun et par pixels bredde, være mere omhyggelig med at sikre, at manuel mærkning præcist fanger objektets visuelle udseende.
         6. Når mærkningen af en ramme er færdig, skal du eksportere det oversatte lag som en separat billedfil. Kontroller, at grund filnavnet svarer til det oprindelige ramme filnavn, men at der er føjet et "c" til slutningen. For eksempel, hvis den oprindelige frame filnavn var "1234. png", så det mærkede lag filnavn skal være "1234c. png".
         7. Sørg for, at alle mærkede billeder er gemt i en enkelt mappe.
      2. Pixel mærkning af validerings rammer
         Bemærk: for at kunne validere nøjagtigheden af den uddannede klassifikator, skal der oprettes et ekstra sæt af mærkede rammer.
         1. Vælg billeder fra den originale videosekvens, der ikke allerede er valgt til at indgå i træningssættet. For en 5 minutters video, behøver disse ikke være mere end 20 frames, men bør udtages prøver ensartet fra på tværs af videosekvens for at sikre tilstrækkelig dækning.
         2. Mærk pixel i hver ramme ved hjælp af samme fremgangsmåde som skitseret for forberedelse af Trænings rammer (6.2.2). Men denne gang være så præcis og så omfattende som muligt med mærkning, da dette vil blive brugt som en grund sandhed sammenligning.
         3. Når mærkningen af en ramme er færdig, skal du bruge den samme navngivningskonvention som til undervisning, men sørg for, at filer gemmes i en separat validerings ramme mappe.
   3. Automatisk pixel mærkning af videosekvensen
      1. Download DARWIN-software biblioteket fra http://drwn.anu.edu.au.
         Bemærk: det system, der er beskrevet i dette papir, blev implementeret i et Linux-miljø, og derfor bør Linux-udgivelsen af DARWIN downloades og installeres efter anvisningerne fra hjemmesiden.
      2. Start Darwin GUI
      3. I Darwin GUI, klik på Load uddannelse labels.
      4. Brug dialogboksen til Stifinder, der vises, til at vælge den mappe, der indeholder de mærkede undervisnings billeder for den relevante videosekvens.
      5. Klik på Load video frames og følg samme procedure som 6.2.3.2 at vælge den mappe, der indeholder alle originale frames af videosekvens. Dette bør være en mappe med billeder, hvor hver frame filnavn er antallet af denne ramme i videosekvens (f. eksframe 1234 ville blive navngives 1234. png)
      6. Klik på knappen tog . Algoritmen vil nu undersøge hver mærket Trænings ramme og lære en model af udseende for at klassificere pixels i en af de angivne objektklasser af interesse.
   4. Validering af den uddannede klassifikator
      1. Når træningen er fuldført, skal du klikke på knappen Valider træning .
      2. Brug Stifinder dialogboksen, skal du vælge den mappe, der indeholder alle mærkede validering billeder for den relevante videosekvens. Den uddannede klassificering vil nu blive brugt til at klassificere pixels i hver af de rammer, der refereres til i validerings sættet. Sammenlign dette med de jord sandheds etiketter, der findes i validerings mappen.
         Bemærk: når fuldført, vil GUI vise nøjagtighed statistik, herunder procentdelen af pixels korrekt mærket for hver ramme i validerings sættet, samt på tværs af hele validerings sættet.
      3. Hvis du vil validere de genererede etiketter visuelt, skal du klikke på knappen visuel validering . Hvis der klikkes, vises hvert genereret mærket billede ved siden af den oprindelige validerings ramme.
         Bemærk: Dette kan være lærerigt i at identificere, hvor mis-klassifikationer sker på objektet. F. eks. kan visuel inspektion indikere, at der konsekvent forekommer fejl i en bestemt del af en objektklasse, hvilket tyder på, at der er behov for en bedre mærkning i træningssættet. Alternativt kan inspektion vise, at der kun opstår fejl på et bestemt tidspunkt i videoen, hvilket tyder på, at der er behov for flere undervisnings eksempler fra den tidsperiode i videoen.
      4. Hvis den nøjagtighed, der er observeret i enten kvantitativ eller kvalitativ validering, falder til under acceptable niveauer, skal der medtages yderligere uddannelses eksempler. I dette tilfælde skal du gentage alle trin fra 6.2.2 for at inkludere ekstra Trænings stel, omtræne klassifikatoren efter trin i 6.2.3 og validere følgende trin igen i 6.2.4.
   5. Mærkning af video pixel
      1. Når klassificerings-og valideringsfasen er fuldført, skal du klikke på etiket rammer på Darwin GUI for at begynde den fulde mærkning af alle rammer i Videosekvensen ved hjælp af den uddannede klassificering.
      2. Følg prompten for at vælge en destinationsmappe for alle output frames, som vil være i form af mærkede billeder ved hjælp af samme farvepalet som bruges i uddannelse.

7. registrering af Eye-tracking data til video indhold

1. I øjet-tracking software Klik på fil ≫ Eksporter... Eksporter øjesporings filen som en CSV-fil.
2. Åbn filen i et regnearksprogram.
3. Fra Videosekvensen identificeres det tidspunkt, hvor det hvide kryds på rammens øverste venstre side (Se 2,3) forsvinder. Brug denne tid til at identificere Eye-tracking ved hjælp af den relevante kolonne på Eye-tracking resultat. Dette er starten på den Eye-tracking dataindsamling.
4. Føj en kolonne til øjesporings dataene.
5. Ved hjælp af denne nye kolonneetiket hver række eller Eye-tracking datapunkt med et rammenummer starter ved tallet 1.

8. visning af den tid, som deltagerne undersøgte forskellige klasser af objekter i videoer

Bemærk: på grund af den enorme størrelse af øjet-tracking data, Python programmeringssprog er bedre brugt til trin igennem til 8,4, selv om et databehandlingsprogram kan også bruges.

1. Ved hjælp af den medfølgende Python-kode beregner du mængden af overlapning mellem objekterne af interesse og øjesporings fikserings tiden og-frekvensen.
2. Sum disse data for at forstå, hvor lang tid deltagerne har brugt på at se på forskellige objekter.
3. Ansæt et histogram for at vise den samlede mængde tid, som objekterne optog skærmen.
4. Sammenlign dette med den samlede mængde tid, som deltagerne så på forskellige objekter.
5. At producere en heatmap i øjet-tracking software Klik på en af de Park Walk videoer ved hjælp af afkrydsningsfeltet.
6. Klik på fanen varmekort .
7. Juster farve og andre funktioner på Heat map som ønsket ved hjælp af variablerne "count" (samlet antal optagelser foretaget over tidsvinduet), ' absolut varighed ' (akkumuleret bindings varighed) og ' relativ varighed ' (den mængde tid, der bruges på at se på en divideret med den tid, der bruges på at se på en scene).
8. Eksporter det billede eller den video, der indeholder varme kortet, som en JPEG-fil eller videofil.

Representative Results

Figur 1 og figur 2 viser resultatet af at tage alle Eye-tracking data for hele videoen på tværs af alle deltagere og producere et varmekort; Dette er den standardtilgang, der findes i Eye-tracking softwarepakker. Ved at sammenligne figur 1 og figur 2 er det muligt at identificere, at gennemsnitlige deltagere scannet til venstre og højre på x koordinaten af videoen i figur 1 sammenlignet med figur 2, som viser en rundere form. Dette skyldes, at figur 1 havde flere horisontale elementer i hele videoen i forhold til parken i figur 2. Billedet bag varme kortet er en enkelt ramme og repræsenterer ikke i tilstrækkelig grad det fulde indhold af videoen.

Den stationære Eye-tracking system og software kun tæller resultater, hvor begge øjne kan være placeret på samme tid. Med andre ord, hvis den ene eller begge øjne ikke kan placeres data tælles som tabt. I vores tilfælde blev Eye-tracking data fanget for > 80% af tiden.

Figur 3 og figur 4 viser resultatet af at bruge protokollen og brug af maskinel indlæring til at analysere indholdet af videoerne. Figur 3 viser den tætte vegetation i Fitzroy Gardens sammenlignet med den relativt sparsomme vegetation i Royal Park (figur 4). I sidstnævnte, mere himmel er synlig, flere af scenerne er domineret af busk vegetation. Figur 5 viser% fikserings tiden på de forskellige objekter i løbet af videoen for en af deltagerne. Det viser, at selv om stien er klart synlig i løbet af videoen, deltageren kun ser på denne funktion lejlighedsvis, men på centrale punkter. Tilsvarende, som figur 6 viser, selv om en lille brøkdel af indholdet af videoen i Royal Park vedrører kunstige genstande, undersøgelsens deltager i undersøgelsen undersøger disse funktioner i en forholdsvis stor grad.

Resultaterne i figur 3, figur 4, figur 5og figur 6 kan opsummeres i figur 7 og figur 8 for alle 39 deltagere, hvis data blev anvendt i denne undersøgelse. Figur 7 viser hviletiden for alle deltagere, når man ser på genstande i hele videoens længde. Figur 8 viser de samme data divideret med mængden af tid og rum, som disse forskellige objekter optaget i videoen. En værdi på 1 angiver, at hviletiden kan tilskrives mængden af objekt i videoen. Figur 7 viser, at kunstige genstande som gadelamper og bænke i højere grad er i sammenligning med andre genstande (> 1). Figur 7 viser også, at genstande, der var mindre relevante, såsom himlen i begge billeder, blev set forholdsvis mindre (< 1).

Figur 1: eksempel varmekort, der er produceret for hele videoen af en af parkerne. Dette viser, hvor størstedelen af øjet spor var placeret. Bemærk den horisontale form af varme kortet på grund af dominans af horisontale elementer i videoen. Klik her for at se en større version af dette tal.

Figur 2: eksempel varmekort, der er produceret for hele videoen af en anden af parkerne. Bemærk den mere afrundede form på grund af tilstedeværelsen af lodrette og vandrette elementer i videoen. Klik her for at se en større version af dette tal.

Figur 3: histogram af indhold i videoen af Fitzroy Gardens analyseret ved hjælp af maskinel indlæring teknik. Klik her for at se en større version af dette tal.

Figur 4: histogram af indhold i videoen af Royal Park analyseret ved hjælp af maskinel indlæring teknik. Klik her for at se en større version af dette tal.

Figur 5: registrering af øje-tid brugt på at kigge på objekter i Fitzroy Gardens. Klik her for at se en større version af dette tal.

Figur 6: registrering af øje-tid brugt på at kigge på objekter i Royal Park. Klik her for at se en større version af dette tal.

Figur 7: aggregerede øjen sporings tider for alle deltagere og objekter for begge parker. Klik her for at se en større version af dette tal.

Figur 8: aggregerede øjen sporings tider i forhold til indhold for alle deltagere og objekter for begge parker. Klik her for at se en større version af dette tal.

Discussion

Generelt, i standardsoftwarepakker til analyse af Eye-tracking data, en vektor AOI anvendes. Selv for et enkelt stillbillede kan vektorens størrelse ikke let måles. Desuden, herunder alle AOIs i et billede og beregning af de relative mængder af AOIs er møjt. Det er næsten umuligt at gøre dette manuelt på en video uden en maskine indlæringsteknik som den beskrevne. Dette var en forholdsvis simpel erklæring, der udleder en gratis visning situation. En meget mere præcis scenario kan bruges og forskellige scenario beskrivelser før den samme stimulus kan også påvirke øjenbevægelser¹¹.

Vores forskning anvendte en metode til præcist at klassificere objekter i en video og analysere, i hvilket omfang disse var synlige for øjet. Metoden repræsenterer et middel til bogføring af, i hvilket omfang øjenbevægelser er knyttet til objekter af interesse. Dette gør det muligt at kontrollere, i hvilket omfang objekter af interesse er til stede i et synsfelt til at blive kontrolleret, når man sammenligner Eye-tracking fra forskellige med en mobil Eye-tracking enhed, eller forskellige steder, når du bruger et desktop-baseret system. Overvejelser, der kan påvirke den automatiske klassifikation af objekter ved hjælp af den maskinindlæring, vi anvender, omfatter belysning, former med hensyn til, hvad der klassificeres (f. eks. ikke kun én type træ, men en række trætyper, deres position i billede, den måde, de er tændt osv.), tekstur, og farve. Overvejelser om antallet af frames omfatter længde og variation af visuelle forhold udstillet på tværs af videoen analyseres, samt antallet af objektklasser til at identificere og hyppigheden af deres udseende. Rammen skifter hvert 1/25 sekund, men Eye-tracking med softwaren sker ved 1/120 (120 Hz). Af denne grund vil Eye-tracking data indsamles på 4,8 gange den hastighed, hvormed en ny ramme vises. Det er ikke muligt at mærke helt præcist, men mærkningen af frames bør ændres hver 5 gange. For eksempel, Eye-tracking data under 99 til 101 s er blevet overvejet for rammen af 100th sekund af videoen.

En væsentlig fordel ved aktuelle Eye-tracking pakker er, at de er sat op til at give brugerne mulighed for at gennemgå en film af deres egne Eye-tracking fikseringer og veje og beskrive, hvorfor de kiggede på visse objekter. Dette resulterer i en kvalitativ datasæt, der kan afsløre, hvorfor de enkelte tror, de har kigget på visse objekter. En udvidelse af projektet ville være at også vise dem den mængde tid, de brugte på at se på objekter på forskellige tidspunkter i forhold til indholdet, for eksempel oplysningerne i figur 8. Men at gøre dette ved at kontrollere for antallet af objekter i en scene hurtigt nok er i øjeblikket ikke muligt.

For eksempel kunne deltagerne blive bedt om at se deres egne blik stier, der var blevet indspillet, og til at beskrive, hvorfor de havde kigget på de særlige objekter¹². I vores tilfælde, i slutningen af hver film deltagerne blev bedt om at bedømme hver af de parker på en skala fra 1-10, for det første for, om de følte, at de ville være i stand til at hvile og inddrive i dette miljø (1, ikke meget, til 10, meget) og for det andet, hvor meget gjorde de kan lide den Park (1, ikke særlig meget, til 10, meget).

Materials

Name	Company	Catalog Number	Comments
12 mm lens	Olympus		Lens
Panasonic GH4	Panasonic		Video Camera
Tobii Studio version (2.1.14)	Tobii		Software
Tobii x120 desktop eye-tracker	Tobii		Eye-tracker