Kombinere eye-tracking data med en analyse av video innhold fra Free-visning en video av en tur i en urban Park miljø

Summary

Målet med protokollen er å detalj hvordan å samle video data for bruk i laboratoriet; hvordan å ta opp eye-tracking data av deltakerne ser på data og hvordan du effektivt analysere innholdet i videoene som de ser på ved hjelp av en maskinlæring teknikk.

Abstract

Som individer i økende grad bor i byer, metoder for å studere sine daglige bevegelser og data som kan samles blir viktig og verdifull. Eye-tracking informatikk er kjent for å koble til en rekke følelser, helsemessige forhold, mentale tilstander og handlinger. Men fordi visjonen er et resultat av konstant øye-bevegelser, erting ut hva som er viktig fra det som er støy er kompleks og dataintensive. Videre er en betydelig utfordring å kontrollere for hva folk ser på i forhold til hva som er presentert for dem.

Følgende presenterer en metode for å kombinere og analysere eye-tracking på en video av en naturlig og kompleks scene med en maskinlæring teknikk for å analysere innholdet i videoen. I protokollen fokuserer vi på å analysere data fra filmet videoer, hvordan en video kan best brukes til å registrere deltakernes øye sporingsdata, og viktigst av hvordan innholdet i videoen kan analyseres og kombineres med øye sporingsdata. Vi presenterer en kort oppsummering av resultatene og en drøfting av potensialet i metoden for videre studier i komplekse miljøer.

Introduction

Våre daglige opplevelser i urbane miljøer har stor innvirkning på vår helse og trivsel. Vår trivsel kan avhenge av mengden av grønne områder som vi vise og oppleve^1,2,3, og disse synspunkter kan være kvantifisert bruker eye-tracking-utstyr for å veilede beslutningsprosesser om Park design. Imidlertid oppstår et problem med volumet av øye sporingsdata som genereres og gjør følelse av disse dataene. Ettersom utstyret for innspilling av blikk data i et laboratorium eller naturlige omgivelser blir enklere å bruke og kraftigere, må forskerne vurdere hvordan vi kan samle inn og analysere data gyldig for å hjelpe til med beslutningstaking.

Så langt har en stor del av øye sporing forskning brukt fotografier i en undersøkelse eller laboratorium innstilling⁴. Selv om denne metodikken gir en stor reproduserbarhet og kontroll over resultatene, er det ikke i stand til å dra nytte av de nyeste fremskrittene i eye-tracking-teknologi som inkluderer bruk av video og slitesterk mobil øye-trackere. Videre vil vi hevde at handlingen av å gå og slappe er nødvendigvis dynamisk spesielt når orientert mot en oppgave som løypelys⁵. Derfor en fullstendig vitenskapelig forståelse av disse innstillingene bør finne sted utenfor laboratoriet. Men i øyeblikket, øye-sporing i en virkelig natur-innstillingen gjør sammenligne erfaring mellom fagene svært vanskelig. For eksempel, hvis vi ønsket å sammenligne om en ankemotparten ser på trær mer enn en annen, hvordan kunne vi kontrollere for det faktum deres synspunkt ville være i stadig endring i forhold til andre, eller at hodet kan ha snudd. Detaljert analyse i disse forholdene er nær umulig med dagens analyse teknikker. Vi vil hevde at det er viktig å kontrollere visnings områdene tilgjengelig for den enkelte blir studert og i analysen for å kunne ta hensyn til den totale scenen blir sett på et hvilket som helst tidspunkt.

Det finnes et sett av teorier som knytter stress nivåer og oppfatninger av sikkerhet til landskaps visninger og godt utviklet tiltak av stress^6,7. Det har også vært en rask økning i raffinement av eye-tracking utstyr for å måle blikket⁸. Eye-tracking er viktig fordi ufrivillig øye-bevegelser kan være mer pålitelig koblet til preferanse, stress og andre tradisjonelle tiltak enn undersøkelser og påtrengende, fysiologiske tester som spytt kortisol nivåer. Målet med denne forskningen er å utvikle verktøy som muliggjør en mer presis måling av eye-tracking data brukes til mer naturlige innstillinger, slik som å gi ytterligere bevis for eller tilbakevise langvarige landskap teorier som har informert Park design for Tiår.

Målet med dette prosjektet er å utvikle og teste en ny analyse teknikk som kan generere relevante eye-tracking data for ulike videoer av Park Walk simuleringer. Vårt arbeid rapporteres her og andre steder⁹ representerer et halvveis punkt mellom den naturlige innstillingen til et fullt mobile eye-tracking system og Lab-baserte Foto studier nevnt ovenfor. Spesielt vi konsentrere oss om å bruke videoer som stimulans materialet, utforske hvordan dette materialet kan brukes til å teste mengden av fascinasjon som ulike parker generere i City of Melbourne. Vårt arbeid er basert på antagelsen om at detaljert analyse av videoer er et nødvendig skritt for å bryte før foretaket en fyldigere, mer naturlige vurdering av potensialet i parkene for å gi restaurering fra stress.

I denne studien, vi ansatt en stasjonær Eye-tracker med videoer av turer gjennom urbane parker og ba deltakerne å forestille seg at de tok en avslappende tur gjennom en Park. Vi beskriver en metode for å tillate hvor lenge deltakerne tilbrakte ser på ulike objekter for å være sammenlignbare mellom parkene. Desktop studier er generelt lettere å kontrollere i forhold til mobile ET studier og tillate sammenlignende analyse av hvert.

Standard eye-tracking programvarebruker et manuelt område av interesse verktøy der en operatør kan manuelt trekke grenser rundt objekter av interesse i hver scene. Dette gjør at tiden deltakerne har brukt på å se på forskjellige objekter, telles automatisk. For video data er denne prosessen arbeidsintensiv og underlagt operatør subjektivitet og feil. Inne senere versjoner av øye-oppsporer analyseprogramvare, AOIs kanne automatisk bane emner vannrett rammens når de er det likt størrelse inne det video. Dette er en forbedring, men dette er bare ment å bli brukt for et lite antall stimuli i hvert bilde, og hvert bilde må sjekkes og bekreftes.

Manuell merking av objekter i et bilde er vanlig og støttes av bilderedigering programvare som GNU Image manipulasjon program (GIMP). Gitt at 1 s produserer 30 rammer eller bilder, manuell merking av videoer er upraktisk. I tillegg er AOI merking ved å tegne vektor polygoner rundt kanten av komplekse objekter som tre overbygg svært tidkrevende. Til slutt, mens det er tenkes mulig å beregne størrelsen på objekter i et synsfelt ved hjelp av vektor merking, denne funksjonen er for øyeblikket ikke tilgjengelig.

Metoden som vi rapporterer om nedenfor omhandler disse begrensningene. Denne studien sysselsatte automatisk merking av objekter. Dette er mulig ved hjelp av en bildebehandling teknikk kjent som semantisk merking, der hver piksel i hvert bilde av videoen er tildelt en etikett som indikerer en objektklasse. Maskinlæring brukes til å utlede piksel klassifiserere for hver objektklasse av interesse. Disse klassifiserere gir en sannsynlighetsbasert etikett for hver piksel (kjent som mono potensialer), som deretter raffinert i en påfølgende optimaliseringsprosessen for å oppnå den endelige merket utgang. Disse klassifiserere lærer statistiske beslutnings grenser mellom hvert objektklasser i løpet av funksjoner Hentet fra bildet, inkludert tekstur, histogram av kant orientering, RGB fargeverdier, og normalisert bilde koordinater. En hensiktsmessig teknikk for dette er implementert i DARWINS maskinlæring verktøykasse¹⁰ og er beskrevet nedenfor.

Protocol

Etisk godkjenning for dette prosjektet ble gitt av den australske katolske universitetet etikk komité-godkjenning nummer #201500036E. Dette sørget for at informert samtykke ble oppnådd fra alle deltakere og alle deltakere deltok frivillig, og at deltakerne data forble anonyme og konfidensielle. I tillegg ble godkjenning gitt på grunn av metoden og utstyret møte australske standarder sikkerhetsforskrifter. 1. filming Urban Scenes som kan brukes i en eye-tracking Study Bruk et dig…

Representative Results

Figur 1 og figur 2 viser resultatet av å ta alle øye sporingsdata for hele videoen på tvers av alle deltakere og produsere et varme kart; Dette er standard tilnærmingen tilgjengelig i eye-tracking programvarepakker. Ved å sammenligne figur 1 og figur 2 er det mulig å identifisere at på gjennomsnittlige deltakere skannet venstre og høyre på x-koordinaten til videoen i <strong…

Discussion

Vanligvis, i standardprogramvare pakker for å analysere eye-tracking data, en vektor AOI brukes. Selv for en enkelt stillbilde, kan størrelsen på vektoren ikke lett måles. Videre, inkludert alle AOIs i et bilde og beregning av relative mengder AOIs er arbeidskrevende. Det er nesten umulig å gjøre dette manuelt på en video uten en maskinlæring teknikk som beskrevet. Dette var en relativt enkel uttalelse som angir en gratis visning situasjon. En mye mer presis scenario kan brukes og ulike scenario beskrivelser før…

Materials

12 mm lens	Olympus		Lens
Panasonic GH4	Panasonic		Video Camera
Tobii Studio version (2.1.14)	Tobii		Software
Tobii x120 desktop eye-tracker	Tobii		Eye-tracker