Kombinere eye-tracking data med en analyse av video innhold fra Free-visning en video av en tur i en urban Park miljø

Summary

Målet med protokollen er å detalj hvordan å samle video data for bruk i laboratoriet; hvordan å ta opp eye-tracking data av deltakerne ser på data og hvordan du effektivt analysere innholdet i videoene som de ser på ved hjelp av en maskinlæring teknikk.

Abstract

Som individer i økende grad bor i byer, metoder for å studere sine daglige bevegelser og data som kan samles blir viktig og verdifull. Eye-tracking informatikk er kjent for å koble til en rekke følelser, helsemessige forhold, mentale tilstander og handlinger. Men fordi visjonen er et resultat av konstant øye-bevegelser, erting ut hva som er viktig fra det som er støy er kompleks og dataintensive. Videre er en betydelig utfordring å kontrollere for hva folk ser på i forhold til hva som er presentert for dem.

Følgende presenterer en metode for å kombinere og analysere eye-tracking på en video av en naturlig og kompleks scene med en maskinlæring teknikk for å analysere innholdet i videoen. I protokollen fokuserer vi på å analysere data fra filmet videoer, hvordan en video kan best brukes til å registrere deltakernes øye sporingsdata, og viktigst av hvordan innholdet i videoen kan analyseres og kombineres med øye sporingsdata. Vi presenterer en kort oppsummering av resultatene og en drøfting av potensialet i metoden for videre studier i komplekse miljøer.

Introduction

Våre daglige opplevelser i urbane miljøer har stor innvirkning på vår helse og trivsel. Vår trivsel kan avhenge av mengden av grønne områder som vi vise og oppleve^1,2,3, og disse synspunkter kan være kvantifisert bruker eye-tracking-utstyr for å veilede beslutningsprosesser om Park design. Imidlertid oppstår et problem med volumet av øye sporingsdata som genereres og gjør følelse av disse dataene. Ettersom utstyret for innspilling av blikk data i et laboratorium eller naturlige omgivelser blir enklere å bruke og kraftigere, må forskerne vurdere hvordan vi kan samle inn og analysere data gyldig for å hjelpe til med beslutningstaking.

Så langt har en stor del av øye sporing forskning brukt fotografier i en undersøkelse eller laboratorium innstilling⁴. Selv om denne metodikken gir en stor reproduserbarhet og kontroll over resultatene, er det ikke i stand til å dra nytte av de nyeste fremskrittene i eye-tracking-teknologi som inkluderer bruk av video og slitesterk mobil øye-trackere. Videre vil vi hevde at handlingen av å gå og slappe er nødvendigvis dynamisk spesielt når orientert mot en oppgave som løypelys⁵. Derfor en fullstendig vitenskapelig forståelse av disse innstillingene bør finne sted utenfor laboratoriet. Men i øyeblikket, øye-sporing i en virkelig natur-innstillingen gjør sammenligne erfaring mellom fagene svært vanskelig. For eksempel, hvis vi ønsket å sammenligne om en ankemotparten ser på trær mer enn en annen, hvordan kunne vi kontrollere for det faktum deres synspunkt ville være i stadig endring i forhold til andre, eller at hodet kan ha snudd. Detaljert analyse i disse forholdene er nær umulig med dagens analyse teknikker. Vi vil hevde at det er viktig å kontrollere visnings områdene tilgjengelig for den enkelte blir studert og i analysen for å kunne ta hensyn til den totale scenen blir sett på et hvilket som helst tidspunkt.

Det finnes et sett av teorier som knytter stress nivåer og oppfatninger av sikkerhet til landskaps visninger og godt utviklet tiltak av stress^6,7. Det har også vært en rask økning i raffinement av eye-tracking utstyr for å måle blikket⁸. Eye-tracking er viktig fordi ufrivillig øye-bevegelser kan være mer pålitelig koblet til preferanse, stress og andre tradisjonelle tiltak enn undersøkelser og påtrengende, fysiologiske tester som spytt kortisol nivåer. Målet med denne forskningen er å utvikle verktøy som muliggjør en mer presis måling av eye-tracking data brukes til mer naturlige innstillinger, slik som å gi ytterligere bevis for eller tilbakevise langvarige landskap teorier som har informert Park design for Tiår.

Målet med dette prosjektet er å utvikle og teste en ny analyse teknikk som kan generere relevante eye-tracking data for ulike videoer av Park Walk simuleringer. Vårt arbeid rapporteres her og andre steder⁹ representerer et halvveis punkt mellom den naturlige innstillingen til et fullt mobile eye-tracking system og Lab-baserte Foto studier nevnt ovenfor. Spesielt vi konsentrere oss om å bruke videoer som stimulans materialet, utforske hvordan dette materialet kan brukes til å teste mengden av fascinasjon som ulike parker generere i City of Melbourne. Vårt arbeid er basert på antagelsen om at detaljert analyse av videoer er et nødvendig skritt for å bryte før foretaket en fyldigere, mer naturlige vurdering av potensialet i parkene for å gi restaurering fra stress.

I denne studien, vi ansatt en stasjonær Eye-tracker med videoer av turer gjennom urbane parker og ba deltakerne å forestille seg at de tok en avslappende tur gjennom en Park. Vi beskriver en metode for å tillate hvor lenge deltakerne tilbrakte ser på ulike objekter for å være sammenlignbare mellom parkene. Desktop studier er generelt lettere å kontrollere i forhold til mobile ET studier og tillate sammenlignende analyse av hvert.

Standard eye-tracking programvarebruker et manuelt område av interesse verktøy der en operatør kan manuelt trekke grenser rundt objekter av interesse i hver scene. Dette gjør at tiden deltakerne har brukt på å se på forskjellige objekter, telles automatisk. For video data er denne prosessen arbeidsintensiv og underlagt operatør subjektivitet og feil. Inne senere versjoner av øye-oppsporer analyseprogramvare, AOIs kanne automatisk bane emner vannrett rammens når de er det likt størrelse inne det video. Dette er en forbedring, men dette er bare ment å bli brukt for et lite antall stimuli i hvert bilde, og hvert bilde må sjekkes og bekreftes.

Manuell merking av objekter i et bilde er vanlig og støttes av bilderedigering programvare som GNU Image manipulasjon program (GIMP). Gitt at 1 s produserer 30 rammer eller bilder, manuell merking av videoer er upraktisk. I tillegg er AOI merking ved å tegne vektor polygoner rundt kanten av komplekse objekter som tre overbygg svært tidkrevende. Til slutt, mens det er tenkes mulig å beregne størrelsen på objekter i et synsfelt ved hjelp av vektor merking, denne funksjonen er for øyeblikket ikke tilgjengelig.

Metoden som vi rapporterer om nedenfor omhandler disse begrensningene. Denne studien sysselsatte automatisk merking av objekter. Dette er mulig ved hjelp av en bildebehandling teknikk kjent som semantisk merking, der hver piksel i hvert bilde av videoen er tildelt en etikett som indikerer en objektklasse. Maskinlæring brukes til å utlede piksel klassifiserere for hver objektklasse av interesse. Disse klassifiserere gir en sannsynlighetsbasert etikett for hver piksel (kjent som mono potensialer), som deretter raffinert i en påfølgende optimaliseringsprosessen for å oppnå den endelige merket utgang. Disse klassifiserere lærer statistiske beslutnings grenser mellom hvert objektklasser i løpet av funksjoner Hentet fra bildet, inkludert tekstur, histogram av kant orientering, RGB fargeverdier, og normalisert bilde koordinater. En hensiktsmessig teknikk for dette er implementert i DARWINS maskinlæring verktøykasse¹⁰ og er beskrevet nedenfor.

Protocol

Etisk godkjenning for dette prosjektet ble gitt av den australske katolske universitetet etikk komité-godkjenning nummer #201500036E. Dette sørget for at informert samtykke ble oppnådd fra alle deltakere og alle deltakere deltok frivillig, og at deltakerne data forble anonyme og konfidensielle. I tillegg ble godkjenning gitt på grunn av metoden og utstyret møte australske standarder sikkerhetsforskrifter.

1. filming Urban Scenes som kan brukes i en eye-tracking Study

1. Bruk et digitalt videokamera med høy kvalitet som er festet til en gimbal for å lage en simulert "walking" eller "sittende" video.
2. Record filmen med jevne væskebevegelser i 4k oppløsning på 25 fps og lagre dem på 1920 x 1080 HD.
3. Bruk et profesjonelt filming selskap for å produsere digitale filmer hvis ukjent med dette eller manglende tilgang til utstyr.
4. Skyt film i ett ta, til en enkelt lengde på tvers av alle videoer med presise forhåndsdefinerte ruter og egenskaper.
   Merk: eksempel video detaljer: hver simulert gange filmen var 3 min 50 s lang og hver simulert sittende film var 1 minutt lang. For begge videoene i denne studien, begynte videoene med en kort trappetrinn stigning som fører til en bane. Stien ble fulgt for nøyaktig 1 min 30 s og deretter kameraet stoppet og spilte venstre for 45-60 grader og stoppet i 15 sekunder. Kameraet deretter fortsatte langs walking banen til 3 min 25 s merke, så til venstre 40-70 grader i 15 sekunder, fortsatte langs stien til 3 min 50 s merke, deretter falmet til svart.
5. Sørg for at filmene er sammenlignbare, med andre ord de ikke innføre romanen blikket data fra ulike gå baner eller kamerabevegelse. En film ble tatt av hver tur, to totalt.
6. Som øyebevegelser påvirkes av lyd, ta opp en fil med generisk Urban Park lyder fra en av turene for samme lengde på videoen uten avbrudd fra plutselige høye lyder utenfor parken (f. eks bil alarmer). Dette kan spilles i stedet for det eksisterende lydsporet fra begge videoene, slik at den visuelle virkningen av videoen kan isoleres.
   Merk: overdreven bevegelse av kjøretøy og andre gjenstander kan påvirke øyebevegelser og forskyve resultatene. Hvis noe av denne inntrenging ikke forekommer, kan filmen spilles til deltakerne, men rammene må kanskje utelukkes fra analysen.
7. Hvis interessert i ulike aktiviteter i en tur, for eksempel gåing og deretter sitter på en benk, lagre eller redigere sittende og Walking scener som separate filer for å teste dem uavhengig.

2. konfigurering og desktop kalibrering av eye-tracking utstyr

1. Vis de filmet sekvensene til enkeltpersoner i et rom hvor naturlig lys kan utelukkes for å unngå refleksjoner på skjermen. Vis det til dem på så stor skjerm som mulig å okkupere så mye av det visuelle feltet, og dermed unngå distraksjon fra utenfor synsfeltet. En widescreen (16:9) PC-skjerm (22 tommer) med deltakere ca 60 cm unna skjermen er en akseptabel standard.
2. Utfør en kalibrering til skjermen for hver deltaker ved hjelp av det innebygde kalibreringsverktøyet på øye sporingsprogramvaren. Forlange deltakere å betrakte en rød ballet flytter i nærheten skjermen idet del av denne og stoppskilt for 5 nøkkel kalibrering meningene.
3. Under kalibreringen observere deltakerne og sørge for at de ikke beveger hodet også. Hvis de er for nær skjermen og skjermen er svært stort dette kan være et problem. Juster avstanden fra skjermen tilsvarende.
4. Rediger hver film til å ha et hvitt kryss som ligger i øvre venstre hjørne av de tidlige rammene av videoen. Dette kan gjøres ved hjelp av en programvare for videoredigering. Vis denne skjermen i 3 sekunder, og deretter begynne å spille turen. Dette er for å sjekke øye sporings kalibreringen og sikre at datainnsamlings tidene for øye sporing kan sammenlignes med individuelle ramme numre.

3. rekruttering og etikk

1. Bruk en profesjonell forskning rekrutteringsfirma for å sikre en spredning av ulike kjønn, aldre og yrker blant prøven eller rekruttere på stedet blant student og ansatte kroppen.
2. Skjerm deltakere for kjente øye-eller nevrologiske tilstander og/eller skader. De må bli spurt om de tar medisiner som er kjent for å påvirke øyebevegelser (f. eks benzodiazepiner).
3. Conduct nær visjon lese tester og en penn fakkel øyebevegelse ekskursjon test for å demonstrere at de har full øyebevegelse utflukter.
4. Survey deltakere om deres alder, kjønn og hyppighet av Park bruk.

4. eksperiment oppsett for deltaker

1. Be deltagerne forestille seg at de trenger restaurering. Bruk en setning som tillater dem å forestille seg konteksten av eye-tracking video brukt som: Tenk at det er middag og du går alene i Melbourne. Du er mentalt sliten av intens konsentrasjon på jobb og leter etter et sted å gå en tur, sitte ned og hvile en liten stund, før du går tilbake til arbeid.
2. Sit deltakerne komfortabelt foran dataskjermen i en avstand på 60-65 cm for å se filmene.
3. Ved hjelp av et regnearkprogram rekkefølge filmene tilfeldig før du spiller foran deltakerne.
4. Bruk høyttalere til å spille av den samme lyden for alle filmer.
5. Record blikket banen til deltakerne ved hjelp av en stasjonær eye-tracking system. Monter skrivebords øye Sporingsenheten i henhold til produsentens instruksjoner. Dette kan være like under skjermen på et bord, eller det kan klippet til kanten av skjermen, på toppen for eksempel.
6. Bruk en eye-tracking-enhet som har en samplingsfrekvens på 120 Hz og en nøyaktighet på 0,50 °, noe som gir stor frihet til hodebevegelser muliggjør opptak under naturlige hodebevegelser. En lavere frekvens Eye-Tracker er også akseptabelt. På 57,3 cm, 1 ° av visuell vinkel tilsvarer ~ 1 cm på skjermen.
7. La deltakerne se på opptakene på en skjerm i HD.
8. Record Eye-bevegelser ved hjelp av eye-tracking programvare
9. Bruk et fikserings filter for å konvertere de rå øye prøve dataene for analyse. Fra hovedmenyen, klikk på verktøy ≫ innstillinger. Velg kategorien fikserings filtre. Velg fikserings filteret i henhold til produsentens spesifikasjoner på den beste typen filter for å samle de rå øye sporingsdataene til fixations.
10. Hvis du registrerer øye sporingsdata ved hjelp av flere filmer, kan du gi pauser mellom opptaks øktene når deltakerne ber om det.

5. Koble viste Parks til visninger av videoene

1. Sammenlign i hvilken grad folk har sett på objekter og deres meninger om videoene ved å spørre deltakerne om å rangere hver av parkene på en skala fra 1 – 10, først for om de følte de ville være i stand til å hvile og komme seg i det miljøet (1 , ikke så veldig mye, til 10, veldig mye), og for det andre hvor mye de likte parken (1, ikke veldig mye, til 10, veldig mye).
2. Spør deltakerne om de ville bruke parken til å slappe av eller avlaste stress (j/N) og om de gjenkjente parken de så på (j/N) for å kontrollere den potensielle virkningen av en tidligere tilknytning til parken.
3. Spill inn korte svar svar fra deltakerne for å forklare sine inntrykk ved hjelp av en stemmeopptaker og deretter transkribere disse.

6. automatisk video analyse for området av interesse Extraction

1. Valg av AOIs
   1. Velg elementer som er av interesse for å parkere designere, urbane designere, planleggere eller arkitekter, for eksempel trær, busker, skilting, bygninger, torv, stier, trinn, etc.
   2. For å få optimal ytelse og minimale trenings krav (nærmere beskrevet nedenfor) kan du bruke elementer som lett kan skilles fra hverandre til det blotte øye, og/eller konsekvent okkupere ulike regioner i hver videoramme. Generelt bør tilstrekkelige trenings eksempler som viser visuelt skille mellom hver AOI, være tilstrekkelig for robust ytelse.
2. Trening klassifiserere for AOI utvinning
   1. Valg av trenings RAM mer som skal brukes, tall og begrunnelse
      1. Velg et passende antall trenings RAM mer (heretter referert til som trenings sett). Det er ikke noe fast nummer som passer.
         Merk: rammene må gi tilstrekkelig dekning av omfanget av det visuelle utseendet til hver objektklasse (dvs. objektene som skal merkes) i hele videoen. For eksempel, 40 rammer ut av en 15 000 ramme videosekvens som viser en enkelt parkland scene ble funnet å oppnå tilstrekkelig nøyaktighet. Hvis en sekvens inneholder betydelig variasjon i løpet av deretter flere rammer kan være nødvendig.
      2. Tenk på rammeinnholdet når du velger trenings RAM mer. Disse inkluderer: belysning, former med hensyn til hva som blir klassifisert (f. eks, ikke bare en type tre, men en rekke tre typer, deres posisjon i bildet, slik de er tent, etc.), tekstur og farge.
      3. Vurder også antall rammer som skal inkluderes. Nærmere bestemt, lengden og variasjonen av visuelle forhold utstilt over videoen blir analysert, samt antall objektklasser å identifisere, og hyppigheten av deres utseende.
   2. Manuell piksel merking for opplærings RAM mer
      Merk: manuell merking av trenings RAM mer vil knytte piksler til interesse klasser.
      1. Piksel merking av trenings RAM mer
         1. I sin tur, åpne hver trening ramme fra videoen i bildet redigering programvare.
         2. For hver trening ramme fra videoen, overlegg et gjennomsiktig bilde laget på det lastede bildet for merking og lage en fargepalett, og gir en farge for hver gitt objektklasse av interesse (dvs. AOI).
         3. Kontroller at fargepaletten og tilordningen av farge til objektklasser er den samme i hele merkingsprosessen.
         4. Velg fargen for eksempel AOI.
         5. Fargeområder av sample AOIs ved å velge, med et museklikk og dra, piksler innenfor området for å "farge" ved hjelp av riktig palett valg.
            Merk: det er mulig å fargelegge store objekter upresist. Men for smale/små gjenstander av bare noen få piksler bredde, ta større forsiktighet for å sikre at manuell merking nøyaktig fanger objektets visuelle utseende.
         6. Når merkingen av en ramme er fullført, eksporterer du overlappet lag som en egen bildefil. Kontroller at basisfilnavnet samsvarer med det opprinnelige filnavnet for rammen, men med "c" lagt til på slutten. Hvis for eksempel det opprinnelige ramme filnavnet var "1234. png", må det merkede lag filnavn være "1234c. png".
         7. Kontroller at alle merkede bilder er lagret i en enkelt mappe.
      2. Piksel merking av validerings RAM mer
         Merk: for å kvantitativt validere nøyaktigheten til den trente klassifisereren, skal det opprettes et ekstra sett med merkede rammer.
         1. Velg bilder fra den opprinnelige videosekvensen som ikke allerede er tatt med i trenings settet. For en 5 minutters video, disse trenger ikke være mer enn 20 rammer, men bør samplet jevnt fra hele videosekvensen for å sikre tilstrekkelig dekning.
         2. Merk bildepunkter i hver ramme med samme fremgangsmåte som beskrevet for utarbeidelse av trenings RAM mer (6.2.2). Men denne gangen være så presis og så omfattende som mulig med merking som dette vil bli brukt som en bakken sannhet sammenligning.
         3. Når merking av en ramme er fullført, kan du bruke samme navnekonvensjon som for opplæring, men sikre at filer lagres i en egen validerings ramme mappe.
   3. Automatisk piksel merking av videosekvensen
      1. Last ned DARWIN programvare biblioteket fra http://drwn.anu.edu.au.
         Merk: systemet er beskrevet i denne utredningen ble implementert i et Linux-miljø, og så Linux utgivelsen av DARWIN bør lastes ned og installeres, følge instruksjonene fra nettsiden.
      2. Lansere Darwin GUI
      3. I Darwin GUI, klikk på Load trening etiketter.
      4. Bruk dialogboksen for Filutforsker som vises, og velg mappen som inneholder de merkede trenings bildene for den aktuelle videosekvensen.
      5. Falle i staver opp på belaste video rammens og følg etter likt fremgangsmåte idet 6.2.3.2 å velge folderen inneholder alle original rammens av det video orden. Dette bør være en mappe med bilder, der hver ramme filnavn er antall som rammen i videosekvensen (f. eksramme 1234 ville hete 1234. png)
      6. Klikk på tog knappen. Algoritmen vil nå undersøke hver merket trening ramme og lære en modell av utseende for å klassifisere piksler i noen av de angitte objektklasser av interesse.
   4. Validere den trente klassifisereren
      1. Når treningen er fullført, klikker du på Valider trening -knappen.
      2. Ved hjelp av dialogboksen Filutforsker velger du mappen som inneholder alle merkede validerings bilder for den aktuelle videosekvensen. Den opplærte klassifisereren vil nå brukes til å klassifisere bildepunkter i hver av rammene som det refereres til i validerings settet. Sammenlign dette med bakken sannheten etikettene i godkjenningen mappen.
         Merk: Når du er ferdig, vil GUI vise nøyaktighet statistikk, inkludert prosentandelen av piksler riktig merket for hver ramme i validerings settet, samt over hele validerings sett.
      3. Hvis du vil validere de genererte etikettene visuelt, klikker du knappen visuell validering . Hvis klikket, vises hvert genererte merket bilde ved siden av den opprinnelige validerings RAM men.
         Merk: Dette kan være lærerikt i å identifisere hvor mis-klassifikasjoner er oppstått på objektet. Visuell inspeksjon kan for eksempel indikere at feil oppstår konsekvent over en bestemt del av en objektklasse, noe som tyder på at det kreves bedre merking i opplærings settet. Det kan også hende at inspeksjonen viser at det bare oppstår feil på et bestemt tidspunkt i videoen, noe som tyder på at det kreves flere opplærings eksempler fra denne tidsperioden i videoen.
      4. Hvis nøyaktigheten som er observert i enten kvantitativ eller kvalitativ validering, faller under akseptable nivåer, må du ta med ytterligere opplærings eksempler. I dette tilfellet gjentar du alle trinnene fra 6.2.2 for å inkludere flere opplærings RAM mer, re-trene klassifisereren følgende trinn i 6.2.3 og validere følgende trinn i 6.2.4 på nytt.
   5. Merking av video piksel
      1. Når klassifiserer trenings-og validerings fasen er fullført, klikker du etikett RAM mer i Darwin GUI for å starte hele merkingen av alle rammene i videosekvensen ved hjelp av den opplærte klassifisereren.
      2. Følg ledeteksten for å velge en målmappe for alle utdata-rammer, som vil være i form av merkede bilder ved hjelp av samme fargepalett som brukes i trening.

7. registrering av øye sporings data til video innholdet

1. I eye-tracking programvare Klikk på fil ≫ Export... Eksporter øye sporingsfilen som en CSV-fil.
2. Åpne filen i et regnearkprogram.
3. Fra videosekvensen identifisere tiden der det hvite korset på toppen venstre hånd av rammen (se 2,3) forsvinner. Bruk denne tiden til å identifisere øye sporing ved å bruke den relevante kolonnen på øye sporings resultatet. Dette er starten på øye-sporing datainnsamling.
4. Legg til en kolonne i øye sporingsdataene.
5. Når du bruker denne nye kolonneetiketten, blir hvert enkelt rad-eller øye sporingsdata punkt med et ramme nummer startet på tallet 1.

8. viser hvor lenge deltakerne undersøkt ulike klasser av objekter i videoer

Merk: på grunn av den enorme størrelsen på øye-sporing data, Python programmeringsspråk er bedre brukt til trinn gjennom til 8,4, selv om et databehandlingsprogram kan også brukes.

1. Ved hjelp av den inkluderte Python-koden, beregne mengden overlapping mellom objekter av interesse og eye-tracking fiksering tid og frekvens.
2. Sum disse dataene for å forstå hvor mye tid deltakerne brukte på å se på forskjellige objekter.
3. Bruk et histogram til å vise den totale mengden tid som objektene okkuperte skjermen.
4. Sammenlign dette med den totale mengden tid deltakerne har sett på forskjellige objekter.
5. Å produsere en heatmap i eye-tracking programvare klikke på en av parken gå videoer ved hjelp av kryss boksen.
6. Klikk på varme kart kategorien.
7. Juster farge og andre funksjoner på varmekartet som ønsket ved hjelp av variabler av "Count" (totalt antall fixations gjort overtids vinduet), "Absolute varighet" (akkumulert fiksering varighet), og "relativ varighet" (hvor mye tid brukt på å se på en objekt dividert med hvor mye tid brukt på å se på en scene).
8. Eksporter bildet eller videoen som inneholder varmekartet som en JPEG-fil eller videofil.

Representative Results

Figur 1 og figur 2 viser resultatet av å ta alle øye sporingsdata for hele videoen på tvers av alle deltakere og produsere et varme kart; Dette er standard tilnærmingen tilgjengelig i eye-tracking programvarepakker. Ved å sammenligne figur 1 og figur 2 er det mulig å identifisere at på gjennomsnittlige deltakere skannet venstre og høyre på x-koordinaten til videoen i figur 1 sammenlignet med figur 2, som viser en avrundet form. Dette er fordi figur 1 hadde flere horisontale elementer i løpet av videoen i forhold til parken i figur 2. Bildet bak varmekartet er en enkelt ramme og ikke tilstrekkelig representerer hele innholdet i videoen.

Det desktop øye-oppsporer system og programvare bare teller resultater der hvor begge to Eyes kan lokalisert samtidig. Med andre ord, hvis ett eller begge øyne ikke kan finnes dataene telles som tapt. I vårt tilfelle ble øye sporingsdata tatt for > 80% av tiden.

Figur 3 og Figur 4 viser resultatet av å bruke protokollen og bruk av maskinlæring til å analysere innholdet i videoene. Figur 3 viser den tette vegetasjonen i Fitzroy Gardens i forhold til den relativt spredte vegetasjonen i Royal Park (Figur 4). I sistnevnte, mer himmelen er synlig, er flere av scenene dominert av busk vegetasjon. Figur 5 viser% fikserings tid på de ulike objektene i løpet av videoen for en av deltakerne. Det viser at selv om banen er godt synlig i løpet av videoen, deltakeren bare ser på denne funksjonen innimellom, men på viktige punkter. Tilsvarende, som figur 6 viser, selv om en liten brøkdel av innholdet i videoen i Royal Park gjelder kunstige gjenstander, undersøker deltakeren i studien disse funksjonene til en forholdsvis stor grad.

Funnene i figur3, Figur 4, figur 5og figur 6 kan oppsummeres i figur 7 og Figur 8 for alle 39 deltakere hvis data ble brukt i denne studien. Figur 7 viser botid for alle deltakerne når du ser på objekter i hele lengden av videoen. Figur 8 viser de samme dataene dividert med hvor mye tid og rom som disse forskjellige objektene okkuperte i videoen. En verdi på 1 angir at levetiden kan tas hensyn til av objekt mengden i videoen. Figur 7 viser at kunstige gjenstander som gate lamper og benker er levd i større grad sammenlignet med andre gjenstander (> 1). Figur 7 viser også at objekter som var mindre relevante, for eksempel himmelen i begge bildene, ble vist forholdsvis mindre (< 1).

Figur 1: eksempel varmekartet som er produsert for hele videoen av en av parkene. Dette viser hvor flertallet av øyet sporene var plassert. Legg merke til den horisontale formen på varmekartet på grunn av dominans av horisontale elementer i videoen. Vennligst klikk her for å se en større versjon av dette tallet.

Figur 2: eksempel varmekartet som er produsert for hele videoen av en annen av parkene. Legg merke til mer avrundet form på grunn av tilstedeværelsen av vertikale og horisontale elementer i videoen. Vennligst klikk her for å se en større versjon av dette tallet.

Figur 3: histogram for innhold i video av Fitzroy Gardens analysert ved hjelp av maskin lærings teknikken. Vennligst klikk her for å se en større versjon av dette tallet.

Figur 4: histogram for innhold i videoen til Royal Park analysert ved hjelp av maskin lærings teknikken. Vennligst klikk her for å se en større versjon av dette tallet.

Figur 5: øye sporing fiksering tid brukt ser på objekter i Fitzroy Gardens. Vennligst klikk her for å se en større versjon av dette tallet.

Figur 6: eye tracking fiksering tid brukt ser på objekter i Royal Park. Vennligst klikk her for å se en større versjon av dette tallet.

Figur 7: samlet øye sporing bor ganger for alle deltakere og gjenstander for begge parkene. Vennligst klikk her for å se en større versjon av dette tallet.

Bilde 8: aggregert øye sporing bor ganger i forhold til innhold for alle deltakere og objekter for begge parkene. Vennligst klikk her for å se en større versjon av dette tallet.

Discussion

Vanligvis, i standardprogramvare pakker for å analysere eye-tracking data, en vektor AOI brukes. Selv for en enkelt stillbilde, kan størrelsen på vektoren ikke lett måles. Videre, inkludert alle AOIs i et bilde og beregning av relative mengder AOIs er arbeidskrevende. Det er nesten umulig å gjøre dette manuelt på en video uten en maskinlæring teknikk som beskrevet. Dette var en relativt enkel uttalelse som angir en gratis visning situasjon. En mye mer presis scenario kan brukes og ulike scenario beskrivelser før samme stimulans kan også påvirke øyebevegelser¹¹.

Vår forskning brukte en metode for nøyaktig klassifisering av objekter i en video og analyse av i hvilken grad disse var synlige for øyet. Metoden representerer ett middel for regnskap for i hvilken grad øyebevegelser er knyttet til objekter av interesse. Dette gjør det mulig i hvilken grad objekter av interesse er til stede i et synsfelt som skal kontrolleres når du sammenligner øye sporing fra forskjellige emner med en mobil øyesporingsenhet, eller forskjellige plasseringer når du bruker et skrivebordsbasert system. Betraktninger som kan påvirke den automatiske klassifiseringen av objekter ved hjelp av maskinlæring vi ansetter inkluderer belysning, former med hensyn til hva som blir klassifisert (f. eks ikke bare en type tre, men en rekke tre typer, deres posisjon i bilde, slik de er tent osv.), tekstur og farge. Betraktninger om antall rammer inkluderer lengden og variasjonen av visuelle tilstander utstilt over videoen blir analysert, samt antall objektklasser for å identifisere og hyppigheten av deres utseende. Rammene endres hvert 1/25 sekunder, men øye-sporing med programvaren skjer på 1/120 (120 Hz). Av denne grunn vil øye sporingsdata bli samlet inn til 4,8 ganger hastigheten som en ny ramme vises på. Det er ikke mulig å merke helt nøyaktig, men merkingen av rammene bør endres hver 5 ganger. For eksempel, øye-oppsporer data i løpet av 99 å 101 s er blitt betraktet som for rammen av 100 andre av det video.

En betydelig fordel av aktuelle øye-oppsporer pakkene er det alt de er stille opp å tillate brukernes å anmelde en film av deres egen øye-oppsporer fixations og trasé og beskrive hvorfor de sett for bestemt emner. Dette resulterer i en kvalitativ datasett som kan avdekke hvorfor enkelte tror de har sett på visse objekter. En forlengelse av prosjektet vil være å også vise dem hvor mye tid de tilbrakte ser på objekter på ulike tidspunkter i forhold til innholdet, for eksempel informasjonen i Figur 8. Likevel, gjør dette ved å kontrollere for antall objekter i en scene raskt nok er for øyeblikket ikke mulig.

Deltakerne kan for eksempel bli bedt om å vise sine egne blikk stier som var nedtegnet, og beskrive hvorfor de hadde sett på de bestemte objektene¹². I vårt tilfelle, på slutten av hver film deltakerne ble bedt om å rangere hver av parkene på en skala fra 1-10, først for om de følte de ville være i stand til å hvile og komme seg i det miljøet (1, ikke veldig mye, til 10, veldig mye), og for det andre hvor mye gjorde de liker Park (1, ikke veldig mye, til 10, veldig mye).

Materials

Name	Company	Catalog Number	Comments
12 mm lens	Olympus		Lens
Panasonic GH4	Panasonic		Video Camera
Tobii Studio version (2.1.14)	Tobii		Software
Tobii x120 desktop eye-tracker	Tobii		Eye-tracker