Kombinera Eye-tracking data med en analys av video innehåll från Free-Visa en video av en promenad i en urban Park miljö

Summary

Syftet med protokollet är att specificera hur man samlar in video data för användning i laboratoriet; Hur man spelar in öga-tracking data för deltagare tittar på data och hur man effektivt analysera innehållet i de videor som de tittade på med hjälp av en maskin inlärnings teknik.

Abstract

Som individer alltmer bor i städer, metoder för att studera deras vardagliga rörelser och de uppgifter som kan samlas in blir viktiga och värdefulla. Eye-tracking informatik är kända för att ansluta till en rad känslor, hälso tillstånd, mentala tillstånd och åtgärder. Men eftersom synen är resultatet av ständiga ögonrörelser, retas ut vad som är viktigt från vad som är buller är komplicerat och data intensiva. Dessutom är en betydande utmaning att kontrol lera vad människor ser på jämfört med vad som presenteras för dem.

Följande presenterar en metod för att kombinera och analysera öga-Tracking på en video av en naturlig och komplex scen med en maskin inlärnings teknik för att analysera innehållet i videon. I protokollet fokuserar vi på att analysera data från filmade videor, hur en video bäst kan användas för att spela in deltagarnas ögon spårnings data, och viktigast av allt hur videons innehåll kan analyseras och kombineras med ögon spårnings data. Vi presenterar en kort sammanfattning av resultaten och en diskussion om metodens potential för fortsatta studier i komplexa miljöer.

Introduction

Våra dagliga levda upplevelser av urbana miljöer påverkar i hög grad vår hälsa och vårt välbefinnande. Vårt välbefinnande kan bero på hur mycket grön områden som vi ser och upplever^1,2,3, och dessa vyer kan kvantifieras med hjälp av Eye-tracking utrustning för att vägleda besluts fattande om Park design. Ett problem uppstår dock med den volym av ögon spårnings data som genereras och är meningsfulla för dessa data. Eftersom utrustningen för att registrera blick data i ett labb eller en naturlig miljö blir lättare att använda och kraftfullare, behöver forskarna fundera över hur vi kan samla in och analysera data på ett giltigt sätt för att hjälpa till med besluts fattande frågor.

Hittills har en stor del av ögat spårning forskning använt fotografier i en undersökning eller laboratorie miljö⁴. Även om denna metod möjliggör en hel del reproducerbarhet och kontroll över resultat, är det inte att dra nytta av de senaste framstegen i Eye-tracking teknik som inkluderar användning av video och bärbara mobila Eye-trackers. Dessutom skulle vi hävda att handlingen att gå och koppla är nödvändigt vis dynamiskt, särskilt när orienterade mot en uppgift som vägvisning⁵. Därför bör en helt vetenskaplig förståelse av dessa inställningar äga rum utanför laboratoriet. Men just nu, öga-tracking i en verklig naturalistisk inställning gör att jämföra erfarenheten mellan ämnen mycket svårt. Till exempel, om vi ville jämföra om en svarande tittar på träd mer än en annan, hur skulle vi kunna kontrol lera att deras synpunkt skulle vara ständigt förändras jämfört med andra eller att deras huvud kan ha vänt. Detaljerad analys i dessa förhållanden är nära omöjligt med nuvarande analys tekniker. Vi skulle hävda att det är viktigt att kontrol lera de visnings områden som är tillgängliga för den individ som studeras och i analysen för att kunna redogöra för den totala scenen som ses vid en och samma tidpunkt.

Det finns en uppsättning teorier som förbinder stress nivåer och uppfattningar om säkerhet till liggande vyer och väl utvecklade åtgärder av stress^6,7. Det har också skett en snabb ökning av den sofistikerade ögonspårnings utrustning för att mäta blicken⁸. Ögonspårning är viktigt eftersom ofrivilliga ögonrörelser kan vara mer tillförlitligt ansluten till preferens, stress och andra traditionella åtgärder än undersökningar och påträngande, fysiologiska tester såsom saliv-kortisolnivåer. Syftet med denna forskning är att utveckla verktyg som möjliggör en mer exakt mätning av ögat-tracking data som tillämpas på mer naturalistiska inställningar, för att ge ytterligare bevis för eller vederlägga långvariga landskaps teorier som har informerat Park design för Årtionden.

Syftet med detta projekt är att utveckla och testa en ny analys teknik som kan generera relevanta ögon spårnings data för olika videor av Park promenad simuleringar. Vårt arbete rapporteras här och på andra ställen⁹ representerar en halvvägs mellan naturalistisk inställning av ett helt mobilt öga-tracking system och Lab-baserade foto studier som avses ovan. I synnerhet koncentrerar vi oss på att använda videor som stimulans material, utforska hur detta material kan användas för att testa den mängd fascination som olika parker genererar i staden Melbourne. Vårt arbete bygger på antagandet att detaljerad analys av videor är ett nödvändigt steg för att bryta innan man genomför en fylligare, mer naturalistisk bedömning av potentialen i parker för att ge restaurering från stress.

I denna studie använde vi en stationär Eye-tracker med videor av promenader genom urbana parker och frågade deltagarna att föreställa sig att de tog en avkopplande promenad genom en Park. Vi beskriver en metod för att tillåta den tid som deltagarna tillbringade med att titta på olika objekt för att vara jämförbara mellan parkerna. Skriv bords studier är i allmänhet lättare att kontrol lera jämfört med mobila ET-studier och möjliggör jämför ande analys av varje ämne.

Standard program vara för öga-spårning använder ett manuellt område av intresse verktyg där en operatör kan manuellt rita gränser runt objekt av intresse i varje scen. Detta gör att den tid som deltagarna tillbringade när de tittade på olika objekt automatiskt räknades. För video data är denna process arbets intensiv och underkastad operatörens subjektivitet och fel. I senare versioner av Eye-tracking analys program, kan AOIs automatiskt spåra objekt över ramar när de är av samma storlek i videon. Detta är en förbättring, men detta är endast avsedd att användas för ett litet antal stimuli i varje bild och varje bild måste kontrol leras och bekräftas.

Manuell märkning av objekt i en bild är vanligt och stöds av bild redigerings program som GNU Image Manipulation program (GIMP). Med tanke på att 1 s producerar 30 bilder eller bilder, manuell märkning av videor är opraktiskt. Dessutom är AOI-märkningen genom att rita vektor polygoner runt kanten av komplexa objekt som träd Skärmtak mycket tids krävande. Slutligen, även om det är tänkbart möjligt att beräkna storleken på objekt i ett synfält med hjälp av vektor märkning, är denna funktion för närvarande inte tillgänglig.

Den metod som vi rapporterar om nedan handlar om dessa begränsningar. Denna studie använde automatisk märkning av objekt. Detta är möjligt med hjälp av en bild behandlings teknik som kallas semantisk märkning, där varje pixel i varje bild ruta i videon tilldelas en etikett som anger en objekt klass. Maskin inlärning används för att härleda pixelklassificerare för varje objekt klass av intresse. Dessa klassificerare ger en probabilistisk etikett för varje pixel (kallas unära Potentials), som sedan förfinas i en efterföljande optimerings processen för att uppnå den slutliga märkta utdata. Dessa klassificerare lär sig statistiska besluts gränser mellan varje objekt klasser i utrymmet för funktioner som extraherats från bilden, inklusive textur, histogram över kant orientering, RGB-färgvärden och normaliserade bildkoordinater. En lämplig teknik för detta implementeras i DARWIN maskin inlärning verktygs lådan¹⁰ och beskrivs nedan.

Protocol

Etiskt godkännande av detta projekt gavs av den australiska katolska universitetets etik kommitté-godkännande nummer #201500036E. Detta säkerställde att informerat samtycke vunnits från alla deltagare och alla deltagare deltog frivilligt, och att deltagarnas uppgifter förblev anonyma och konfidentiella. Dessutom gavs godkännandet på grund av den metod och utrustning som uppfyller de australiska standarderna säkerhets föreskrifter.

1. Filmning Urban scener som kan användas i en Eye-tracking studie

1. Använd en högkvalitativ digital video kamera som är ansluten till en Gimbal för att skapa en simulerad "Walking" eller "sittande" video.
2. Spela in filmen med smidig vätska rörelser i 4k upplösning på 25 fps och spara dem på 1920 x 1080 HD.
3. Använd en professionell Filmning företag att producera digitala filmer om obekanta med detta eller saknar till gång till utrustning.
4. Skjut film i en tagning, till en enda längd över alla videor med exakta fördefinierade rutter och egenskaper.
   Obs: exempel på video Detaljer: varje simulerad gångfilm var 3 min 50 s lång och varje simulerad sittande film var 1 minut lång. För båda filmerna i denna studie, filmerna började med en kort trappa klättra leder till en stig. Stigen följdes för exakt 1 min 30 s och sedan kameran stoppas och panoreras vänster för 45-60 grader och stannade i 15 sekunder. Kameran fortsatte sedan längs gång vägen tills 3 min 25 s mark, panoreras vänster 40-70 grader i 15 sekunder, fortsatte längs vägen tills 3 min 50 s märke, sedan bleknat till svart.
5. Se till att filmerna är jämförbara, med andra ord att de inte introducerar nya blick data från olika gångbanor eller kamera rörelser. En film togs av varje promenad, två totalt.
6. Som ögonrörelser påverkas av ljud, spela in en fil av generiska Urban Park ljud från en av promenader för samma längd av videon utan avbrott från plötsliga höga ljud utanför parken (t. ex. bil larm). Detta kan spelas i stället för det befintliga soundtracket från båda videorna så att videons visuella inverkan kan isoleras.
   Anmärkning: överdriven förflyttning av fordon och andra föremål kan påverka ögonrörelser och skeva resultaten. Om en del av detta intrång inträffar kan filmen spelas till deltagarna, men ramarna kan behöva uteslutas från analysen.
7. Om intresse rad av olika aktiviteter på en promenad, såsom promenader och sedan sitter på en bänk, spara eller redigera sammanträdet och gå scener som separata filer för att testa dem självständigt.

2. installations-och skriv bords kalibrering av ögon spårnings utrustning

1. Visa filmade sekvenser för individer i ett rum där naturligt ljus kan uteslutas för att undvika reflektioner på skärmen. Visa det för dem på en så stor skärm som möjligt för att ockupera så mycket av synfältet, och därigenom undvika distraktion från utsidan av synfältet. En widescreen (16:9) PC skärm (22 tum) med deltagare ca 60 cm bort från skärmen är en acceptabel standard.
2. Utför en kalibrering på skärmen för varje deltagare med hjälp av det inbyggda kalibrerings verktyget på ögon spårnings programmet. Kräv att deltagarna tittar på en röd boll som rör sig runt på skärmen som en del av detta och stannar vid 5 viktiga kalibrerings punkter.
3. Under kalibreringen Observera deltagarna och se till att de inte rör sig huvudet också. Om de är för nära skärmen och skärmen är mycket stor kan detta vara ett problem. Justera avståndet från skärmen därefter.
4. Redigera varje film för att ha ett vitt kors som ligger i det övre vänstra hörnet av de tidiga bild rutorna i videon. Detta kan göras med hjälp av ett video redigerings program. Visa den här skärmen i 3 sekunder och börja sedan spela upp promenaden. Detta för att kontrol lera ögonspårningskalibreringen och för att säkerställa att data insamlings tiderna för ögon spårning kan matchas med individuella bild Rute nummer.

3. rekrytering och etik

1. Använd en professionell forskning rekryterings företag för att säkerställa en spridning av olika kön, åldrar och yrken bland urvalet eller rekrytera på plats bland de studerande och personal organ.
2. Skärm deltagare för kända okulära eller neurologiska tillstånd och/eller skador. De måste tillfrågas om de tar mediciner som är kända för att påverka ögonrörelser (t. ex. bensodiazepiner).
3. Beteende nära vision lästest och en penna fackla ögonrörelse utflykt test för att visa att de har full ögonrörelser rörlighet.
4. Undersökning deltagare om deras ålder, kön och frekvensen av Park användning.

4. experimentell inställning för deltagare

1. Be deltagarna föreställa sig i behov av restaurering. Använd en mening som tillåter dem att föreställa sig sammanhanget i ögat-tracking video som används som: "Föreställ dig att det är mitt på dagen och du går ensam i Melbourne. Du är mentalt trött från intensiv koncentration på jobbet och letar efter någonstans att gå på en promenad, sitta ner och vila en liten stund, innan du går tillbaka till arbetet.
2. Sit deltagare bekvämt framför dator skärmen på ett avstånd av 60-65 cm för att Visa filmerna.
3. Med hjälp av ett kalkyl program beställa filmerna slumpmässigt innan du spelar inför deltagarna.
4. Använd högtalarna för att spela upp samma ljud för alla filmer.
5. Spela in blick banan för deltagarna med hjälp av ett Skriv bords system för öga-tracking. Montera den Station ära ögonspårningsenheten enligt tillverkarens anvisningar. Detta kan vara precis under skärmen på en tabell, eller det kan klippa till kanten av skärmen, ovanpå till exempel.
6. Använd en ögonspårningsenhet som har en samplings frekvens på 120 Hz och en noggrannhet på 0,50 °, vilket möjliggör stor rörelsefrihet för huvud rörelser som möjliggör inspelning under naturliga huvud rörelser. En lägre frekvens Eye-Tracker är också acceptabelt. Vid 57,3 cm, 1 ° av visuell vinkel motsvarar ~ 1 cm på skärmen.
7. Låt deltagarna titta på filmen på en bildskärm med hög upplösning.
8. Spela in ögonrörelser med hjälp av Eye-tracking program vara
9. Använd ett bindnings filter för att konvertera rå ögat exempel data för analys. Från huvud menyn, klicka på verktyg ≫ inställningar. Välj fliken bindnings filter. Välj bindnings filtret enligt tillverkarens specifikationer på den bästa typen av filter för att aggregera de råa ögon spårnings data till upptagningar.
10. Om du spelar in ögon spårnings data med flera filmer kan du ge pauser mellan inspelningssessioner närhelst deltagarna begär det.

5. ansluta de visade parkerna till visningar av filmerna

1. Jämför i vilken utsträckning människor sett objekt och deras åsikter av filmerna genom att be deltagarna att betygsätta var och en av parkerna på en skala från 1 – 10, för det första för om de kände att de skulle kunna vila och återhämta sig i den miljön (1 , inte så mycket, till 10, väldigt mycket) och för det andra hur mycket de gillade parken (1, inte så mycket, till 10, mycket).
2. Fråga deltagarna om de skulle använda parken för att slappna av eller lindra stress (j/N) och om de kände igen parken de tittade på (j/N) för att kontrol lera den potentiella effekten av ett tidigare samband med parken.
3. Spela in korta svar från deltagarna för att förklara sina intryck med hjälp av en diktafon och sedan transkribera dessa.

6. automatisk video analys för intresse område extraktion

1. Val av AOIs
   1. Välj objekt som är av intresse för Park designers, urbana designers, planerare eller arkitekter, såsom träd, buskar, skyltar, byggnader, torv, stigar, steg, etc.
   2. För optimala prestanda och minimala utbildnings krav (diskuteras vidare nedan), Använd element som lätt kan urskiljas från varandra till blotta ögat, och/eller konsekvent ockupera olika regioner i varje video bild ruta. I allmänhet bör tillräckliga utbildnings exempel för att visuellt skilja mellan olika AOI-bilder räcka för robusta prestanda.
2. Tränings klassificerare för AOI-extraktion
   1. Val av de tränings ramar som ska användas, antal och motivering
      1. Välj ett lämpligt antal tränings ramar (hädanefter kallad tränings uppsättning). Det finns inget fast nummer som är lämpligt.
         Obs: ramarna måste ge tillräcklig täckning av det visuella utseendet för varje objekt klass (d.v.s. de objekt som ska märkas) i hela videon. Till exempel hittades 40 bild rutor av en 15 000 bild Rute videosekvens som föreställer en enda Park scen för att uppnå tillräcklig noggrannhet. Om en sekvens innehåller betydande variation hela tiden kan fler ramar krävas.
      2. Tänk på ram innehållet när du väljer tränings ramar. Dessa inkluderar: belysning, former med avseende på vad som klassificeras (t. ex. inte bara en typ av träd, men en rad träd typer, deras position i bilden, hur de är tända, etc.), textur, och färg.
      3. Överväg också antalet ramar som ska inkluderas. Närmare bestämt, längd och variation av visuella förhållanden utställda över videon som analyseras, liksom antalet objekt klasser att identifiera, och frekvensen av deras utseende.
   2. Manuell pixel märkning för tränings ramar
      Obs: manuell etikettering tränings ramarna kommer att associera pixlar med objekt klasser av intresse.
      1. Pixel märkning av tränings ramar
         1. I sin tur öppnar du varje tränings ram från videon i bild redigerings programmet.
         2. För varje tränings ram från videoklippet överlägg ett genomskinligt bild lager på den inlästa bilden för etikettering och skapa en färgpalett, som ger en färg för varje given objekt klass av intresse (dvs. AOI).
         3. Se till att färgpaletten och mappningen av färg till objekt klasser är densamma under hela märknings processen.
         4. Välj färg för provet AOI.
         5. Färg områden av provet AOIs genom att välja, med en mus klickning och dra, pixlar inom området till "färg i" med hjälp av lämplig palett val.
            Obs: det är möjligt att färga stora objekt oprecist. Men för smala/små objekt med endast ett fåtal pixlar bredd, se till att manuell märkning korrekt fångar objektets visuella utseende.
         6. När märkningen av en ram är klar exporterar du det överlagda lagret som en separat bildfil. Kontrol lera att bas filens namn matchar det ursprungliga ram bas fil namnet, men med ett "c" tillagt i slutet. Om original ramens fil namn till exempel var "1234. png", ska namnet på lager filen vara "1234c. png".
         7. Se till att alla märkta bilder lagras i en enda mapp.
      2. Pixel märkning av validerings ramar
         Anmärkning: för att kvantitativt validera noggrannheten hos den utbildade klassificeraren, bör en ytterligare uppsättning märkta ramar skapas.
         1. Välj bild rutor från den ursprungliga videosekvensen som inte redan har valts för att inkluderas i tränings uppsättningen. För en 5 minuters video, dessa behöver inte vara mer än 20 bilder, men bör samplas jämnt från hela videon sekvens för att säkerställa tillräcklig täckning.
         2. Märk pixlar i varje bild ruta enligt samma procedur som för att förbereda tränings ramar (6.2.2). Men denna gång vara så exakt och så heltäckande som möjligt med märkning eftersom detta kommer att användas som en grund sanning jämförelse.
         3. När märkningen av en ram är klar använder du samma namngivnings konvention som för utbildning, men se till att filerna sparas i en separat validerings Rams katalog.
   3. Automatisk pixel märkning av videosekvensen
      1. Ladda ner DARWIN mjukvaru biblioteket från http://drwn.anu.edu.au.
         Obs: systemet som beskrivs i detta dokument genomfördes i en Linux-miljö, och så Linux-utgåvan av DARWIN bör laddas ner och installeras, följa instruktionerna från webbplatsen.
      2. Starta Darwin GUI
      3. I Darwin GUI, klicka på Läs in tränings etiketter.
      4. Använd dialog rutan för fil Utforskaren som visas och välj den mapp som innehåller de etiketterade tränings bilderna för den aktuella videosekvensen.
      5. Klick på lasta video stommen och följa efter det samma procedur så 6.2.3.2 till välja broschyren innehållet alla original stommen om video ordningsföljd. Detta bör vara en mapp med bilder, där varje ram fil namn är numret på den bild rutan i videosekvensen (t. ex.ram 1234 skulle namnges 1234. png)
      6. Klicka på tåg knappen. Algoritmen kommer nu att undersöka varje märkt tränings ram och lära sig en modell för utseende för klassificering av pixlar i någon av de angivna objekt klasserna av intresse.
   4. Validera den utbildade klassificeraren
      1. När träningen är klar klickar du på knappen validera utbildning .
      2. Använd dialog rutan för fil Utforskaren och välj den mapp som innehåller alla märkta verifierings bilder för den aktuella videosekvensen. Den utbildade klassificeraren kommer nu att användas för att klassificera pixlar i var och en av de ramar som anges i validerings uppsättningen. Jämför detta med de slipade sanning etiketterna som finns i valideringsmappen.
         När du är klar kommer GUI att Visa noggrannhets statistik, inklusive procent andelen pixlar korrekt märkta för varje bild ruta i validerings uppsättningen, samt över hela validerings uppsättningen.
      3. Om du vill validera de genererade etiketterna visuellt klickar du på knappen visuell validering . Om du klickar på den visas alla genererade märkta bilder bredvid den ursprungliga validerings ramen.
         Obs: detta kan vara lärorikt i att identifiera var mis-klassificeringar sker på objektet. Visuell inspektion kan till exempel tyda på att fel förekommer konsekvent i en viss del av en objekt klass, vilket tyder på att det krävs förbättrad märkning i utbildnings uppsättningen. Alternativt kan inspektion Visa att fel uppstår endast vid en viss tidpunkt i videon, vilket tyder på fler utbildnings exempel krävs från den tids perioden i videon.
      4. Om noggrannheten som observerats i antingen kvantitativ eller kvalitativ validering unders Tiger godtagbara nivåer, inkludera sedan ytterligare utbildnings exempel. Upprepa i så fall alla steg från 6.2.2 till att inkludera ytterligare tränings ramar, omträna klassificeraren enligt stegen i 6.2.3 och verifiera följande steg i 6.2.4.
   5. Video pixel märkning
      1. När klassificerings-och validerings fasen är slutförd klickar du på etikett ramar på Darwin GUI för att börja med den fullständiga märkningen av alla bild rutor i videosekvensen med hjälp av den utbildade klassificeraren.
      2. Följ uppmaningen att välja en målmapp för alla utgångs ramar, som kommer att vara i form av märkta bilder med samma färgpalett som används i utbildning.

7. registrera ögon spårnings data till video innehållet

1. I ögat-tracking program vara Klicka på fil ≫ exportera... Exportera ögon spårnings filen som en CSV-fil.
2. Öppna filen i ett kalkyl blads program.
3. Från videosekvensen identifierar den tidpunkt då det vita korset på ramens övre vänstra sida (se 2,3) försvinner. Använd den här tiden för att identifiera ögonspårning genom att använda relevant kolumn på ögat-tracking resultat. Detta är början på den öga-tracking data insamling.
4. Lägg till en kolumn i ögon spårnings data.
5. Använd den här nya kolumn etiketten för varje rad-eller ögon spårnings data punkt med ett bild Rute nummer som börjar på siffran 1.

8. visar hur lång tid som deltagarna undersökt olika klasser av objekt i videor

Anmärkning: på grund av den enorma storleken på ögat-tracking data, är python programmeringsspråk bättre används för steg till 8,4, även om ett data behandlings program kan också användas.

1. Med den inkluderade python-koden kan du beräkna överlappningen mellan objekten av intresse och ögonspårningfixeringstid och frekvens.
2. Summera dessa data för att förstå hur lång tid som deltagarna har ägnat åt att titta på olika objekt.
3. Använd ett histogram för att visa den totala tids mängden som objekten ockuperade skärmen.
4. Jämför detta med den totala tid som deltagarna tittade på olika objekt.
5. För att producera en heatmap i ögat-tracking program vara Klicka på en av parkens promenad videor med hjälp av kryss rutan.
6. Klicka på fliken värme karta .
7. Justera värme kartans färg och andra egenskaper efter behov med variablerna "count" (totalt antal upptagningar som gjorts över tidsfönstret), "absolut varaktighet" (ackumulerad bindnings tid) och "relativ varaktighet" (den tids period som ägnas åt att titta på en objekt dividerat med hur lång tid det har varit att titta på en scen).
8. Exportera bilden eller videon som innehåller värme kartan som en JPEG-fil eller videofil.

Representative Results

Figur 1 och figur 2 visar resultatet av att ta alla ögon spårnings data för hela videon över alla deltagare och producera en värme karta; Detta är standard metoden som finns i program varu paket för ögonspårning. Genom att jämföra figur 1 och figur 2 är det möjligt att identifiera att i genomsnitt deltagarna skannade vänster och höger på x-koordinaten för videon i figur 1 jämfört med figur 2, som visar en rundare form. Detta beror på att figur 1 hade mer horisontella element i hela videon jämfört med parken i figur 2. Bilden bakom värme kartan är en enda bild ruta och representerar inte tillräckligt fullt innehåll i videon.

Den desktopen öga-spårande system och mjukvaran bara räknar resultaten var båda öga kanna befinna på samme tid. Med andra ord, om en eller båda ögonen inte kan lokaliseras data räknas som förlorad. I vårt fall ögonspårningsdata fångades för > 80% av tiden.

Figur 3 och figur 4 visar resultatet av att använda protokollet och användningen av maskin inlärning för att analysera innehållet i videorna. Figur 3 visar den täta vegetationen i Fitzroy Gardens jämfört med den relativt glesa vegetationen i Royal Park (figur 4). I den senare, mer himmel är synlig, mer av scenerna domineras av buske vegetation. Figur 5 visar% fixeringstid för de olika objekten under video förloppet för en av deltagarna. Det visar att även om vägen är tydligt synlig under loppet av videon, deltagaren bara tittar på den här funktionen ibland men på viktiga punkter. Likaså, som figur 6 visar, även om en liten bråkdel av innehållet i videon i Royal Park avser konstgjorda objekt, undersöker deltagaren i studien dessa funktioner till en jämförelse vis stor utsträckning.

Resultaten i figur 3, figur 4, figur 5och figur 6 kan sammanfattas i figur 7 och figur 8 för alla 39 deltagare vars data användes i denna studie. Figur 7 visar uppehålls tiden för alla deltagare när man tittar på objekt under videoklippets längd. Figur 8 visar samma data dividerat med hur mycket tid och rum som dessa olika objekt upptas i videon. Värdet 1 anger att uppehålls tiden kan redovisas efter mängden objekt i videoklippet. Figur 7 visar att konstgjorda föremål som Gat lyktor och bänkar i större utsträckning är i jämförelse med andra föremål (> 1). Figur 7 visar också att objekt som var mindre relevanta, såsom himlen i båda bilderna, sågs jämförelse vis mindre (< 1).

Figur 1: exempel på en värme karta som produceras för hela videon av en av parkerna. Detta visar var majoriteten av ögat spåren var placerade. Notera den horisontella formen på värme kartan på grund av dominansen av horisontella element i videon. Vänligen klicka här för att se en större version av denna siffra.

Figur 2: exempel på en värme karta som produceras för hela videon av en annan av parkerna. Notera den mer rundade formen på grund av närvaron av vertikala och horisontella element i videon. Vänligen klicka här för att se en större version av denna siffra.

Figur 3: histogram över innehållet i videon av Fitzroy Gardens analyseras med hjälp av maskin inlärnings teknik. Vänligen klicka här för att se en större version av denna siffra.

Figur 4: histogram över innehållet i video av Royal Park analyseras med hjälp av maskin inlärnings teknik. Vänligen klicka här för att se en större version av denna siffra.

Figur 5: ögonspårningstid som ägnas åt att titta på föremål i Fitzroy Gardens. Vänligen klicka här för att se en större version av denna siffra.

Figur 6: ögonspårningstid som ägnas åt att titta på föremål i Royal Park. Vänligen klicka här för att se en större version av denna siffra.

Figur 7: aggregerade uppehålls tider för ögon spårning för alla deltagare och objekt för båda parkerna. Vänligen klicka här för att se en större version av denna siffra.

Figur 8: aggregerade uppehålls tider i ögat i förhållande till innehållet för alla deltagare och objekt för båda parkerna. Vänligen klicka här för att se en större version av denna siffra.

Discussion

Vanligt vis används en vektor AOI i standard program varu paket för att analysera ögon spårnings data. Även för en enda stillbild, kan storleken på vektorn inte lätt mätas. Dessutom, inklusive alla AOIs i en bild och beräkna de relativa mängderna av AOIs är mödosam. Det är nästan omöjligt att göra detta manuellt på en video utan en maskin inlärnings teknik som den som beskrivs. Detta var ett relativt enkelt uttalande som härleder en fri tittarsituation. En mycket mer exakt scenario kan användas och olika scenario beskrivningar innan samma stimulans kan också påverka ögonrörelser¹¹.

Vår forskning använde en metod för att korrekt klassificera objekt i en video och analysera i vilken utsträckning dessa var synliga för ögat. Metoden representerar ett sätt att redogöra för i vilken utsträckning ögonrörelser är kopplade till föremål av intresse. Detta gör det möjligt att kontrol lera i vilken utsträckning objekt av intresse finns i ett synfält som kan styras när man jämför ögonspårningen från olika ämnen med en mobil ögonspårningsenhet, eller olika platser när man använder ett Desktop-baserat system. Överväganden som kan påverka automatisk klassificering av objekt med hjälp av maskin inlärning vi använder inkluderar belysning, former med avseende på vad som klassificeras (t. ex. inte bara en typ av träd utan en rad olika trädslag, deras position i bild, hur de är tända etc.), textur och färg. Överväganden om antalet bild rutor inkluderar längd och variation av visuella förhållanden som visades över videon som analyseras, liksom antalet objekt klasser att identifiera och hur ofta deras utseende. Ramarna ändras var 1/25 sekund, men ögonspårning med program varan sker vid 1/120 (120 Hz). Av denna anledning kommer ögon spårnings data att samlas in vid 4,8 gånger den hastighet med vilken en ny ram visas. Det är inte möjligt att märka helt exakt, men märkningen av ramarna bör ändras var 5 gånger. Till exempel, öga-tracking data under 99 till 101 s har beaktats för ramen för den 100: e sekund av videon.

En betydande fördel med nuvarande Eye-tracking-paket är att de är inställda för att tillåta användare att granska en film av sina egna ögonspårning upptagningar och vägar och beskriva varför de tittade på vissa objekt. Detta resulterar i en kvalitativ data uppsättning som kan avslöja varför enskilda ämnen tror att de har tittat på vissa objekt. En förlängning av projektet skulle vara att också visa dem hur mycket tid de tillbringade titta på objekt vid olika tidpunkter i förhållande till innehållet, till exempel informationen i figur 8. Men att göra detta genom att kontrol lera antalet objekt i en scen snabbt nog är för närvarande inte möjligt.

Till exempel kan deltagarna bli ombedda att se sina egna blick vägar som hade spelats in och beskriva varför de hade tittat på de särskilda objekten¹². I vårt fall, i slutet av varje film deltagarna ombads att betygsätta var och en av parkerna på en skala från 1-10, för det första för om de kände att de skulle kunna vila och återhämta sig i den miljön (1, inte så mycket, till 10, mycket) och för det andra hur mycket gjorde de gillar Park (1, inte så mycket, till 10, mycket).

Materials

Name	Company	Catalog Number	Comments
12 mm lens	Olympus		Lens
Panasonic GH4	Panasonic		Video Camera
Tobii Studio version (2.1.14)	Tobii		Software
Tobii x120 desktop eye-tracker	Tobii		Eye-tracker