Het combineren van Eye-tracking gegevens met een analyse van de video-inhoud van Free-viewing een video van een wandeling in een stedelijk park omgeving

Summary

Het protocol heeft tot doel in detail te beschrijven hoe videogegevens kunnen worden verzameld voor gebruik in het laboratorium; Hoe te registreren eye-tracking gegevens van de deelnemers te kijken naar de gegevens en hoe efficiënt analyseren van de inhoud van de Video's die ze zochten met behulp van een machine leren techniek.

Abstract

Als individuen steeds meer leven in steden, methoden om hun dagelijkse bewegingen en de gegevens die kunnen worden verzameld studie wordt belangrijk en waardevol. Eye-tracking informatica is bekend om verbinding te maken met een scala van gevoelens, gezondheids-omstandigheden, mentale toestanden en acties. Maar omdat visie is het resultaat van constante Eye-bewegingen, plagen uit wat belangrijk is van wat is lawaai is complex en data-intensieve. Bovendien, een belangrijke uitdaging is de controle voor wat mensen kijken in vergelijking met wat wordt gepresenteerd aan hen.

Het volgende presenteert een methodologie voor het combineren en analyseren van Eye-tracking op een video van een natuurlijke en complexe scène met een machine learning techniek voor het analyseren van de inhoud van de video. In het protocol richten we ons op het analyseren van gegevens van gefilmde Video's, hoe een video kan het best worden gebruikt om de deelnemers ' Eye-trackingdata record, en belangrijker hoe de inhoud van de video kan worden geanalyseerd en gecombineerd met de eye-tracking gegevens. We presenteren een korte samenvatting van de resultaten en een bespreking van de mogelijkheden van de methode voor verdere studies in complexe omgevingen.

Introduction

Onze dagelijkse geleefde ervaringen van stedelijke milieu's hebben grote invloed op onze gezondheid en welzijn. Ons welzijn kan afhangen van de hoeveelheid groene ruimtes die we bekijken en ervaring^1,2,3, en deze standpunten kunnen worden gekwantificeerd met behulp van Eye-tracking apparatuur te begeleiden besluitvorming over Park design. Echter, een probleem ontstaat met het volume van de eye tracking gegevens die wordt gegenereerd en het maken van de zin van deze gegevens. Aangezien de apparatuur voor het opnemen van gegevens blik in een Lab of natuurlijke omgeving wordt gemakkelijker te gebruiken en krachtiger, onderzoekers moeten nagaan hoe we kunnen verzamelen en analyseren van gegevens geldig om te helpen met de besluitvorming vragen.

Tot nu toe heeft een groot deel van Eye tracking onderzoek gebruikt Foto's in een enquête of laboratorium instelling⁴. Hoewel deze methodologie zorgt voor een groot deel van de reproduceerbaarheid en controle over de resultaten, is het niet in staat om te profiteren van de nieuwste ontwikkelingen in de eye-tracking technologie die het gebruik van video en draagbare mobiele Eye-trackers omvatten. Voorts zouden wij debatteren dat de handeling van het lopen en het ontspannen noodzakelijk dynamisch is in het bijzonder wanneer georiënteerd naar een taak zoals bewegwijzering⁵. Daarom zou een volledig wetenschappelijk begrip van deze montages buiten het laboratorium moeten plaatsvinden. Echter, op het moment, eye-tracking in een Real-Life naturalistische setting maakt het vergelijken van de ervaring tussen de onderwerpen erg moeilijk. Bijvoorbeeld, als we wilden vergelijken of een respondent kijkt naar bomen meer dan een ander, hoe kunnen we de controle voor het feit dat hun standpunt zou voortdurend veranderen in vergelijking met anderen of dat hun hoofd zou kunnen hebben gedraaid. Gedetailleerde analyse in deze omstandigheden is bijna onmogelijk met de huidige analysetechnieken. We beweren dat het belangrijk is om de controle van de gebieden die beschikbaar zijn voor het individu wordt bestudeerd en in de analyse te kunnen om rekening te houden voor de totale scène wordt bekeken op een bepaald punt in de tijd.

Er zijn een reeks theorieën die spanningsniveaus en waarnemingen van veiligheid verbinden aan landschaps meningen en goed-geëvolueerde maatregelen van spanning^6,7. Er is ook een snelle toename van de verfijning van de eye-tracking apparatuur te meten blik⁸. Eye-tracking is belangrijk omdat onvrijwillige Eye-bewegingen kunnen meer betrouwbaar worden aangesloten op de voorkeur, stress en andere traditionele maatregelen dan enquêtes en opdringerige, fysiologische tests zoals speeksel cortisol niveaus. Het doel van dit onderzoek is het ontwikkelen van tools die een nauwkeuriger meting van de eye-tracking gegevens toegepast op meer naturalistische instellingen mogelijk te maken, om zo verder bewijs voor of te weerleggen langdurige landschaps theorieën die hebben geïnformeerd Park design voor Decennia.

Het doel van dit project is het ontwikkelen en testen van een nieuwe analysetechniek die relevante eye-tracking gegevens kan genereren voor verschillende Video's van Park Walk simulaties. Ons werk gerapporteerd hier en elders⁹ is een halverwege punt tussen de naturalistische setting van een volledig mobiele eye-tracking systeem en het lab-based foto studies hierboven genoemde. In het bijzonder concentreren we ons op het gebruik van Video's als stimulans materiaal, het verkennen van hoe dit materiaal kan worden gebruikt om het bedrag van de fascinatie die verschillende parken te genereren in de stad Melbourne te testen. Ons werk is gebaseerd op de veronderstelling dat een gedetailleerde analyse van de Video's is een noodzakelijke stap in de strijd vóór de onderneming een vollere, meer naturalistische beoordeling van het potentieel van parken om herstel te bieden van stress.

In deze studie, werkten we een desktop Eye-Tracker met Video's van wandelingen door stedelijke parken en vroeg de deelnemers voor te stellen dat ze een ontspannende wandeling door een park te nemen. We beschrijven een methode om de hoeveelheid tijd die de deelnemers besteed aan het kijken naar verschillende objecten te vergelijken tussen de parken mogelijk te maken. Desktop studies zijn over het algemeen gemakkelijker te controleren in vergelijking met mobiele ET studies en laat vergelijkende analyse van elk onderwerp.

Standaard eye-tracking software maakt gebruik van een handleiding gebied van belang tool waarin een exploitant kan handmatig te trekken grenzen rond voorwerpen van belang in elke scène. Hierdoor kan de hoeveelheid tijd die deelnemers besteed aan het bekijken van verschillende objecten automatisch worden geteld. Voor videogegevens, is dit proces arbeidsintensief en onderworpen aan exploitant subjectiviteit en fout. In latere versies van Eye-tracking analyse software, Aoi's kan automatisch track objecten over frames als ze dezelfde grootte in de video. Dit is een verbetering, echter, dit is alleen bedoeld om te worden gebruikt voor een klein aantal stimuli in elk beeld en elk beeld moet worden gecontroleerd en bevestigd.

Handmatige etikettering van objecten in een afbeelding komt vaak voor en wordt ondersteund door beeldbewerkingssoftware zoals GNU Image manipulatie Program (GIMP). Gezien het dat 1 s produceert 30 frames of beelden, de handmatige etikettering van Video's is onpraktisch. Bovendien is het etiketteren van de kenmerkende door vector veelhoeken rond de rand van complexe voorwerpen zoals boom luifels zeer tijdrovend. Tot slot, hoewel het denkbaar is om de grootte van objecten te berekenen in een gezichtsveld met behulp van vector-etikettering, is deze functie momenteel niet beschikbaar.

De methode die wij rapporteren hieronder behandelt deze beperkingen. Deze studie werkte automatische etikettering van voorwerpen. Dit is mogelijk met behulp van een beeldverwerkings techniek bekend als semantische etikettering, waarbij elke pixel in elk frame van de video is een label met vermelding van een objectklasse toegewezen. Machine learning wordt gebruikt voor het afleiden van pixel classificaties voor elke objectklasse van belang. Deze classificaties bieden een waarschijnlijkheids label voor elke pixel (bekend als unaire potentialen), die vervolgens worden verfijnd in een latere optimalisatie proces om de uiteindelijke label output te bereiken. Deze classificaties leren statistische beslissings grenzen tussen elke objectklassen in de ruimte van functies die uit de afbeelding worden geëxtraheerd, zoals textuur, histogram van rand oriëntaties, RGB-kleurwaarden en de genormaliseerde afbeeldings coördinaten. Een geschikte techniek hiervoor is geïmplementeerd in de DARWIN machine learning Toolbox¹⁰ en wordt hieronder beschreven.

Protocol

Ethische goedkeuring voor dit project werd gegeven door de Australische Katholieke Universiteit ethiek Comite-goedkeuringsnummer #201500036E. Dit zorgde ervoor dat de geïnformeerde toestemming werd verkregen van alle deelnemers en alle deelnemers vrijwillig deelgenomen, en dat de deelnemers gegevens bleven anoniem en vertrouwelijk. Daarnaast werd de goedkeuring gegeven gepast de methode en de apparatuur die Australische normen veiligheidsverordeningen ontmoet.

1. filmen stedelijke scènes die kunnen worden gebruikt in een eye-tracking studie

1. Gebruik een digitale videocamera van hoge kwaliteit die aan een ophanging is bevestigd om een gesimuleerde ' walking ' of ' sitting ' video te maken.
2. Neem de film met vloeiende vloeiende bewegingen in 4k resolutie op 25 fps en sla ze op 1920 x 1080 HD.
3. Gebruik een professionele filmen bedrijf om digitale films te produceren, indien onbekend met deze of geen toegang tot apparatuur.
4. Schiet film in een take, tot een enkele lengte over alle Video's met precieze vooraf gedefinieerde routes en kenmerken.
   Nota: de video details van het voorbeeld: elke gesimuleerde gang film was 3 min 50 s lang en elke gesimuleerde zittings film was 1 minuut lang. Voor beide Video's in deze studie, de Video's begonnen met een korte trap klim leidt tot een pad. Het pad werd gevolgd voor precies 1 min 30 s en dan de camera gestopt en gepand links voor 45-60 graden en stopte gedurende 15 seconden. De camera vervolgens verder langs het wandelpad tot de 3 min 25 s merk, gepand links 40-70 graden voor 15 seconden, bleef langs het pad tot de 3 min 50 s merk, dan verdween naar zwart.
5. Zorg ervoor dat de films vergelijkbaar zijn, met andere woorden, ze introduceren geen nieuwe blik gegevens uit verschillende wandeltrajecten of camerabewegingen. Een film werd genomen van elke wandeling, twee in totaal.
6. Als oogbewegingen worden beïnvloed door geluid, het opnemen van een bestand van generieke Urban Park geluiden uit een van de wandelingen voor dezelfde lengte van de video zonder onderbrekingen van plotselinge harde geluiden buiten het Park (bijv., auto-alarmen). Dit kan worden afgespeeld in plaats van de bestaande soundtrack van beide Video's, zodat de visuele impact van de video kan worden geïsoleerd.
   Opmerking: overmatig verkeer van voertuigen en andere voorwerpen kan invloed hebben op de oogbewegingen en scheef de resultaten. Als een deel van deze inbraak optreedt, kan de film worden gespeeld aan de deelnemers, maar de frames kan nodig zijn om te worden uitgesloten van de analyse.
7. Als u geïnteresseerd bent in verschillende activiteiten in een wandeling, zoals wandelen en vervolgens zittend op een bankje, opslaan of bewerken van de vergadering en wandelen scènes als afzonderlijke bestanden om ze zelfstandig te testen.

2. Setup en desktop kalibratie van de eye-tracking apparatuur

1. Toon de gefilmde sequenties aan individuen in een ruimte waar natuurlijk licht kan worden uitgesloten om reflecties te voorkomen op het scherm. Toon het aan hen op een zo groot scherm mogelijk te bezetten zo veel van het visuele veld, waardoor het vermijden van afleiding van buiten het gezichtsveld. Een breedbeeld (16:9) PC monitor (22 inch) met deelnemers ongeveer 60 cm afstand van het scherm is een acceptabele standaard.
2. Voer een kalibratie op het scherm voor elke deelnemer met behulp van de ingebouwde kalibratie tool op de eye-tracking software. Vereisen deelnemers om te kijken naar een rode bal bewegen rond het scherm als onderdeel van deze en stoppen op 5 belangrijke kalibratie punten.
3. Tijdens de kalibratie observeren de deelnemers en ervoor te zorgen dat ze niet hun hoofd ook bewegen. Als ze te dicht bij het scherm en het scherm is zeer groot kan dit een probleem zijn. Pas de afstand van het scherm dienovereenkomstig aan.
4. Bewerk elke film op een wit kruis gelegen in de linkerbovenhoek van de vroege frames van de video. Dit kan gedaan worden met behulp van een video-editing software. Toon dit scherm voor 3 seconden, dan beginnen te spelen de wandeling. Dit is het controleren van de eye-tracking kalibratie en om ervoor te zorgen dat de Eye-trackingdata collectie tijden kunnen worden gekoppeld aan individuele framenummers.

3. rekrutering en ethiek

1. Gebruik een professioneel onderzoek recruitment bedrijf te zorgen voor een spreiding van verschillende geslachten, leeftijden en beroepen onder de steekproef of werven op de site van onder de student en het personeel lichaam.
2. Scherm deelnemers voor bekende oculaire of neurologische aandoeningen en/of verwondingen. Zij moeten worden gevraagd of zij medicijnen nemen die gekend zijn om oogbewegingen (b.v. benzodiazepinen) te beïnvloeden.
3. Gedrag in de buurt van visie lezing tests en een pen Torch Eye Movement excursie test om aan te tonen dat ze Full Eye Movement excursies.
4. Enquête deelnemers over hun leeftijd, geslacht en de frequentie van het park te gebruiken.

4. deelnemer experimentele Setup

1. Vraag de deelnemers zich voor te stellen dat ze restauratie nodig hebben. Gebruik een zin die hen in staat stelt om te denken aan de context van de eye-tracking video gebruikt, zoals: ' Stel je voor dat het 's middags en je bent alleen wandelen in Melbourne. Je bent mentaal moe van intense concentratie op het werk en zijn op zoek naar ergens te gaan voor een wandeling, gaan zitten en rust voor een tijdje, voordat je weer aan het werk '.
2. Sit deelnemers comfortabel in de voorkant van het computerscherm op een afstand van 60 tot 65 cm om de films te bekijken.
3. Met behulp van een spreadsheet programma om de films willekeurig alvorens te spelen voor de deelnemers.
4. Gebruik speakers om dezelfde audio te spelen voor alle films.
5. Noteer de blik baan van de deelnemers met behulp van een desktop eye-tracking systeem. Mount de Desktop eye-tracking apparaat volgens de instructies van de fabrikant. Dit kan net onder het scherm op een tafel, of het kan clip naar de rand van het scherm, op de Top bijvoorbeeld.
6. Gebruik een eye-tracking-eenheid die een sampling rate van 120 Hz en een nauwkeurigheid van 0,50 °, die het mogelijk maakt grote vrijheid van het hoofdbewegingen waardoor de opname tijdens de natuurlijke hoofdbewegingen. Een lagere frequentie Eye-Tracker is ook aanvaardbaar. Op 57,3 cm, 1 ° van de visuele hoek komt overeen met ~ 1 cm op het scherm.
7. Laat de deelnemers om de beelden te bekijken op een monitor in hoge definitie.
8. Record Eye-bewegingen met behulp van de eye-tracking software
9. Gebruik een fixatie filter om de ruwe ogen voorbeeldgegevens voor analyse om te zetten. Klik in het hoofdmenu op extra ≫ instellingen. Selecteer het tabblad fixatie filters. Selecteer het fixatie filter volgens de specificaties van de fabrikant op het beste type filter om de ruwe eye-tracking gegevens in fixaties samen te voegen.
10. Als het opnemen van Eye-tracking gegevens met behulp van meerdere films, geven pauzes tussen de opname sessies wanneer de deelnemers het verzoek.

5. het aansluiten van de bekeken parken om indrukken van de Video's

1. Vergelijk de mate waarin mensen bekeken objecten en hun meningen van de Video's door te vragen deelnemers om elk van de parken op een schaal van 1 tot 10, in de eerste plaats voor de vraag of ze vonden dat ze in staat zouden zijn om te rusten en te herstellen in die omgeving (1 , niet erg veel, tot 10, heel veel) en ten tweede hoeveel ze graag het Park (1, niet erg veel, tot 10, heel veel).
2. Vraag de deelnemers of ze het park te gebruiken om te ontspannen of stress te verlichten (Y/N) en of ze erkend het park waren ze op zoek naar (Y/N) om controle voor de mogelijke impact van een eerdere associatie met het Park.
3. Record korte antwoord reacties van de deelnemers om hun indrukken te verklaren met behulp van een voice recorder en vervolgens transcriberen deze.

6. automatische video-analyse voor het gebied van belang extractie

1. Selectie van Aoi's
   1. Kies items die van belang zijn voor Park ontwerpers, stedelijke ontwerpers, planners of architecten, zoals bomen, struiken, wegwijzers, gebouwen, turf, paden, stappen, enz.
   2. Voor optimale prestaties en minimale trainingsvereisten (verderop besproken) gebruikt u elementen die gemakkelijk visueel te onderscheiden zijn van elkaar tot het blote oog, en/of consequent bezetten verschillende regio's van elk video frame. Over het algemeen moeten voldoende trainings voorbeelden worden afgebeeld met visueel onderscheidende verschillen van elk van de soorten, voor robuuste prestaties.
2. Training classificaties voor de extractie van de
   1. Selectie van de te gebruiken opleidings frames, aantal en beweegredenen
      1. Kies een passend aantal trainings frames (voortaan de Trainingsset genoemd). Er is geen vast nummer dat van toepassing is.
         Opmerking: de frames moeten zorgen voor voldoende dekking van het bereik van de visuele verschijning van elke objectklasse (dat wil zeggen, die objecten worden geëtiketteerd) in de video. Bijvoorbeeld, 40 frames uit een 15.000 frame video sequentie beeltenis van een enkele parket scene bleken voldoende nauwkeurigheid te bereiken. Als een opeenvolging significante variatie in toen bevat kan meer kaders worden vereist.
      2. Overweeg de frame-inhoud bij het kiezen van trainings frames. Deze omvatten: verlichting, vormen met betrekking tot wat wordt ingedeeld (bijv., niet alleen een soort boom, maar een reeks van boomsoorten, hun positie in het beeld, de manier waarop ze zijn aangestoken, enz.), textuur en kleur.
      3. Overweeg ook het aantal frames dat moet worden opgenomen. Concreet, de lengte en variatie van de visuele omstandigheden tentoongesteld over de video wordt geanalyseerd, evenals het aantal objectklassen te identificeren, en de frequentie van hun uiterlijk.
   2. Handmatige pixel labelling voor trainings frames
      Opmerking: handmatige etikettering in de trainings frames worden pixels gekoppeld aan objectklassen van belang.
      1. Pixel etikettering van trainings frames
         1. Op zijn beurt, open elke training frame van de video in de beeldbewerking software.
         2. Voor elk trainings frame van de video, overlay een transparante afbeelding laag op de geladen afbeelding voor de etikettering en maak een kleurenpalet, die een kleur voor elk bepaald objectklasse van belang (dat wil zeggen, ().
         3. Zorg ervoor dat het kleurenpalet en het toewijzen van kleur aan objectklassen in het gehele etiketterings proces hetzelfde zijn.
         4. Selecteer de kleur voor het monster.
         5. Kleur regio's van monster Aoi's door te selecteren, met een muisklik en sleep, pixels binnen het gebied naar "kleur in" met behulp van de juiste palet keuze.
            Opmerking: het is mogelijk om grote objecten onnauwkeurig te kleuren. Nochtans, voor smalle/kleine voorwerpen van slechts een paar pixel breedte, neem meer zorg om ervoor te zorgen dat de hand etikettering nauwkeurig de visuele verschijning van het voorwerp vangt.
         6. Zodra de etikettering van een frame is voltooid, exporteert u de overlay-laag als een afzonderlijk afbeeldingsbestand. Zorg ervoor dat de basis bestandsnaam overeenkomt met de oorspronkelijke bestandsnaam van het frame, maar met een "c" die aan het einde is toegevoegd. Bijvoorbeeld, als het oorspronkelijke frame bestandsnaam was "1234. png", dan is de gelabelde laag bestandsnaam moet worden "1234c. png".
         7. Zorg ervoor dat alle gelabelde afbeeldingen worden opgeslagen in één map.
      2. Pixel labeling van validatie frames
         Opmerking: als u de nauwkeurigheid van de getrainde classificatie kwantitatief wilt valideren, moet er een extra set met gelabelde frames worden gemaakt.
         1. Selecteer frames uit de oorspronkelijke video volgorde die niet al is gekozen om in de Trainingsset te worden opgenomen. Voor een 5 minuten durende video, deze hoeven niet meer dan 20 frames, maar moet uniform worden bemonsterd uit de hele video sequentie om voldoende dekking te waarborgen.
         2. Label pixels in elk frame met dezelfde procedure als beschreven voor het voorbereiden van trainings frames (6.2.2). Echter, dit keer zo nauwkeurig en zo uitgebreid mogelijk met etikettering, omdat dit zal worden gebruikt als een grond waarheid vergelijking.
         3. Wanneer de etikettering van een frame is voltooid, gebruikt u dezelfde naamgevingsconventie als voor de training, maar zorgt u ervoor dat bestanden worden opgeslagen in een afzonderlijke map met validatie frames.
   3. Automatische pixel labeling van de video-sequentie
      1. Download de DARWIN software bibliotheek van http://drwn.anu.edu.au.
         Opmerking: het systeem beschreven in dit document werd geïmplementeerd binnen een Linux-omgeving, en dus de Linux release van DARWIN moet worden gedownload en geïnstalleerd, volgens de instructies van de website.
      2. Start de Darwin GUI
      3. In de Darwin GUI, klik op Load training labels.
      4. Selecteer in het dialoogvenster bestandsverkenner dat wordt weergegeven de map met de gelabelde trainings afbeeldingen voor de betreffende VideoReeks.
      5. Klik op Load video frames en volg dezelfde procedure als 6.2.3.2 om de map met alle originele frames van de video-sequentie te selecteren. Dit zou een omslag van beelden moeten zijn, waarin elk kader filename het aantal van dat kader in de video opeenvolging is (b.v., zou het kader 1234 1234. png worden genoemd)
      6. Klik op de trein knop. Het algoritme onderzoekt nu elk gelabelde trainings frame en leert een model van het uiterlijk voor het classificeren van pixels in een van de opgegeven objectklassen van belang.
   4. De getrainde classificatie valideren
      1. Zodra de training is voltooid, klikt u op de knop training valideren .
      2. Selecteer in het dialoogvenster bestandsverkenner de map met alle gelabelde validatie beelden voor de betreffende VideoReeks. De getrainde classificatie wordt nu gebruikt om pixels te classificeren in elk van de frames waarnaar wordt verwezen in de validatieset. Vergelijk dit met de grond waarheid labels die in de validatie map.
         Opmerking: eenmaal voltooid, zal de GUI weer te geven nauwkeurigheid statistieken, met inbegrip van het percentage van de pixels correct gelabeld voor elk frame in de validatieset, evenals over de gehele validatie-set.
      3. Als u de gegenereerde labels visueel wilt valideren, klikt u op de knop visuele validatie . Als erop wordt geklikt, wordt elke gegenereerde labelafbeelding naast het oorspronkelijke validatie frame weergegeven.
         Nota: dit kan leerzaam zijn in het identificeren van waar de mis-classificaties op het voorwerp voorkomen. Visuele inspectie kan bijvoorbeeld duiden op fouten die zich consequent voordoen in een bepaald deel van een objectklasse, wat suggereert dat een betere etikettering in de Trainingsset vereist is. Alternatief, kan de inspectie aantonen dat de fouten slechts op een bepaald tijdpunt in de video voorkomen, voorstellend meer opleidings voorbeelden zijn vereist van die periode in de video.
      4. Als de nauwkeurigheid die in kwantitatieve of kwalitatieve validatie wordt waargenomen, onder acceptabele niveaus valt, moet u verdere trainings voorbeelden opnemen. In dit geval herhaalt u alle stappen van 6.2.2 om extra trainings frames op te nemen, de classificatie opnieuw te trainen na stappen in 6.2.3 en de volgende stappen in 6.2.4 opnieuw te valideren.
   5. Video pixel etikettering
      1. Zodra de classificatie training en validatie fase is voltooid, klikt u op label frames op de Darwin GUI om te beginnen met de volledige etikettering van alle frames in de video sequentie met behulp van de getrainde classificatie.
      2. Volg de prompt om een doelmap voor alle output frames, die zal worden in de vorm van gelabelde beelden met behulp van hetzelfde kleurenpalet als gebruikt in de opleiding te selecteren.

7. registratie van de eye-tracking gegevens aan de video-inhoud

1. In de eye-tracking software klikt u op bestand ≫ exporteren... Exporteer het Eye-tracking bestand als een CSV-bestand.
2. Open het bestand in een spreadsheetprogramma.
3. Van de video-sequentie identificeert het tijdstip waarop het witte kruis op de linker bovenhoek van het frame (zie 2,3) verdwijnt. Gebruik deze tijd om de eye-tracking te identificeren met behulp van de relevante kolom op de eye-tracking resultaat. Dit is het begin van de eye-tracking gegevensverzameling.
4. Voeg een kolom toe aan de eye-tracking gegevens.
5. Met behulp van deze nieuwe kolomlabel elke rij of eye-tracking gegevenspunt met een framenummer vanaf het nummer 1.

8. weergave van de hoeveelheid tijd die de deelnemers onderzocht verschillende klassen van objecten in de Video's

Nota: wegens de reusachtige grootte van de oog-volgende gegevens, wordt de programmeertaal van python beter gebruikt voor stappen door aan 8,4, hoewel een programma van de gegevensverwerking ook kan worden gebruikt.

1. Met behulp van de meegeleverde python-code, bereken de hoeveelheid overlap tussen de voorwerpen van belang en de eye-tracking fixatie tijd en frequentie.
2. Som deze gegevens om de hoeveelheid tijd die de deelnemers besteed aan het kijken naar verschillende objecten te begrijpen.
3. Gebruik een histogram om de totale hoeveelheid tijd weer te geven dat de objecten het scherm bezetten.
4. Vergelijk dit met de totale hoeveelheid tijd die de deelnemers naar verschillende objecten hebben gekeken.
5. Voor de productie van een heatmap in de eye-tracking software klikt u op een van de Park Walk Video's met behulp van de tick box.
6. Klik op het tabblad heat map .
7. Pas de kleur en andere kenmerken van de warmte kaart zoals gewenst met behulp van de variabelen van ' count ' (totale aantal fixaties gemaakt in de tijdvenster), ' absolute duur ' (geaccumuleerde fixatie duur), en ' relatieve duur ' (de hoeveelheid tijd besteed aan het kijken naar een object gedeeld door de hoeveelheid tijd besteed aan het kijken naar een scène).
8. Exporteer de afbeelding of video die de Heat-map bevat als een JPEG-bestand of video bestand.

Representative Results

Figuur 1 en Figuur 2 tonen het resultaat van het nemen van alle eye-tracking gegevens voor de hele video over alle deelnemers en het produceren van een warmte-kaart; Dit is de standaard aanpak die beschikbaar is in Eye-tracking softwarepakketten. Door het vergelijken van Figuur 1 en Figuur 2 is het mogelijk om te bepalen dat op de gemiddelde deelnemers gescand links en rechts op de x-coördinaat van de video in Figuur 1 ten opzichte van Figuur 2, die een rounder vorm toont. Dit komt omdat Figuur 1 had meer horizontale elementen in de video ten opzichte van het Park in Figuur 2. Het beeld achter de hitte kaart is één enkel kader en vertegenwoordigt niet adequaat de volledige inhoud van de video.

De Desktop eye-tracking systeem en software telt alleen resultaten waar beide ogen kunnen worden gevestigd op hetzelfde moment. Met andere woorden, als één of beide ogen niet kunnen worden gevestigd worden de gegevens geteld zoals verloren. In ons geval werden de eye-tracking gegevens vastgelegd voor > 80% van de tijd.

Figuur 3 en Figuur 4 tonen het resultaat van het gebruik van het protocol en het gebruik van machine learning om de inhoud van de Video's te analyseren. Figuur 3 toont de dichte vegetatie van Fitzroy Gardens in vergelijking met de relatief schaarse vegetatie van Royal Park (Figuur 4). In de laatstgenoemde, is meer hemel zichtbaar, worden meer van de scènes gedomineerd door struikvegetatie. Figuur 5 toont de% fixatie tijd op de verschillende objecten in de loop van de video voor een van de deelnemers. Het laat zien dat, hoewel het pad is duidelijk zichtbaar in de loop van de video, de deelnemer alleen kijkt naar deze functie af en toe, maar op belangrijke punten. Evenzo, zoals Figuur 6 laat zien, hoewel een kleine fractie van de inhoud van de video in Royal Park betrekking heeft op kunstmatige objecten, de deelnemer in de studie onderzoekt deze functies in een relatief grote mate.

De bevindingen in figuur3, Figuur 4, Figuur 5, en Figuur 6 kunnen worden samengevat in Figuur 7 en Figuur 8 voor alle 39 deelnemers waarvan de gegevens in deze studie werden gebruikt. Figuur 7 toont de Dwell tijd voor alle deelnemers bij het bekijken van objecten in de lengte van de video. Figuur 8 toont dezelfde gegevens gedeeld door de hoeveelheid tijd en ruimte die deze verschillende objecten bezet in de video. Een waarde van 1 geeft aan dat de Dwell tijd kan worden verantwoord door de hoeveelheid object in de video. Figuur 7 toont aan dat kunstmatige voorwerpen zoals straatlantaarns en bankjes in grotere mate in vergelijking met andere voorwerpen (> 1) zijn geleefd. Figuur 7 toont ook aan dat objecten die minder relevant waren, zoals de lucht in beide beelden, relatief minder werden bekeken (< 1).

Figuur 1: voorbeeld warmte kaart die wordt geproduceerd voor de hele video van een van de parken. Dit laat zien waar de meerderheid van de Eye tracks waren gevestigd. Let op de horizontale vorm van de warmte kaart vanwege de dominantie van de horizontale elementen in de video. Klik hier om een grotere versie van dit cijfer te bekijken.

Figuur 2: voorbeeld warmte kaart die wordt geproduceerd voor de hele video van een andere een van de parken. Let op de meer afgeronde vorm vanwege de aanwezigheid van verticale en horizontale elementen in de video. Klik hier om een grotere versie van dit cijfer te bekijken.

Figuur 3: histogram van de inhoud in de video van Fitzroy Gardens geanalyseerd met behulp van de machine learning techniek. Klik hier om een grotere versie van dit cijfer te bekijken.

Figuur 4: histogram van de inhoud in de video van Royal Park geanalyseerd met behulp van de machine learning techniek. Klik hier om een grotere versie van dit cijfer te bekijken.

Figuur 5: Eye tracking fixatie tijd besteed aan het kijken naar objecten in Fitzroy Gardens. Klik hier om een grotere versie van dit cijfer te bekijken.

Figuur 6: Eye tracking fixatie tijd besteed aan het kijken naar objecten in Royal Park. Klik hier om een grotere versie van dit cijfer te bekijken.

Figuur 7: geaggregeerde eye tracking wonen tijden voor alle deelnemers en objecten voor beide parken. Klik hier om een grotere versie van dit cijfer te bekijken.

Figuur 8: geaggregeerde eye tracking wonen tijden ten opzichte van inhoud voor alle deelnemers en objecten voor beide parken. Klik hier om een grotere versie van dit cijfer te bekijken.

Discussion

In het algemeen, in standaard softwarepakketten voor het analyseren van Eye-tracking gegevens, een vector wordt gebruikt. Zelfs voor een enkel stilstaand beeld, kan de grootte van de vector niet gemakkelijk worden gemeten. Bovendien, met inbegrip van alle Aoi's in een afbeelding en de berekening van de relatieve hoeveelheden van Aoi's is moeizaam. Het is bijna onmogelijk om dit handmatig te doen op een video zonder een machine leren techniek zoals beschreven. Dit was een relatief eenvoudige verklaring dat een gratis kijk situatie concludeert. Een veel nauwkeuriger scenario kan worden gebruikt en verschillende scenario beschrijvingen voordat dezelfde stimulus kan ook invloed hebben op oogbewegingen¹¹.

Ons onderzoek gebruikte een methode voor het nauwkeurig classificeren van objecten in een video en het analyseren van de mate waarin deze zichtbaar waren voor het oog. De methode vertegenwoordigt een middel van de boekhouding voor de mate waarin oogbewegingen zijn gekoppeld aan voorwerpen van belang. Dit maakt de mate waarin voorwerpen van belang zijn aanwezig in een gezichtsveld te worden gecontroleerd wanneer het vergelijken van de eye-tracking van verschillende onderwerpen met een mobiele eye-tracking-apparaat, of verschillende locaties bij het gebruik van een desktop-based systeem. Overwegingen die van invloed kunnen zijn op de automatische classificatie van objecten met behulp van de machine leren we in dienst zijn verlichting, vormen met betrekking tot wat wordt geclassificeerd (bijv. niet slechts een soort boom, maar een reeks van boomsoorten, hun positie in de beeld, de manier waarop ze zijn verlicht, enz.), textuur en kleur. Overwegingen op het aantal frames omvatten de lengte en variatie van de visuele omstandigheden tentoongesteld over de video wordt geanalyseerd, evenals het aantal objectklassen te identificeren en de frequentie van hun uiterlijk. De frames veranderen elke 1/25 seconden, maar eye-tracking met de software vindt plaats op 1/120 (120 Hz). Om deze reden zullen eye-tracking gegevens worden verzameld op 4,8 keer de snelheid waarmee een nieuw frame verschijnt. Het is niet mogelijk om het etiket volledig nauwkeurig, maar de etikettering van de frames moet veranderen om de 5 keer. Bijvoorbeeld, eye-tracking gegevens tijdens 99 tot 101 s is beschouwd voor het frame van 100ste seconde van de video.

Een significant voordeel van de huidige eye-tracking pakketten is dat ze zijn ingesteld om gebruikers in staat om een film van hun eigen Eye-tracking fixaties en paden te herzien en te beschrijven waarom ze keek naar bepaalde objecten. Dit resulteert in een kwalitatieve gegevensset die kan onthullen waarom individuele onderwerpen denken dat ze hebben gekeken naar bepaalde objecten. Een uitbreiding van het project zou zijn om ook te laten zien hoeveel tijd ze besteed aan het bekijken van objecten op verschillende tijdstippen ten opzichte van de inhoud, bijvoorbeeld de informatie in Figuur 8. Maar, om dit te doen door te controleren voor het aantal objecten in een scène snel genoeg is momenteel niet mogelijk.

Bijvoorbeeld, kunnen de deelnemers worden gevraagd om hun eigen blik paden die waren opgenomen bekijken en te beschrijven waarom ze hadden gekeken naar de bijzondere objecten¹². In ons geval, aan het eind van elke film werden de deelnemers gevraagd om elk van de parken op een schaal van 1-10 te beoordelen, eerst voor of zij voelden zij in dat milieu zouden kunnen rusten en herstellen (1, niet zeer, aan 10, zeer) en ten tweede hoeveel zij houden van de Park (1, niet erg veel, tot 10, heel veel).

Materials

Name	Company	Catalog Number	Comments
12 mm lens	Olympus		Lens
Panasonic GH4	Panasonic		Video Camera
Tobii Studio version (2.1.14)	Tobii		Software
Tobii x120 desktop eye-tracker	Tobii		Eye-tracker