Het combineren van Eye-tracking gegevens met een analyse van de video-inhoud van Free-viewing een video van een wandeling in een stedelijk park omgeving

Veel eye tracking studies vertrouwen op complexe video stimuli en real world instellingen maken analyse van de gegevens zeer complex. Deze analysetechniek zorgt voor een veel rijkere en geautomatiseerde benadering van het analyseren van videogebaseerde gegevens dan de momenteel beschikbare methoden die leiden tot een rijkere extractie van complexere gegevens. Deze methode kan worden gebruikt in veel verschillende eye tracking toepassingen met name in de echte wereld situaties of die video gebruiken als een stimulans.

Landschapsstudies hebben vertrouwd op het begrijpen hoe mensen reageren op verschillende visuele stimuli. Deze techniek in combinatie met eye tracking kan worden gebruikt om deze veronderstellingen te testen. Voor dit soort onderzoek is een teambenadering essentieel omdat er meerdere aspecten zijn die input en aandacht op hoog niveau vereisen.

Het aantonen van de procedure met mij zal mijn post graduate student Andrew Treller. De filmsequenties moeten worden getoond in een eye tracking laboratorium waarin natuurlijk licht beschikbaar is, maar die kan worden gecontroleerd om reflecties op het scherm op een zo groot mogelijk scherm te voorkomen om zo veel van het gezichtsveld te bezetten, waardoor afleidingen van buiten het gezichtsveld worden vermeden. Na zitplaatsen de deelnemer 60-65 centimeter afstand van het scherm, vraag hen om zich voor te stellen dat ze behoefte aan restauratie met behulp van een zin die het mogelijk maakt de deelnemer voor te stellen in de context van de eye tracking video.

Speel vervolgens de films voor de deelnemer in een vooraf bepaalde willekeurige volgorde met behulp van een desktop eye tracking apparaat om de patiënt oogbewegingen op te nemen tijdens elke video. Als u een interessegebied wilt ontwerpen, selecteert u items die van belang zijn voor de studie, zoals bomen, struiken, wegwijzers, gebouwen, paden, trappen. Gebruik elementen die gemakkelijk visueel van elkaar te onderscheiden zijn met het blote oog en/of die consistent verschillende gebieden van elk videoframe bezetten voor optimale prestaties en minimale trainingsvereisten.

In het algemeen moeten het opnemen van voldoende trainingsvoorbeelden die visueel onderscheiden van verschillen van elke AOI voldoende zijn voor een robuuste prestatie. Wanneer alle items zijn gewijzigd, selecteert u een passend aantal trainingsframes om de trainingsset in te halen. Er is geen vast nummer dat geschikt is.

Open vervolgens elk trainingsframe van de video in de software voor het bewerken van afbeeldingen en voor elk frame overlay een transparante afbeeldingslaag op de geladen afbeelding voor het labelen en maak een kleurenpalet dat één kleur biedt voor elke bepaalde objectklasse van belang. Als u de kleur voor het voorbeeldgebied wilt selecteren, klikt en sleept u pixels binnen een gebied om te kleuren in een gebied met de juiste paletkeuze. Zodra de etikettering van een frame is voltooid, exporteert u de bedekte laag als een afzonderlijk afbeeldingsbestand, zodat de basisbestandsnaam overeenkomt met de oorspronkelijke bestandsnaam van het frame, maar met een C-toegevoegd aan het einde.

Om de nauwkeurigheid van de getrainde classificatie kwantitatief te valideren, selecteert u frames uit de oorspronkelijke videoreeks die nog niet is geselecteerd om in de trainingsset te worden opgenomen en labelt u de pixels in elk frame zoals zojuist is aangetoond dat de trainingsframes zo nauwkeurig en volledig mogelijk zijn. Wanneer de etikettering van een frame is voltooid, gebruikt u dezelfde naamgevingsconventie als voor de training, waarbij de bestanden worden opgeslagen in een aparte map met validatieframes. Voor automatische pixellabeling van de videoreeks start u de grafische gebruikersinterface van Darwin en klikt u op trainingslabels laden.

Als u de GUI voor training en labeling wilt configureren, selecteert u project maken en geeft u het project een naam met behulp van het pop-updialoogvak. Selecteer de map met alle originele frames van de videoreeks in het pop-upvenster. Selecteer met het dialoogvenster popup-verkennerdialoog de map met de gelabelde trainingsafbeeldingen voor de desbetreffende videoreeks.

En selecteer in het vak dialoog met verkenner de map met alle gelabelde validatieafbeeldingen voor de relevante videoreeks. Volg de prompt om een doelmap te selecteren voor alle uitvoerframes die zich in de vorm van gelabelde afbeeldingen bevinden met hetzelfde kleurenpalet als in de training. Voer met behulp van het pop-updialoogvak, onder interessegebieden, de gebieden in die van belang zijn om de rood/groen/blauwe waarden te labelen die worden gebruikt om elke regio in de trainingsvoorbeelden te markeren.

Het algoritme onderzoekt elk gelabeld trainingsframe en leert een model van het uiterlijk voor het classificeren van de pixels in een van de opgegeven objectklassen van belang. Zodra de training is voltooid, klikt u op valideren van de training. En selecteer in het vak dialoog met verkenner de map met alle gelabelde validatieafbeeldingen voor de relevante videoreeks.

Als u de gegenereerde labels visueel wilt valideren, klikt u op visuele validatie. Elke gegenereerde gelabelde afbeelding wordt naast het oorspronkelijke validatieframe weergegeven. Als de nauwkeurigheid die in de kwantitatieve of kwalitatieve validatie wordt waargenomen, onder aanvaardbare niveaus zakt, omvatten en omscholen bijscholingsvoorbeelden.

Zodra de trainings- en validatiefasen van de classificatie zijn voltooid, klikt u op inferentie uitvoeren om te beginnen met het volledig labelen van alle frames in de videoreeks met behulp van de getrainde classificatie. Zodra de etikettering is voltooid, wat enkele uren kan duren, klikt u op bladeruitvoer om de resulterende labels te bekijken. De meeste eye tracking software zal u laten zien dat gemiddeld, deelnemers gescand links en rechts op de x-coördinaat van de video in de eerste video in vergelijking met de tweede video waarvoor de heat map toont een rondere vorm.

Met behulp van de machine learning pixel labeling techniek beschreven in dit papier, kunnen we meer details zien. Deze grafische weergave van de procentfixatietijd laat zien dat het pad duidelijk zichtbaar is in de loop van de video. Echter, zoals dit cijfer uit de eye tracking gegevens blijkt, de deelnemer alleen keek naar deze functie af en toe op belangrijke punten.

Hier wordt een samenvatting getoond van de verblijfstijd van alle 39 deelnemers aan deze representatieve studie wanneer naar objecten wordt gekeken over de gehele lengte van de video. In deze grafiek werden dezelfde verblijfstijdgegevens gedeeld door de hoeveelheid tijd en ruimte die verschillende objecten in de video bezetten. Een waarde van één geeft aan dat de verblijfstijd kan worden verantwoord door de hoeveelheid object in de video.

Objecten die minder relevant waren, zoals de hemel in beide afbeeldingen, werden bijvoorbeeld relatief minder bekeken dan andere objecten. Kunstmatige voorwerpen zoals straatlantaarns en banken werden in grotere mate in beslag nemen in vergelijking met andere natuurlijke objecten. Dit soort analyses kunnen vele brede toepassingen hebben om kwesties van aandacht en verzilting te onderzoeken en kunnen vele brede het bereiken toepassingen in verschillende onderzoeksgebieden hebben.

Naarmate het gebruik van korte films als visuele stimuli steeds vaker voorkomt, verwachten we dat deze techniek populairder wordt.