Metoder för att testa Visual Attention Online

Abstract

Online datainsamlingsmetoder har särskild vädjan till beteendevetare, eftersom de ger löften om mycket större och mycket mer representativt datasampel än kan normalt samlas på campus. Men innan sådana metoder kan allmänt antagits, ett antal tekniska utmaningar måste övervinnas - särskilt i experiment där strikt kontroll över stimulans egenskaper är nödvändig. Här presenterar vi metoder för att samla in prestandadata på två tester av visuell uppmärksamhet. Båda tester kräver kontroll över den visuella vinkeln på stimuli (vilket i sin tur kräver kunskap om synavstånd, övervaka storlek, skärmupplösning, etc.) och tidpunkten för de stimuli (som testerna omfattar antingen kort blixtrade stimuli eller stimuli som rör sig vid specifika priser). Uppgifter som samlats in på dessa tester från över 1.700 online-deltagarna var överens med uppgifter som samlats in i laboratoriebaserade versioner av exakt samma tester. Dessa resultattyder på att med rätt skötsel kan timing / stimulans storlek beroende arbetsuppgifter sättas in webbaserade inställningar.

Introduction

Under de senaste fem åren har det skett en våg av intresse för användning av online beteendedatainsamlingsmetoder. Medan den stora majoriteten av publikationer på området för psykologi har utnyttjat potentiellt icke-representativa ämnes populationer ¹ (dvs främst college studenter) och ofta tämligen små provstorlekar samt (dvs typiskt i intervallet tiotals ämnen), online metoder ger löften om långt mer varierande och större prover. Till exempel har Amazons Mechanical Turk tjänst varit föremål för ett antal nya studier, både beskriva egenskaperna hos "arbetstagare" population och användningen av denna population i beteendevetenskaplig forskning ^2-6.

Men en betydande oro relaterad till sådana metoder den relativa bristen på kontroll över kritiska stimulansvariabler. Till exempel, i de flesta visuella psyko uppgifter är stimuli beskrivas i termer avsiktvinkeln. Beräkningen av visuella vinklar kräver exakta mätningar av synavstånd, skärmstorlek och skärmupplösning. Även om dessa parametrar är trivialt att mäta och kontroll i ett labb miljö (där det finns en känd bildskärm och deltagarna visa stimuli medan en haka vila placerat ett känt avstånd från skärmen), är detta inte fallet med online-datainsamling. I en online-miljö, inte bara kommer deltagarna oundvikligen använda en mängd olika monitorer av olika storlekar med olika programinställningar, de får inte heller ha enkel tillgång till linjaler / måttband som skulle tillåta dem att fastställa deras monitor storlek eller har den kunskap som krävs att fastställa deras mjukvara och hårdvara inställningar (t.ex. uppdateringsfrekvens, upplösning).

Här beskriver vi en uppsättning metoder för att samla in data på två välkända tester av visuell uppmärksamhet - det Användbar Synfält (UFOV) paradigm ⁷ och multipeln objektet spårning (MOT) uppgift (dvs, kreditkort / CD - se figur 1).

Uppgifter om dessa två uppgifter samlades in från över 1700 deltagare i en Massive Online Open Course. Genomsnittliga resultat av denna online prov var mycket överens med resultat som erhållits i väl kontrollerade laboratoriebaserade mått på exakt samma arbetsuppgifter ^9,10. Våra resultat är således överens med den växande mängd litteratur som visar effekten av online datainsamlingsmetoder, även i uppgifter som kräver särskild kontroll över visningsförhållanden.

Protocol

Protokollet godkändes av den institutionella prövningsnämnd vid University of Wisconsin-Madison. Följande steg är skrivna som en guide för programmerare att replikera automatiserad process för webbapplikationen beskrivs.

1. Logga in Deltagare

1. Instruera deltagaren att använda en dator med internet-aktiverad och navigera till webbapplikation med hjälp av en HTML5-kompatibel webbläsare: http://brainandlearning.org/jove . Har deltagaren sitta i ett tyst rum utan distraktioner, med datorn på en bekväm höjd.
   OBS: Eftersom hela försöket är värd på nätet, kan också utföras på distans uppgifter utan närvaro av en forskningsassistent. Samtliga instruktioner för deltagaren ingår i webbapplikationen.
2. Har deltagaren ingång ett unikt ID som kommer att förknippas med de data som samlas in och lagras i en MySQL database. Har deltagaren återanvända detta ID om online uppgifterna inte slutförs inom samma session. Innan du loggar in, inhämta samtycke från deltagaren via ett medgivande länkad på sidan.
   OBS: En deltagares framsteg sparas efter varje uppgift för att möjliggöra slutförandet av de två uppgifter på separata tider om det behövs. Instruera deltagaren att alltid använda samma ID för att starta där man slutade.

2. Skärmkalibrering

OBS: Webbapplikationen guidar deltagaren genom de tre stegen i kalibreringssida på: http://brainandlearning.org/jove/Calibration .

1. Be deltagaren att mata den diagonala storleken på skärmen i inches i den märkta text.
   1. Men om deltagaren inte känner till denna information, har deltagaren hitta en CD eller kreditkort som en kalibreringsobjekt (
   2. Fråga deltagaren att justera storleken på skärmbilden för att matcha storleken på det fysiska objektet. Baserat på mätningar av en fysisk CD (diameter på 4,7 ") eller ett kreditkort (bredd av 3,2") i tillägg till pixelstorleken av den representativa bilden, bestämma förhållandet mellan pixlar till inches för skärmen.
   3. Hämta pixelupplösning på monitorn via JavaScript s screen.width och screen.height egenskaper för att sedan beräkna diagonalen storleken på skärmen i pixlar. Att veta detta värde och den tidigare beräknade pixel-till-tums förhållande (se steg 2.1.2), konvertera den diagonala storlek inches. Har deltagaren bekräfta detta värde via en dialogruta.
2. Fråga deltagaren att justera skärmens brightness inställningar tills alla 12 band i en svart till vit gradient som visas på skärmen är klart urskiljbara. Ljusstyrka inställningskontroller varierar från dator.
3. Be deltagaren att sitta en armlängds avstånd från bildskärmen i en bekväm position och sedan ställa in webbläsaren till helskärmsläge. Den webbläsarfönster måste vara i helskärmsläge för att maximera den visuella utrymme som används av de uppgifter och för att avlägsna eventuella visuella distraktioner, såsom webbläsarens verktygsfält och stationära aktivitetsfält.
4. Att veta upplösningen av deltagarens skärm och den diagonala storlek monitorn, använd webbapplikationen för att automatiskt beräkna pixlar / examensomvandlingsvärde, baserat på en 50 cm läsavstånd. Ändra storlek dimensionerna av stimuli i uppgifter med hjälp av detta värde. Alla visuella vinkelmått som rapporteras nedan baseras på detta antas medelavstånd värdet från bildskärmen.
5. När kalibreringen är klar, be deltagaren att slutföra två uppgifter described nedan. Välj ordning på uppgifter eller slumpmässigt tilldela ordern via webbapplikationen.

3. Flera Object Tracking Task (MOT) - Bild 2

1. Införa och bekanta deltagaren med MOT stimuli genom en egen guidad handledning, sett på: http://brainandlearning.org/jove/MOT/practice.php . Be deltagaren att läsa steg-för-steg-instruktioner som visar hur rättegångarna kommer att fungera. När deltagaren är klar läser instruktionerna, uppmana deltagaren att gå igenom övningsförsök.
   1. Setup övnings stimuli att bestå av åtta punkter på 0.8 ° med en rörelsehastighet på 2 ° / sek. Använd HTML5 requestAnimationFrame API för att optimera webbläsar animation med en bildfrekvens på 60 Hz för att styra denna stimulans rörelse.
   2. Se till prickarna rör sig inom gränserna för en cirkel av 2 ° excentricitet och en circle inte större än höjden på deltagarens skärm, utan instruktioner skyms.
   3. Ställ punkterna för att röra sig i en slumpmässig bana, där varje bildruta en punkt har en 60% chans att byta riktning genom en maximal vinkel på 0,2 °. Om en punkt kolliderar med en annan punkt eller de inre eller yttre radiella gränser, flytta punkten i den motsatta riktningen.
   4. Fråga deltagaren att spåra de blå prickarna (varierande mellan 1 och 2 punkter per praktiken rättegång), med de gula prickarna agerar som distraktorer.
   5. Efter 2 sek, ändra de blå prickarna till gula prickar och fortsätter att flytta dem bland de ursprungliga gula prickar för en annan 4 sek. Vid slutet av varje försök, stoppa prickar och markera en.
   6. Fråga deltagaren att svara via knapptryckning om den markerade punkten var en band prick eller en distraktor prick. Därefter uppmana deltagaren att trycka på mellanslagstangenten för att fortsätta till nästa rättegång.
   7. Efter 3 konsekutiva korrekta rättegångar, eller högst 6 försök, move deltagaren på den fullständiga uppgiften.
2. Starta fulla MOT uppgift för deltagaren. Ett exempel på uppgiften finns på: http://brainandlearning.org/jove/MOT .
   1. Setup fullständig uppgift med 16 punkter som rör sig vid 5 ° / sek inom utrymmet mellan 2 ° excentricitet och 10 ° excentricitet. Om deltagarens skärmen inte kan passa en cirkel av 10 ° excentricitet, använd den maximala storleken på skärmen kan innehålla istället.
   2. Har deltagaren slutföra totalt 45 studier: en blandning av fem studier som består av 1 spårade prick och 10 försök vardera bestående av 2-5 spårade prickar. Matcha alla andra parametrar till den praxis prövningar (se steg 3.1.3 - 3.1.6).
   3. Spela deltagarens svar och svarstid när pricken markeras.
   4. För varje 15 försök, föreslår en paus till deltagaren. Vid dessa pauser, visa deltagaren7; s prestanda (procent av korrekta rättegångar) inom blocket på skärmen.

4. Flytta från en uppgift till en annan (valfritt steg)

1. Låt deltagaren att ta en paus mellan de två uppgifterna. Men upprepa steg 1 och 2, om uppgifterna inte utförs under samma inloggningssession.

5. Användbar Synfält Task (UFOV) - Bild 3

1. Införa och bekanta deltagaren med UFOV stimuli genom en egen guidad handledning, sett på: http://brainandlearning.org/jove/UFOV/practice.php . Be deltagaren att gå igenom fyra stadier av steg-för-steg-instruktioner som visar de två målgrupp stimuli som måste uppmärksammas under uppgiften.
   1. Ställ den centrala målet stimulans som en 1 ° smiley som blinkar i mitten av skärmen med antingen lång eller kort hår. Randomiserasmiley s hårlängd i studierna.
   2. Ställ den perifera målet stimulans som en 1 ° stjärna som blinkar vid 4 ° excentricitet på en av åtta platser runt cirkeln (0 °, 45 °, 90 °, 135 °, 180 °, 225 °, 270 ° och 315 °) . Slumpmässig placering av stjärnan i studierna.
   3. Styrning stimulans varaktighet via antal ramar som används för presentation tid. Optimera bilduppdaterings på ca 17 msek per ram med hjälp av HTML5 requestAnimationFrame API.
   4. För att kontrollera om uppnåddes den förväntade presentationstiden, använda JavaScript s getTime () metod för att få den stimulans varaktighet starttid och sluttid utifrån deltagarens systemklockan. Beräkna den uppmätta presentationstiden från dessa två värden och använda detta värde för dataanalys.
   5. För varje praktik rättegång, vänta 500 msek före visning av stimuli för cirka 200 msek (ca 12 ramar).
   6. Följ stimulans presentation med en brusmask bestående av ett slumpmässigt genererat gråskala dot array för 320 msek (ca 19 ramar).
   7. För steg 1, bara visa den centrala målet och sedan be deltagaren att svara via knapptryckning som hårlängd visades.
   8. För steg 2, bara visa den perifera målet och sedan be deltagaren att klicka på en av 8 radiella linjer, som representerar de åtta möjliga målplatser, som anger var stjärnan dök.
   9. För steg 3, visa både centrala och perifera målgrupp stimuli och sedan uppmana deltagaren att ge svar på både typen av smiley och platsen för stjärnan.
      OBS: Deltagarna kan fritt välja i vilken ordning dessa två svar.
   10. För steg 4, visa både mål- stimuli utöver perifera distraktorer, och sedan be deltagaren att svara på båda målgrupp stimuli. För distraktorer, Display 1 ° rutor presenterades på de återstående 7 platser vid 4 ° excentricitet, jagörutom 8 fler rutor vid 2 ° excentricitet.
   11. Efter deltagarens svar, visar återkopplings deltagaren (en grön bock för ett korrekt svar eller ett rött kryss för ett felaktigt svar) för varje mål svar efter varje försök.
   12. Flytta deltagaren till nästa praktik scenen efter att få 3 i rad korrekta rättegångar. Efter steg 4, flytta deltagaren på den fullständiga uppgiften.
2. Fråga deltagaren att starta den fullständiga UFOV uppgiften. Ett exempel på uppgiften finns på: http://brainandlearning.org/jove/UFOV .
   1. Presentera samma centrala stimulans som i övning (se steg 5.1.1). Visa perifera målet vid 7 ° excentricitet vid ett av de tidigare nämnda åtta orter (se steg 5.1.2). 24 irrelevanta rutor visas också vid 3 ° excentricitet, 5 ° excentricitet, och de återstående 7 °excentricitet platser.
   2. Använd en 3-ner, 1-up trappa förfarande för att fastställa presentationen av stimuli: minska varaktigheten av stimuli efter 3 på varandra följande korrekta rättegångar och ökar efter varje fel rättegång.
   3. Innan de första 3 omsvängningar i trappan, använd en steglängd på 2 ramar (ungefär var 33 ms). Efter 3 återför, använd en stegstorlek på 1 bildruta. Variera fördröjningen innan stimulans debut mellan 1 ram och 99 bilder per rättegång, och hålla bullret masken tiden på 320 ms (ca 19 ramar).
      OBS: Återför är de punkter där varaktig ändrar antingen från ökande till minskande eller minskande att öka.
   4. Avsluta uppgiften när en av tre villkor uppfylls: trappan förfarandet når 8 återför; deltagaren bordar 10 försök i följd vid antingen taket varaktighet (99 bildrutor) eller varaktighet våningen (1 ram); eller deltagaren når högst 72 försök.
   5. Spela deltagarens response och svarstid för både centrala stimulans och perifera stimulans.

Representative Results

Outlieren Borttagande

Sammanlagt 1.779 deltagare fullföljde UFOV uppgiften. Av dessa 32 deltagare hade UFOV trösklar som var större än 3 standardavvikelser från medelvärdet, vilket tyder på att de inte kunde utföra uppgiften enligt instruktionerna. Som sådana var de UFOV data från dessa deltagare bort från den slutliga analysen, lämnar totalt 1747 deltagare.

Data erhölls från 1746 deltagare för MOT uppgiften. Två deltagare hade betyda noggrannhets poäng som var mer än 3 standardavvikelser under medelvärdet, alltså data från dessa deltagare togs bort från den slutliga MOT analysen lämnar totalt 1744 deltagare.

UFOV

För UFOV uppgiften, var prestanda beräknas genom medelvärdesbildning av presentationstiden över de sista fem försöken för att erhålla en detekteringströskel. Presentationen tiden reflekterade den uppmätta stimulans presentation duranson på varje deltagares skärm: tiden från början av den första stimulansramen till slutet den sista stimulans ramen registrerades i millisekunder som använder deltagarens systemklockan. Tröskeldetektering speglar den minsta presentationstiden där deltagarna kan upptäcka perifer målet med ca 79% noggrannhet, med tanke på vår användning av en 3-ner, 1-up trappa förfarande. Medelvärdet UFOV tröskeln var 64,7 msek (SD = 53,5, 95% CI [62,17, 67,19]) och poängen varierade från 17 msek till 315 msek med en medianinkomsten till 45 msek (se figur 4). Tröskelfördelningen var positivt skev, med skevhet av 1,92 (SE = 0,06) och kurtosis av 3,93 (SE = 0,12).

MOT

MOT prestanda mättes genom att beräkna medelvärdet noggrannheten (procent rätt) för varje uppsättning storlek (1 - 5). Noggrannhet varierade från 0,4 till 1,0 för inställda Storlek 1 till 0,1-1,0 för set storlek 5, och menar accurACY varierade från 0,99 (SD = 0,06, 95% CI [0,983, 0,989]) för inställd storlek 1-0,71 (SD = 0,17, 95% CI [0,700, 0,716]) för inställd storlek 5. Median noggrannhet poängen varierade från 1,0 till 0,70 för inställda storlek 1 respektive 5 (se figur 5).

A upprepade-åtgärder ANOVA genomfördes för att undersöka om noggrannheten skilde som en funktion av set storlek. Det fanns en signifikant huvudeffekt av inställda storlek (F (4, 6968) = 1574,70, p <0,001, n _ρ ² = 0,475) så att noggrannheten minskat som set storlek ökat, vilket visar en typisk MOT effekt.

Figur 1. Skärmmätning. Eftersom inte alla online-deltagare vet deras skärmstorlek - eller har lätt tillgång till en linjal / måttband för att bedöma deras skärmstorlek - denkalibreringen frågade ämnen att utnyttja allmänt tillgängliga poster av standardstorlek (kreditkort - ovan, CD - nedan). Klicka här för att se en större version av denna siffra.

Figur 2. MOT Uppgift. Deltagarna visade en uppsättning slumpmässigt rörliga prickar. Vid rättegången debut, en delmängd av dessa punkter var blå (mål), medan resten var gula (distraktorer). Efter 2 sek de blå målgrupp prickar ändras till gult, vilket gör dem visuellt omöjlig att skilja från de distraktorer. Deltagarna fick mentalt spåra tidigare blåa målgrupp prickar för 4 sek tills ett svar skärm dök upp. På den här skärmen en av de punkter var vit och ämnet gjorde ett "ja (detta var en av de ursprungliga målen)"; eller "nej (detta var inte en av de ursprungliga målen)" beslut (med en knapptryckning). Klicka här för att se en större version av denna siffra.

Figur 3. UFOV Task. Huvudskärmen bestod av en central stimulans (en gul smiley som kan ha antingen kort eller långt hår), en perifer stimulus (en fylld vit stjärna inuti en cirkel) och perifera distraktorer (vit skiss rutor). Denna skärm var kort blixtrade (med tidpunkten bestäms adaptivt utifrån deltagarens prestationer). När svar skärmen dök deltagaren tvungen att göra två svar: de hade att indikera (med en knapptryckning) huruvida smiley hade långt eller kort hår och de var tvungna att indikera (genom att klicka) på vilken av de 8 radiella talades mål stimulans dök. De fick sedan feedback om båda svaren (här de valde rätt svar för den centrala uppgiften, men den felaktiga svaret för det perifera uppgiften). Klicka här för att se en större version av denna siffra.

Figur 4. UFOV Resultat. Som framgår av histogrammet för ämnet prestanda, inte bara kunde den stora majoriteten av deltagarna utföra uppgiften enligt anvisningarna (~ 1% bort för dåliga / avvikare prestanda), den genomsnittliga prestanda var rakt i intervallet förväntas från lab baserade åtgärder på exakt samma uppgift ^9.

Figur 5. MOT Resultat. Konsekvent med tidigare arbete ^10, föll MOT noggrannhet smidigt med ökande set storlek.

Discussion

Online datainsamling har ett antal fördelar jämfört laboratoriebaserad insamling standard uppgifter. Dessa inkluderar möjligheten att prova långt fler representativa populationer än den typiska college grund poolen används i fält, och förmågan att få betydligt större provstorlekar på kortare tid än det tar att få provstorlekar som är en storleksordning mindre i labbet ^1-6 (t.ex., de datapunkter uppsamlade från 1,700+ deltagare i nuvarande pappers erhölls på mindre än en vecka).

De beskrivna online metoder kunde replikera resultaten från tidigare utförda laboratoriebaserade studier: beräknade medel och intervall för UFOV trösklar och MOT noggrannhet i online arbetsuppgifter var jämförbara med resultat som rapporterats av Dye och Bavelier ⁹ för UFOV uppgiften och Green och Bavelier ¹⁰ för MOT uppgiften. Däremot ville stora deltagaren provet påverka fördelningen avresultaten, särskilt i UFOV uppgiften. Online UFOV tröskelfördelningen var mer rätt skev än tidigare laboratoriebaserade resultat ^9. Denna skillnad i skev kan tillskrivas den ökade mångfalden av deltagarna rekryteras på nätet, särskilt när det gäller deras större variation i ålder: online provet varierade från 18 till 70 år, medan laboratoriebaserade prov varierade från 18 till 22 år ^9.

Dessutom samlar in data via online metoder kräver lösa flera tekniska utmaningar - särskilt när nära stimulans kontroll är nödvändig för att giltigheten av de åtgärder. De två uppgifter som används här krävs kontroll över både den visuella vinkeln på stimuli som presenterades och tidpunkten för stimuli. Visuell vinkel i synnerhet kan vara svårt att kontrollera i online inställningar sin beräkning kräver att veta synavstånd, övervaka storlek och skärmupplösning. Detta är särskilt problematiskt med tanke på thpå många online deltagare kanske inte vet sin monitor storlek eller ha enkel tillgång till ett måttband för att mäta deras monitorstorlek.

Vi utarbetat en rad åtgärder för att övervinna några av dessa frågor. Medan vi helt kan lösa monitorstorlek, vi kan fortfarande inte exakt kontrollera den faktiska synavstånd. Vi föreslår att deltagarna att sitta en armlängds avstånd från monitorn, även om detta avstånd kan variera mellan deltagarna. Armlängd valdes, eftersom amerikanska antropometriska data tyder på att skillnaden i längden av en framåt arm räckvidd (det läge där deltagarna skulle använda för att bedöma deras avstånd från skärmen) mellan manliga och kvinnliga vuxna är liten, så att median manliga räckvidd är 63,8 cm medan median kvinnliga räckvidd är 62,5 cm ^11. Även experimentet inställningsproceduren försöker undvika att införa köns fördomar med hjälp av denna mätning kan det finnas potentiella höjd fördomar; framtida studier som samlar deltagare &# 8217; höjdinformation skulle behöva genomföras för att utvärdera denna möjlighet.

När det gäller stimulans timing, vi tog hänsyn till skillnader mellan förväntad varaktighet och inspelade varaktighet stimulans presentation vid beräkning tröskelvärden. Snarare än att förlita sig på den förväntade presentationstiden, mätte vi hur länge stimulans ramar med deltagarens systemklockan med millisekund precision. Men fortfarande var närvarande inneboende skillnader mellan monitorn visar och kan inte styras för utan fysisk mätningar på plats. Det är väl känt att Liquid Crystal Displays (LCD) - den mest sann övervakar våra deltagare har tillgång till har långa svarstider som normalt varierar beroende på start- och slutvärdena för de pixel luminans förändringar. Den senare frågan är inte ett bekymmer i vår studie eftersom vi bytte alltid från samma bakgrundsnivån på stimuli nivå. Ett större problem är att Variförmåga i displayer över deltagarna orsakar en stor del av den uppmätta variansen. Vi tror att detta är inte en fråga som pixelsvarstider är vanligtvis mindre än 1 bildhastighet (dvs 17 ms) ^12,13, vilket verkar acceptabel i jämförelse med den stora interindividuella variabiliteten i UFOV trösklar.

De metoder som används här vinna de ovannämnda utmaningarna och därmed tillät oss att mäta prestanda på två uppgifter - den UFOV och MOT - att båda kräver kontroll över visuell vinkel och skärmtids egenskaper. De resultat som erhålls genom dessa metoder överensstämde med de som erhållits i standardlaboratoriemiljö, vilket visar deras giltighet. Dessutom, eftersom dessa uppgifter kräver bara en internetuppkoppling och en HTML5-kompatibel webbläsare, dessa uppgifter kan användas inte bara för att enkelt samla en stor prov från en generellt representativ population, men kan också användas för att nå specifika subtyper av individuals som kan vara geografiskt åtskilda och därmed svåra att få till en gemensam labb inställning (t.ex. patienter med en viss typ av sjukdom eller individer med en viss etnisk bakgrund). Dessutom med ökningen av användningen av iPads och andra tabletter, utformningen av webbapplikation kan enkelt anpassas för bättre kompatibilitet med touchscreen-teknik för att nå en ännu större antal deltagare. Medan webbapplikation kan för närvarande köras på tabletter via en HTML5 webbläsare kan framtida iterationer bort kravet på ett tangentbord och ersätta svarsknappar med gränssnitts knappar eller gester.

Materials

Name	Company	Catalog Number	Comments
Computer/tablet			It must have an internet connection and an HTML5 compatible browser
CD or credit card			May not be needed if participant already knows the monitor size