Metoder for å teste Visual Attention Online

Abstract

Online datainnsamlingsmetoder har særlig appell til atferdsforskere fordi de tilbyr et løfte om mye større og mye mer representative dataprøver enn kan vanligvis hentes på høyskoler. Men før slike metoder kan bli mye vedtatt, må overvinne en rekke teknologiske utfordringer - spesielt i eksperimenter hvor stram kontroll over stimulans egenskaper er nødvendig. Her presenterer vi metoder for å samle inn ytelsesdata på to tester av visuell oppmerksomhet. Begge testene krever kontroll over den visuelle vinkelen på stimuli (som igjen krever kunnskap om synsavstand, skjermstørrelse, skjermoppløsning, etc.) og timingen av stimuli (som testene innebære enten kort blinket stimuli eller stimuli som beveger på rater). Data som samles inn på disse testene fra over 1700 online deltakerne var i samsvar med data samlet inn i laboratorie-baserte versjoner av de samme testene. Disse resultatenetyder på at med riktig pleie, kan timing / stimulans størrelse avhengige oppgaver bli utplassert i web-baserte innstillinger.

Introduction

I løpet av de siste fem årene har det vært en bølge av interesse for bruk av online atferdsdatainnsamlingsmetoder. Mens det store flertallet av publikasjoner i domenet av psykologi har benyttet potensielt ikke-representative lagt populasjoner ¹ (dvs. hovedsakelig college studenter) og ofte rimelig små utvalgsstørrelser samt (dvs. typisk i størrelsesorden titalls fag), online metoder gi løfte om langt mer varierte og større prøver. For eksempel har Amazons Mechanical Turk tjenesten vært gjenstand for en rekke nyere studier, både beskrive kjennetegn ved "arbeidstaker" befolkning og bruk av denne befolkningen i atferdsforskning ^2-6.

Men en betydelig bekymring i forbindelse med slike fremgangsmåter er den relative mangel på kontroll over kritiske stimulerings variabler. For eksempel, i de fleste visuelle psyko oppgaver, er stimuli beskrevet i form avvisuell vinkel. Beregningen av visuelle vinkler krever presise målinger av synsavstand, skjermstørrelse og skjermoppløsning. Mens disse parametrene er trivielt å måle og kontroll i en lab innstilling (der det er en kjent monitor og deltakerne vise stimuli mens i en hake resten plassert en kjent avstand fra skjermen), det samme er ikke sant av online datainnsamling. I et online-miljø, ikke bare deltakerne vil bruke uunngåelig et bredt utvalg av skjermer i ulike størrelser med ulike programvareinnstillinger, de også ikke kan ha enkel tilgang til herskere / tape tiltak som ville tillate dem å bestemme sin skjermstørrelse eller har kunnskap er nødvendig å bestemme deres programvare og maskinvare innstillinger (f.eks oppdateringsfrekvens, oppløsning).

Her beskriver vi et sett av metoder for å samle inn data på to kjente tester av visuell oppmerksomhet - det nyttige synsfelt (UFOV) paradigme ⁷ og flere objekt sporing (MOT) oppgave (dvs. kredittkort / CD - se figur 1).

Data om disse to oppgavene ble samlet inn fra over 1700 deltakere i en Massive Online Åpne Course. Gjennomsnittlig ytelse av dette online prøven var svært konsistent med resultatene som er oppnådd i godt kontrollerte laboratoriebaserte tiltak av nøyaktig samme oppgavene ^9,10. Våre resultater er dermed i tråd med den økende mengde litteratur som viser effekten av elektroniske datainnsamlingsmetoder, selv i oppgaver som krever spesiell kontroll over visningsforhold.

Protocol

Protokollen ble godkjent av Institutional Review Board ved University of Wisconsin-Madison. Følgende trinn er skrevet som en guide for programmerere å gjenskape den automatiserte prosessen med web-applikasjon beskrevet.

1. Logg Deltaker

1. Instruere deltakeren til å bruke en datamaskin med Internett-tilgang og naviger til webapplikasjon ved hjelp av en HTML5-kompatibel nettleser: http://brainandlearning.org/jove . Har deltakeren sitte i et stille rom uten distraksjoner, med datamaskinen på en komfortabel høyde.
   MERK: Siden hele eksperimentet er vert på nettet, kan oppgavene også utføres eksternt uten tilstedeværelse av en forskningsassistent. Alle instruksjoner for deltakeren er inkludert i web-applikasjon.
2. Har deltakeren innspill en unik ID som vil bli assosiert med de innsamlede dataene og lagret i en MySQL database. Har deltakeren bruke denne ID hvis de elektroniske oppgaver ikke er gjennomført innen samme økt. Før du logger inn, innhente samtykke fra deltakeren via et samtykkeskjema linket på siden.
   MERK: En deltaker fremgang lagres etter hver oppgave for å tillate for ferdigstillelse av de to oppgaver på separate ganger om nødvendig. Instruere deltakeren til å alltid bruke samme ID for å starte der man slapp.

2. Skjermkalibrering

MERK: webapplikasjon guider deltakeren gjennom de tre trinnene i kalibreringssiden på: http://brainandlearning.org/jove/Calibration .

1. Spør deltakeren til å legge inn diagonal størrelse på skjermen i inches i den merkede tekstboksen.
   1. Men hvis deltakeren ikke vet denne informasjonen, har deltakeren finne en CD eller kredittkort som en kalibreringsobjekt (
   2. Spør deltakeren til å justere størrelsen på bildet på skjermen for å matche størrelsen på det fysiske objektet. Basert på målinger av en fysisk CD (diameter på 4,7 ") eller et kredittkort (bredde på 3,2") i tillegg til det antall piksler for det representative bildet, bestemme forholdet mellom piksler til inches for skjermen.
   3. Hente piksel oppløsning på skjermen via Javascript er screen.width og screen.height egenskaper for å deretter beregne den diagonale skjermstørrelsen i piksler. Å vite denne verdien og den tidligere anslått pixel-til-tommers ratio (se trinn 2.1.2), konvertere den diagonal størrelse til inches. Har deltakeren bekrefte denne verdien gjennom en dialogboks.
2. Spør deltakeren til å justere skjermen brightness innstillinger inntil alle 12 band i en svart til hvit gradient som vises på skjermen er klart kan skilles. Lysstyrkeinnstiling kontroller varierer fra datamaskinen.
3. Spør deltakeren til å sitte en armlengdes avstand vekk fra skjermen i en komfortabel posisjon og deretter sette nettleservinduet til fullskjermmodus. Nettleservinduet må være i fullskjermmodus for å maksimere den visuelle plass som brukes av de oppgavene og å fjerne eventuelle visuelle distraksjoner, for eksempel verktøylinjen i nettleseren og desktop oppgavelinjer.
4. Å vite oppløsningen av deltakerens skjermen og diagonal størrelse på skjermen, bruker du web-applikasjon for å automatisk beregne piksler / grad konverteringsverdi, basert på en 50 cm leseavstand. Endre størrelse på dimensjonene på stimuli i oppgaver ved hjelp av denne verdien. Alle visuelle vinkel dimensjoner rapportert nedenfor er basert på dette antatt gjennomsnitt avstand verdi fra skjermen.
5. Når kalibreringen er ferdig, spør deltakeren å fullføre to oppgaver described under. Velg rekkefølgen på oppgavene eller tilfeldig tildele bestilling via web-applikasjon.

3. Multiple Object Tracking Task (MOT) - Figur 2

1. Introdusere og lest deltakeren med MOT stimuli gjennom en selv-guidet opplæringen, sett på: http://brainandlearning.org/jove/MOT/practice.php . Spør deltakeren å lese steg-for-steg instruksjoner som demonstrerer hvordan forsøkene vil fungere. Når deltakeren ferdig med å lese instruksjonene, be deltakeren til å gå gjennom praksis prøvelser.
   1. Oppsett praksis stimuli for å bestå av åtte prikker på 0,8 ° med en bevegelseshastighet på 2 ° / sek. Bruk HTML5 requestAnimationFrame API for å optimalisere nettleseren animasjon på en bildefrekvens på 60 Hz for å styre denne stimulans bevegelse.
   2. Sikre prikkene flytte innenfor grensene av en sirkel på 2 ° eksentrisitet og en circle ikke større enn høyden på deltakerens skjerm, uten instruksjonene skjult.
   3. Satt på prikkene for å bevege seg i en tilfeldig bane, der på hver ramme en prikk har en 60% sjanse for å endre retning av en maksimal vinkel på 0,2 °. Hvis en prikk kolliderer med en annen prikk eller de indre eller ytre radial grenser, flytte prikk i motsatt retning.
   4. Spør deltakeren å spore de blå prikker (varierende mellom 1 og 2 punkter per praksis rettssak), med de gule prikkene opptrer som distraktører.
   5. Etter 2 sekunder, endrer de blå prikkene til gule prikker og fortsette å flytte dem blant de opprinnelige gule prikker for ytterligere 4 sek. På slutten av hver studie stoppe prikkene og markere ett.
   6. Spør deltakeren til å svare via tastetrykk om den markerte dot var en sporet prikk eller en Blokker i prikk. Deretter ber deltakeren til å trykke på mellomromstasten for å fortsette på den neste rettssaken.
   7. Etter tre påfølgende riktige studier, eller maksimalt seks forsøk, move deltakeren på hele oppgaven.
2. Start fulle MOT oppgave for deltakeren. Et eksempel på oppgaven finner du på: http://brainandlearning.org/jove/MOT .
   1. Setup full oppgave med 16 prikker som beveger seg ved 5 ° / sek i mellomrommet mellom 2 ° eksentrisitet og 10 ° eksentrisitet. Dersom deltakerens skjermen ikke kan passe en sirkel på 10 ° eksentrisitet, bruker den maksimale størrelsen på skjermen kan inneholde stedet.
   2. Har deltakeren fullføre totalt 45 forsøk: en blanding av fem studier som består av en spores dot og 10 studier som hver består av 2-5 spores prikker. Matche alle andre parametre til praksisen studier (se trinn 3.1.3 - 3.1.6).
   3. Spill deltakernes respons og responstid når prikken er uthevet.
   4. For hver 15 forsøk, foreslår en pause til deltakeren. På disse pausene, vise deltaker7; s ytelse (prosent av riktige forsøk) innenfor blokken på skjermen.

4. Flytte fra en oppgave til en annen (valgfritt trinn)

1. Tillate deltakeren til å ta en pause mellom de to oppgavene. Men gjenta trinn 1 og 2 hvis oppgavene ikke blir fullført i løpet av samme innloggingen.

5. Nyttig synsfelt Task (UFOV) - Figur 3

1. Introdusere og lest deltakeren med UFOV stimuli gjennom en selv-guidet opplæringen, sett på: http://brainandlearning.org/jove/UFOV/practice.php . Spør deltakeren til å gå gjennom fire stadier av trinn-for-trinn-instruksjoner som demonstrerer de to target stimuli som må ivaretas under oppgaven.
   1. Sett sentral målet stimulus som en 1 ° smiley som blinker i midten av skjermen med enten lang eller kort hår. Randomiseresmiley hår lengde på tvers av studier.
   2. Still perifere mål stimulans som en 1 ° stjerne som blinker ved 4 ° eksentrisitet på ett av åtte steder rundt sirkelen (0 °, 45 °, 90 °, 135 °, 180 °, 225 °, 270 °, og 315 °) . Randomisere plasseringen av stjernen på tvers av forsøkene.
   3. Kontroll stimulus varighet via antall rammer som brukes for presentasjon tid. Optimalisere oppdaterings på ca 17 msek per bilde ved hjelp av HTML5 requestAnimationFrame API.
   4. For å sjekke om ble oppnådd forventet presentasjon tid, bruker Javascript er getTime () metode for å få stimulans varighet starttid og sluttid basert på deltakernes systemklokken. Beregn det målte presentasjonstiden fra disse to verdier og bruke denne verdi for dataanalyse.
   5. For hver praksis rettssaken, vente 500 msek før visning av stimuli for ca 200 msek (ca 12 rammer).
   6. Følg stimulans prepresentasjon med en støymaske består av en tilfeldig generert gråtoner dot array for 320 msek (ca 19 rammer).
   7. For trinn 1, bare vise det sentrale målet og deretter be deltakeren til å svare via tastetrykk som hårlengde ble vist.
   8. For trinn 2, bare vise den perifere målet og deretter be deltakeren til å klikke på en av 8 radiale linjer, som representerer de åtte mulige geografiske målområder, for å indikere hvor stjernen dukket opp.
   9. For stadium 3, vise både sentrale og perifere målet stimuli og deretter be deltakeren til å gi svar på både type smiley og plasseringen av stjernen.
      MERK: Deltakerne kan fritt velge rekkefølgen på disse to svar.
   10. For stadium 4, vise både målet stimuli i tillegg til perifere distraktører, og deretter be deltakeren til å svare på begge mål stimuli. For de distraktører, vise en ° firkanter presentert på de resterende syv steder ved 4 ° eksentrisitet, jegn tillegg til 8 flere firkanter ved 2 ° eksentrisitet.
   11. Etter deltakerens svar, viser deltakeren feedback (en grønn hake for et riktig svar eller et rødt kryss for feil svar) for hvert mål respons etter hvert forsøk.
   12. Flytt deltaker til neste praksis scenen etter å ha fått tre påfølgende riktige studier. Når trinn 4, flytter deltakeren på hele oppgaven.
2. Spør deltakeren å starte full UFOV oppgave. Et eksempel på oppgaven finner du på: http://brainandlearning.org/jove/UFOV .
   1. Presentere den samme sentrale stimulus som i praksis økt (se trinn 5.1.1). Vise det perifere mål ved 7 ° eksentrisitet på en av de tidligere nevnte åtte steder (se trinn 5.1.2). 24 Blokker i rutene vises også ved 3 ° eksentrisitet, 5 ° eksentrisitet, og de resterende 7 °eksentrisitet steder.
   2. Bruke en 3-ned, 1-up trapp prosedyre for å bestemme presentasjonstiden for de stimuli: redusere varigheten av stimuli etter tre påfølgende riktige forsøk og øke etter hvert feilprøve.
   3. Før de første tre føringer i trappen, bruk en trinnstørrelse på 2 rammer (ca hver 33 ms). Etter 3 reverseringer, bruk en trinnstørrelse på 1 ramme. Varier forsinkelse før stimulans utbruddet mellom en ramme og 99 bilder per rettssaken, og holde støyen maske varighet på 320 msek (ca 19 rammer).
      MERK: Reversering er de punkter hvor varigheten endrer enten fra å øke til avtagende, eller redusere til økende.
   4. Avslutt oppgave når ett av tre vilkår er oppfylt: trappen prosedyre når 8 reverseringer; deltakeren fullfører 10 påfølgende forsøk på enten taket varighet (99 frames) eller gulvet varighet (1 bilde); eller deltakeren når et maksimum av 72 forsøk.
   5. Spill deltakerens response og responstiden for både den sentrale stimulans og det perifere stimulans.

Representative Results

Outlier Fjerning

Totalt 1779 deltakere fullførte UFOV oppgave. Av disse hadde 32 deltakere UFOV terskler som var større enn 3 standardavvik fra gjennomsnittet, noe som tyder på at de ikke var i stand til å utføre oppgaven som instruert. Som sådan, ble UFOV data fra disse aktørene fjernet fra den endelige analysen, etterlot seg en totalt 1747 deltakere.

Data ble hentet fra 1746 deltakere for MOT oppgave. To deltakerne hadde gjennomsnittlige treffpoengsummer som var mer enn tre standardavvik under gjennomsnittet, således data fra disse deltakerne ble fjernet fra den endelige MOT-analyse, slik at totalt 1744 deltagere.

UFOV

For UFOV oppgave, ble resultatene beregnet som gjennomsnittet av presentasjonen tid over de siste fem forsøk for å oppnå en deteksjonsterskel. Presentasjonen tid reflekteres den målte stimulus presentasjon durasjon på hver deltakers skjermen: tiden fra starten av første stimulus rammen til slutten den siste stimulans rammen ble spilt inn i millisekunder ved hjelp av deltakerens systemklokken. Deteksjonsterskelen reflekterer minimum presentasjon varighet ved hvilke deltakere kan detektere den perifere mål med ca. 79% nøyaktighet, gitt vår bruk av en 3-ned, 1-up trapp prosedyre. Den midlere UFOV terskel var 64,7 msek (SD = 53.5, 95% CI [62,17, 67,19]) og score varierte fra 17 millisekunder til 315 millisekunder med en median terskel på 45 ms (se figur 4). Terskelen fordelingen var positivt skjev, med skjevhet på 1,92 (SE = 0,06) og kurtose 3,93 (SE = 0,12).

MOT

MOT resultater ble målt ved å beregne den midlere nøyaktighet (prosent riktig) for hvert sett størrelse (1 - 5). Nøyaktighet varierte 0,4 til 1,0 for settet Størrelse 1 til 0,1 til 1,0 for sett størrelse 5, og mener accurACY varierte fra 0,99 (SD = 0,06, 95% KI [0,983, 0,989]) for settet Størrelse 1 til 0,71 (SD = 0,17, 95% KI [0,700, 0,716]) for settet størrelse 5. Median nøyaktighet score varierte fra 1,0 til henholdsvis 0,70 for settet størrelse 1 og 5 (se figur 5).

En gjentatt tiltak ANOVA ble utført for å undersøke om nøyaktighet forskjellig som en funksjon av settet størrelse. Det var en signifikant hovedeffekt av settet størrelse (F (4, 6968) = 1574,70, p <0,001, n _ρ ² = 0,475) slik at nøyaktighet redusert som set størrelse økt, viser en typisk MOT effekt.

Figur 1. Skjerm måling. Fordi ikke alle online deltakerne kjenner sin skjermstørrelse - eller har enkel tilgang til en linjal / målebånd for å vurdere sin skjermstørrelse - detkalibreringsprosessen spurte fag å utnytte vanlig tilgjengelige elementer av standard størrelse (kredittkort - ovenfor, CD - under). Klikk her for å se en større versjon av dette tallet.

Figur 2. MOT oppgave. Deltakerne sett et sett av tilfeldig bevegelige prikker. I rettssaken utbruddet, en undergruppe av disse prikkene var blå (mål), mens resten var gul (distraktører). Etter 2 sek de blå målet prikker endret til gul, noe som gjør dem visuelt skille fra de distraktører. Deltakerne måtte mentalt spore tidligere blå målet prikker for 4 sek til et svar skjermen dukket opp. På denne skjermen en av prikkene var hvit og faget har gjort en "ja (dette var en av de opprinnelige mål)"; eller "nei (dette var ikke en av de opprinnelige mål)" avgjørelse (med et tastetrykk). Klikk her for å se en større versjon av dette tallet.

Figur 3. UFOV Task. Besto Hovedskjermen en sentral stimulus (en gul smiley som kunne ha enten kort eller langt hår), en perifer stimulus (en fylt hvit stjerne i en sirkel) og perifere distraktører (hvit skissert firkanter). Denne skjermen ble kort blinket (med timingen bestemt adaptivt basert på deltaker ytelse). Når responsen skjermen dukket deltakeren måtte gjøre to svar: de måtte indikere (med et tastetrykk) om smiley hadde langt eller kort hår, og de måtte indikere (ved å klikke) på hvilke av de åtte radial snakketer målet stimulus dukket opp. De deretter fått tilbakemelding om begge svar (her de valgte det riktige svaret for den sentrale oppgaven, men det gale svaret for perifer oppgave). Klikk her for å se en større versjon av dette tallet.

Figur 4. UFOV resultater. Som det fremgår av histogrammet av faget ytelse, ikke bare kunne det store flertallet av deltakerne utføre oppgaven som angitt (~ 1% fjernet for dårlig / avvikende ytelse), var gjennomsnittlig ytelse var holdent i området forventet fra lab baserte tiltak på nøyaktig samme oppgave ^9.

Figur 5. MOT resultater. Konsistent med tidligere arbeid ^10, MOT nøyaktighet falt av jevnt med økende sett størrelse.

Discussion

Online datainnsamling har en rekke fordeler fremfor standard laboratorium-basert datainnsamling. Disse inkluderer muligheten til å smake langt mer representative populasjoner enn den typiske college lavere basseng benyttes i feltet, og evnen til å få langt større utvalgsstørrelser på kortere tid enn det tar å få utvalgsstørrelser som er en størrelsesorden mindre i laboratoriet ^1-6 (for eksempel datapunktene samlet inn fra 1,700+ deltakere i dagens papir ble oppnådd på mindre enn en uke).

De beskrevne online metoder var i stand til å gjenskape resultatene fra tidligere gjennomført laboratoriebaserte studier: beregnet midler og områder for UFOV terskler og MOT nøyaktighet i den elektroniske oppgavene ble sammenlignes med resultater rapportert av Dye og Bavelier ⁹ for UFOV oppgave og Grønn og Bavelier ¹⁰ for MOT oppgave. Men den store deltaker prøven hadde en innvirkning på fordelingen avresultatene, spesielt i UFOV oppgave. Den elektroniske UFOV terskel fordelingen var mer riktig skjevt enn tidligere laboratoriebaserte resultater ^9. Denne forskjellen i skew kan tilskrives større mangfold av deltakere rekruttert på nettet, spesielt i forhold til sine større variasjon i alder: den elektroniske prøven varierte 18-70 år, mens laboratoriet baserte prøven varierte 18-22 år ^ni.

Videre samle inn data via elektroniske metoder krever å løse flere tekniske utfordringer - spesielt når nær stimuluskontroll er nødvendig for gyldigheten av tiltakene. De to oppgavene er ansatt her nødvendig kontroll over både den visuelle vinkelen på stimuli som ble presentert og timingen av stimuli. Visuell vinkel spesielt kan være vanskelig å kontrollere i online innstillinger som beregningene krever vite synsavstand, skjermstørrelse og skjermoppløsning. Dette er spesielt problematisk gitt thpå mange online deltakere kan ikke vite sin skjermstørrelse eller har lett tilgang til et målebånd for å måle sin skjermstørrelse.

Vi utviklet en rekke tiltak for å overvinne noen av disse problemene. Mens vi kan perfekt løse skjermstørrelse, vi kan fortsatt ikke nøyaktig styre selve synsavstand. Vi foreslår å deltakerne å sitte en armlengdes avstand vekk fra skjermen, selv om denne avstanden kan variere blant deltakerne. Armlengde ble valgt, som amerikanske antropometriske data indikerer at forskjellen i lengden på en forward arm rekkevidde (stillingen der deltakerne ville bruke til å bedømme sin avstand fra skjermen) mellom voksne menn og kvinner er liten, slik at median mannlig rekkevidde er 63,8 cm mens medianen kvinnelige rekkevidde er 62,5 cm ^11. Selv om forsøket setup prosedyren forsøker å unngå å introdusere sex skjevheter ved hjelp av denne målingen, kan det være potensielle høyde skjevheter; fremtidige studier som samler deltakere og# 8217; høydeinformasjon ville trenge å bli utført for å vurdere denne muligheten.

Som for stimulans timing, tok vi hensyn til avvik mellom forventet varighet og innspilt varighet av stimulus presentasjon ved beregning av terskelverdier. Snarere enn å stole på den forventede presentasjon varighet, målte vi varigheten av stimulanse rammer ved hjelp av deltakerens system klokke med millisekund presisjon. Men iboende ulikheter mellom skjermen viser fortsatt var til stede og kan ikke kontrolleres for uten fysisk in situ målinger. Det er velkjent at Liquid Crystal Displays (LCD) - den mest sannsynlig overvåker våre deltakere har tilgang til har lange responstiden som vanligvis varierer avhengig av start- og sluttverdiene til pixel luminans endringer. Sistnevnte sak er ikke en bekymring i vår studie fordi vi alltid slått fra samme bakgrunn nivå på stimuli nivå. En større bekymring er at varievne i skjermer over deltakerne fører til en stor del av det målte avvik. Vi mener at dette ikke er et problem som pixel responstid er vanligvis mindre enn en bildefrekvens (dvs. 17 msek) ^12,13, som synes akseptabelt i forhold til det store interindividuelle variasjon i UFOV terskler.

Metodene ansatt her vinne de nevnte utfordringene og dermed tillatt oss å måle ytelsen på to oppgaver - det UFOV og MOT - som begge krever kontroll over visuell vinkel og skjerm timing egenskaper. Resultatene oppnådd ved disse fremgangsmåter resultatene var i samsvar med de som ble oppnådd i standard laboratorieinnstillinger, og dermed demonstrere deres gyldighet. I tillegg, fordi disse oppgavene krever bare en internettforbindelse og en HTML5-kompatibel nettleser, disse oppgavene kan brukes ikke bare til å enkelt samle et stort utvalg fra et generelt representative befolkningen, men kan også brukes til å nå spesifikke sub-typer av individuals som kan være geografisk atskilte og dermed vanskelige å få til en felles lab innstilling (f.eks, pasienter med en bestemt type sykdom eller personer med en bestemt etnisk bakgrunn). Videre, med fremveksten av bruk av iPads og andre tabletter, design av web-applikasjon kan lett tilpasses for bedre kompatibilitet med touchscreen-teknologi for å nå et enda større antall deltakere. Mens web-applikasjon kan for tiden kjøre på tabletter via en HTML5 nettleser, kan fremtidige gjentakelser fjerne kravet om et tastatur og erstatte responstastene med grensesnitt knapper eller gester.

Materials

Name	Company	Catalog Number	Comments
Computer/tablet			It must have an internet connection and an HTML5 compatible browser
CD or credit card			May not be needed if participant already knows the monitor size