Methoden om visuele aandacht online test

Summary

Om laboratoriumomstandigheden te repliceren, vereisen online gegevensverzamelingsmethoden voor visuele taken een strakke controle over de presentatie van stimuli. We schetsen methoden voor het gebruik van een webapplicatie om prestatiegegevens te verzamelen over twee tests van visuele aandacht.

Abstract

Online dataverzameling methoden bijzondere aantrekkingskracht op gedragswetenschappers omdat ze bieden de belofte van veel grotere en veel meer representatieve gegevens monsters dan kan meestal worden opgevangen op universiteitscampus. Voordat dergelijke werkwijzen algemeen kan worden vastgesteld, een aantal technologische problemen moeten worden overwonnen - vooral in experimenten waarbij strakke controle stimulus eigenschappen noodzakelijk. Hier presenteren we methoden voor het verzamelen van gegevens over de prestaties op twee tests van visuele aandacht. Beide testen vereisen controle over de visuele hoek van de stimuli (die op zijn beurt vereist kennis van de kijkafstand, de monitor, de schermresolutie, etc.) en de timing van de stimuli (als de tests betrekken ofwel kort flitste stimuli of stimuli die bewegen op specifieke tarieven). Gegevens verzameld over deze tests uit meer dan 1.700 online deelnemers kwamen overeen met de gegevens in het laboratorium op basis versies van exact dezelfde proeven wordt opgevangen. Deze resultatensuggereren dat met de juiste zorg, timing / stimulus grootte afhankelijke taken kan worden in web-based instellingen ingezet.

Introduction

In de afgelopen vijf jaar is er een golf van interesse in het gebruik van online behavioral methoden voor gegevensverzameling is geweest. Terwijl de overgrote meerderheid van de publicaties in het domein van de psychologie potentieel niet-representatieve onderwerp populatie hebben gebruikt ¹ (dat wil zeggen, in de eerste plaats college studenten) en vaak redelijk kleine steekproeven en (dwz, meestal in het bereik van tientallen proefpersonen), online methoden bieden de belofte van veel meer divers en grotere monsters. Zo heeft Amazon Mechanical Turk dienst het onderwerp van een aantal recente studies, zowel die de kenmerken van de "werknemer" populatie en het gebruik van deze populatie in gedragsonderzoek ^2-6.

Echter, een significant probleem in samenhang met dergelijke werkwijzen is het relatieve gebrek aan controle over kritische stimulus variabelen. Bijvoorbeeld, in de meeste visuele psychofysica taken stimuli worden beschreven in termen vanvisuele hoek. De berekening van de visuele hoeken vereist een nauwkeurige metingen van de kijkafstand, grootte van het scherm, en de schermresolutie. Hoewel deze parameters zijn triviaal te meten en controle in een lab omgeving (waar sprake is van een bekende monitor en deelnemers bekijken stimuli, terwijl in een kin rust plaatste een bekende afstand van de monitor), hetzelfde geldt niet voor het online verzamelen van gegevens. In een online-omgeving, zal niet alleen de deelnemers onvermijdelijk gebruik maken van een breed scala van monitoren van verschillende maten met verschillende software-instellingen, kunnen zij ook niet gemakkelijk toegang hebben tot heersers / meetlinten dat zou hen in staat stellen om hun beeldscherm maat te bepalen of de kennis die nodig is om hun software en hardware-instellingen (bv, refresh rate, resolutie) te bepalen.

Hier beschrijven we een set van methoden om gegevens op twee bekende testen van visuele aandacht te verzamelen - de Handige gezichtsveld (UFOV) paradigma ⁷ en de meervoudige object tracking (MOT) taak ^{8 - terwijl zoveel mogelijk de bronnen van variabiliteit die inherent online metingen voorkomen. Deze taken kunnen worden uitgevoerd door een deelnemer met een internetverbinding en een HTML5 compatibele browser. Deelnemers die niet weten hun schermgrootte worden gelopen door een meetproces gebruik te maken van algemeen beschikbare artikelen van standaard formaat (dwz, creditcard / CD - zie figuur 1).}

Gegevens over deze twee taken werden verzameld uit meer dan 1.700 deelnemers in een Massive Online Open Course. Gemiddelde prestatie van deze online steekproef was zeer consistent met resultaten verkregen in streng gecontroleerde laboratorium op basis van maatregelen van exact dezelfde taken ^9,10. Onze resultaten zijn dus in overeenstemming met de groeiende hoeveelheid literatuur om de effectiviteit van online dataverzameling methoden, zelfs in de taken die specifieke controle over het bekijken omstandigheden dit vereisen.

Protocol

Het protocol werd goedgekeurd door de institutionele review board aan de Universiteit van Wisconsin-Madison. De volgende stappen zijn geschreven als leidraad voor programmeurs om het geautomatiseerde proces van de webapplicatie beschreven repliceren.

1. Inloggen Deelnemer

1. Instrueer de deelnemer aan een internet-enabled computer gebruiken en te navigeren naar de webapplicatie met behulp van een HTML5 compatibele browser: http://brainandlearning.org/jove . Heeft de deelnemer te zitten in een rustige kamer vrij van afleiding, met de computer op een comfortabele hoogte.
   LET OP: Aangezien de gehele experiment online wordt gehost, de taken kunnen ook op afstand worden uitgevoerd zonder de aanwezigheid van een onderzoeksassistent. Alle instructies voor de deelnemer is opgenomen in de webapplicatie.
2. Heeft de deelnemer invoeren van een unieke ID die wordt geassocieerd met de verzamelde gegevens en opgeslagen in een MySQL databaseservere. Laat de deelnemer hergebruiken deze ID als de online taken niet binnen dezelfde sessie worden voltooid. Alvorens in te loggen, krijgen toestemming van de deelnemer via een formulier toestemming gekoppeld aan de pagina.
   OPMERKING: stand van een deelnemer wordt opgeslagen na elke taak, zodat voor de uitvoering van de taken op 2 verschillende tijdstippen indien nodig. Instrueer de deelnemer om altijd gebruik maken van dezelfde ID om te beginnen waar men gebleven was.

2. Schermkalibratie

OPMERKING: De webapplicatie begeleidt de deelnemer door de drie stappen in de kalibratie pagina op: http://brainandlearning.org/jove/Calibration .

1. Vraag de deelnemer aan de ingang van de diagonale grootte van het scherm in inches in de gelabelde tekstvak.
   1. Echter, indien de deelnemer niet over deze informatie beschikt, hebben de deelnemer vind een CD of credit card als een kalibratie-object ( Figuur 1). Wanneer men wordt geselecteerd, vraagt ​​de deelnemer aan het object te plaatsen tegen het scherm en lijn het uit met een representatief beeld van het object op het scherm weergegeven.
   2. Prompt de deelnemer aan de grootte van het scherm aan te passen aan de grootte van het fysieke object passen. Op basis van de metingen van fysieke CD (diameter van 4,7 ") of een credit card (breedte van 3,2") naast de pixelgrootte van de representatieve afbeelding, bepalen de verhouding tussen pixels inch voor het scherm.
   3. Haal de pixel resolutie van de monitor via JavaScript's screen.width en screen.height eigenschappen om berekent dan de diagonale grootte van het scherm in pixels. Weten deze waarde en de eerder geschatte pixel-to-inch ratio (zie stap 2.1.2), zetten de diagonaal in inches. Laat de deelnemer bevestigen deze waarde door middel van een dialoogvenster.
2. Vraagt ​​de deelnemer om het scherm brigh passenfysieke conditie instellingen totdat alle 12 bands in een zwart naar wit gradiënt op het scherm zijn duidelijk te onderscheiden. Helderheid instellen van controles verschillen per computer.
3. Vraag de deelnemer op een armlengte zitten uit de buurt van de monitor in een comfortabele positie en stel vervolgens het browservenster om full screen mode. Het browservenster moet in de modus volledig scherm om de visuele ruimte die wordt gebruikt door de taken te maximaliseren en om alle visuele afleiding, zoals de werkbalk van de browser en desktop taakbalken te verwijderen.
4. Het kennen van de resolutie van het scherm van de deelnemer en de diagonale grootte van de monitor, gebruik maken van de webapplicatie om automatisch berekenen van de pixels / graad conversie waarde, gebaseerd op een 50 cm kijkafstand. Het formaat van de afmetingen van de stimuli in de werkzaamheden met deze waarde. Alle visuele hoek afmetingen hieronder gemeld zijn gebaseerd op deze veronderstelde gemiddelde afstand waarde van de monitor.
5. Nadat de kalibratie is voltooid, vraagt ​​de deelnemer aan de twee taken describ voltooienHieronder ed. Kies de volgorde van de taken of willekeurig de bestelling via de webapplicatie toewijzen.

3. Meerdere Object Tracking Task (MOT) - Figuur 2

1. Introduceren en vertrouwd de deelnemer met de MOT prikkels door middel van een self-begeleide zelfstudie, gezien op: http://brainandlearning.org/jove/MOT/practice.php . Vraag de deelnemer om stap-voor-stap instructies die laten zien hoe de proeven zal werken te lezen. Zodra de deelnemer klaar is het lezen van de instructies, vraagt ​​de deelnemer om te gaan door de praktijk proeven.
   1. Stel de praktijk stimuli bestaan ​​uit 8 dots op 0,8 ° met een bewegingssnelheid van 2 ° / sec. Gebruik de HTML5 requestAnimationFrame API browser animatie te optimaliseren bij een framerate van 60 Hz om deze stimulans Motion Control.
   2. Controleer de stippen verplaatsen binnen de grenzen van een cirkel van 2 ° excentriciteit en circle niet groter zijn dan de hoogte van het scherm van de deelnemer, zonder dat de instructies verduisterd.
   3. Zet de puntjes te bewegen in een willekeurige baan, waarbij elk frame op een punt heeft een 60% kans van richting verandert met een maximale hoek van 0,2 °. Als een punt botst met een ander punt of de binnenste of buitenste radiale grenzen, beweeg de punt in de tegenovergestelde richting.
   4. Vraagt ​​de deelnemer aan de blauwe stippen te volgen (variërend tussen 1 en 2 dots per praktijk trial), met de gele stippen als afleiders.
   5. Na 2 sec, verandert de blauwe stippen op gele stippen en ze blijven onder de oorspronkelijke gele stippen te verplaatsen naar een andere 4 sec. Aan het einde van elke proef, stop de punten en markeer een.
   6. Vraagt ​​de deelnemer om te reageren via toetsaanslag of de gemarkeerde stip was een tracked dot of een afleider stip. Vervolgens vraagt ​​de deelnemer om druk op de spatiebalk om door te gaan naar de volgende proef.
   7. Na 3 opeenvolgende juiste proeven, of een maximum van 6 proeven, move de deelnemer op de volledige taak.
2. Start de volledige APK taak voor de deelnemer. Een voorbeeld van de taak is te vinden op: http://brainandlearning.org/jove/MOT .
   1. Setup de volledige taak met 16 stippen die bewegen op 5 ° / sec binnen de ruimte tussen 2 ° excentriciteit en 10 ° excentriciteit. Als het scherm van de deelnemer niet kan passen in een cirkel van 10 ° excentriciteit, gebruik dan de maximale grootte van het scherm kan in plaats daarvan bevatten.
   2. Laat de deelnemer voltooien totaal 45 trials: een mengsel van 5 proeven bestaande uit 1 bijgehouden dot en 10 proeven elk uit 2-5 gevolgd dots. Overeenkomen met alle andere parameters aan de praktijk onderzoeken (zie stappen 3.1.3 - 3.1.6).
   3. Opnemen respons en responstijd van de deelnemer zodra de punt wordt gemarkeerd.
   4. Voor elke 15 studies, suggereren een pauze aan de deelnemer. Op deze onderbrekingen geven de deelnemer7; s prestaties (percentage correcte studies) binnen het blok op het scherm.

4. verplaatsen van de ene naar de andere taak (optionele stap)

1. Laat de deelnemer om een ​​pauze tussen de twee taken te nemen. Echter, herhaalt u stap 1 en 2 als de taken niet worden voltooid tijdens dezelfde login sessie.

5. Handige Field of View Taak (UFOV) - Figuur 3

1. Introduceren en vertrouwd de deelnemer met de UFOV prikkels door middel van een self-begeleide zelfstudie, gezien op: http://brainandlearning.org/jove/UFOV/practice.php . Vraag de deelnemers om te gaan door 4 stadia van stap-voor-stap instructies die de twee beoogde stimuli die aan moet worden bijgewoond tijdens de taak aan te tonen.
   1. Stel het centrale doel stimulus als een 1 ° smiley die in het midden van het scherm met ofwel lang of kort haar knippert. Willekeurig desmiley's haarlengte in de onderzoeken.
   2. Stel de perifere stimulus doel als 1 ° ster die bij 4 ° knippert excentriciteit in een van 8 locaties rond de cirkel (0 °, 45 °, 90 °, 135 °, 180 °, 225 °, 270 ° en 315 °) . Willekeurig de locatie van de ster in de onderzoeken.
   3. Controle stimulus duur via aantal frames gebruikt voor de presentatie tijd. Optimaliseren kader refresh op ongeveer 17 msec per frame met behulp van de HTML5 requestAnimationFrame API.
   4. Om te controleren of de verwachte presentatie tijd werd bereikt, methode JavaScript's getTime () gebruiken om de stimulus duur van de start-en eindtijd gebaseerd op het systeem van de klok van de deelnemer te verkrijgen. Bereken de gemeten presentatietijd van deze twee waarden en deze waarde voor gegevensanalyse.
   5. Voor elke praktijk proef, wachten 500 msec voor het weergeven van de stimuli voor ongeveer 200 msec (ongeveer 12 frames).
   6. Volg stimulus prevoorstelling met een geluid masker bestaat uit een willekeurig gegenereerd grijstinten dot array voor 320 msec (ongeveer 19 frames).
   7. Voor fase 1, alleen de centrale doelstelling te geven en dan vraagt ​​de deelnemer om te reageren via toetsaanslag die haarlengte werd weergegeven.
   8. Voor fase 2, alleen de perifere doel weer te geven en dan vraagt ​​de deelnemer om te klikken op een van de 8 radiale lijnen, die de 8 mogelijk doelwit locaties, om aan te geven waar de ster verschenen.
   9. Voor fase 3, geven zowel de centrale en perifere doel stimuli en dan vraagt ​​de deelnemer te antwoorden op zowel de aard van de smiley en de locatie van de ster te bieden.
      OPMERKING: De deelnemers kunnen vrij kiezen de volgorde van deze twee reacties.
   10. Voor fase 4, geven zowel de streefwaarde stimuli naast perifere afleiders, en dan vraagt ​​de deelnemer om te reageren op zowel de streefwaarde stimuli. Voor de afleiders, weergave 1 ° pleinen gepresenteerd op de resterende 7 locaties op 4 ° excentriciteit, in Naast 8 vierkantjes bij 2 ° excentriciteit.
   11. Na het antwoord van de deelnemer, tonen de deelnemer feedback (een groen vinkje voor een goed antwoord of een rood kruis voor een onjuist antwoord) voor elke doelgroep reactie na elke proef.
   12. Beweeg de deelnemer naar de volgende praktijk fase na het krijgen van 3 opeenvolgende correcte trials. Na fase 4, bewegen de deelnemer op de volledige taak.
2. Vraagt ​​de deelnemer om de volledige UFOV taak te starten. Een voorbeeld van de taak is te vinden op: http://brainandlearning.org/jove/UFOV .
   1. Presenteer het zelfde centrale stimulus als in de oefensessie (zie stap 5.1.1). Geef de perifere doel 7 ° excentriciteit in één van de eerder genoemde 8 plaatsen (zie stap 5.1.2). 24 distractor vierkanten worden getoond bij 3 ° excentriciteit, 5 ° excentriciteit en de overige 7 °excentriciteit locaties.
   2. Gebruik een 3-down, 1-up trap procedure om de presentatie tijd van de stimuli te bepalen: na 3 opeenvolgende correcte trials de duur van de prikkels te verminderen en te verhogen na elke fout proef.
   3. Voordat de eerste 3 omkeringen in het trappenhuis, gebruik dan een stap grootte van 2 frames (ongeveer elke 33 msec). Na 3 omkeringen, gebruik dan een stapgrootte van 1 frame. Varieer de vertraging voordat de stimulus onset tussen 1 frame en 99 frames per proef, en houden het lawaai masker duur 320 msec (ongeveer 19 frames).
      LET OP: Het terugnemen zijn de punten waar de duur verandert ofwel van het verhogen tot het verminderen, of te verlagen naar toe.
   4. Beëindig de taak wanneer een van de drie voorwaarden is voldaan: de trap procedure 8 omkeringen bereikt; de deelnemer voltooit 10 opeenvolgende proeven op een van beide het plafond duur (99 frames) of de vloer duur (1 beeld); of de deelnemer bereikt een maximum van 72 proeven.
   5. Noteer de deelnemer response en responstijd voor zowel de centrale stimulus en de perifere stimulus.

Results

Uitschieter Verwijdering

Een totaal van 1779 deelnemers vulden de UFOV taak. Van degenen, 32 deelnemers hadden UFOV drempels die groter is dan 3 standaarddeviaties van het gemiddelde waren, wat suggereert dat ze niet in staat om de taak uit te voeren volgens de instructies waren. Als zodanig werden de UFOV gegevens van deze deelnemers verwijderd uit de uiteindelijke analyse, waardoor een totaal van 1747 deelnemers.

De gegevens werden verkregen van 1.746 deelnemers v...

Discussion

Online verzamelen van gegevens heeft een aantal voordelen ten opzichte van standaard-laboratorium op basis van het verzamelen van gegevens. Deze omvatten de mogelijkheid om veel representatieve populaties proeven dan de typische undergraduate pool gebruikt in het veld, en de mogelijkheid om veel grotere steekproeven verkregen in minder tijd dan nodig is om steekproeven die een orde van grootte kleiner in het laboratorium zijn verkregen ^1-6 (bijvoorbeeld de gegevenspunten verzameld 1,700+ deelnemers a...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Computer/tablet			Er moet een internetverbinding en een HTML5 compatibele browser zijn
CD of creditcard			Mogelijk niet nodig als de deelnemer de monitorgrootte al kent