Method Article

Metody testowania uwagi wzrokowej online

DOI:

10.3791/52470

⸱

February 19th, 2015

 ,  ,  ,  , 
1Center for Visual Science, University of Rochester, 2Faculty of Psychology and Educational Sciences, University of Geneva, 3Department of Psychology, University of Wisconsin-Madison, 4Department of Brain and Cognitive Sciences, University of Rochester

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Aby odtworzyć ustawienia laboratoryjne, metody zbierania danych online do zadań wizualnych wymagają ścisłej kontroli nad prezentacją bodźców. Przedstawiamy metody wykorzystania aplikacji internetowej do zbierania danych o wydajności w dwóch testach uwagi wzrokowej.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Metody zbierania danych online są szczególnie atrakcyjne dla behawiorystów, ponieważ oferują obietnicę znacznie większych i znacznie bardziej reprezentatywnych próbek danych niż te, które zazwyczaj można zebrać na kampusach uniwersyteckich. Zanim jednak takie metody będą mogły zostać powszechnie przyjęte, konieczne jest pokonanie szeregu wyzwań technologicznych – w szczególności w eksperymentach, w których konieczna jest ścisła kontrola właściwości bodźców. Poniżej przedstawiamy metody zbierania danych o wydajności w dwóch testach uwagi wzrokowej. Oba testy wymagają kontroli nad kątem widzenia bodźców (co z kolei wymaga wiedzy na temat odległości oglądania, rozmiaru monitora, rozdzielczości ekranu itp.) oraz czasu wystąpienia bodźców (ponieważ testy obejmują albo krótko bodźce, albo bodźce, które poruszają się z określoną prędkością). Dane zebrane w tych testach od ponad 1700 uczestników online były zgodne z danymi zebranymi w laboratoryjnych wersjach dokładnie tych samych testów. Wyniki te sugerują, że przy odpowiedniej pielęgnacji zadania zależne od czasu/wielkości bodźca mogą być wdrażane w ustawieniach internetowych.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

W ciągu ostatnich pięciu lat nastąpił gwałtowny wzrost zainteresowania wykorzystaniem metod zbierania danych behawioralnych online. Podczas gdy zdecydowana większość publikacji w dziedzinie psychologii wykorzystywała potencjalnie niereprezentatywne populacje badanych1 (tj. głównie studentów szkół wyższych) i często dość małe próby (tj. zazwyczaj w zakresie dziesiątek przedmiotów), metody online oferują obietnicę znacznie bardziej zróżnicowanych i większych prób. Na przykład usługa Mechanical Turk firmy Amazon była przedmiotem wielu ostatnich badań, zarówno opisujących charakterystykę populacji "pracowników", jak i wykorzystanie tej populacji w badaniach behawioralnych2-6.

Jednak jednym z istotnych problemów związanych z takimi metodami jest względny brak kontroli nad krytycznymi zmiennymi bodźców. Na przykład w większości zadań psychofizyki wizualnej bodźce są opisywane w kategoriach kąta widzenia. Obliczanie kątów widzenia wymaga precyzyjnych pomiarów odległości oglądania, rozmiaru ekranu i rozdzielczości ekranu. Chociaż parametry te są trywialne do zmierzenia i kontrolowania w warunkach laboratoryjnych (gdzie znajduje się znany monitor, a uczestnicy oglądają bodźce w podbródku umieszczonym w znanej odległości od monitora), to samo nie dotyczy zbierania danych online. W środowisku online uczestnicy nie tylko nieuchronnie będą korzystać z szerokiej gamy monitorów o różnych rozmiarach i różnych ustawieniach oprogramowania, ale także mogą nie mieć łatwego dostępu do linijek/taśm mierniczych, które pozwoliłyby im określić rozmiar monitora lub posiadać wiedzę niezbędną do określenia ustawień oprogramowania i sprzętu (np. częstotliwość odświeżania, rezolucja).

Tutaj opisujemy zestaw metod zbierania danych na temat dwóch dobrze znanych testów uwagi wzrokowej - paradygmatu użytecznego pola widzenia (UFOV)7 i zadania śledzenia wielu obiektów (MOT)8 - unikając w miarę możliwości źródeł zmienności, które są nieodłącznie związane z pomiarami online. Zadania te mogą być uruchamiane przez każdego uczestnika z połączeniem internetowym i przeglądarką zgodną z HTML5. Uczestnicy, którzy nie znają rozmiaru swojego ekranu, są przeprowadzani przez proces pomiaru z wykorzystaniem powszechnie dostępnych przedmiotów o standardowym rozmiarze (np. karty kredytowej/płyty CD – patrz Rysunek 1).

Dane dotyczące tych dwóch zadań zostały zebrane od ponad 1 700 uczestników Ogromnego Otwartego Kursu Online. Średnia wydajność tej próby online była wysoce zgodna z wynikami uzyskanymi w ściśle kontrolowanych pomiarach laboratoryjnych dokładnie tych samych zadań9,10. Nasze wyniki są zatem zgodne z rosnącą literaturą wykazującą skuteczność metod gromadzenia danych online, nawet w zadaniach wymagających szczególnej kontroli nad warunkami oglądania.

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Protokół został zatwierdzony przez instytucjonalną komisję rewizyjną na Uniwersytecie Wisconsin-Madison. Poniższe kroki zostały napisane jako przewodnik dla programistów, aby odtworzyć zautomatyzowany proces opisanej aplikacji internetowej.

1. Zaloguj się uczestnika

  1. Poinstruuj uczestnika, aby korzystał z komputera z dostępem do Internetu i przeszedł do aplikacji internetowej za pomocą przeglądarki zgodnej z HTML5: http://brainandlearning.org/jove. Niech uczestnik usiądzie w cichym pomieszczeniu wolnym od zakłóceń, z komputerem na wygodnej wysokości.
    UWAGA: Ponieważ cały eksperyment odbywa się online, zadania można również wykonywać zdalnie bez obecności asystenta naukowego. Wszystkie instrukcje dla uczestnika zawarte są w aplikacji internetowej.
  2. Poproś uczestnika o wprowadzenie unikalnego identyfikatora, który będzie powiązany z danymi zebranymi i przechowywanymi w bazie danych MySQL. Poproś uczestnika o ponowne użycie tego identyfikatora, jeśli zadania online nie zostaną wykonane w ramach tej samej sesji. Przed zalogowaniem należy uzyskać zgodę uczestnika za pośrednictwem formularza zgody, do którego link znajduje się na stronie.
    UWAGA: Postęp uczestnika jest zapisywany po każdym zadaniu, aby w razie potrzeby umożliwić wykonanie 2 zadań w oddzielnych momentach. Poinstruuj uczestnika, aby zawsze używał tego samego identyfikatora, aby zacząć od miejsca, w którym został przerwany.

2. Kalibracja ekranu

UWAGA: Aplikacja internetowa prowadzi uczestnika przez trzy kroki opisane na stronie kalibracji pod adresem: http://brainandlearning.org/jove/Calibration.

  1. Poproś uczestnika, aby w oznaczonym polu tekstowym wpisał rozmiar przekątnej ekranu w calach.
    1. Jeśli jednak uczestnik nie zna tych informacji, poproś go o znalezienie płyty CD lub karty kredytowej jako obiektu do kalibracji (Rysunek 1). Po wybraniu jednego z nich poproś uczestnika o przystawienie obiektu do ekranu i wyrównanie go z reprezentatywnym obrazem obiektu wyświetlanego na ekranie.
    2. Poproś uczestnika o dostosowanie rozmiaru obrazu na ekranie do rozmiaru obiektu fizycznego. Na podstawie pomiarów fizycznej płyty CD (o średnicy 4,7 cala) lub karty kredytowej (o szerokości 3,2 cala), a także o rozmiarze piksela reprezentatywnego obrazu, określ stosunek pikseli do cali na ekranie.
    3. Pobierz rozdzielczość monitora w pikselach za pomocą właściwości screen.width i screen.height języka JavaScript, aby następnie obliczyć rozmiar przekątnej ekranu w pikselach. Znając tę wartość i wcześniej oszacowany stosunek pikseli do cali (patrz krok 2.1.2), przelicz rozmiar przekątnej na cale. Poproś uczestnika, aby potwierdził tę wartość w oknie dialogowym.
  2. Poproś, aby uczestnik dostosował ustawienia jasności ekranu, aż wszystkie 12 pasm w czarno-białym gradiencie wyświetlanym na ekranie będzie wyraźnie rozróżnialnych. Elementy sterujące ustawieniami jasności różnią się w zależności od komputera.
  3. Poproś uczestnika, aby usiadł w wygodnej pozycji na odległość ramienia od monitora, a następnie ustaw okno przeglądarki w trybie pełnoekranowym. Okno przeglądarki musi być w trybie pełnoekranowym, aby zmaksymalizować przestrzeń wizualną wykorzystywaną przez zadania i usunąć wszelkie wizualne elementy rozpraszające, takie jak pasek narzędzi przeglądarki i paski zadań pulpitu.
  4. Znając rozdzielczość ekranu uczestnika i rozmiar przekątnej monitora, użyj aplikacji internetowej, aby automatycznie obliczyć wartość konwersji pikseli/stopni na podstawie odległości oglądania 50 cm. Zmień rozmiar wymiarów bodźców w zadaniach przy użyciu tej wartości. Wszystkie wymiary kąta widzenia podane poniżej są oparte na tej założonej średniej wartości odległości od monitora.
  5. Po zakończeniu kalibracji poproś uczestnika o wykonanie dwóch zadań opisanych poniżej. Wybierz kolejność zadań lub losowo przypisz kolejność za pomocą aplikacji internetowej.

3. Zadanie śledzenia wielu obiektów (MOT) – Rysunek 2

  1. Przedstaw uczestnika i zapoznaj go z bodźcami MOT za pomocą samouczka, który można zobaczyć pod adresem: http://brainandlearning.org/jove/MOT/practice.php. Poproś uczestnika, aby przeczytał instrukcje krok po kroku, które pokazują, jak będą przebiegać badania. Gdy uczestnik skończy czytać instrukcje, zachęć go do przejścia przez próby praktyczne.
    1. Ustaw bodźce treningowe tak, aby składały się z 8 punktów pod kątem 0,8° z prędkością ruchu 2°/s. Użyj interfejsu API HTML5 requestAnimationFrame, aby zoptymalizować animację przeglądarki z częstotliwością odświeżania 60 Hz, aby kontrolować ten ruch bodźca.
    2. Upewnij się, że kropki poruszają się w granicach okręgu o mimośrodowości 2° i okręgu nie większego niż wysokość ekranu uczestnika, bez zasłaniania instrukcji.
    3. Ustaw kropki tak, aby poruszały się po losowej trajektorii, gdzie w każdej klatce kropka ma 60% szans na zmianę kierunku pod maksymalnym kątem 0,2°. Jeśli kropka koliduje z inną kropką lub wewnętrzną lub zewnętrzną granicą promieniową, przesuń kropkę w przeciwnym kierunku.
    4. Zachęć uczestnika do śledzenia niebieskich kropek (od 1 do 2 kropek na próbę próbną), przy czym żółte kropki działają jako dystraktory.
    5. Po 2 sekundach zmień niebieskie kropki na żółte kropki i kontynuuj przesuwanie ich wśród oryginalnych żółtych kropek przez kolejne 4 sekundy. Na końcu każdej próby zatrzymaj kropki i zaznacz jedną.
    6. Zachęć uczestnika do odpowiedzi za pomocą naciśnięcia, niezależnie od tego, czy podświetlona kropka była śledzoną kropką, czy kropką rozpraszającą. Następnie poproś uczestnika, aby nacisnął spację, aby przejść do następnej próby.
    7. Po 3 kolejnych poprawnych próbach, czyli maksymalnie 6 próbach, przejdź do pełnego zadania.
  2. Rozpocznij pełne zadanie MOT dla uczestnika. Przykładowe zadanie można znaleźć pod adresem: http://brainandlearning.org/jove/MOT.
    1. Skonfiguruj pełne zadanie za pomocą 16 punktów, które poruszają się z prędkością 5°/s w przestrzeni między mimośrodem 2° a mimośrodem 10°. Jeśli na ekranie uczestnika nie mieści się okrąg o mimośrodowym kącie 10°, należy użyć maksymalnego rozmiaru, jaki może pomieścić ekran.
    2. Poproś uczestnika, aby wykonał łącznie 45 prób: mieszankę 5 prób składających się z 1 śledzonej kropki i 10 prób, z których każda składa się z 2-5 śledzonych kropek. Dopasuj wszystkie inne parametry do prób praktycznych (patrz kroki 3.1.3 - 3.1.6).
    3. Zapisz odpowiedź uczestnika i czas odpowiedzi po podświetleniu kropki.
    4. Na każde 15 prób zaproponuj uczestnikowi przerwę. W tych przerwach wyświetlaj na ekranie wyniki uczestnika (procent poprawnych prób) w bloku.

4. Przechodzenie od jednego zadania do drugiego (krok opcjonalny)

  1. Pozwól uczestnikowi zrobić przerwę między tymi dwoma zadaniami. Powtórz jednak kroki 1 i 2, jeśli zadania nie zostaną ukończone podczas tej samej sesji logowania.

5. Użyteczne zadanie pola widzenia (UFOV) – Rysunek 3

  1. Przedstaw i zapoznaj uczestnika z bodźcami UFOV poprzez samouczek, który można zobaczyć pod adresem: http://brainandlearning.org/jove/UFOV/practice.php. Poproś uczestnika, aby przeszedł przez 4 etapy instrukcji krok po kroku, które pokazują dwa bodźce docelowe, na które należy zwrócić uwagę podczas zadania.
    1. Ustaw centralny bodziec docelowy jako buźkę 1°, która na środku ekranu z długimi lub krótkimi włosami. Losowo dobieraj długość włosów uśmieszki w różnych próbach.
    2. Ustaw bodziec celu obwodowego jako gwiazdę o kącie 1°, która z mimośrodem 4° w jednym z 8 miejsc wokół okręgu (0°, 45°, 90°, 135°, 180°, 225°, 270° i 315°). Losowo wybieraj lokalizację gwiazdy w różnych próbach.
    3. Kontroluj czas trwania bodźca za pomocą liczby klatek używanych do czasu prezentacji. Zoptymalizuj odświeżanie klatek z szybkością około 17 ms na klatkę przy użyciu interfejsu API requestAnimationFrame HTML5.
    4. Aby sprawdzić, czy oczekiwany czas prezentacji został osiągnięty, użyj metody getTime() JavaScript w celu uzyskania czasu rozpoczęcia i zakończenia czasu trwania bodźca na podstawie zegara systemowego uczestnika. Oblicz zmierzony czas prezentacji na podstawie tych dwóch wartości i użyj tej wartości do analizy danych.
    5. W przypadku każdej próby próbnej odczekaj 500 ms przed wyświetleniem bodźców przez około 200 ms (około 12 klatek).
    6. Śledź prezentację bodźca za pomocą maski szumów złożonej z losowo generowanej tablicy punktowej w skali szarości przez 320 ms (około 19 klatek).
    7. W przypadku etapu 1 wyświetl tylko centralny cel, a następnie poproś uczestnika o odpowiedź za pomocą naciśnięcia, który został wyświetlony.
    8. W przypadku etapu 2 wyświetl tylko cel peryferyjny, a następnie poproś uczestnika o kliknięcie jednej z 8 linii promieniowych, reprezentujących 8 możliwych lokalizacji docelowych, aby wskazać, gdzie pojawiła się gwiazda.
    9. W etapie 3 wyświetlaj zarówno centralne, jak i peryferyjne bodźce docelowe, a następnie zachęć uczestnika do udzielenia odpowiedzi zarówno na rodzaj uśmieszki, jak i lokalizację gwiazdy.
      UWAGA: Uczestnicy mogą dowolnie wybrać kolejność tych dwóch odpowiedzi.
    10. W etapie 4 wyświetlaj oba bodźce docelowe oprócz dystraktorów obwodowych, a następnie zachęć uczestnika do reagowania na oba bodźce docelowe. W przypadku dystraktorów wyświetl kwadraty 1° przedstawione w pozostałych 7 lokalizacjach przy mimośrodzie 4°, a także 8 dodatkowych kwadratów przy mimośrodzie 2°.
    11. Po udzieleniu odpowiedzi przez uczestnika pokaż informację zwrotną uczestnika (zielony znacznik wyboru dla poprawnej odpowiedzi lub czerwony krzyżyk dla nieprawidłowej odpowiedzi) dla każdej docelowej odpowiedzi po każdej próbie.
    12. Przenieś uczestnika do następnego etapu ćwiczeń po wykonaniu 3 kolejnych poprawnych prób. Po etapie 4 przenieś uczestnika do pełnego zadania.
  2. Zachęć uczestnika do rozpoczęcia pełnego zadania UFOV. Przykładowe zadanie można znaleźć pod adresem: http://brainandlearning.org/jove/UFOV.
    1. Przedstaw ten sam bodziec centralny, co podczas sesji treningowej (patrz krok 5.1.1). Wyświetlić cel peryferyjny pod kątem mimośrodu 7° w jednym z wcześniej wymienionych 8 miejsc (patrz krok 5.1.2). 24 kwadraty dystraktora są również wyświetlane w lokalizacjach mimośrodu 3°, mimośrodu 5° i pozostałych 7° mimośrodu.
    2. Użyj procedury schodów 3-dół, 1-góra, aby określić czas prezentacji bodźców: zmniejsz czas trwania bodźców po 3 kolejnych prawidłowych próbach i zwiększ po każdej próbie błędu.
    3. Przed pierwszymi 3 odwróceniami na klatce schodowej użyj kroku o rozmiarze 2 ramek (mniej więcej co 33 ms). Po 3 odwróceniach użyj kroku o rozmiarze 1 klatki. Zmieniaj opóźnienie przed nadejściem bodźca od 1 klatki do 99 klatek na próbę i utrzymuj czas trwania maski szumów na poziomie 320 ms (około 19 klatek).
      UWAGA: Odwrócenia to punkty, w których czas trwania zmienia się ze zwiększającego się na malejący lub malejącego na rosnący.
    4. Zakończ zadanie, gdy spełniony jest jeden z trzech warunków: procedura schodowa osiąga 8 odwróceń, uczestnik wykonuje 10 kolejnych prób w czasie trwania pułapu (99 klatek) lub czasu trwania podłogi (1 klatka) lub uczestnik osiąga maksymalnie 72 próby.
    5. Rejestruj reakcję uczestnika i czas odpowiedzi zarówno na bodziec centralny, jak i bodziec obwodowy.

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Usuwanie wartości odstających

Łącznie 1,779 uczestników ukończyło zadanie UFOV. Spośród nich 32 uczestników miało progi UFOV większe niż 3 odchylenia standardowe od średniej, co sugeruje, że nie byli w stanie wykonać zadania zgodnie z instrukcją. W związku z tym, dane UFOV od tych uczestników zostały usunięte z końcowej analizy, pozostawiając w sumie 1747 uczestników.

Dane uzyskano od 1 746 uczestników do zadania MOT. Dwóch uczestników miało średnie wyniki dokładności,...

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gromadzenie danych online ma wiele zalet w porównaniu ze standardowym gromadzeniem danych laboratoryjnych. Obejmują one możliwość pobierania próbek znacznie bardziej reprezentatywnych populacji niż typowa pula studentów studiów licencjackich wykorzystywanych w tej dziedzinie, a także możliwość uzyskania znacznie większych rozmiarów próbek w czasie krótszym niż potrzeba uzyskania wielkości próby, która jest o rząd wielkości mniejsza w laboratorium1-6 (np. punkty danych zebrane od 1,700+ uczestników w o...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Prace te były wspierane przez Szwajcarską Fundację Narodową (100014_140676), Narodową Fundację Nauki (1227168) oraz Narodowy Instytut Oka Narodowych Instytutów Zdrowia (P30EY001319).

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy nie mają nic do ujawnienia.

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Komputer/tabletMusi mieć połączenie z Internetem i przeglądarkę kompatybilną z HTML5
Płyta CD lub kartaMoże nie być potrzebny, jeśli uczestnik zna już rozmiar monitora
kredytowa

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Henrich, J., Heine, S. J., Norenzayan, A. The weirdest people in the world. The Behavioral And Brain Sciences. 33, 61-135 (2010).
  2. Buhrmester, M., Kwang, T., Gosling, S. D. Amazon's Mechanical Turk: A new source of inexpensive, yet high-quality, data. Perspectives on Psychological Science. 6 (1), 3-5 (2011).
  3. Goodman, J. K., Cryder, C. E., Cheema, A. Data collection in a flat world: the strengths and weaknesses of mechanical turk samples. Journal of Behavioral Decision Making. 26 (3), 213-224 (2013).
  4. Mason, W., Suri, S. Conducting behavioral research on Amazon's Mechanical Turk. Behavior Research Methods. 44 (1), 1-23 (2012).
  5. Crump, M. J., McDonnell, J. V., Gureckis, T. M. Evaluating Amazon's Mechanical Turk as a tool for experimental behavioral research. PLoS One. 8, e57410(1371).
  6. Lupyan, G. The difficulties of executing simple algorithms: why brains make mistakes computers don't. Cognition. 129, 615-636 (2013).
  7. Ball, K., Owsley, C. The useful field of view test: a new technique for evaluating age-related declines in visual function. J Am Optom Assoc. 64 (1), 71-79 (1993).
  8. Pylyshyn, Z. W., Storm, R. W. Tracking multiple independent targets: Evidence for a parallel tracking mechanism. Spatial Vision. 3 (3), 179-197 (1988).
  9. Dye, M. W. G., Bavelier, D. Differential development of visual attention skills in school-age children. Vision Research. 50 (4), 452-459 (2010).
  10. Green, C. S., Bavelier, D. Enumeration versus multiple object tracking: The case of action video game players. Cognition. 101 (1), 217-245 (2006).
  11. Chapter 1. Kodak Company. Ergonomics Design Philosophy. Kodak’s Ergonomic Design for People at Work. Chengalur, S. N., Rodgers, S. H., Bernard, T. E. , 2nd Edition, John Wiley & Sons, Inc. Hoboken, NJ. (2004).
  12. Elze, T., Bex, P. P1-7: Modern display technology in vision science: Assessment of OLED and LCD monitors for visual experiments. i-Perception. 3 (9), 621(2012).
  13. Elze, T., Tanner, T. G. Temporal Properties of Liquid Crystal Displays: Implications for Vision Science Experiments. PLoS One. 7 (9), e44048(2012).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Visual Attention TestsOnline Data CollectionScreen CalibrationMultiple Object TrackingUseful Field Of ViewStimulus Timing ControlWeb Based ExperimentsParticipant ScreeningData Consistency AnalysisBrowser Animation Optimization

Related Articles