Prezentujemy wykrywanie, akwizycję i analizę wskaźników mrugania oczami podczas oglądania treści multimedialnych.
Artykuł metodologiczny
Prezentujemy wykrywanie, akwizycję i analizę wskaźników mrugania oczami podczas oglądania treści multimedialnych.
Ten artykuł omawia metodę wykrywania różnic w percepcji wzrokowej u ludzi. Zastosowana metoda opiera się na psychologicznej (lub "poznawczej") funkcji mrugania oczami. Mrugnięcia oczu uczestników są wykrywane i rejestrowane podczas oglądania filmów stworzonych specjalnie na potrzeby dochodzenia. Wykrywanie i akwizycja mrugnięć odbywa się za pomocą 20-kanałowego bezprzewodowego urządzenia elektroencefalograficznego (EEG). Przestrzegany jest międzynarodowy system 10-20 do umieszczania elektrod. Kamera wideo o wysokiej rozdzielczości (HD) służy do rejestrowania mimiki twarzy uczestników w celu uzyskania kontrastu. Zamiast korzystać z wcześniej istniejących treści medialnych, stworzono specjalnie przygotowane treści wideo zgodnie z określonymi kryteriami zainteresowania dla tego badania, z bodźcami umożliwiającymi badaczom zarządzanie precyzyjnymi parametrami zainteresowania. W przeciwnym razie wyniki mogą być zanieczyszczone niekontrolowanymi zmiennymi. Synchronizacja prezentacji bodźców wideo z zapisami EEG musi odbywać się w milisekundach. Analiza zebranych danych odbywa się za pomocą solidnego oprogramowania do pracy z dużymi macierzami. Stwierdzono statystycznie istotne różnice w częstości mrugania oczami związane z profesjonalizacją mediów i stylem edycji w raportowanych procedurach eksperymentalnych.
Cel tej metody
Ta metoda proponuje podwójny protokół do wykrywania mrugnięć oczami. Celem jest analiza wizualnej percepcji treści medialnych przez widzów, stworzonych specjalnie na potrzeby tego badania, za pomocą zapisów EEG i systemów rejestracji wideo HD.
Uzasadnienie rozwoju i/lub użycia tej metody
Każde mrugnięcie oka ukrywa przepływ wizualny przez 150-400 ms1,2. Mruganie ma funkcje fizjologiczne3,4,5 i psychological6,7. Związek między uwagą a częstością mrugania oczami został zbadany i udowodniony w różnych badaniach8. Wyższy poziom uwagi zmniejsza częstość mrugania oczami, a zgodnie z wcześniejszymi badaniami, ludzie mają wspólny mechanizm kontrolowania czasu mrugnięć, który szuka najlepszego momentu, aby uniknąć utraty ważnych informacji wizualnych9. W ten sposób analiza mrugania oczami widzów podczas oglądania ekranów może dostarczyć informacji na temat poziomu uwagi poświęcanej treściom multimedialnym.
Jedną z metod wykrywania spontanicznego mrugania oczami jest użycie elektrod EEG do rejestrowania aktywności elektrycznej. Mruganie oczu można łatwo wykryć za pomocą elektrod przedczołowych i elektrookulogramowych podłączonych do systemu rejestracji EEG. W większości analiz EEG mrugnięcia oczu są uważane za artefakty. Z tego powodu wiele pakietów oprogramowania przeznaczonych do analizy danych EEG ma detektory mrugnięć10. Zaletą wykorzystania EEG do wykrywania mrugnięć oczami jest wysoka rozdzielczość czasowa (rzędu milisekund) oraz możliwość rejestrowania efektów mózgowych różnych narracji i cięć w filmach zsynchronizowanych z tymi mrugnięciami - kwestia otwarta na dalsze badania. Nagrywanie twarzy uczestników za pomocą kamery HD może być również przydatne do celów dopasowania/kontrastu9.
Zalety metod alternatywnych z odniesieniami do odpowiednich badań
Istnieje wiele metod liczenia mrugnięć oczami. Niektóre dedykowane przyrządy do wykrywania mrugnięć to cewki magnetyczne, wiązki światła podczerwonego (IR), optoelektroniczne detektory ruchu z analizą ruchu gałek ocznych, takie jak techniki śledzenia ruchu gałek ocznych, oraz kilka technik opartych na sygnałach bioelektrycznych, np. elektrookulografia (EOG), elektromiografia (EMG) i EEG. Inną, bardziej dokładną, ale czasochłonną opcją jest ręczne liczenie mrugnięć z nagrania wideo klatka po klatce11. Dzisiejsze technologie można ogólnie podzielić na dwie grupy: a) nagrywanie bezdotykowe, które obejmuje dwie modalności, bezpośrednie wykrywanie mrugania za pomocą widzenia komputerowego i wykrywanie mrugania offline za pomocą śledzenia wzroku oraz b) rejestrowanie oparte na kontakcie z wykorzystaniem sygnałów biologicznych za pośrednictwem urządzeń EOG i EEG12,13.
System śledzenia ruchu gałek ocznych jest szeroko stosowaną technologią, począwszy od tradycyjnych pasywnych projektów opartych na obrazie, a skończywszy na aktywnych metodach opartych na bliskiej podczerwieni, stosowanych obecnie głównie z kamerami o wysokiej rozdzielczości. Ten ostatni wykorzystuje właściwości odblaskowe źrenicy w świetle podczerwonym14. Koncepcją leżącą u podstaw nowoczesnych metod śledzenia ruchu gałek ocznych jest odbicie rogówki w ośrodku źrenicy (PCCR), które polega na tym, że kamera śledzi środek źrenicy, gdzie światło odbija się od rogówki. Brakuje jednak algorytmów wykrywania mrugania opublikowanych dla protokołów śledzenia ruchu gałek ocznych. Co więcej, chociaż różne modele śledzenia ruchu gałek ocznych dostępne na rynku zapewniają zintegrowane oprogramowanie z wykrywaniem mrugnięć, kod źródłowy nie zawsze jest dostarczany przez producentów, co utrudnia modyfikację lub poznanie sposobu działania algorytmów12. Ponadto podczas eksperymentów ze śledzeniem ruchu gałek ocznych występują zdarzenia, które powodują utratę danych, takie jak opóźnienia śledzenia i znaczne ruchy głowy lub wzroku. Obszar oczu jest bardzo mały w ujęciach wideo, co stanowi problem przy obliczaniu czasu trwania mrugnięcia, a czasami wprowadza różne rodzaje artefaktów15.
W tym eksperymencie używane są metody EEG i EOG. EEG nie jest zwykle używane samodzielnie do wykrywania mrugnięć. Jednak analiza mrugnięć zarejestrowanych za pomocą elektrod EEG jest standardową procedurą badania przemieszczeń powiek. Procedura ta umożliwia naukowcom uzyskanie informacji o tym, kiedy dokładnie ma miejsce mrugnięcie oczami. Najczęstszym wzorcem sygnału do wykrywania mrugnięć są punkty szczytowe, reprezentujące reakcje ruchu pionowego. Istnieje kilka algorytmów wykrywania pików mających zastosowanie do surowych sygnałów EEG, w dziedzinie czasu lub w dziedzinie częstotliwości. Procesy związane z identyfikacją pików to wykrywanie pików, wyodrębnianie cech i klasyfikacja. Mruganie oczami ma znaczący wpływ na czołowe kanały sygnału EEG. Zazwyczaj mrugnięcia oczu są wykrywane w EEG za pomocą wcześniej określonego progu amplitudy16. Algorytmy w oprogramowaniu analitycznym użytym w tym eksperymencie opierają się na odchyleniu standardowym sygnałów i średniej kwadratowej (RMS) wstępnie przefiltrowanego sygnału EEG; Są one open source i dostępne dla społeczności naukowej17. Jednak niektóre ruchy gałek ocznych, które nie obejmują mrugania oczami, mogą wywoływać aktywność elektryczną, która może być myląca. Z tego powodu druga metoda - nagrywanie twarzy widzów za pomocą kamery wideo HD - pozwala naukowcom dopasować mrugnięcia oczami poprzez ich ręczne zliczanie. Dzięki takiej podwójnej metodzie badacz uzyskuje matrycę mrugnięć, które można łatwo przeanalizować za pomocą narzędzi statystycznych.
Dlatego proponowana metoda przeprowadza triangulację danych z dwoma różnymi źródłami w celu sprawdzenia wykrytych mrugnięć oczami. Ta metoda opiera się na wskazaniach Nakano et al. 9 w celu potwierdzenia. Jednocześnie umożliwia naukowcom gromadzenie informacji o aktywności mózgu i paśmie częstotliwości w celu dalszej analizy. Opisany tutaj eksperyment jest częścią szerszego przyszłego badania nad wpływem cięć w stylu edycji na potyliczne i przedczołowe obszary mózgu.
Określ, czy metoda jest odpowiednia dla śledztwa
Ten eksperymentalny protokół umożliwia badanie mrugnięć oczami widzów podczas oglądania treści wideo w trzech warunkach eksperymentalnych. Po pierwsze, częstotliwość mrugania jest wykrywana za pomocą dwóch uzupełniających się technik: EEG i nagranych filmów HD. Tutaj używamy bezprzewodowego EEG z 20 kanałami. Po drugie, tworzone są specyficzne bodźce dostosowane do eksperymentu, dzięki czemu badacz może zarządzać wszystkimi zmiennymi treści wizualnej. Tutaj powstały trzy filmy z tą samą narracją, ale innym stylem montażu wideo. Narracja składała się z mężczyzny, który wszedł do pokoju, usiadł przy biurku, żonglował trzema piłeczkami, otworzył laptopa, wyszukał informacje w książkach, napisał coś na laptopie, zamknął go, zjadł jabłko, spojrzał prosto w kamerę i wyszedł z pokoju. Każdy z trzech bodźców wideo trwa 198 sekund. Pierwszym z nich był film jednorazowy; drugi został zmontowany zgodnie z klasycznymi zasadami w stylu hollywoodzkim z 33 różnymi ujęciami; a trzeci został zmontowany zgodnie z zasadami w stylu MTV z 79 ujęciami. Przedstawiono również czwarty bodziec, w którym narracja była identyczna, ale format był realną reprezentacją z aktorem, a nie wideo. Ten czwarty bodziec niezwiązany z filmem nie został wykorzystany we wstępnym badaniu różnic w stylu edycji, ale został wykorzystany w innym badaniu w celu porównania różnic w częstotliwości mrugania oczami między rzeczywistą reprezentacją a mediami przesiewowymi8. Po trzecie, różne grupy uczestników są wybierane w zależności od ich wcześniejszej wiedzy specjalistycznej w zakresie wizualnej analizy filmów. Celem jest określenie różnic w częstości mrugania oczami w grupach badanych oglądających te same bodźce wzrokowe. W tym przypadku w śledztwie wzięło udział 40 osób. Połowę z nich stanowili pracownicy mediów (16 mężczyzn i 4 kobiety; wiek 30-56 lat, średnia wieku 44,15 ±7,15 lat), a resztę osoby niezwiązane z mediami (15 mężczyzn i 5 kobiet; wiek 28-56 lat, średnia wieku 43,25 ± 8,59 lat). Profesjonaliści z branży mediów zostali wybrani na podstawie kryterium ponad 6-letniego doświadczenia w podejmowaniu decyzji związanych z montażem mediów w swojej codziennej pracy.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Wszystkie opisane tutaj metody zostały zatwierdzone przez Komisję Etyki ds. Badań ze Zwierzętami i Ludźmi (CEEAH) Universitat Autònoma de Barcelona.
1. Tworzenie i prezentacja bodźców wizualnych
2. Wybór uczestników
3. Przygotowanie do konfiguracji
4. Akwizycja danych
5. Sesja posteksperymentalna
6. Analiza danych
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Korzystając z przedstawionej tutaj procedury, przeanalizowano częstość mrugania oczami 40 uczestników podczas oglądania trzech różnych filmów wideo. Na potrzeby analizy porównawczej profesjonalizacji mediów połowa uczestników to profesjonaliści z branży medialnej. Zostali oni wybrani w oparciu o kryterium minimum 6-letniego doświadczenia zawodowego w podejmowaniu decyzji związanych z montażem medialnym i cięciami audiowizualnymi. Na potrzeby analizy porównawczej stylów montażu, trzy bodźc...
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Opisano tutaj metodę analizy wizualnej percepcji treści medialnych za pomocą specjalnie zaprojektowanego tworzenia wideo. W wielu innych badaniach podjęto próbę przeanalizowania percepcji treści medialnych w kontekstach narracyjnych z istniejącymi wcześniej filmami. Obecna metoda zakłada tworzenie treści wizualnych o konstrukcji narracyjnej zgodnej z kryteriami zainteresowania i opiera się na sugestii, że częstotliwość mrugania jest związana z uwagą widza9. Z tego powodu badanie wykrywa mruganie o...
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Autorzy nie mają nic do ujawnienia.
Niniejsze badanie zostało wsparte przez hiszpańskie Ministerstwo Gospodarki i Konkurencyjności (BFU2014-56692-R i BFU2017-82375-R) granty.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| Aparat EEG | Neurolectrics | Enobio 20 System EEG/EMG | |
| Elektrody Ag/AgCl | Neuroelektryka | [NE022b] GelTrode | |
| Oprogramowanie do rejestracji EEG | Neuroelektryka | NicOprogramowanie offline | |
| Kamera wideo HD, | Sony Corporation | Sony HDR-GW55VE | |
| Strzykawka | Monoject | Monoject 412, strzykawka z zakrzywioną końcówką, 50 / pudełko | |
| Elektroda soli Żel EMG | Signa-Gel | X32-204: Signa Gel | |
| Oprogramowanie do prezentacji bodźców wizualnych | Paradygmat Prezentacja bodźców | System badań percepcji Włączona | |
| analiza | oprogramowania EEGCentre National de la Recherche Scientifique i Montreal Neurological Institute | Brainstorm3 | |
| Analiza oprogramowania EEG | The MathWorks Inc. | Telewizor MATLAB 2013b | |
| do prezentacji wideo | Panasonic Corporation | PanasonicTH- 42PZ70EA - 50-calowy | |
| komputer do prezentacji bodźców | MacBook Air | Rok 2013, z systemem Mac OSX Mountain Lion | |
| PC do nagrywania bodźców | MacBook | Rok 2009 z systemem Windows 7 | Z partycją bootcamp dysku w celu zapewnienia analizy statystycznej systemu operacyjnego Windows |
| Systat Software Inc. | Sigmaplot 11.0 |
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE
Poproś o pozwolenie