Ocena wielu wymiarów zaangażowania w celu scharakteryzowania uczenia się: perspektywa neurofizjologiczna

Summary

Ten artykuł ma na celu opisanie technik związanych z gromadzeniem i synchronizacją wielu wymiarów (behawioralnego, afektywnego i poznawczego) zaangażowania uczniów podczas zadania.

Abstract

W niedawnej syntezie teoretycznej na temat pojęcia zaangażowania, Fredricks, Blumenfeld i Paris¹ zdefiniowali zaangażowanie poprzez jego wieloraki wymiar: behawioralny, emocjonalny i poznawczy. Zaobserwowali, że poszczególne rodzaje zaangażowania nie były badane łącznie i niewiele było dostępnych informacji na temat interakcji lub synergii między wymiarami; W związku z tym więcej badań przyczyniłoby się do stworzenia precyzyjnie dostosowanych interwencji dydaktycznych. Korzystając z najnowszych osiągnięć technologicznych w dziedzinie neuronauki, w artykule przedstawiono niedawno opracowaną metodologię gromadzenia i synchronizowania danych na temat wielowymiarowego zaangażowania podczas zadań edukacyjnych. Technika ta polega na zbieraniu (a) danych elektroencefalograficznych, (b) elektrodermalnych, (c) danych dotyczących śledzenia ruchu gałek ocznych i (d) rozpoznawania emocji twarzy na czterech różnych komputerach. Prowadziło to do problemów z synchronizacją danych zebranych z wielu źródeł. Synchronizacja po zakończeniu w specjalistycznym oprogramowaniu integracyjnym pozwala badaczom lepiej zrozumieć dynamikę między wieloma wymiarami zaangażowania. Dla twórców programów nauczania dane te mogą dostarczyć świadomych wskazówek dotyczących osiągania lepszej efektywności nauczania/uczenia się. Technika ta otwiera również możliwości w dziedzinie interakcji mózg-komputer, w których można opracować adaptacyjne środowiska uczenia się lub oceny.

Introduction

Zaangażowanie odgrywa kluczową rolę w uczeniu się. Dla Clarka i Mayera² "każda nauka wymaga zaangażowania", niezależnie od mediów, które są dostarczane. Zhang i wsp. ³ zasugerowało również, że zwiększone zaangażowanie uczniów może poprawić wyniki uczenia się, takie jak rozwiązywanie problemów i umiejętności krytycznego myślenia. Zdefiniowanie zaangażowania pozostaje wyzwaniem. W swoim przeglądzie literatury Fredricks, Blumenfeld i Paris¹ zdefiniowali zaangażowanie jako jego wieloaspektowy charakter: "Zaangażowanie behawioralne czerpie z idei partycypacji; Obejmuje to zaangażowanie w zajęcia akademickie i społeczne lub pozalekcyjne. (…) Zaangażowanie emocjonalne obejmuje pozytywne i negatywne reakcje na nauczycieli, kolegów z klasy, nauczycieli akademickich i szkołę i zakłada się, że tworzy więzi z obiektem i wpływa na chęć wykonania pracy. Wreszcie, zaangażowanie poznawcze czerpie z idei inwestycji umysłowej; Łączy w sobie rozwagę i gotowość do podjęcia wysiłku niezbędnego do zrozumienia złożonych idei i opanowania trudnych umiejętności".

Fredricks, Blumenfeld i Paris¹ również stwierdzili, że skupienie się na zachowaniu, emocjach i poznaniu, w ramach koncepcji zaangażowania, może dostarczyć bogatszej charakterystyki uczenia się. Autorzy ci zwrócili uwagę, że obszerny zbiór badań dotyczy każdego komponentu zaangażowania z osobna, ale komponenty te nie były badane łącznie. Zauważyli również, że dostępnych jest niewiele informacji na temat interakcji między tymi wymiarami i że więcej badań może przyczynić się do zaplanowania precyzyjnie dostosowanych interwencji dydaktycznych. Jako krok w tym kierunku, niniejszy artykuł opisuje metodologię badawczą, która została opracowana w celu synchronicznego gromadzenia i analizowania danych ilościowych i jakościowych dotyczących behawioralnego, emocjonalnego i poznawczego zaangażowania podczas zadań edukacyjnych.

Wprowadzenie neuronauk do edukacji

Zachowanie, a co za tym idzie zaangażowanie behawioralne, od dawna jest głównym celem badań w edukacji: projekty badawcze koncentrowały się głównie na zmianach w wiedzy i zachowaniu zachodzących w długich okresach czasu, między testami wstępnymi i końcowymi, oraz w odstępach godzin, tygodni, miesięcy lub lat. Rozróżnienie między zaangażowaniem behawioralnym, emocjonalnym i poznawczym pozostaje wyzwaniem, ponieważ dwa ostatnie wymiary nie są systematycznie obserwowane na zewnątrz. Poznanie i emocje muszą być albo wywnioskowane z obserwacji, albo ocenione za pomocą miar samoopisowych. Z zewnętrznego punktu widzenia trudno jest określić, czy uczniowie starają się wykonać swoją pracę tak szybko, jak to możliwe, czy też stosują strategie uczenia się na poziomie głębokim, aby opanować określoną treść. W rzeczywistości Fredricks, Blumenfeld i Paris¹ nie byli w stanie znaleźć żadnych opublikowanych badań wykorzystujących bezpośrednie, obiektywne miary zaangażowania poznawczego.

Ostatnie osiągnięcia technologiczne w dziedzinie neuronauk stworzyły nowe możliwości dla badań w edukacji. Nowe metody zbierania danych i algorytmy analizy opracowane w dziedzinie neuroergonomiiwydają się bardzo obiecujące dla badań jakościowych i ilościowych podczas zadań edukacyjnych. Inne dyscypliny, takie jak ekonomia, psychologia, marketing i ergonomia, od^{pewnego czasu wykorzystują} pomiary neurofizjologiczne do oceny zaangażowania poznawczego. Pomiary neurofizjologiczne w połączeniu ze skutecznymi algorytmami analizy pozwalają badać zjawisko bez jego zakłócania. Ze względu na swój charakter, kwestionariusze samoopisowe odciągają uczniów od nauki. Pomiary neurofizjologiczne pozwalają na prowadzenie projektów badawczych w bardziej autentycznych środowiskach uczenia się. Narzędzia te obejmują sprzęt do monitorowania tętna, częstości oddechów, ciśnienia krwi, temperatury ciała, średnicy źrenicy, aktywności elektrodermalnej, elektroencefalografii (EEG) itp.

Gromadzenie zsynchronizowanych danych na temat behawioralnego, emocjonalnego i poznawczego zaangażowania.

Jako reprezentatywne wyniki po zastosowaniu tego protokołu, ten artykuł przedstawi częściowe wyniki badania, w którym uczniowie musieli rozwiązać, na ekranie komputera, dziesięć problemów z fizyki mechanicznej. Problemy te zostały rozwinięte w poprzedniej pracy⁹. Dane neurofizjologiczne zostały zebrane, gdy uczniowie rozwiązywali problemy i relaksowali się podczas 45-sekundowej przerwy, z zamkniętymi oczami, po każdym zadaniu.

Jak wspomniano powyżej, dane dotyczące zaangażowania behawioralnego składają się z interakcji oprogramowania (ruchy myszką i kliknięcia), spojrzenia w oczy, wydajności i odpowiedzi na pytania zadawane przez ucznia wchodzącego w interakcję z systemem podczas wykonywania zadania¹. System śledzenia ruchu gałek ocznych wykorzystano do zbierania danych o interakcjach z oprogramowaniem i spojrzeniach oczu. Dane dotyczące wydajności (czas na rozwiązanie problemu, poprawność odpowiedzi) zostały zebrane na stronie internetowej z ankietą, która posłużyła do prezentacji zadania. Ta strona internetowa została również wykorzystana do zebrania danych samoopisowych zebranych za pomocą kwestionariusza zaadaptowanego z Bradley i Lang¹⁰. Zaangażowanie emocjonalne polega na charakterystyce emocji. Według Langa¹¹ emocje są charakteryzowane pod względem walencji (przyjemne/nieprzyjemne) i pobudzenia (spokojne/pobudzone). Dane dotyczące zaangażowania emocjonalnego zostały odpowiednio zebrane przy użyciu oprogramowania do automatycznego rozpoznawania emocji twarzy, które określa ilościowo wartościowość emocjonalną oraz kodera/czujnika aktywności elektrodermalnej dla pobudzenia^12,13. Aktywność elektrodermalna (EDA) odnosi się do zarejestrowanej rezystancji elektrycznej między dwiema elektrodami, gdy bardzo słaby prąd elektryczny jest stale przepływający między nimi. Cacioppo, Tassinary i Berntson¹⁴ wykazali, że zarejestrowany opór zmienia się w zależności od pobudzenia badanego. Tak więc dane psychofizjologiczne, takie jak wartościowość lub pobudzenie, są uważane za korelaty zaangażowania emocjonalnego.

Na koniec, dane o zaangażowaniu poznawczym są zbierane za pomocą elektroencefalografii (EEG). EEG mierzy na skórze głowy zsynchronizowaną aktywność elektryczną grup neuronów w mózgu. Sygnały elektryczne rejestrowane ze skóry głowy są często oscylacyjne i składają się ze składowych częstotliwości. Zgodnie z konwencją częstotliwości te są pogrupowane w sekwencje, znane jako pasma. Na przykład w tym badaniu skupiają się pasma alfa, beta i theta. Według badań neurobiologicznych¹⁴ pasma te odzwierciedlają różne zdolności przetwarzania poznawczego w określonych obszarach mózgu. Tak więc analiza gęstości widmowej mocy (PSD) o określonych częstotliwościach, w połączeniu z licznymi badaniami^7,15 dotyczącymi czujności i uwagi, pozwala naukowcom na ilościowe określenie zaangażowania poznawczego podczas zadania. Jak Mikulka i wsp. ¹⁶ Zauważono, że badania wykazały bezpośredni związek między aktywnością beta a czujnością poznawczą oraz pośredni związek między aktywnością alfa i theta a czujnością. W ten sposób Pope, Bogart i Bartoleme⁷ opracowali indeks zaangażowania, który oblicza PSD dla trzech pasm: beta / (alfa + theta). Stosunek ten został potwierdzony w innych badaniach dotyczących zaangażowania^16,17,18. Aby scharakteryzować zaangażowanie poznawcze w czasie, szybka transformata Fouriera (FFT) przekształca sygnał EEG z każdego miejsca aktywnego (F3, F4, O1, O2) na widmo mocy. Wskaźnik zaangażowania EEG w czasie T jest obliczany na podstawie średniej każdego współczynnika zaangażowania w ciągu 20-sekundowego okna przesuwnego poprzedzającego czas T. Ta procedura jest powtarzana co sekundę, a do aktualizacji indeksu używane jest nowe okno przesuwne.

Ponieważ celem tej metodologii jest dostarczenie bogatej analizy wielu wymiarów zaangażowania, synchronizacja danych jest kluczowa. Jak Leger i wsp.¹⁹ Przypominaj czytelnikom, że producenci sprzętu zdecydowanie zalecają używanie tylko jednego komputera na narzędzie pomiarowe, aby zagwarantować określony poziom precyzji. Tak więc, gdy używanych jest wiele komputerów, synchronizacja między komputerami nagrywającymi staje się krytycznym krokiem. Zapisy nie mogą być rozpoczęte dokładnie w tym samym czasie, a każdy strumień danych ma swoje określone ramy czasowe (np. s 0 śledzenia wzroku ≠ s 0 EEG lub danych fizjologicznych). Jest to niezwykle ważne: desynchronizacja między strumieniami danych oznacza błędy w kwantyfikacji każdego wymiaru zaangażowania. Istnieją różne sposoby synchronizacji jednoczesnych nagrań fizjologicznych i behawioralnych. Metody te można podzielić na dwa główne podejścia; bezpośrednie i pośrednie²⁰. Protokół przedstawiony w następnej sekcji opiera się na podejściu pośrednim, w którym urządzenie zewnętrzne, syncbox, jest używane do wysyłania sygnałów logiki tranzystor-tranzystor (TTL) do wszystkich urządzeń rejestrujących (jak pokazano na rysunku 1). Ponieważ każde urządzenie ma inny czas rozpoczęcia, znaczniki TTL są rejestrowane w plikach dziennika ze względnym opóźnieniem. Znaczniki są następnie używane do wyrównania sygnałów, a tym samym zapewnienia prawidłowej synchronizacji po każdym nagraniu. Program do analizy behawioralnej, który umożliwia integrację plików zewnętrznych, służy do ponownej synchronizacji osi czasu każdego strumienia danych oraz do przeprowadzania analizy ilościowej i jakościowej każdego wymiaru zaangażowania.

Rysunek 1. Architektura systemu gromadzenia danych. Środowisko laboratoryjne, w którym zbierane są dane behawioralne (śledzenie ruchu gałek ocznych), emocjonalne (EDA i emocje twarzy) i poznawcze (EEG), zawiera wiele komputerów. Stwarza to wyzwanie związane z synchronizacją danych, do których odwołują się odpowiednie zegary komputerów. Aby móc analizować wszystkie dane w tym samym czasie referencyjnym, konfiguracja laboratorium obejmuje syncbox, który wysyła sygnały TTL do wszystkich strumieni danych. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Aby ocenić precyzję metodologii pod względem synchronizacji, wprowadzono 45-sekundowe przerwy przed każdym z problemów fizyki mechanicznej. Podczas tych przerw badani musieli się zrelaksować i zamknąć oczy. Jak zaobserwowano w innych badaniach^4,9,16,17,18, przerwy te powinny wywołać znaczne zmiany w zebranym sygnale: dwie kropki źrenicy oka w śledzeniu ruchu gałek ocznych natychmiast znikają (zaangażowanie behawioralne) i obserwuje się natychmiastowy spadek zaangażowania poznawczego (sygnał EEG). Te konkretne składniki sygnału są używane do oceny ogólnej ważności synchronizacji. Niedawna publikacja artykułów, które w całości lub częściowo opierają się na tej procedurze synchronizacji, w dziedzinie systemów informatycznych¹⁹, interakcji człowiek-maszyna²¹ i edukacji^{9, 22}, dostarcza dowodów na jej skuteczność.

Protocol

Ten protokół otrzymał certyfikat etyczny od Comité institutionnel de la recherche avec des êtres humains (CIER) de l'Université du Québec à Montréal (UQAM), który został zatwierdzony przez HEC-Montreal dla ośrodka badawczego Tech3Lab. Protokół opisuje każdy z konkretnych kroków, które są wykonywane w naszym środowisku laboratoryjnym i sprzęcie. Chociaż w celu wyjaśnienia metodologii zapewniono precyzyjne ścieżki oprogramowania, technika ta jest możliwa do przeniesienia i może być powielana z innymi zastrzeżonymi urządzeniami i oprogramowaniem do śledzenia ruchu gałek ocznych, automatycznego rozpoznawania emocji twarzy, aktywności elektrodermalnej oraz elektroencefalografii.

1. Konfiguracja środowiska laboratoryjnego

1. Włącz eye-tracker, wzmacniacz EEG, cztery komputery nagrywające i głośniki.
2. Przygotować konfigurację urządzenia rejestrującego:
   1. Przygotuj konfigurację EEG z wymaganym materiałem zgodnie z procedurami zalecanymi przez producenta. Przygotuj oprogramowanie EEG dla przyszłego uczestnika. Uruchom oprogramowanie do śledzenia ruchu gałek ocznych i utwórz nowy profil uczestnika w oprogramowaniu. Uruchom oprogramowanie do nagrywania wideo i kamery.
   2. Uruchom oprogramowanie do synchronizacji z określonym podprogramem utworzonym dla projektu ze znacznikami po 60 sekundach. Uruchom oprogramowanie do pomiaru fizjologicznego (do rejestrowania aktywności elektrodermalnej) i otwórz określony układ utworzony dla projektu. Dostosuj krzesło uczestnika do najwyższego poziomu.

2. Przygotowanie uczestników

1. Poproś uczestnika o przeczytanie i podpisanie formularza zgody etycznej.
2. Wykonaj pomiary czaszki do EEG:
   1. Znajdź lokalizację Cz na głowie uczestnika (według 10 - 20 systemów odniesienia). Zanurz siatkę EEG w roztworze soli fizjologicznej (chlorek potasu) (patrz krok 1.2.1) i uruchom minutnik (10 min) zgodnie z normami producenta.
3. Przeczytaj uczestnikowi cel badania i etapy eksperymentu: "Celem tego badania jest obserwacja aktywności mózgu podczas rozwiązywania problemów fizycznych. Najpierw zainstalujemy czujniki, a następnie zostaniesz poproszony o rozwiązanie 10 problemów z fizyki newtonowskiej na komputerze. Poprosimy Cię o zrobienie 45-sekundowej przerwy po każdym problemie z zamkniętymi oczami. Po każdym problemie zostaniesz poproszony o ocenę swojej oceny problemu".
4. Powiedz osobie badanej, że całkowity czas trwania eksperymentu wyniesie 90 minut.
5. Zamontuj czujniki fizjologiczne, zgodnie z zaleceniami producenta: dwa żelowane czujniki na górze lewej ręki.
6. Zamontuj nasadkę EEG, zgodnie z zaleceniami producenta i wykonaj kontrolę impedancji przy progu 40 kΩ (zgodnie ze specyfikacją producenta).

3. Zbieranie danych

1. Upewnij się, że całe oprogramowanie do nagrywania jest gotowe do uruchomienia w synchronizacji:
   1. Fizjologia (dane EDA): Kliknij przycisk "start".
   2. Nagrywanie wideo: Kliknij przycisk "otwórz".
   3. Śledzenie ruchu gałek ocznych: Kliknij przycisk "on hold".
   4. EEG: Kliknij przycisk "nagraj".
   5. Oprogramowanie do synchronizacji: Kliknij przycisk "zielone kółko".
2. Kalibracja wzroku:
   1. Wykonaj pięciopunktową kalibrację na ekranie i obserwuj uczestnika, gdy podąża za czerwonymi kropkami (kliknij "Narzędzia/Ustawienia/Kalibracja..."). Powtarzaj tę procedurę, aż zostanie osiągnięta wystarczająca dokładność, zgodnie ze standardami producenta.
3. Wyświetlaj instrukcje dotyczące zadań na ekranie uczestnika: zapytaj, czy po ich przeczytaniu ma jakieś pytania i czy jest gotowy do rozpoczęcia eksperymentu.
4. Poproś uczestnika, aby rozwiązał 10 problemów z fizyki newtonowskiej.
5. W razie potrzeby wykonaj kontrolę impedancji podczas jednej z przerw 45 s (nie przed problemem 5).
6. Upewnij się, że uczestnik zrobi pełną 45-sekundową przerwę przed każdym zadaniem (w celu określenia punktu odniesienia).

4. Koniec zbierania danych

1. Zatrzymaj gromadzenie danych na wszystkich komputerach i usuń czujniki z uczestnika.

5. Po opuszczeniu przez uczestnika

1. Wyczyść czepek EEG środkiem bakteriobójczym i uporządkuj sprzęt zgodnie z zaleceniami producenta. Zapisz wszystkie zebrane pliki danych i utwórz kopię zapasową na serwerze FTP.
2. Wypełnij arkusz kalkulacyjny uczestnika: zanotuj każde konkretne zdarzenie lub problem podczas zbierania danych. Usuń wszystkie pliki cookie z przeglądarki internetowej.

6. Wstępne przetwarzanie danych i eksport do oprogramowania integracyjnego

1. Eeg
   1. Importuj dane EEG do oprogramowania do analizy danych EEG:
      1. Utwórz trzy puste foldery na komputerze o nazwach "Surowe dane", "Historia" i "Eksport", aby wkleić surowe dane EEG do nowo utworzonego pliku surowych danych.
      2. W oprogramowaniu do analizy danych EEG kliknij "Plik/Nowy projekt..." i wybierz lokalizację surowych danych, klikając Przeglądaj, a następnie wybierając nowo utworzony plik surowych danych. W ten sam sposób wybierz lokalizację folderów "Historia" i "Eksportuj".
      3. Kliknij "OK". (Okienko powinno zawierać wszystkie dane EEG uczestnika).
   2. Wstępnie przetwórz sygnał mózgowy:
      1. Zastosuj filtr i wycięcie (kliknij "Transformacje/Filtry IIR..."). W oknie włącz dolne odcięcie przy 1,5 Hz o nachyleniu 12 dB i wysokie odcięcie przy 50 Hz o nachyleniu 12 dB. Włącz również wycięcie na częstotliwości 60 Hz.
      2. Ponieważ używany jest wzmacniacz prądu stałego, DC detrenduje sygnał (kliknij "Transformacje/Detrendy DC..." i włącz "na podstawie czasu" na 100 ms przed znacznikiem i 100 ms przed podłączeniem DC).
      3. Wykonaj inspekcję nieprzetworzonych danych (kliknij "Transformacja/Inspekcja surowych danych..." i wybierz półautomatyczne usuwanie artefaktów). Wybierz następujące opcje: maksymalne napięcie 60 μV/ms; Max-min: 200 μV w przedziale 200 ms; amplituda: od -400 do +400 μV).
      4. Wykonaj automatyczne ICA z klasycznym spheringiem w celu usunięcia mrugnięcia oczami (artefakty miograficzne nie muszą być usuwane, ponieważ ich zakres wykracza poza interesujące Cię częstotliwości). (Kliknij "Transformacje/ICA...". Na końcu ICA przetworzyć odwrotną ICA).
      5. Ponownie odwołaj ("Transformacje/Re-re-reference...") sygnału i wybierz "common average".
      6. Eksportuj (kliknij "Eksport/Eksport danych ogólnych...") sygnał i znaczniki w formacie tekstowym (wybierz pole ".vhdr"), aby ostatecznie zbudować indeks zaangażowania w Matlabie. Zaznacz również pola "Zapisz plik nagłówkowy" i "Zapisz plik znacznika".
   3. Zaimportuj sygnał w Matlabie.
      1. Uruchom Matlab i wpisz "eeglab", aby pojawił się graficzny interfejs użytkownika EEGLab i zaimportuj dane dla jednego uczestnika na raz. W GUI wybierz menu pozycji "Plik/Import danych/Korzystanie z funkcji i wtyczek EEGLab/Z pliku .vhdr Brain Vis Rec".
      2. W oknie poleceń wklej skrypt¹⁶, który generuje indeks zaangażowania.
         UWAGA: Skrypt zaangażowania poznawczego jest obliczany na podstawie średniej każdego współczynnika Beta/(Alpha + Theta) w ciągu 20-sekundowego okna przesuwnego poprzedzającego czas T. Ta procedura jest powtarzana co sekundę, a do aktualizacji indeksu używane jest nowe okno przesuwne.
   4. W MS Excel otwórz plik tekstowy indeksu zaangażowania, który jest generowany na końcu skryptu przez Matlab i zastosuj normalizację z-score do danych EEG, aby umożliwić porównanie między osobami. (Dla każdej wartości oblicz tę formułę w programie Excel: Z=(wartość – średnia całkowita)/całkowite odchylenie standardowe.)
   5. Zapisz sygnał indeksu zaangażowania z-score w pliku CSV w programie MS Excel. (Kliknij Plik/Zapisz jako... i wybierz CSV w polu formatu).
   6. Powtórz procedurę (od kroku 6.1.2.2.) dla każdego uczestnika.
2. fizjologia:
   1. Importuj dane EDA w oprogramowaniu do analizy danych fizjologicznych.
   2. Zastosuj te parametry do wstępnego przetworzenia sygnału fizjologicznego:
      1. Zastosuj transformację logarytmiczną, aby znormalizować rozkład przewodnictwa zgodnie z metodą²³ Venables i Christie's.
      2. Spłaszcz sygnał na 10-sekundowym oknie przesuwnym²⁴.
   3. W oprogramowaniu fizjologicznym oblicz normalizację wskaźnika z na danych EDA, aby umożliwić porównanie między osobnikami. (Z=(wartość – średnia całkowita)/całkowite odchylenie standardowe).
      1. Podświetl wszystkie dane kursorem z kanału EDA.
      2. W górnym menu wybierz kanał EDA i wybierz "średnia", aby uzyskać średnią wartość całego kanału. Wybierz również kanał EDA i "stddev", aby uzyskać wartość odchylenia standardowego całego kanału.
      3. Aby obliczyć równanie z-score, kliknij "Transformacja/Matematyka kształtu fali..." i wybierz kanał EDA w Source 1 . Wybierz "–" (minus) w oknie operacji matematycznej i wybierz K w źródle 2. Wybierz "Nowy punkt przeznaczenia" w menu docelowym i wprowadź średnią wartość kanału EDA (patrz krok 6.2.3.2). Wybierz "Przekształć całą falę", kliknij OK i kliknij "Transformacja / Matematyka przebiegu ...". Wybierz kanał EDA-K w źródle 1, wybierz "/" (dzielenie) w oknie operacji matematycznych, wybierz K w źródle 2, wybierz "Nowe miejsce docelowe" w miejscu docelowym i wprowadź wartość odchylenia standardowego kanału EDA (krok 6.2.3.2). Zaznacz opcję "Przekształć całą falę" i kliknij przycisk OK.
   4. Eksportuj sygnał (pobudzenie) do pliku CSV. (Kliknij Plik/Zapisz jako... i wybierz CSV w polu formatu).
3. Automatyczne rozpoznawanie emocji twarzy:
   1. Importuj dane wideo z rejestratora multimediów do oprogramowania do automatycznego rozpoznawania emocji twarzy. (Kliknij "Plik/Nowy.../Uczestnik...". Po wybraniu nowego uczestnika w menu projektu poprzez kliknięcie na nie, należy kliknąć "Plik/Nowy/Analiza/Wideo...". Kliknij lupę obok opcji Analiza 1 i wybierz żądany plik wideo.
      1. Wybierz analizę offline dla "co trzeciej klatki" i aktywuj "ciągłą kalibrację".
      2. Eksport danych walencyjnych w pliku CSV. (Kliknij "Opcje/Ustawienia/Rejestrowanie...", zaznacz pole "Zapisz wartość wartościową do pliku dziennika". Kliknij "Plik/Eksportuj...", wybierz lokalizację, do której zostaną wyeksportowane pliki dziennika, i zaznacz pole "Zapisz szczegółowy dziennik".)
      3. Otwórz plik CSV w programie MS Excel. Skopiuj kolumnę danych walencyjnych do jednej kolumny oprogramowania SPSS. Kliknij "Analiza/Statystyki opisowe/Opisowe" i wybierz właśnie wklejoną nazwę zmiennej. Zaznacz pole "Zapisz standardowe wartości w zmiennych". Pojawi się kolumna ze wskaźnikiem z. Skopiuj i wklej te wskaźniki Z na starych danych w pliku programu Excel.
   2. Zapisz plik Excel ze wskaźnikami Z sygnału (wartościowością) w formacie CSV.

7. Integracja i synchronizacja danych

1. W oprogramowaniu do analizy behawioralnej:
   1. Importuj filmy ze śledzeniem ruchu gałek ocznych (zaangażowanie behawioralne). (Kliknij "Plik/Import/Wideo w nowej obserwacji...". Nazwij nową obserwację i wybierz żądany plik wideo.)
   2. Zakoduj każdy film z odpowiednimi zachowaniami i wydarzeniami kontekstowymi (znaczniki czasu, dobre/złe odpowiedzi).
   3. Zaimportuj wszystkie dane zewnętrzne z odpowiednim nagłówkiem: z-score sygnału EEG (zaangażowanie poznawcze), z-score sygnału EDA (zaangażowanie emocjonalne), z-score danych walencyjnych (zaangażowanie emocjonalne). (Kliknij "Plik/Import/Dane zewnętrzne...". Wybierz odpowiedni typ pliku i wybierz właściwy plik CSV.)
2. Synchronizuj czas między komputerami zgodnie z tymi wzorami:
   1. Czas w spojrzeniu wzrocznym od czasu w EEG = Czas w spojrzeniu w oczy + drugi znacznik w EEG – pierwszy znacznik w spojrzeniu w oczy.
   2. Czas w spojrzeniu w oczy od czasu w rozpoznawaniu emocji twarzy = Czas w spojrzeniu w oczy + pierwszy marker w emocjach twarzy – pierwszy marker w spojrzeniu w oczy.
   3. Czas w spojrzeniu na wzrok od czasu w aktywności elektrodermalnej = Czas w spojrzeniu + pierwszy marker w aktywności elektrodermalnej – pierwszy marker w spojrzeniu w oczy.
3. Wprowadź dane przesunięcia, naciskając "Ctrl + Shift + =", aby otworzyć menu Przesunięcie. Wybierz "Przesunięcie numeryczne", aby wprowadzić czas w sekundach między każdą parą źródeł danych [OK?]), zgodnie z powyższymi obliczeniami.
4. Wygeneruj raport zgodnie ze zmiennymi będącymi przedmiotem zainteresowania w badaniu.
   1. Wybierz interesujące Cię zmienne, które zostaną wygenerowane w raporcie (kliknij "Analizuj/Wybierz dane/Nowe dane profilu..."). Od lewej strony przesuń żądane zmienne między polem "Start" a polem "Wyniki" po prawej stronie.
   2. Wygeneruj raport. (Kliknij "Analiza/Analiza numeryczna/Nowy...", kliknij "Statystyka" i zaznacz pole średniej w menu danych zewnętrznych. Zakończ, klikając "Oblicz".)
5. Eksportuj dane do oprogramowania do analizy statystycznej i wykonuj analizę zgodnie z celami badania.

Results

Rysunki 2 i 3 pokazują zrzuty ekranu wyników integracji i synchronizacji danych o zaangażowaniu behawioralnym, emocjonalnym i poznawczym w aplikacji do analizy behawioralnej. Na obu rysunkach sekcja po lewej stronie porządkuje tematy badań i schemat kodowania. W środkowej części znajduje się film (z czerwonymi kropkami) pokazujący wzrok fotografowanej osoby podczas wykonywania zadania. Zaangażowanie behawioralne osoby badanej można wywnioskować na podstawie tego, na co patrzy podczas zadania i jakie dzia...

Discussion

Jeśli chodzi o krytyczne kroki w ramach protokołu, należy najpierw wskazać, że jakość danych jest zawsze głównym celem technik gromadzenia danych neurofizjologicznych. W tej metodologii asystenci naukowi muszą zwracać szczególną uwagę na instruowanie badanych, aby zminimalizowali ruchy głowy, które będą zakłócać monitorowanie walencyjne (utrata prawidłowego kąta twarzy dla kamery) lub generować artefakty miograficzne w EEG. Z drugiej strony należy zachować równowagę między autentycznością rzeczywistego rozwiązywania prob...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
EGI GSN-32	EGI		Dense array
EEG Netstation v.5.0	EGI		EEG: EEG jest zbierane za pomocą 32-elektrodowej sieci czujników geodezyjnych elektroencefalografii o gęstej matrycy (dEEG) przy użyciu oprogramowania akwizycyjnego Netstation i wzmacniaczy EGI (Electrical Geodesics, Inc.). Wierzchołek (miejsce rejestracji Cz) jest elektrodą odniesienia do rejestracji. Impedancja jest utrzymywana poniżej 50 kΩ z częstotliwością próbkowania 250 Hz.
Facereader v.4	Noldus		Oprogramowanie do rozpoznawania emocji twarzy
Syncbox	Noldus		Syncbox rozpoczyna wspólną rejestrację danych EEG i spojrzenia, wysyłając sygnał logiki tranzystor-tranzystor (TTL) do wzmacniacza EGI i sygnał naciśnięcia do Tobii Studio v 3.2.
Logitech C600  Kamera		960-000396	Kamera internetowa służąca do zbierania danych wideo wysyłanych do mediarecorder, które będą analizowane w Facereader
Observer XT	Noldus		: Noldus Observer XT (technologia informacyjna Noldus) służy do synchronizacji wszystkich danych dotyczących zaangażowania, emocji i funkcji poznawczych.
Oświetlenie LED na ekranie	Noldus		Neon umieszczony na ekranie komputera w celu prawidłowego oświetlenia twarzy osób
MediaRecorder	Noldus		Oprogramowanie do zbierania danych wideo
Tobii 60X	Tobii		Zbieraj wzorce ruchów gałek ocznych :  służy do rejestrowania wzorców ruchów gałek ocznych badanych przy 60 Hz podczas eksperymentu.
Tobii Studio v.3.2	Tobii		Oprogramowanie do zbierania i analizy danych ze śledzenia wzroku
Analyzer 2	Oprogramowanie do przetwarzania sygnałów EEG	Brainvision
Acqknowledge v.4.0	Biopac	ACK100M	Oprogramowanie do akwizycji i przetwarzania sygnałów fizjologicznych
III Roztwór bakteriobójczy	Maril Products.	10002REVA-20002-1	Roztwór dezynfekujący stosowany z hełmami EEG : zalecany przez EGI
Unipark	QuestBack AG		Środowisko ankiet online