Subskrypcja JoVE jest wymagana do oglądania tego materiału. Zaloguj się lub rozpocznij bezpłatny okres próbny.

Artykuł metodologiczny

Ocena wielu wymiarów zaangażowania w celu scharakteryzowania uczenia się: perspektywa neurofizjologiczna

10.9K wyświetleń

⸱

DOI:

10.3791/52627

⸱

1 lipca 2015

 ,  ,  ,  ,  ,  , 
1Department of Didactics, Université du Québec à Montréal, 2Department of IT and Tech3Lab, HEC Montreal, 3Department of Marketing and Tech3Lab, HEC Montreal, 4Department of Specialized Education, Université du Québec à Montréal

W tym artykule

Podsumowanie

Ten artykuł ma na celu opisanie technik związanych z gromadzeniem i synchronizacją wielu wymiarów (behawioralnego, afektywnego i poznawczego) zaangażowania uczniów podczas zadania.

Streszczenie

W niedawnej syntezie teoretycznej na temat pojęcia zaangażowania, Fredricks, Blumenfeld i Paris1 zdefiniowali zaangażowanie poprzez jego wieloraki wymiar: behawioralny, emocjonalny i poznawczy. Zaobserwowali, że poszczególne rodzaje zaangażowania nie były badane łącznie i niewiele było dostępnych informacji na temat interakcji lub synergii między wymiarami; W związku z tym więcej badań przyczyniłoby się do stworzenia precyzyjnie dostosowanych interwencji dydaktycznych. Korzystając z najnowszych osiągnięć technologicznych w dziedzinie neuronauki, w artykule przedstawiono niedawno opracowaną metodologię gromadzenia i synchronizowania danych na temat wielowymiarowego zaangażowania podczas zadań edukacyjnych. Technika ta polega na zbieraniu (a) danych elektroencefalograficznych, (b) elektrodermalnych, (c) danych dotyczących śledzenia ruchu gałek ocznych i (d) rozpoznawania emocji twarzy na czterech różnych komputerach. Prowadziło to do problemów z synchronizacją danych zebranych z wielu źródeł. Synchronizacja po zakończeniu w specjalistycznym oprogramowaniu integracyjnym pozwala badaczom lepiej zrozumieć dynamikę między wieloma wymiarami zaangażowania. Dla twórców programów nauczania dane te mogą dostarczyć świadomych wskazówek dotyczących osiągania lepszej efektywności nauczania/uczenia się. Technika ta otwiera również możliwości w dziedzinie interakcji mózg-komputer, w których można opracować adaptacyjne środowiska uczenia się lub oceny.

Wprowadzenie

Zaangażowanie odgrywa kluczową rolę w procesie uczenia się. Według Clarka i Mayera2 „każda forma uczenia się wymaga zaangażowania”, niezależnie od zastosowanych mediów przekazu. Zhang et al.3 zasugerowali również, że zwiększone zaangażowanie studentów może poprawić wyniki w nauce, takie jak umiejętność rozwiązywania problemów i krytyczne myślenie. Definiowanie zaangażowania pozostaje wyzwaniem. W swoim przeglądzie literatury Fredricks, Blumenfeld i Paris1 zdefiniowali zaangażowanie poprzez jego wielowymiarowy charakter: „Zaangażowanie behawioralne opiera się na idei uczestnictwa; obejmuje ono włączanie się w działania akademickie, społeczne lub pozalekcyjne. (…) Zaangażowanie emocjonalne obejmuje pozytywne i negatywne reakcje wobec nauczycieli, kolegów z klasy, naukowców oraz szkoły i przyjmuje się, że tworzy ono więzi z danym obiektem oraz wpływa na chęć do pracy. Wreszcie, zaangażowanie poznawcze opiera się na idei inwestycji intelektualnej; obejmuje ono refleksyjność oraz gotowość do włożenia wysiłku niezbędnego do zrozumienia złożonych idei i opanowania trudnych umiejętności”.

Fredricks, Blumenfeld i Paris1 twierdzili również, że skupienie się na zachowaniu, emocjach i poznaniu w ramach koncepcji zaangażowania może zapewnić bogatszą charakterystykę uczenia się. Autorzy ci wskazali, że obszerny zbiór badań analizuje każdy składnik zaangażowania osobno, lecz składniki te nie były badane łącznie. Zauważyli oni także, że dostępnych jest niewiele informacji na temat interakcji między tymi wymiarami i że więcej badań mogłoby przyczynić się do planowania precyzyjnie dostrojonych interwencji dydaktycznych. Jako krok w tym kierunku, niniejsza praca opisuje metodologię badawczą opracowaną w celu jednoczesnego gromadzenia i analizowania ilościowych i jakościowych danych na temat zaangażowania behawioralnego, emocjonalnego i poznawczego podczas zadań edukacyjnych.

Wprowadzanie neuronauk do edukacji

Zachowanie, a co za tym idzie zaangażowanie behawioralne, od dawna stanowi centralny punkt badań w edukacji: projekty badawcze skupiały się głównie na zmianach w wiedzy i zachowaniu występujących w długich okresach czasu, pomiędzy testami wstępnymi a końcowymi oraz w odstępach godzin, tygodni, miesięcy lub lat. Rozróżnienie między zaangażowaniem behawioralnym, emocjonalnym a poznawczym pozostaje wyzwaniem, ponieważ dwa ostatnie wymiary nie są systematycznie obserwowalne z zewnątrz. Procesy poznawcze i emocje muszą być albo wnioskowane z obserwacji, albo oceniane za pomocą miar samoopisowych. Z zewnętrznej perspektywy nadal trudno jest określić, czy uczniowie starają się wykonać zadanie tak szybko, jak to możliwe, czy też stosują strategie uczenia się na głębokim poziomie, aby opanować konkretną treść. W rzeczywistości Fredricks, Blumenfeld i Paris1 nie byli w stanie znaleźć żadnych opublikowanych badań wykorzystujących bezpośrednie, obiektywne miary zaangażowania poznawczego.

Ostatnie osiągnięcia technologiczne w dziedzinie neuronauk stworzyły nowe możliwości prowadzenia badań w edukacji. Nowe metody zbierania danych i algorytmy analizy opracowane w obszarze neuroergonomii wydają się bardzo obiecujące dla badań jakościowych i ilościowych podczas zadań edukacyjnych. Inne dyscypliny, takie jak ekonomia, psychologia, marketing i ergonomia, od pewnego czasu wykorzystują pomiary neurofizjologiczne do oceny zaangażowania poznawczego4-8. Pomiary neurofizjologiczne w połączeniu z wydajnymi algorytmami analizy pozwalają na badanie zjawiska bez jego zakłócania. Z natury kwestionariusze samoopisowe odciągają uczniów od procesu uczenia się. Pomiary neurofizjologiczne pozwalają na realizację projektów badawczych w bardziej autentycznych środowiskach edukacyjnych. Narzędzia te obejmują sprzęt do monitorowania tętna, częstości oddechów, ciśnienia krwi, temperatury ciała, średnicy źrenic, aktywności elektrodermalnej, elektroencefalografii (EEG) itp.

Gromadzenie zsynchronizowanych danych dotyczących zaangażowania behawioralnego, emocjonalnego i poznawczego

Jako reprezentatywne wyniki uzyskane po zastosowaniu niniejszego protokołu, w pracy tej przedstawione zostaną częściowe rezultaty badania, w którym osoby uczące się musiały rozwiązać na ekranie komputera dziesięć zadań z fizyki mechanicznej. Zadania te opracowano w poprzednich pracach9. Dane neurofizjologiczne gromadzono podczas rozwiązywania zadań oraz podczas 45 s przerwy na relaksację po każdym zadaniu, gdy osoby badane miały zamknięte oczy.

Jak wspomniano powyżej, dane dotyczące zaangażowania behawioralnego obejmują interakcje z oprogramowaniem (ruchy myszy i kliknięcia), kierunek spojrzenia, wyniki oraz odpowiedzi na pytania udzielone przez ucznia wchodzącego w interakcję z systemem podczas wykonywania zadania1. Do zbierania danych o interakcjach z oprogramowaniem i kierunku spojrzenia wykorzystano system eye-trackingowy. Dane dotyczące wydajności (czas rozwiązania problemu, poprawność odpowiedzi) zbierano na stronie internetowej z ankietami, która służyła do prezentacji zadania. Strona ta została również wykorzystana do gromadzenia danych z raportów własnych, zebranych za pomocą kwestionariusza zaadaptowanego od Bradleya i Langa10. Zaangażowanie emocjonalne wiąże się z charakterystyką emocji. Według Langa11 emocje charakteryzuje się pod kątem walencji (przyjemne/nieprzyjemne) oraz pobudzenia (spokój/pobudzenie). Odpowiednio zebrano dane dotyczące zaangażowania emocjonalnego, wykorzystując oprogramowanie do automatycznego rozpoznawania emocji z twarzy, które kwantyfikuje walencję emocjonalną, oraz koder/czujnik aktywności elektrodermalnej do pomiaru pobudzenia12,13. Aktywność elektrodermalna (EDA) odnosi się do zarejestrowanego oporu elektrycznego między dwiema elektrodami, gdy między nimi przepływa stały, bardzo słaby prąd elektryczny. Cacioppo, Tassinary i Berntson14 wykazali, że rejestrowany opór zmienia się w zależności od stopnia pobudzenia badanego. Zatem dane psychofizjologiczne, takie jak walencja czy pobudzenie, są uważane za korelaty zaangażowania emocjonalnego.

W końcowym etapie dane dotyczące zaangażowania poznawczego są zbierane za pomocą elektroencefalografii (EEG). EEG mierzy na skórze czaszki zsynchronizowaną aktywność elektryczną grup neuronów w mózgu. Sygnały elektryczne rejestrowane ze skóry czaszki są często oscylacyjne i składają się z komponentów częstotliwościowych. Zgodnie z konwencją częstotliwości te są grupowane w sekwencje, znane jako pasma. Na przykład przedmiotem niniejszego badania są pasma alfa, beta i theta. Według badań neurobiologicznych14 pasma te odzwierciedlają różne zdolności przetwarzania poznawczego w określonych obszarach mózgu. Zatem analiza gęstości widmowej mocy (PSD) określonych częstotliwości, w połączeniu z licznymi badaniami7,15 nad czujnością i uwagą, pozwala badaczom na ilościowe określenie zaangażowania poznawczego podczas wykonywania zadania. Jak zauważyli Mikulka et al.16 , badania wykazały bezpośrednią zależność między aktywnością beta a czujnością poznawczą oraz pośrednią zależność między aktywnością alfa i theta a czujnością. W związku z tym Pope, Bogart i Bartoleme7 opracowali wskaźnik zaangażowania, który oblicza PSD trzech pasm: beta / (alpha + theta). Stosunek ten został zwalidowany w innych badaniach nad zaangażowaniem16,17,18. Aby scharakteryzować zaangażowanie poznawcze w czasie, szybka transformata Fouriera (FFT) przekształca sygnał EEG z każdego aktywnego punktu (F3, F4, O1, O2) w widmo mocy. Wskaźnik zaangażowania EEG w czasie T jest obliczany jako średnia każdego stosunku zaangażowania w 20 sec przesuwnym oknie poprzedzającym czas T. Procedura ta jest powtarzana w każdej sekundzie i używane jest nowe okno przesuwne w celu aktualizacji wskaźnika.

Ponieważ celem tej metodologii jest przeprowadzenie bogatej analizy wielu wymiarów zaangażowania, kluczowa jest synchronizacja danych. Jak przypominają Leger et al.19, producenci sprzętu stanowczo zalecają używanie tylko jednego komputera na jedno narzędzie pomiarowe, aby zagwarantować określony poziom precyzji. W związku z tym, w przypadku zastosowania wielu komputerów, synchronizacja między komputerami rejestrującymi staje się krytycznym krokiem. Wszystkie nagrania nie mogą zostać rozpoczęte w dokładnie tym samym czasie, a każdy strumień danych ma własną ramę czasową (np. sekunda 0 śledzenia wzroku ≠ sekunda 0 EEG lub danych fizjologicznych). Jest to niezwykle istotne: desynchronizacja między strumieniami danych oznacza błędy w kwantyfikacji każdego wymiaru zaangażowania. Istnieją różne sposoby synchronizacji jednoczesnych pomiarów fizjologicznych i behawioralnych. Metody te można podzielić na dwa główne podejścia: bezpośrednie i pośrednie20. Protokół przedstawiony w następnej sekcji opiera się na podejściu pośrednim, w którym zewnętrzne urządzenie, tzw. syncbox, jest wykorzystywane do wysyłania sygnałów logicznych tranzystor-tranzystor (TTL) do całego sprzętu rejestrującego (jak pokazano na Rysunku 1). Ponieważ każde urządzenie ma inny czas startu, znaczniki TTL są rejestrowane w plikach dziennika z relatywnym opóźnieniem. Znaczniki te są następnie wykorzystywane do ponownego wyrównania sygnałów, zapewniając tym samym właściwą synchronizację po każdym pomiarze. Do ponownej synchronizacji osi czasu każdego strumienia danych oraz do przeprowadzenia analizy ilościowej i jakościowej każdego wymiaru zaangażowania wykorzystuje się program do analizy behawioralnej umożliwiający integrację zewnętrznych plików.

Schemat synchronizacji danych multimodalnych z użyciem sygnałów TTL; śledzenie ruchu gałek ocznych, EEG, emocje, EDA.
Rysunek 1. Architektura systemu gromadzenia danych. Środowisko laboratoryjne, w którym zbierane są dane dotyczące zaangażowania behawioralnego (eye-tracking), emocjonalnego (EDA i emocje twarzy) oraz poznawczego (EEG), składa się z wielu komputerów. Stwarza to problem z synchronizacją danych, które są referencyjne względem zegarów poszczególnych komputerów. Aby umożliwić analizę wszystkich danych w tym samym czasie referencyjnym, konfiguracja laboratoryjna obejmuje moduł synchronizujący (syncbox), który wysyła sygnały TTL do wszystkich strumieni danych. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Aby ocenić precyzję metodologii pod kątem synchronizacji, przed każdym z zadań z zakresu fizyki mechanicznej wprowadzono 45 sec przerwy. Podczas tych przerw badani mieli się rozluźnić i zamknąć oczy. Jak pokazano w innych badaniach4,9,16,17,18, przerwy te powinny wywołać istotne zmiany w rejestrowanym sygnale: dwa punkty źrenic w systemie eye-tracking natychmiast znikają (zaangażowanie behawioralne), a w sygnale EEG obserwuje się nagły spadek zaangażowania poznawczego. Te konkretne komponenty sygnału są wykorzystywane do oceny ogólnej poprawności synchronizacji. Niedawne publikacje artykułów, które w pełni lub częściowo opierają się na tej procedurze synchronizacji w dziedzinach systemów informacyjnych19, interakcji człowiek-maszyna21 oraz edukacji9, 22, stanowią dowód jej skuteczności.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Protokół

Ten protokół otrzymał certyfikat etyczny od Comité institutionnel de la recherche avec des êtres humains (CIER) de l'Université du Québec à Montréal (UQAM), który został zatwierdzony przez HEC-Montreal dla ośrodka badawczego Tech3Lab. Protokół opisuje każdy z konkretnych kroków, które są wykonywane w naszym środowisku laboratoryjnym i sprzęcie. Chociaż w celu wyjaśnienia metodologii zapewniono precyzyjne ścieżki oprogramowania, technika ta jest możliwa do przeniesienia i może być powielana z innymi zastrzeżonymi urządzeniami i oprogramowaniem do śledzenia ruchu gałek ocznych, automatycznego rozpoznawania emocji twarzy, aktywności elektrodermalnej oraz elektroencefalografii.

1. Konfiguracja środowiska laboratoryjnego

  1. Włącz eye-tracker, wzmacniacz EEG, cztery komputery nagrywające i głośniki.
  2. Przygotować konfigurację urządzenia rejestrującego:
    1. Przygotuj konfigurację EEG z wymaganym materiałem zgodnie z procedurami zalecanymi przez producenta. Przygotuj oprogramowanie EEG dla przyszłego uczestnika. Uruchom oprogramowanie do śledzenia ruchu gałek ocznych i utwórz nowy profil uczestnika w oprogramowaniu. Uruchom oprogramowanie do nagrywania wideo i kamery.
    2. Uruchom oprogramowanie do synchronizacji z określonym podprogramem utworzonym dla projektu ze znacznikami po 60 sekundach. Uruchom oprogramowanie do pomiaru fizjologicznego (do rejestrowania aktywności elektrodermalnej) i otwórz określony układ utworzony dla projektu. Dostosuj krzesło uczestnika do najwyższego poziomu.

2. Przygotowanie uczestników

  1. Poproś uczestnika o przeczytanie i podpisanie formularza zgody etycznej.
  2. Wykonaj pomiary czaszki do EEG:
    1. Znajdź lokalizację Cz na głowie uczestnika (według 10 - 20 systemów odniesienia). Zanurz siatkę EEG w roztworze soli fizjologicznej (chlorek potasu) (patrz krok 1.2.1) i uruchom minutnik (10 min) zgodnie z normami producenta.
  3. Przeczytaj uczestnikowi cel badania i etapy eksperymentu: "Celem tego badania jest obserwacja aktywności mózgu podczas rozwiązywania problemów fizycznych. Najpierw zainstalujemy czujniki, a następnie zostaniesz poproszony o rozwiązanie 10 problemów z fizyki newtonowskiej na komputerze. Poprosimy Cię o zrobienie 45-sekundowej przerwy po każdym problemie z zamkniętymi oczami. Po każdym problemie zostaniesz poproszony o ocenę swojej oceny problemu".
  4. Powiedz osobie badanej, że całkowity czas trwania eksperymentu wyniesie 90 minut.
  5. Zamontuj czujniki fizjologiczne, zgodnie z zaleceniami producenta: dwa żelowane czujniki na górze lewej ręki.
  6. Zamontuj nasadkę EEG, zgodnie z zaleceniami producenta i wykonaj kontrolę impedancji przy progu 40 kΩ (zgodnie ze specyfikacją producenta).

3. Zbieranie danych

  1. Upewnij się, że całe oprogramowanie do nagrywania jest gotowe do uruchomienia w synchronizacji:
    1. Fizjologia (dane EDA): Kliknij przycisk "start".
    2. Nagrywanie wideo: Kliknij przycisk "otwórz".
    3. Śledzenie ruchu gałek ocznych: Kliknij przycisk "on hold".
    4. EEG: Kliknij przycisk "nagraj".
    5. Oprogramowanie do synchronizacji: Kliknij przycisk "zielone kółko".
  2. Kalibracja wzroku:
    1. Wykonaj pięciopunktową kalibrację na ekranie i obserwuj uczestnika, gdy podąża za czerwonymi kropkami (kliknij "Narzędzia/Ustawienia/Kalibracja..."). Powtarzaj tę procedurę, aż zostanie osiągnięta wystarczająca dokładność, zgodnie ze standardami producenta.
  3. Wyświetlaj instrukcje dotyczące zadań na ekranie uczestnika: zapytaj, czy po ich przeczytaniu ma jakieś pytania i czy jest gotowy do rozpoczęcia eksperymentu.
  4. Poproś uczestnika, aby rozwiązał 10 problemów z fizyki newtonowskiej.
  5. W razie potrzeby wykonaj kontrolę impedancji podczas jednej z przerw 45 s (nie przed problemem 5).
  6. Upewnij się, że uczestnik zrobi pełną 45-sekundową przerwę przed każdym zadaniem (w celu określenia punktu odniesienia).

4. Koniec zbierania danych

  1. Zatrzymaj gromadzenie danych na wszystkich komputerach i usuń czujniki z uczestnika.

5. Po opuszczeniu przez uczestnika

  1. Wyczyść czepek EEG środkiem bakteriobójczym i uporządkuj sprzęt zgodnie z zaleceniami producenta. Zapisz wszystkie zebrane pliki danych i utwórz kopię zapasową na serwerze FTP.
  2. Wypełnij arkusz kalkulacyjny uczestnika: zanotuj każde konkretne zdarzenie lub problem podczas zbierania danych. Usuń wszystkie pliki cookie z przeglądarki internetowej.

6. Wstępne przetwarzanie danych i eksport do oprogramowania integracyjnego

  1. Eeg
    1. Importuj dane EEG do oprogramowania do analizy danych EEG:
      1. Utwórz trzy puste foldery na komputerze o nazwach "Surowe dane", "Historia" i "Eksport", aby wkleić surowe dane EEG do nowo utworzonego pliku surowych danych.
      2. W oprogramowaniu do analizy danych EEG kliknij "Plik/Nowy projekt..." i wybierz lokalizację surowych danych, klikając Przeglądaj, a następnie wybierając nowo utworzony plik surowych danych. W ten sam sposób wybierz lokalizację folderów "Historia" i "Eksportuj".
      3. Kliknij "OK". (Okienko powinno zawierać wszystkie dane EEG uczestnika).
    2. Wstępnie przetwórz sygnał mózgowy:
      1. Zastosuj filtr i wycięcie (kliknij "Transformacje/Filtry IIR..."). W oknie włącz dolne odcięcie przy 1,5 Hz o nachyleniu 12 dB i wysokie odcięcie przy 50 Hz o nachyleniu 12 dB. Włącz również wycięcie na częstotliwości 60 Hz.
      2. Ponieważ używany jest wzmacniacz prądu stałego, DC detrenduje sygnał (kliknij "Transformacje/Detrendy DC..." i włącz "na podstawie czasu" na 100 ms przed znacznikiem i 100 ms przed podłączeniem DC).
      3. Wykonaj inspekcję nieprzetworzonych danych (kliknij "Transformacja/Inspekcja surowych danych..." i wybierz półautomatyczne usuwanie artefaktów). Wybierz następujące opcje: maksymalne napięcie 60 μV/ms; Max-min: 200 μV w przedziale 200 ms; amplituda: od -400 do +400 μV).
      4. Wykonaj automatyczne ICA z klasycznym spheringiem w celu usunięcia mrugnięcia oczami (artefakty miograficzne nie muszą być usuwane, ponieważ ich zakres wykracza poza interesujące Cię częstotliwości). (Kliknij "Transformacje/ICA...". Na końcu ICA przetworzyć odwrotną ICA).
      5. Ponownie odwołaj ("Transformacje/Re-re-reference...") sygnału i wybierz "common average".
      6. Eksportuj (kliknij "Eksport/Eksport danych ogólnych...") sygnał i znaczniki w formacie tekstowym (wybierz pole ".vhdr"), aby ostatecznie zbudować indeks zaangażowania w Matlabie. Zaznacz również pola "Zapisz plik nagłówkowy" i "Zapisz plik znacznika".
    3. Zaimportuj sygnał w Matlabie.
      1. Uruchom Matlab i wpisz "eeglab", aby pojawił się graficzny interfejs użytkownika EEGLab i zaimportuj dane dla jednego uczestnika na raz. W GUI wybierz menu pozycji "Plik/Import danych/Korzystanie z funkcji i wtyczek EEGLab/Z pliku .vhdr Brain Vis Rec".
      2. W oknie poleceń wklej skrypt16, który generuje indeks zaangażowania.
        UWAGA: Skrypt zaangażowania poznawczego jest obliczany na podstawie średniej każdego współczynnika Beta/(Alpha + Theta) w ciągu 20-sekundowego okna przesuwnego poprzedzającego czas T. Ta procedura jest powtarzana co sekundę, a do aktualizacji indeksu używane jest nowe okno przesuwne.
    4. W MS Excel otwórz plik tekstowy indeksu zaangażowania, który jest generowany na końcu skryptu przez Matlab i zastosuj normalizację z-score do danych EEG, aby umożliwić porównanie między osobami. (Dla każdej wartości oblicz tę formułę w programie Excel: Z=(wartość – średnia całkowita)/całkowite odchylenie standardowe.)
    5. Zapisz sygnał indeksu zaangażowania z-score w pliku CSV w programie MS Excel. (Kliknij Plik/Zapisz jako... i wybierz CSV w polu formatu).
    6. Powtórz procedurę (od kroku 6.1.2.2.) dla każdego uczestnika.
  2. fizjologia:
    1. Importuj dane EDA w oprogramowaniu do analizy danych fizjologicznych.
    2. Zastosuj te parametry do wstępnego przetworzenia sygnału fizjologicznego:
      1. Zastosuj transformację logarytmiczną, aby znormalizować rozkład przewodnictwa zgodnie z metodą23 Venables i Christie's.
      2. Spłaszcz sygnał na 10-sekundowym oknie przesuwnym24.
    3. W oprogramowaniu fizjologicznym oblicz normalizację wskaźnika z na danych EDA, aby umożliwić porównanie między osobnikami. (Z=(wartość – średnia całkowita)/całkowite odchylenie standardowe).
      1. Podświetl wszystkie dane kursorem z kanału EDA.
      2. W górnym menu wybierz kanał EDA i wybierz "średnia", aby uzyskać średnią wartość całego kanału. Wybierz również kanał EDA i "stddev", aby uzyskać wartość odchylenia standardowego całego kanału.
      3. Aby obliczyć równanie z-score, kliknij "Transformacja/Matematyka kształtu fali..." i wybierz kanał EDA w Source 1 . Wybierz "–" (minus) w oknie operacji matematycznej i wybierz K w źródle 2. Wybierz "Nowy punkt przeznaczenia" w menu docelowym i wprowadź średnią wartość kanału EDA (patrz krok 6.2.3.2). Wybierz "Przekształć całą falę", kliknij OK i kliknij "Transformacja / Matematyka przebiegu ...". Wybierz kanał EDA-K w źródle 1, wybierz "/" (dzielenie) w oknie operacji matematycznych, wybierz K w źródle 2, wybierz "Nowe miejsce docelowe" w miejscu docelowym i wprowadź wartość odchylenia standardowego kanału EDA (krok 6.2.3.2). Zaznacz opcję "Przekształć całą falę" i kliknij przycisk OK.
    4. Eksportuj sygnał (pobudzenie) do pliku CSV. (Kliknij Plik/Zapisz jako... i wybierz CSV w polu formatu).
  3. Automatyczne rozpoznawanie emocji twarzy:
    1. Importuj dane wideo z rejestratora multimediów do oprogramowania do automatycznego rozpoznawania emocji twarzy. (Kliknij "Plik/Nowy.../Uczestnik...". Po wybraniu nowego uczestnika w menu projektu poprzez kliknięcie na nie, należy kliknąć "Plik/Nowy/Analiza/Wideo...". Kliknij lupę obok opcji Analiza 1 i wybierz żądany plik wideo.
      1. Wybierz analizę offline dla "co trzeciej klatki" i aktywuj "ciągłą kalibrację".
      2. Eksport danych walencyjnych w pliku CSV. (Kliknij "Opcje/Ustawienia/Rejestrowanie...", zaznacz pole "Zapisz wartość wartościową do pliku dziennika". Kliknij "Plik/Eksportuj...", wybierz lokalizację, do której zostaną wyeksportowane pliki dziennika, i zaznacz pole "Zapisz szczegółowy dziennik".)
      3. Otwórz plik CSV w programie MS Excel. Skopiuj kolumnę danych walencyjnych do jednej kolumny oprogramowania SPSS. Kliknij "Analiza/Statystyki opisowe/Opisowe" i wybierz właśnie wklejoną nazwę zmiennej. Zaznacz pole "Zapisz standardowe wartości w zmiennych". Pojawi się kolumna ze wskaźnikiem z. Skopiuj i wklej te wskaźniki Z na starych danych w pliku programu Excel.
    2. Zapisz plik Excel ze wskaźnikami Z sygnału (wartościowością) w formacie CSV.

7. Integracja i synchronizacja danych

  1. W oprogramowaniu do analizy behawioralnej:
    1. Importuj filmy ze śledzeniem ruchu gałek ocznych (zaangażowanie behawioralne). (Kliknij "Plik/Import/Wideo w nowej obserwacji...". Nazwij nową obserwację i wybierz żądany plik wideo.)
    2. Zakoduj każdy film z odpowiednimi zachowaniami i wydarzeniami kontekstowymi (znaczniki czasu, dobre/złe odpowiedzi).
    3. Zaimportuj wszystkie dane zewnętrzne z odpowiednim nagłówkiem: z-score sygnału EEG (zaangażowanie poznawcze), z-score sygnału EDA (zaangażowanie emocjonalne), z-score danych walencyjnych (zaangażowanie emocjonalne). (Kliknij "Plik/Import/Dane zewnętrzne...". Wybierz odpowiedni typ pliku i wybierz właściwy plik CSV.)
  2. Synchronizuj czas między komputerami zgodnie z tymi wzorami:
    1. Czas w spojrzeniu wzrocznym od czasu w EEG = Czas w spojrzeniu w oczy + drugi znacznik w EEG – pierwszy znacznik w spojrzeniu w oczy.
    2. Czas w spojrzeniu w oczy od czasu w rozpoznawaniu emocji twarzy = Czas w spojrzeniu w oczy + pierwszy marker w emocjach twarzy – pierwszy marker w spojrzeniu w oczy.
    3. Czas w spojrzeniu na wzrok od czasu w aktywności elektrodermalnej = Czas w spojrzeniu + pierwszy marker w aktywności elektrodermalnej – pierwszy marker w spojrzeniu w oczy.
  3. Wprowadź dane przesunięcia, naciskając "Ctrl + Shift + =", aby otworzyć menu Przesunięcie. Wybierz "Przesunięcie numeryczne", aby wprowadzić czas w sekundach między każdą parą źródeł danych [OK?]), zgodnie z powyższymi obliczeniami.
  4. Wygeneruj raport zgodnie ze zmiennymi będącymi przedmiotem zainteresowania w badaniu.
    1. Wybierz interesujące Cię zmienne, które zostaną wygenerowane w raporcie (kliknij "Analizuj/Wybierz dane/Nowe dane profilu..."). Od lewej strony przesuń żądane zmienne między polem "Start" a polem "Wyniki" po prawej stronie.
    2. Wygeneruj raport. (Kliknij "Analiza/Analiza numeryczna/Nowy...", kliknij "Statystyka" i zaznacz pole średniej w menu danych zewnętrznych. Zakończ, klikając "Oblicz".)
  5. Eksportuj dane do oprogramowania do analizy statystycznej i wykonuj analizę zgodnie z celami badania.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Wyniki

Ryciny 2 i 3 przedstawiają zrzuty ekranu wyników integracji i synchronizacji danych dotyczących zaangażowania behawioralnego, emocjonalnego i poznawczego w aplikacji oprogramowania do analizy behawioralnej. Na obu ryciniach sekcja po lewej stronie organizuje badanych oraz schemat kodowania. W sekcji środkowej wideo (z czerwonymi kropkami) pokazuje kierunek spojrzenia badanego podczas wykonywania zadania. Zaangażowanie behawioralne badanego można wywnioskować na podstawie tego, na co patrzy podczas zadani...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Dyskusja

Jeśli chodzi o krytyczne kroki w ramach protokołu, należy najpierw wskazać, że jakość danych jest zawsze głównym celem technik gromadzenia danych neurofizjologicznych. W tej metodologii asystenci naukowi muszą zwracać szczególną uwagę na instruowanie badanych, aby zminimalizowali ruchy głowy, które będą zakłócać monitorowanie walencyjne (utrata prawidłowego kąta twarzy dla kamery) lub generować artefakty miograficzne w EEG. Z drugiej strony należy zachować równowagę między autentycznością rzeczywistego rozwiązywania prob...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Oświadczenia

Autorzy nie mają nic do ujawnienia.

Podziękowania

Autorzy dziękują za wsparcie finansowe Kanadyjskiej Rady ds. Badań nad Naukami Społecznymi i Humanistycznymi (SSHERC), Kanadyjskiej Rady ds. Badań Nauk Przyrodniczych i Inżynieryjnych (NSERC), Fonds de Recherche Nature et Technologies du Québec (FQRNT) oraz Fonds de Recherche sur la Société et Culture du Québec (FQRSC).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
EGI GSN-32 EGIDense array
EEG Netstation v.5.0EGIEEG: EEG jest zbierane za pomocą 32-elektrodowej sieci czujników geodezyjnych elektroencefalografii o gęstej matrycy (dEEG) przy użyciu oprogramowania akwizycyjnego Netstation i wzmacniaczy EGI (Electrical Geodesics, Inc.). Wierzchołek (miejsce rejestracji Cz) jest elektrodą odniesienia do rejestracji. Impedancja jest utrzymywana poniżej 50 kΩ z częstotliwością próbkowania 250 Hz. 
Facereader v.4NoldusOprogramowanie do rozpoznawania emocji twarzy
SyncboxNoldusSyncbox rozpoczyna wspólną rejestrację danych EEG i spojrzenia, wysyłając sygnał logiki tranzystor-tranzystor (TTL) do wzmacniacza EGI i sygnał naciśnięcia do Tobii Studio v 3.2.
Logitech C600  Kamera960-000396Kamera internetowa służąca do zbierania danych wideo wysyłanych do mediarecorder, które będą analizowane w Facereader
Observer XTNoldus: Noldus Observer XT (technologia informacyjna Noldus) służy do synchronizacji wszystkich danych dotyczących zaangażowania, emocji i funkcji poznawczych.
Oświetlenie LED na ekranieNoldusNeon umieszczony na ekranie komputera w celu prawidłowego oświetlenia twarzy osób
MediaRecorderNoldusOprogramowanie do zbierania danych wideo
Tobii 60XTobiiZbieraj wzorce ruchów gałek ocznych :  służy do rejestrowania wzorców ruchów gałek ocznych badanych przy 60 Hz podczas eksperymentu.
Tobii Studio v.3.2TobiiOprogramowanie do zbierania i analizy danych ze śledzenia wzroku
Analyzer 2Oprogramowanie do przetwarzania sygnałów EEGBrainvision
Acqknowledge v.4.0BiopacACK100MOprogramowanie do akwizycji i przetwarzania sygnałów fizjologicznych
III Roztwór bakteriobójczyMaril Products.10002REVA-20002-1Roztwór dezynfekujący stosowany z hełmami EEG : zalecany przez EGI
UniparkQuestBack AGŚrodowisko ankiet online
Oprogramowanie do zbierania danych internetowa Oprogramowanie do integracji i synchronizacji Control

Bibliografia

  1. Fredricks, J. A., Blumenfeld, P. C., Paris, A. H. School engagement: Potential of the concept, state of the evidence. Rev. Educ. Res. 74 (1), 59-109 (2004).
  2. Clark, R. C., Mayer, R. E. E-learning and the Science of Instruction. , Pfeiffer. San Francisco. (2011).
  3. Zhang, D., Zhou, L., Briggs, R. O., Nunamaker, J. F. Instructional video in e-learning: Assessing the impact of interactive video on learning effectiveness. Inform. Manage. 43 (1), 15-27 (2006).
  4. Freeman, F. G., Mikulka, P. J., Prinzel, L. J., Scerbo, M. W. Evaluation of an adaptive automation system using three EEG indices with a visual tracking task. Biol. Psychol. 50, 61-76 (1999).
  5. Glimcher, P., Rustichini, A. Neuroeconomics: The consilience of brain and decision. Science. 306 (5695), 447-452 (2004).
  6. Lieberman, M. D. Social Cognitive neuroscience: A review of core processes. Annu. Rev. Physiol. 58, 259-289 (2007).
  7. Pope, A. T., Bogart, E. H., Bartolome, D. S. Biocybernetic system evaluates indices of operator engagement in automated task. Biol. Psychol. 40 (1-2), 187-195 (1995).
  8. Physiological indicators for the evaluation of co-located collaborative play. Mandryk, R., Inkpen, K. CSCW '04 Proceedings of the 2004 ACM conference on Computer supported cooperative work, 2004 Nov 6-10, Chicago, IL, USA, , (2004).
  9. Allaire-Duquette, G., Charland, P., Riopel, M. At the very root of the development of interest: Using human body contexts to improve women’s emotional engagement in introductory physics. Eur. J. Phy. Ed. 5 (2), 31-48 (2014).
  10. Bradley, M. M., Lang, P. J. Measuring emotion: The self-assessment manikin and the semantic differential. J. Behav. Ther. Exp. Psy. 25 (1), 49-59 (1994).
  11. Lang, P. J. The emotion probe: Studies of motivation and attention. Am. Psychol. 50 (5), 372-385 (1995).
  12. Ekman, P., Felt Friesen, W. false, and miserable smiles. J. Nonverbal Behav. 6 (4), 238-252 (1982).
  13. Advances in face and gesture analysis. Van Kuilenburg, H., Den Uyl, M. J., Israël, M. L., Ivan, P. Proceedings of Measuring Behavior 2008, 2008 Aug 26-29, Maastricht, The Netherlands, , 371-372 (2008).
  14. Cacioppo, J., Tassinary, L. G., Berntson, G. G. Handbook of Psychophysiology. , Cambridge University Press. Cambridge, UK. (2007).
  15. Lubar, J. F., Swartwood, M. O., Swartwood, J. N., O’Donnell, P. H. Evaluation of the effectiveness of EEG neurofeedback training for ADHD in a clinical setting as measured by changes in T.O.V.A. scores, behavioral ratings, and WISC R performance. Biofeedback Self-reg. 20 (1), (1995).
  16. Mikulka, P. J., Freeman, F. G., Scerbo, M. W. Effects of a biocybernetic system on the vigilance decrement. Hum. factors. 44 (4), 654-664 (2002).
  17. Freeman, F. G., Mikulka, P. J., Scerbo, M. W., Scott, L. An evaluation of an adaptive automation system using a cognitive vigilance task. Biol. Psychol. 67 (3), 283-297 (2004).
  18. Chaouachi, M., Chalfoun, P., Jraidi, I., Frasson, C. Affect and mental engagement: Toward adaptability for intelligent systems. Proceedings of the Twenty-Third International Florida Artificial Intelligence Research Society Conference (FLAIRS 2010), Association for the Advancement of Artificial Intelligence. , 355-360 (2010).
  19. Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labonté-LeMoyne, É Precision is in the eye of the beholder: Application of eye fixation-related potentials to information systems research. J. Assoc. Inf. Syst. 15 (10), 651-678 (2014).
  20. Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labonté-Lemoyne, E. Applying eye fixation-related potentials to information systems research: Demonstration of the method during natural IS use and guidelines for research. J. Assoc. Inf. Syst. 15 (10), (2014).
  21. Courtemanche, F. Un outil d’évaluation neurocognitive des interactions humain-machine Doctoral thesis. , Université de Montréal. Montreal, QC. (2014).
  22. Assessing multiple dimensions of learner engagement during science problem solving using psychophysiological and behavioral measures. Charland, P., Léger, P. M., Mercier, J., Skelling-Desmeules, Y. Fourth Scientific International Symposium of the Association for Research in Neuroeducation, Caen, France, , (2014).
  23. Venables, P. H., Christie, M. J. Electrodermal activity. Techniques in Psychophysiology. Martin, I., Venables, P. , Wiley. Chichester, UK. 3-67 (1980).
  24. Electrodermal Activity. Boucsein, W. , 2nd ed, Springer. New York. (2012).
  25. Sarlo, M., Palomba, D., Buodo, G. M., Minghetti, R., Stegagno, L. Blood pressure changes highlight gender differences in emotional reactivity to arousing pictures. Biol. Psychol. 70 (3), 188-196 (2005).
  26. Martens, R. L., Gulikers, J., Bastiaens, T. The impact of intrinsic motivation on e-learning in authentic computer tasks. J. Comput. Assist. Lear. 20 (5), 368-376 (2004).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Przedruki i uprawnienia

Tagi

Zaangażowanie behawioralnezaangażowanie poznawczezaangażowanie emocjonalnegromadzenie danych EEGaktywność elektrodermalnaeye trackingrozpoznawanie emocji z wyrazu twarzysynchronizacja danychzaangażowanie wielowymiaroweocena neurofizjologiczna
Ocena wielu wymiarów zaangażowania w celu scharakteryzowania uczenia się: perspektywa neurofizjologiczna
Skontaktuj się z nami
Poleć bibliotece

Prywatność

Warunki korzystania z usługi

Zasady

Prawa autorskie © 2026 MyJoVE Corporation. Wszelkie prawa zastrzeżone.