Name: Ocena wielu wymiarów zaangażowania w celu scharakteryzowania uczenia się: perspektywa neurofizjologiczna (Wideo) | JoVE Journal
Uploaded: 2015-07-01T15:00:00.000+00:00
Duration: 13 min 57 s
Description: Poznaj metody synchronizacji danych behawioralnych, emocjonalnych i poznawczych zaangażowania podczas zadań edukacyjnych. Technika łączy eye tracking, EEG i pomiar aktywności elektrodermalnej.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Autorzy dziękują za wsparcie finansowe Kanadyjskiej Rady ds. Badań nad Naukami Społecznymi i Humanistycznymi (SSHERC), Kanadyjskiej Rady ds. Badań Nauk Przyrodniczych i Inżynieryjnych (NSERC), Fonds de Recherche Nature et Technologies du Québec (FQRNT) oraz Fonds de Recherche sur la Société et Culture du Québec (FQRSC).

Ten protokół otrzymał certyfikat etyczny od Comité institutionnel de la recherche avec des êtres humains (CIER) de l'Université du Québec à Montréal (UQAM), który został zatwierdzony przez HEC-Montreal dla ośrodka badawczego Tech3Lab. Protokół opisuje każdy z konkretnych kroków, które są wykonywane w naszym środowisku laboratoryjnym i sprzęcie. Chociaż w celu wyjaśnienia metodologii zapewniono precyzyjne ścieżki oprogramowania, technika ta jest możliwa do przeniesienia i może być powielana z innymi zastrzeżonymi urządzeniami i oprogramowaniem do śledzenia ruchu gałek ocznych, automatycznego rozpoznawania emocji twarzy, aktywności elektrodermalnej oraz elektroencefalografii.
1. Konfiguracja środowiska laboratoryjnego
<ol>
	<li>Włącz eye-tracker, wzmacniacz EEG, cztery komputery nagrywające i głośniki.</li>
	<li>Przygotować konfigurację urządzenia rejestrującego:
	<ol>
		<li>Przygotuj konfigurację EEG z wymaganym materiałem zgodnie z procedurami zalecanymi przez producenta. Przygotuj oprogramowanie EEG dla przyszłego uczestnika. Uruchom oprogramowanie do śledzenia ruchu gałek ocznych i utwórz nowy profil uczestnika w oprogramowaniu. Uruchom oprogramowanie do nagrywania wideo i kamery.</li>
		<li>Uruchom oprogramowanie do synchronizacji z określonym podprogramem utworzonym dla projektu ze znacznikami po 60 sekundach. Uruchom oprogramowanie do pomiaru fizjologicznego (do rejestrowania aktywności elektrodermalnej) i otwórz określony układ utworzony dla projektu. Dostosuj krzesło uczestnika do najwyższego poziomu.</li>
	</ol>
	</li>
</ol>
2. Przygotowanie uczestników
<ol>
	<li>Poproś uczestnika o przeczytanie i podpisanie formularza zgody etycznej.</li>
	<li>Wykonaj pomiary czaszki do EEG:
	<ol>
		<li>Znajdź lokalizację Cz na głowie uczestnika (według 10 - 20 systemów odniesienia). Zanurz siatkę EEG w roztworze soli fizjologicznej (chlorek potasu) (patrz krok 1.2.1) i uruchom minutnik (10 min) zgodnie z normami producenta.</li>
	</ol>
	</li>
	<li>Przeczytaj uczestnikowi cel badania i etapy eksperymentu: "Celem tego badania jest obserwacja aktywności mózgu podczas rozwiązywania problemów fizycznych. Najpierw zainstalujemy czujniki, a następnie zostaniesz poproszony o rozwiązanie 10 problemów z fizyki newtonowskiej na komputerze. Poprosimy Cię o zrobienie 45-sekundowej przerwy po każdym problemie z zamkniętymi oczami. Po każdym problemie zostaniesz poproszony o ocenę swojej oceny problemu".</li>
	<li>Powiedz osobie badanej, że całkowity czas trwania eksperymentu wyniesie 90 minut.</li>
	<li>Zamontuj czujniki fizjologiczne, zgodnie z zaleceniami producenta: dwa żelowane czujniki na górze lewej ręki.</li>
	<li>Zamontuj nasadkę EEG, zgodnie z zaleceniami producenta i wykonaj kontrolę impedancji przy progu 40 kΩ (zgodnie ze specyfikacją producenta).</li>
</ol>
3. Zbieranie danych
<ol>
	<li>Upewnij się, że całe oprogramowanie do nagrywania jest gotowe do uruchomienia w synchronizacji:
	<ol>
		<li>Fizjologia (dane EDA): Kliknij przycisk "start".</li>
		<li>Nagrywanie wideo: Kliknij przycisk "otwórz".</li>
		<li>Śledzenie ruchu gałek ocznych: Kliknij przycisk "on hold".</li>
		<li>EEG: Kliknij przycisk "nagraj".</li>
		<li>Oprogramowanie do synchronizacji: Kliknij przycisk "zielone kółko".</li>
	</ol>
	</li>
	<li>Kalibracja wzroku:
	<ol>
		<li>Wykonaj pięciopunktową kalibrację na ekranie i obserwuj uczestnika, gdy podąża za czerwonymi kropkami (kliknij "Narzędzia/Ustawienia/Kalibracja..."). Powtarzaj tę procedurę, aż zostanie osiągnięta wystarczająca dokładność, zgodnie ze standardami producenta.</li>
	</ol>
	</li>
	<li>Wyświetlaj instrukcje dotyczące zadań na ekranie uczestnika: zapytaj, czy po ich przeczytaniu ma jakieś pytania i czy jest gotowy do rozpoczęcia eksperymentu.</li>
	<li>Poproś uczestnika, aby rozwiązał 10 problemów z fizyki newtonowskiej.</li>
	<li>W razie potrzeby wykonaj kontrolę impedancji podczas jednej z przerw 45 s (nie przed problemem 5).</li>
	<li>Upewnij się, że uczestnik zrobi pełną 45-sekundową przerwę przed każdym zadaniem (w celu określenia punktu odniesienia).</li>
</ol>
4. Koniec zbierania danych
<ol>
	<li>Zatrzymaj gromadzenie danych na wszystkich komputerach i usuń czujniki z uczestnika.</li>
</ol>
5. Po opuszczeniu przez uczestnika
<ol>
	<li>Wyczyść czepek EEG środkiem bakteriobójczym i uporządkuj sprzęt zgodnie z zaleceniami producenta. Zapisz wszystkie zebrane pliki danych i utwórz kopię zapasową na serwerze FTP.</li>
	<li>Wypełnij arkusz kalkulacyjny uczestnika: zanotuj każde konkretne zdarzenie lub problem podczas zbierania danych. Usuń wszystkie pliki cookie z przeglądarki internetowej.</li>
</ol>
6. Wstępne przetwarzanie danych i eksport do oprogramowania integracyjnego
<ol start="1">
	<li>Eeg
	<ol>
		<li>Importuj dane EEG do oprogramowania do analizy danych EEG:
		<ol>
			<li>Utwórz trzy puste foldery na komputerze o nazwach "Surowe dane", "Historia" i "Eksport", aby wkleić surowe dane EEG do nowo utworzonego pliku surowych danych.</li>
			<li>W oprogramowaniu do analizy danych EEG kliknij "Plik/Nowy projekt..." i wybierz lokalizację surowych danych, klikając Przeglądaj, a następnie wybierając nowo utworzony plik surowych danych. W ten sam sposób wybierz lokalizację folderów "Historia" i "Eksportuj".</li>
			<li>Kliknij "OK". (Okienko powinno zawierać wszystkie dane EEG uczestnika).</li>
		</ol>
		</li>
		<li>Wstępnie przetwórz sygnał mózgowy:
		<ol>
			<li>Zastosuj filtr i wycięcie (kliknij "Transformacje/Filtry IIR..."). W oknie włącz dolne odcięcie przy 1,5 Hz o nachyleniu 12 dB i wysokie odcięcie przy 50 Hz o nachyleniu 12 dB. Włącz również wycięcie na częstotliwości 60 Hz.</li>
			<li>Ponieważ używany jest wzmacniacz prądu stałego, DC detrenduje sygnał (kliknij "Transformacje/Detrendy DC..." i włącz "na podstawie czasu" na 100 ms przed znacznikiem i 100 ms przed podłączeniem DC).</li>
			<li>Wykonaj inspekcję nieprzetworzonych danych (kliknij "Transformacja/Inspekcja surowych danych..." i wybierz półautomatyczne usuwanie artefaktów). Wybierz następujące opcje: maksymalne napięcie 60 μV/ms; Max-min: 200 μV w przedziale 200 ms; amplituda: od -400 do +400 μV).</li>
			<li>Wykonaj automatyczne ICA z klasycznym spheringiem w celu usunięcia mrugnięcia oczami (artefakty miograficzne nie muszą być usuwane, ponieważ ich zakres wykracza poza interesujące Cię częstotliwości). (Kliknij "Transformacje/ICA...". Na końcu ICA przetworzyć odwrotną ICA).</li>
			<li>Ponownie odwołaj ("Transformacje/Re-re-reference...") sygnału i wybierz "common average".</li>
			<li>Eksportuj (kliknij "Eksport/Eksport danych ogólnych...") sygnał i znaczniki w formacie tekstowym (wybierz pole ".vhdr"), aby ostatecznie zbudować indeks zaangażowania w Matlabie. Zaznacz również pola "Zapisz plik nagłówkowy" i "Zapisz plik znacznika".</li>
		</ol>
		</li>
		<li>Zaimportuj sygnał w Matlabie.
		<ol>
			<li>Uruchom Matlab i wpisz "eeglab", aby pojawił się graficzny interfejs użytkownika EEGLab i zaimportuj dane dla jednego uczestnika na raz. W GUI wybierz menu pozycji "Plik/Import danych/Korzystanie z funkcji i wtyczek EEGLab/Z pliku .vhdr Brain Vis Rec".</li>
			<li>W oknie poleceń wklej skrypt16, który generuje indeks zaangażowania. 
			UWAGA: Skrypt zaangażowania poznawczego jest obliczany na podstawie średniej każdego współczynnika Beta/(Alpha + Theta) w ciągu 20-sekundowego okna przesuwnego poprzedzającego czas T. Ta procedura jest powtarzana co sekundę, a do aktualizacji indeksu używane jest nowe okno przesuwne.</li>
		</ol>
		</li>
		<li>W MS Excel otwórz plik tekstowy indeksu zaangażowania, który jest generowany na końcu skryptu przez Matlab i zastosuj normalizację z-score do danych EEG, aby umożliwić porównanie między osobami. (Dla każdej wartości oblicz tę formułę w programie Excel: Z=(wartość – średnia całkowita)/całkowite odchylenie standardowe.)</li>
		<li>Zapisz sygnał indeksu zaangażowania z-score w pliku CSV w programie MS Excel. (Kliknij Plik/Zapisz jako... i wybierz CSV w polu formatu).</li>
		<li>Powtórz procedurę (od kroku 6.1.2.2.) dla każdego uczestnika.</li>
	</ol>
	</li>
	<li>fizjologia:
	<ol>
		<li>Importuj dane EDA w oprogramowaniu do analizy danych fizjologicznych.</li>
		<li>Zastosuj te parametry do wstępnego przetworzenia sygnału fizjologicznego:
		<ol>
			<li>Zastosuj transformację logarytmiczną, aby znormalizować rozkład przewodnictwa zgodnie z metodą23 Venables i Christie's.</li>
			<li>Spłaszcz sygnał na 10-sekundowym oknie przesuwnym24.</li>
		</ol>
		</li>
		<li>W oprogramowaniu fizjologicznym oblicz normalizację wskaźnika z na danych EDA, aby umożliwić porównanie między osobnikami. (Z=(wartość – średnia całkowita)/całkowite odchylenie standardowe).
		<ol>
			<li>Podświetl wszystkie dane kursorem z kanału EDA.</li>
			<li>W górnym menu wybierz kanał EDA i wybierz "średnia", aby uzyskać średnią wartość całego kanału. Wybierz również kanał EDA i "stddev", aby uzyskać wartość odchylenia standardowego całego kanału.</li>
			<li>Aby obliczyć równanie z-score, kliknij "Transformacja/Matematyka kształtu fali..." i wybierz kanał EDA w Source 1 . Wybierz "–" (minus) w oknie operacji matematycznej i wybierz K w źródle 2. Wybierz "Nowy punkt przeznaczenia" w menu docelowym i wprowadź średnią wartość kanału EDA (patrz krok 6.2.3.2). Wybierz "Przekształć całą falę", kliknij OK i kliknij "Transformacja / Matematyka przebiegu ...". Wybierz kanał EDA-K w źródle 1, wybierz "/" (dzielenie) w oknie operacji matematycznych, wybierz K w źródle 2, wybierz "Nowe miejsce docelowe" w miejscu docelowym i wprowadź wartość odchylenia standardowego kanału EDA (krok 6.2.3.2). Zaznacz opcję "Przekształć całą falę" i kliknij przycisk OK.</li>
		</ol>
		</li>
		<li>Eksportuj sygnał (pobudzenie) do pliku CSV. (Kliknij Plik/Zapisz jako... i wybierz CSV w polu formatu).</li>
	</ol>
	</li>
	<li>Automatyczne rozpoznawanie emocji twarzy:
	<ol>
		<li>Importuj dane wideo z rejestratora multimediów do oprogramowania do automatycznego rozpoznawania emocji twarzy. (Kliknij "Plik/Nowy.../Uczestnik...". Po wybraniu nowego uczestnika w menu projektu poprzez kliknięcie na nie, należy kliknąć "Plik/Nowy/Analiza/Wideo...". Kliknij lupę obok opcji Analiza 1 i wybierz żądany plik wideo.
		<ol>
			<li>Wybierz analizę offline dla "co trzeciej klatki" i aktywuj "ciągłą kalibrację".</li>
			<li>Eksport danych walencyjnych w pliku CSV. (Kliknij "Opcje/Ustawienia/Rejestrowanie...", zaznacz pole "Zapisz wartość wartościową do pliku dziennika". Kliknij "Plik/Eksportuj...", wybierz lokalizację, do której zostaną wyeksportowane pliki dziennika, i zaznacz pole "Zapisz szczegółowy dziennik".)</li>
			<li>Otwórz plik CSV w programie MS Excel. Skopiuj kolumnę danych walencyjnych do jednej kolumny oprogramowania SPSS. Kliknij "Analiza/Statystyki opisowe/Opisowe" i wybierz właśnie wklejoną nazwę zmiennej. Zaznacz pole "Zapisz standardowe wartości w zmiennych". Pojawi się kolumna ze wskaźnikiem z. Skopiuj i wklej te wskaźniki Z na starych danych w pliku programu Excel.</li>
		</ol>
		</li>
		<li>Zapisz plik Excel ze wskaźnikami Z sygnału (wartościowością) w formacie CSV.</li>
	</ol>
	</li>
</ol>
7. Integracja i synchronizacja danych
<ol start="1">
	<li>W oprogramowaniu do analizy behawioralnej:
	<ol>
		<li>Importuj filmy ze śledzeniem ruchu gałek ocznych (zaangażowanie behawioralne). (Kliknij "Plik/Import/Wideo w nowej obserwacji...". Nazwij nową obserwację i wybierz żądany plik wideo.)</li>
		<li>Zakoduj każdy film z odpowiednimi zachowaniami i wydarzeniami kontekstowymi (znaczniki czasu, dobre/złe odpowiedzi).</li>
		<li>Zaimportuj wszystkie dane zewnętrzne z odpowiednim nagłówkiem: z-score sygnału EEG (zaangażowanie poznawcze), z-score sygnału EDA (zaangażowanie emocjonalne), z-score danych walencyjnych (zaangażowanie emocjonalne). (Kliknij "Plik/Import/Dane zewnętrzne...". Wybierz odpowiedni typ pliku i wybierz właściwy plik CSV.)</li>
	</ol>
	</li>
	<li>Synchronizuj czas między komputerami zgodnie z tymi wzorami:
	<ol>
		<li>Czas w spojrzeniu wzrocznym od czasu w EEG = Czas w spojrzeniu w oczy + drugi znacznik w EEG – pierwszy znacznik w spojrzeniu w oczy.</li>
		<li>Czas w spojrzeniu w oczy od czasu w rozpoznawaniu emocji twarzy = Czas w spojrzeniu w oczy + pierwszy marker w emocjach twarzy – pierwszy marker w spojrzeniu w oczy.</li>
		<li>Czas w spojrzeniu na wzrok od czasu w aktywności elektrodermalnej = Czas w spojrzeniu + pierwszy marker w aktywności elektrodermalnej – pierwszy marker w spojrzeniu w oczy.</li>
	</ol>
	</li>
	<li>Wprowadź dane przesunięcia, naciskając "Ctrl + Shift + =", aby otworzyć menu Przesunięcie. Wybierz "Przesunięcie numeryczne", aby wprowadzić czas w sekundach między każdą parą źródeł danych [OK?]), zgodnie z powyższymi obliczeniami.</li>
	<li>Wygeneruj raport zgodnie ze zmiennymi będącymi przedmiotem zainteresowania w badaniu.
	<ol>
		<li>Wybierz interesujące Cię zmienne, które zostaną wygenerowane w raporcie (kliknij "Analizuj/Wybierz dane/Nowe dane profilu..."). Od lewej strony przesuń żądane zmienne między polem "Start" a polem "Wyniki" po prawej stronie.</li>
		<li>Wygeneruj raport. (Kliknij "Analiza/Analiza numeryczna/Nowy...", kliknij "Statystyka" i zaznacz pole średniej w menu danych zewnętrznych. Zakończ, klikając "Oblicz".)</li>
	</ol>
	</li>
	<li>Eksportuj dane do oprogramowania do analizy statystycznej i wykonuj analizę zgodnie z celami badania.</li>
</ol>

<ol><li>Fredricks, J. A., Blumenfeld, P. C., Paris, A. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((School+engagement%3A+Potential+of+the+concept%2C+state+of+the+evidence%5BTitle%5D)+AND+%22Rev.+Educ.+Res%22%5BJournal%5D)">School engagement: Potential of the concept, state of the evidence.</a> Rev. Educ. Res. 74 (1), 59-109 (2004).</li>
<li>Clark, R. C., Mayer, R. E. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aClark%2C+RC+%22E-learning+and+the+Science+of+Instruction%22">E-learning and the Science of Instruction</a>. , Pfeiffer. San Francisco. (2011).</li>
<li>Zhang, D., Zhou, L., Briggs, R. O., Nunamaker, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Instructional+video+in+e-learning%3A+Assessing+the+impact+of+interactive+video+on+learning+effectiveness%5BTitle%5D)+AND+%22Inform.+Manage%22%5BJournal%5D)">Instructional video in e-learning: Assessing the impact of interactive video on learning effectiveness.</a> Inform. Manage. 43 (1), 15-27 (2006).</li>
<li>Freeman, F. G., Mikulka, P. J., Prinzel, L. J., Scerbo, M. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evaluation+of+an+adaptive+automation+system+using+three+EEG+indices+with+a+visual+tracking+task%5BTitle%5D)+AND+%22Biol.+Psychol%22%5BJournal%5D)">Evaluation of an adaptive automation system using three EEG indices with a visual tracking task.</a> Biol. Psychol. 50, 61-76 (1999).</li>
<li>Glimcher, P., Rustichini, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neuroeconomics%3A+The+consilience+of+brain+and+decision%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Neuroeconomics: The consilience of brain and decision.</a> Science. 306 (5695), 447-452 (2004).</li>
<li>Lieberman, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Social+Cognitive+neuroscience%3A+A+review+of+core+processes%5BTitle%5D)+AND+%22Annu.+Rev.+Physiol%22%5BJournal%5D)">Social Cognitive neuroscience: A review of core processes.</a> Annu. Rev. Physiol. 58, 259-289 (2007).</li>
<li>Pope, A. T., Bogart, E. H., Bartolome, D. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Biocybernetic+system+evaluates+indices+of+operator+engagement+in+automated+task%5BTitle%5D)+AND+%22Biol.+Psychol%22%5BJournal%5D)">Biocybernetic system evaluates indices of operator engagement in automated task.</a> Biol. Psychol. 40 (1-2), 187-195 (1995).</li>
<li>Physiological indicators for the evaluation of co-located collaborative play. Mandryk, R., Inkpen, K. CSCW '04 Proceedings of the 2004 ACM conference on Computer supported cooperative work, 2004 Nov 6-10, Chicago, IL, USA, , (2004).</li>
<li>Allaire-Duquette, G., Charland, P., Riopel, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((At+the+very+root+of+the+development+of+interest%3A+Using+human+body+contexts+to+improve+women%E2%80%99s+emotional+engagement+in+introductory+physics%5BTitle%5D)+AND+%22Eur.+J.+Phy.+Ed%22%5BJournal%5D)">At the very root of the development of interest: Using human body contexts to improve women’s emotional engagement in introductory physics.</a> Eur. J. Phy. Ed. 5 (2), 31-48 (2014).</li>
<li>Bradley, M. M., Lang, P. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Measuring+emotion%3A+The+self-assessment+manikin+and+the+semantic+differential%5BTitle%5D)+AND+%22J.+Behav.+Ther.+Exp.+Psy%22%5BJournal%5D)">Measuring emotion: The self-assessment manikin and the semantic differential.</a> J. Behav. Ther. Exp. Psy. 25 (1), 49-59 (1994).</li>
<li>Lang, P. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+emotion+probe%3A+Studies+of+motivation+and+attention%5BTitle%5D)+AND+%22Am.+Psychol%22%5BJournal%5D)">The emotion probe: Studies of motivation and attention.</a> Am. Psychol. 50 (5), 372-385 (1995).</li>
<li>Ekman, P., Felt Friesen, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((false%2C+and+miserable+smiles%5BTitle%5D)+AND+%22J.+Nonverbal+Behav%22%5BJournal%5D)">false, and miserable smiles.</a> J. Nonverbal Behav. 6 (4), 238-252 (1982).</li>
<li>Advances in face and gesture analysis. Van Kuilenburg, H., Den Uyl, M. J., Israël, M. L., Ivan, P. Proceedings of Measuring Behavior 2008, 2008 Aug 26-29, Maastricht, The Netherlands, , 371-372 (2008).</li>
<li>Cacioppo, J., Tassinary, L. G., Berntson, G. G. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aCacioppo%2C+J+%22Handbook+of+Psychophysiology%22">Handbook of Psychophysiology</a>. , Cambridge University Press. Cambridge, UK. (2007).</li>
<li>Lubar, J. F., Swartwood, M. O., Swartwood, J. N., O’Donnell, P. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evaluation+of+the+effectiveness+of+EEG+neurofeedback+training+for+ADHD+in+a+clinical+setting+as+measured+by+changes+in+T.O.V.A.+scores%2C+behavioral+ratings%2C+and+WISC+R+performance%5BTitle%5D)+AND+%22Biofeedback+Self-reg%22%5BJournal%5D)">Evaluation of the effectiveness of EEG neurofeedback training for ADHD in a clinical setting as measured by changes in T.O.V.A. scores, behavioral ratings, and WISC R performance.</a> Biofeedback Self-reg. 20 (1), (1995).</li>
<li>Mikulka, P. J., Freeman, F. G., Scerbo, M. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Effects+of+a+biocybernetic+system+on+the+vigilance+decrement%5BTitle%5D)+AND+%22Hum.+factors%22%5BJournal%5D)">Effects of a biocybernetic system on the vigilance decrement.</a> Hum. factors. 44 (4), 654-664 (2002).</li>
<li>Freeman, F. G., Mikulka, P. J., Scerbo, M. W., Scott, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+evaluation+of+an+adaptive+automation+system+using+a+cognitive+vigilance+task%5BTitle%5D)+AND+%22Biol.+Psychol%22%5BJournal%5D)">An evaluation of an adaptive automation system using a cognitive vigilance task.</a> Biol. Psychol. 67 (3), 283-297 (2004).</li>
<li>Chaouachi, M., Chalfoun, P., Jraidi, I., Frasson, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Affect+and+mental+engagement%3A+Toward+adaptability+for+intelligent+systems%5BTitle%5D)+AND+%22Proceedings+of+the+Twenty-Third+International+Florida+Artificial+Intelligence+Research+Society+Conference+%28FLAIRS+2010%29%2C+Association+for+the+Advancement+of+Artificial+Intelligence%22%5BJournal%5D)">Affect and mental engagement: Toward adaptability for intelligent systems.</a> Proceedings of the Twenty-Third International Florida Artificial Intelligence Research Society Conference (FLAIRS 2010), Association for the Advancement of Artificial Intelligence. , 355-360 (2010).</li>
<li>Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labonté-LeMoyne, É <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Precision+is+in+the+eye+of+the+beholder%3A+Application+of+eye+fixation-related+potentials+to+information+systems+research%5BTitle%5D)+AND+%22J.+Assoc.+Inf.+Syst%22%5BJournal%5D)">Precision is in the eye of the beholder: Application of eye fixation-related potentials to information systems research.</a> J. Assoc. Inf. Syst. 15 (10), 651-678 (2014).</li>
<li>Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labonté-Lemoyne, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Applying+eye+fixation-related+potentials+to+information+systems+research%3A+Demonstration+of+the+method+during+natural+IS+use+and+guidelines+for+research%5BTitle%5D)+AND+%22J.+Assoc.+Inf.+Syst%22%5BJournal%5D)">Applying eye fixation-related potentials to information systems research: Demonstration of the method during natural IS use and guidelines for research.</a> J. Assoc. Inf. Syst. 15 (10), (2014).</li>
<li>Courtemanche, F. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Un+outil+d%E2%80%99%C3%A9valuation+neurocognitive+des+interactions+humain-machine+Doctoral%22">Un outil d’évaluation neurocognitive des interactions humain-machine Doctoral thesis</a>. , Université de Montréal. Montreal, QC. (2014).</li>
<li>Assessing multiple dimensions of learner engagement during science problem solving using psychophysiological and behavioral measures. Charland, P., Léger, P. M., Mercier, J., Skelling-Desmeules, Y. Fourth Scientific International Symposium of the Association for Research in Neuroeducation, Caen, France, , (2014).</li>
<li>Venables, P. H., Christie, M. J. Electrodermal activity. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aVenables%2C+PH+%22Techniques+in+Psychophysiology%22">Techniques in Psychophysiology</a>. Martin, I., Venables, P. , Wiley. Chichester, UK. 3-67 (1980).</li>
<li><a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Electrodermal+Activity%22">Electrodermal Activity</a>. Boucsein, W. , 2nd ed, Springer. New York. (2012).</li>
<li>Sarlo, M., Palomba, D., Buodo, G. M., Minghetti, R., Stegagno, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Blood+pressure+changes+highlight+gender+differences+in+emotional+reactivity+to+arousing+pictures%5BTitle%5D)+AND+%22Biol.+Psychol%22%5BJournal%5D)">Blood pressure changes highlight gender differences in emotional reactivity to arousing pictures.</a> Biol. Psychol. 70 (3), 188-196 (2005).</li>
<li>Martens, R. L., Gulikers, J., Bastiaens, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+impact+of+intrinsic+motivation+on+e-learning+in+authentic+computer+tasks%5BTitle%5D)+AND+%22J.+Comput.+Assist.+Lear%22%5BJournal%5D)">The impact of intrinsic motivation on e-learning in authentic computer tasks.</a> J. Comput. Assist. Lear. 20 (5), 368-376 (2004).</li>
</ol>

Autorzy nie mają nic do ujawnienia.

Jeśli chodzi o krytyczne kroki w ramach protokołu, należy najpierw wskazać, że jakość danych jest zawsze głównym celem technik gromadzenia danych neurofizjologicznych. W tej metodologii asystenci naukowi muszą zwracać szczególną uwagę na instruowanie badanych, aby zminimalizowali ruchy głowy, które będą zakłócać monitorowanie walencyjne (utrata prawidłowego kąta twarzy dla kamery) lub generować artefakty miograficzne w EEG. Z drugiej strony należy zachować równowagę między autentycznością rzeczywistego rozwiązywania prob...

Zaangażowanie odgrywa kluczową rolę w procesie uczenia się. Według Clarka i Mayera2 „każda forma uczenia się wymaga zaangażowania”, niezależnie od zastosowanych mediów przekazu. Zhang et al.3 zasugerowali również, że zwiększone zaangażowanie studentów może poprawić wyniki w nauce, takie jak umiejętność rozwiązywania problemów i krytyczne myślenie. Definiowanie zaangażowania pozostaje wyzwaniem. W swoim przeglądzie literatury Fredricks, Blumenfeld i Paris1 zdefiniowali zaangażowanie poprzez jego wielowymiarowy charakter: „Zaangażowanie behawioralne opiera się na idei uczestnictwa; obejmuje ono włączanie się w działania akademickie, społeczne lub pozalekcyjne. (…) Zaangażowanie emocjonalne obejmuje pozytywne i negatywne reakcje wobec nauczycieli, kolegów z klasy, naukowców oraz szkoły i przyjmuje się, że tworzy ono więzi z danym obiektem oraz wpływa na chęć do pracy. Wreszcie, zaangażowanie poznawcze opiera się na idei inwestycji intelektualnej; obejmuje ono refleksyjność oraz gotowość do włożenia wysiłku niezbędnego do zrozumienia złożonych idei i opanowania trudnych umiejętności”.
Fredricks, Blumenfeld i Paris1 twierdzili również, że skupienie się na zachowaniu, emocjach i poznaniu w ramach koncepcji zaangażowania może zapewnić bogatszą charakterystykę uczenia się. Autorzy ci wskazali, że obszerny zbiór badań analizuje każdy składnik zaangażowania osobno, lecz składniki te nie były badane łącznie. Zauważyli oni także, że dostępnych jest niewiele informacji na temat interakcji między tymi wymiarami i że więcej badań mogłoby przyczynić się do planowania precyzyjnie dostrojonych interwencji dydaktycznych. Jako krok w tym kierunku, niniejsza praca opisuje metodologię badawczą opracowaną w celu jednoczesnego gromadzenia i analizowania ilościowych i jakościowych danych na temat zaangażowania behawioralnego, emocjonalnego i poznawczego podczas zadań edukacyjnych.
Wprowadzanie neuronauk do edukacji
Zachowanie, a co za tym idzie zaangażowanie behawioralne, od dawna stanowi centralny punkt badań w edukacji: projekty badawcze skupiały się głównie na zmianach w wiedzy i zachowaniu występujących w długich okresach czasu, pomiędzy testami wstępnymi a końcowymi oraz w odstępach godzin, tygodni, miesięcy lub lat. Rozróżnienie między zaangażowaniem behawioralnym, emocjonalnym a poznawczym pozostaje wyzwaniem, ponieważ dwa ostatnie wymiary nie są systematycznie obserwowalne z zewnątrz. Procesy poznawcze i emocje muszą być albo wnioskowane z obserwacji, albo oceniane za pomocą miar samoopisowych. Z zewnętrznej perspektywy nadal trudno jest określić, czy uczniowie starają się wykonać zadanie tak szybko, jak to możliwe, czy też stosują strategie uczenia się na głębokim poziomie, aby opanować konkretną treść. W rzeczywistości Fredricks, Blumenfeld i Paris1 nie byli w stanie znaleźć żadnych opublikowanych badań wykorzystujących bezpośrednie, obiektywne miary zaangażowania poznawczego.
Ostatnie osiągnięcia technologiczne w dziedzinie neuronauk stworzyły nowe możliwości prowadzenia badań w edukacji. Nowe metody zbierania danych i algorytmy analizy opracowane w obszarze neuroergonomii wydają się bardzo obiecujące dla badań jakościowych i ilościowych podczas zadań edukacyjnych. Inne dyscypliny, takie jak ekonomia, psychologia, marketing i ergonomia, od pewnego czasu wykorzystują pomiary neurofizjologiczne do oceny zaangażowania poznawczego4-8. Pomiary neurofizjologiczne w połączeniu z wydajnymi algorytmami analizy pozwalają na badanie zjawiska bez jego zakłócania. Z natury kwestionariusze samoopisowe odciągają uczniów od procesu uczenia się. Pomiary neurofizjologiczne pozwalają na realizację projektów badawczych w bardziej autentycznych środowiskach edukacyjnych. Narzędzia te obejmują sprzęt do monitorowania tętna, częstości oddechów, ciśnienia krwi, temperatury ciała, średnicy źrenic, aktywności elektrodermalnej, elektroencefalografii (EEG) itp.
Gromadzenie zsynchronizowanych danych dotyczących zaangażowania behawioralnego, emocjonalnego i poznawczego
Jako reprezentatywne wyniki uzyskane po zastosowaniu niniejszego protokołu, w pracy tej przedstawione zostaną częściowe rezultaty badania, w którym osoby uczące się musiały rozwiązać na ekranie komputera dziesięć zadań z fizyki mechanicznej. Zadania te opracowano w poprzednich pracach9. Dane neurofizjologiczne gromadzono podczas rozwiązywania zadań oraz podczas 45 s przerwy na relaksację po każdym zadaniu, gdy osoby badane miały zamknięte oczy.
Jak wspomniano powyżej, dane dotyczące zaangażowania behawioralnego obejmują interakcje z oprogramowaniem (ruchy myszy i kliknięcia), kierunek spojrzenia, wyniki oraz odpowiedzi na pytania udzielone przez ucznia wchodzącego w interakcję z systemem podczas wykonywania zadania1. Do zbierania danych o interakcjach z oprogramowaniem i kierunku spojrzenia wykorzystano system eye-trackingowy. Dane dotyczące wydajności (czas rozwiązania problemu, poprawność odpowiedzi) zbierano na stronie internetowej z ankietami, która służyła do prezentacji zadania. Strona ta została również wykorzystana do gromadzenia danych z raportów własnych, zebranych za pomocą kwestionariusza zaadaptowanego od Bradleya i Langa10. Zaangażowanie emocjonalne wiąże się z charakterystyką emocji. Według Langa11 emocje charakteryzuje się pod kątem walencji (przyjemne/nieprzyjemne) oraz pobudzenia (spokój/pobudzenie). Odpowiednio zebrano dane dotyczące zaangażowania emocjonalnego, wykorzystując oprogramowanie do automatycznego rozpoznawania emocji z twarzy, które kwantyfikuje walencję emocjonalną, oraz koder/czujnik aktywności elektrodermalnej do pomiaru pobudzenia12,13. Aktywność elektrodermalna (EDA) odnosi się do zarejestrowanego oporu elektrycznego między dwiema elektrodami, gdy między nimi przepływa stały, bardzo słaby prąd elektryczny. Cacioppo, Tassinary i Berntson14 wykazali, że rejestrowany opór zmienia się w zależności od stopnia pobudzenia badanego. Zatem dane psychofizjologiczne, takie jak walencja czy pobudzenie, są uważane za korelaty zaangażowania emocjonalnego.
W końcowym etapie dane dotyczące zaangażowania poznawczego są zbierane za pomocą elektroencefalografii (EEG). EEG mierzy na skórze czaszki zsynchronizowaną aktywność elektryczną grup neuronów w mózgu. Sygnały elektryczne rejestrowane ze skóry czaszki są często oscylacyjne i składają się z komponentów częstotliwościowych. Zgodnie z konwencją częstotliwości te są grupowane w sekwencje, znane jako pasma. Na przykład przedmiotem niniejszego badania są pasma alfa, beta i theta. Według badań neurobiologicznych14 pasma te odzwierciedlają różne zdolności przetwarzania poznawczego w określonych obszarach mózgu. Zatem analiza gęstości widmowej mocy (PSD) określonych częstotliwości, w połączeniu z licznymi badaniami7,15 nad czujnością i uwagą, pozwala badaczom na ilościowe określenie zaangażowania poznawczego podczas wykonywania zadania. Jak zauważyli Mikulka et al.16 , badania wykazały bezpośrednią zależność między aktywnością beta a czujnością poznawczą oraz pośrednią zależność między aktywnością alfa i theta a czujnością. W związku z tym Pope, Bogart i Bartoleme7 opracowali wskaźnik zaangażowania, który oblicza PSD trzech pasm: beta / (alpha + theta). Stosunek ten został zwalidowany w innych badaniach nad zaangażowaniem16,17,18. Aby scharakteryzować zaangażowanie poznawcze w czasie, szybka transformata Fouriera (FFT) przekształca sygnał EEG z każdego aktywnego punktu (F3, F4, O1, O2) w widmo mocy. Wskaźnik zaangażowania EEG w czasie T jest obliczany jako średnia każdego stosunku zaangażowania w 20 sec przesuwnym oknie poprzedzającym czas T. Procedura ta jest powtarzana w każdej sekundzie i używane jest nowe okno przesuwne w celu aktualizacji wskaźnika.
Ponieważ celem tej metodologii jest przeprowadzenie bogatej analizy wielu wymiarów zaangażowania, kluczowa jest synchronizacja danych. Jak przypominają Leger et al.19, producenci sprzętu stanowczo zalecają używanie tylko jednego komputera na jedno narzędzie pomiarowe, aby zagwarantować określony poziom precyzji. W związku z tym, w przypadku zastosowania wielu komputerów, synchronizacja między komputerami rejestrującymi staje się krytycznym krokiem. Wszystkie nagrania nie mogą zostać rozpoczęte w dokładnie tym samym czasie, a każdy strumień danych ma własną ramę czasową (np. sekunda 0 śledzenia wzroku ≠ sekunda 0 EEG lub danych fizjologicznych). Jest to niezwykle istotne: desynchronizacja między strumieniami danych oznacza błędy w kwantyfikacji każdego wymiaru zaangażowania. Istnieją różne sposoby synchronizacji jednoczesnych pomiarów fizjologicznych i behawioralnych. Metody te można podzielić na dwa główne podejścia: bezpośrednie i pośrednie20. Protokół przedstawiony w następnej sekcji opiera się na podejściu pośrednim, w którym zewnętrzne urządzenie, tzw. syncbox, jest wykorzystywane do wysyłania sygnałów logicznych tranzystor-tranzystor (TTL) do całego sprzętu rejestrującego (jak pokazano na Rysunku 1). Ponieważ każde urządzenie ma inny czas startu, znaczniki TTL są rejestrowane w plikach dziennika z relatywnym opóźnieniem. Znaczniki te są następnie wykorzystywane do ponownego wyrównania sygnałów, zapewniając tym samym właściwą synchronizację po każdym pomiarze. Do ponownej synchronizacji osi czasu każdego strumienia danych oraz do przeprowadzenia analizy ilościowej i jakościowej każdego wymiaru zaangażowania wykorzystuje się program do analizy behawioralnej umożliwiający integrację zewnętrznych plików.
<img alt="Schemat synchronizacji danych multimodalnych z użyciem sygnałów TTL; śledzenie ruchu gałek ocznych, EEG, emocje, EDA." src="/files/ftp_upload/52627/52627fig1.jpg" data-altupdatedat="1787630408000" data-alt="Rysunek 1"> 
Rysunek 1. Architektura systemu gromadzenia danych. Środowisko laboratoryjne, w którym zbierane są dane dotyczące zaangażowania behawioralnego (eye-tracking), emocjonalnego (EDA i emocje twarzy) oraz poznawczego (EEG), składa się z wielu komputerów. Stwarza to problem z synchronizacją danych, które są referencyjne względem zegarów poszczególnych komputerów. Aby umożliwić analizę wszystkich danych w tym samym czasie referencyjnym, konfiguracja laboratoryjna obejmuje moduł synchronizujący (syncbox), który wysyła sygnały TTL do wszystkich strumieni danych. <a href="https://www.jove.com/files/ftp_upload/52627/52627fig1large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>
Aby ocenić precyzję metodologii pod kątem synchronizacji, przed każdym z zadań z zakresu fizyki mechanicznej wprowadzono 45 sec przerwy. Podczas tych przerw badani mieli się rozluźnić i zamknąć oczy. Jak pokazano w innych badaniach4,9,16,17,18, przerwy te powinny wywołać istotne zmiany w rejestrowanym sygnale: dwa punkty źrenic w systemie eye-tracking natychmiast znikają (zaangażowanie behawioralne), a w sygnale EEG obserwuje się nagły spadek zaangażowania poznawczego. Te konkretne komponenty sygnału są wykorzystywane do oceny ogólnej poprawności synchronizacji. Niedawne publikacje artykułów, które w pełni lub częściowo opierają się na tej procedurze synchronizacji w dziedzinach systemów informacyjnych19, interakcji człowiek-maszyna21 oraz edukacji9, 22, stanowią dowód jej skuteczności.

<table><tbody><tr><td>EGI GSN-32&nbsp;</td><td>EGI</td><td></td><td>Dense array</td></tr><tr><td>EEG Netstation v.5.0</td> Oprogramowanie do zbierania danych <td>EGI</td><td></td><td>EEG: EEG jest zbierane za pomocą 32-elektrodowej sieci czujników geodezyjnych elektroencefalografii o gęstej matrycy (dEEG) przy użyciu oprogramowania akwizycyjnego Netstation i wzmacniaczy EGI (Electrical Geodesics, Inc.). Wierzchołek (miejsce rejestracji Cz) jest elektrodą odniesienia do rejestracji. Impedancja jest utrzymywana poniżej 50 k&Omega; z częstotliwością próbkowania 250 Hz.&nbsp;</td></tr><tr><td>Facereader v.4</td><td>Noldus</td><td></td><td>Oprogramowanie do rozpoznawania emocji twarzy</td></tr><tr><td>Syncbox</td><td>Noldus</td><td></td><td>Syncbox rozpoczyna wspólną rejestrację danych EEG i spojrzenia, wysyłając sygnał logiki tranzystor-tranzystor (TTL) do wzmacniacza EGI i sygnał naciśnięcia do Tobii Studio v 3.2.</td></tr><tr><td>Logitech C600&nbsp; Kamera</td><td></td> internetowa <td>960-000396</td><td>Kamera internetowa służąca do zbierania danych wideo wysyłanych do mediarecorder, które będą analizowane w Facereader</td></tr><tr>Oprogramowanie do integracji i synchronizacji<td>Observer XT</td><td>Noldus</td><td></td><td>: Noldus Observer XT (technologia informacyjna Noldus) służy do synchronizacji wszystkich danych dotyczących zaangażowania, emocji i funkcji poznawczych.</td></tr><tr><td>Oświetlenie LED na ekranie</td><td>Noldus</td><td></td><td>Neon umieszczony na ekranie komputera w celu prawidłowego oświetlenia twarzy osób</td></tr><tr><td>MediaRecorder</td><td>Noldus</td><td></td><td>Oprogramowanie do zbierania danych wideo</td></tr><tr><td>Tobii 60X</td><td>Tobii</td><td></td><td>Zbieraj wzorce ruchów gałek ocznych :&nbsp; służy do rejestrowania wzorców ruchów gałek ocznych badanych przy 60 Hz podczas eksperymentu.</td></tr><tr><td>Tobii Studio v.3.2</td><td>Tobii</td><td></td><td>Oprogramowanie do zbierania i analizy danych ze śledzenia wzroku</td></tr><tr><td>Analyzer 2</td><td>Oprogramowanie do przetwarzania sygnałów EEG</td><td>Brainvision</td><td></td></tr><tr><td>Acqknowledge v.4.0</td><td>Biopac</td><td>ACK100M</td><td>Oprogramowanie do akwizycji i przetwarzania sygnałów fizjologicznych</td></tr> Control <tr><td>III Roztwór bakteriobójczy</td><td>Maril Products.</td><td>10002REVA-20002-1</td><td>Roztwór dezynfekujący stosowany z hełmami EEG : zalecany przez EGI</td></tr><tr><td>Unipark</td><td>QuestBack AG</td><td></td><td>Środowisko ankiet online</td></tr></tbody></table>

ocena wielu wymiarów zaangażowania w celu scharakteryzowania uczenia się: perspektywa neurofizjologiczna

Assessing the Multiple Dimensions of Engagement to Characterize Learning: A Neurophysiological Perspective

W niedawnej syntezie teoretycznej na temat pojęcia zaangażowania, Fredricks, Blumenfeld i Paris1 zdefiniowali zaangażowanie poprzez jego wieloraki wymiar: behawioralny, emocjonalny i poznawczy. Zaobserwowali, że poszczególne rodzaje zaangażowania nie były badane łącznie i niewiele było dostępnych informacji na temat interakcji lub synergii między wymiarami; W związku z tym więcej badań przyczyniłoby się do stworzenia precyzyjnie dostosowanych interwencji dydaktycznych. Korzystając z najnowszych osiągnięć technologicznych w dziedzinie neuronauki, w artykule przedstawiono niedawno opracowaną metodologię gromadzenia i synchronizowania danych na temat wielowymiarowego zaangażowania podczas zadań edukacyjnych. Technika ta polega na zbieraniu (a) danych elektroencefalograficznych, (b) elektrodermalnych, (c) danych dotyczących śledzenia ruchu gałek ocznych i (d) rozpoznawania emocji twarzy na czterech różnych komputerach. Prowadziło to do problemów z synchronizacją danych zebranych z wielu źródeł. Synchronizacja po zakończeniu w specjalistycznym oprogramowaniu integracyjnym pozwala badaczom lepiej zrozumieć dynamikę między wieloma wymiarami zaangażowania. Dla twórców programów nauczania dane te mogą dostarczyć świadomych wskazówek dotyczących osiągania lepszej efektywności nauczania/uczenia się. Technika ta otwiera również możliwości w dziedzinie interakcji mózg-komputer, w których można opracować adaptacyjne środowiska uczenia się lub oceny.

Ryciny 2 i 3 przedstawiają zrzuty ekranu wyników integracji i synchronizacji danych dotyczących zaangażowania behawioralnego, emocjonalnego i poznawczego w aplikacji oprogramowania do analizy behawioralnej. Na obu ryciniach sekcja po lewej stronie organizuje badanych oraz schemat kodowania. W sekcji środkowej wideo (z czerwonymi kropkami) pokazuje kierunek spojrzenia badanego podczas wykonywania zadania. Zaangażowanie behawioralne badanego można wywnioskować na podstawie tego, na co patrzy podczas zadani...

Ten artykuł ma na celu opisanie technik związanych z gromadzeniem i synchronizacją wielu wymiarów (behawioralnego, afektywnego i poznawczego) zaangażowania uczniów podczas zadania.

Ocena wielu wymiarów zaangażowania w celu scharakteryzowania uczenia się: perspektywa neurofizjologiczna

In a recent theoretical synthesis on the concept of engagement, Fredricks, Blumenfeld and Paris1 defined engagement by its multiple dimensions: ...

Ogólnym celem niniejszej procedury jest gromadzenie i synchronizacja danych dotyczących zaangażowania behawioralnego, emocjonalnego i poznawczego podczas wykonywania zadań edukacyjnych. Jest to realizowane poprzez uprzednie połączenie wszystkich systemów zbierania danych za pomocą urządzenia synchronizującego, które prześle znacznik czasu do zgromadzonych danych. Drugim krokiem jest zebranie danych z okulografii oraz danych o interakcjach z oprogramowaniem w celu oceny zaangażowania behawioralnego.Następnie zostaną zebrane dane EEG w celu charakteryzacji zaangażowania poznawczego. Ostatnim krokiem jest gromadzenie danych dotyczących zaangażowania emocjonalnego, pochodzących z aktywności elektrodermalnej (ED) w celu pomiaru pobudzenia oraz z automatycznego rozpoznawania emocji z twarzy (A FER) w celu wygenerowania danych o walencji. Ostatecznie indeksy charakteryzujące trzy wymiary zaangażowania zostaną ponownie zsynchronizowane w oprogramowaniu do synchronizacji zgodnie z markerami czasu przesłanymi pierwotnie przez urządzenie synchronizujące.Główną zaletą tej techniki jest to, że kwantyfikuje ona trzy wymiary zaangażowania uczniów podczas zadania edukacyjnego, w przeciwieństwie do klasycznych metod badawczych, które koncentrują się wyłącznie na narzędziach samooceny zaangażowania po zakończeniu zadań. Metoda ta może pomóc w odpowiedzi na kluczowe pytania w dziedzinie edukacji, takie jak: jaka jest dynamika wpływu na poznanie w różnych złożonych sytuacjach uczenia się oraz jaki jest wpływ różnych ustawień pedagogicznych na afekt i poznanie? Technika ta znajduje zastosowanie również w innych dziedzinach.Na przykład w technologiach informacyjnych technika ta jest wykorzystywana do pomiaru zaangażowania użytkownika podczas przeglądania strony internetowej lub korzystania z aplikacji programowej. Metoda ta jest inspirowana niedawnymi badaniami z zakresu neuroomiki, w których dane dotyczące czujności kierowców na długich trasach były gromadzone przy użyciu urządzeń EEG. Procedurę tę zaprezentuje Gabrielle Zu, asystentka badawcza w Tech three Lab na HEC Montreal, a także Igo i Yig, asystenci badawczy z Neuro Lab. Rozpocznij od włączenia eyetrackera, wzmacniacza EEG, komputerów rejestrujących oraz głośników.Przygotuj roztwór do EEG z wymaganymi materiałami zgodnie z procedurami zalecanymi przez producenta. Następnie przygotuj oprogramowanie do EEG i eyetrackingu dla kolejnego uczestnika. Uruchom oprogramowanie do nagrywania wideo oraz kamery, a następnie uruchom oprogramowanie do synchronizacji z konkretną podprocedurą stworzoną na potrzeby projektu, która umożliwia wysyłanie markerów synchronizacyjnych co 60 sekund.Następnie uruchom oprogramowanie do pomiarów fizjologicznych i otwórz odpowiedni układ stworzony dla danego projektu. Potem wprowadź uczestnika do pomieszczenia do zbierania danych i zlokalizuj elektrodę cz na głowie uczestnika zgodnie z systemem referencyjnym 10-20. Nałóż siatkę EEG na głowę uczestnika, upewniając się, że każda elektroda jest ustawiona prostopadle do powierzchni głowy.Podłącz konektor sieciowy i przeprowadź pomiar impedancji z progiem 40 kilo ohms. Na koniec umieść dwa sensory fizjologiczne na grzbiecie lewej dłoni uczestnika. Rozpocznij zbieranie danych.Po przygotowaniu całego oprogramowania do rejestracji w programie Synchrony, przeprowadź procedurę kalibracji dziewięciopunktowej i obserwuj uczestnika podczas śledzenia czerwonych kropek na ekranie. Powtarzaj tę procedurę do momentu osiągnięcia dokładności zgodnej ze standardami producenta, a następnie poleć uczestnikowi rozwiązanie 10 zadań z fizyki newtonowskiej na komputerze. Zakończ akwizycję danych na wszystkich komputerach.Po zakończeniu zadania należy usunąć wszystkie sensory z uczestnika. W pierwszej kolejności zaimportuj dane EEG do oprogramowania do analizy danych EEG. Następnie kliknij plik, potem nowy projekt i wybierz lokalizację surowych danych, klikając przeglądaj.Wybierz nowo utworzony folder z surowymi danymi. W ten sam sposób wybierz lokalizację dwóch kolejnych folderów o nazwach history oraz export. Następnie kliknij OK.Następnie kliknij transformacje i filtry IIR, aby wstępnie przetworzyć sygnał mózgowy poprzez zastosowanie filtra i filtra notch w oknie oprogramowania. Ustaw granice odcięcia na 1.5 i 50 hertz ze spadkiem 12 decybeli dla każdego z nich i włącz filtr notch przy częstotliwości 60 hertz. Następnie usuń trend DC z sygnału, klikając transformacje i DC dre.Wybierz opcję w oparciu o czas wynoszący 100 ms przed markerem i 100 ms przed połączeniem DC. Przeprowadź inspekcję surowych danych, klikając przekształcenia i inspekcję surowych danych. Wybierz inspekcję półautomatyczną i określ parametry dla napięcia, wartości maksymalnej i minimalnej oraz amplitudy, zgodnie z tym, co tutaj widać.Przeprowadź automatyczną analizę niezależnych komponentów (ICA) z klasycznym sferowaniem w celu usunięcia mrugnięć oczu, klikając Transformations, a następnie ICA. Po zakończeniu procesu wykonaj odwrotne ICA, klikając Transformations, ICA, a następnie Inverse ICA.Na koniec wyeksportuj sygnał i markery, klikając „export”, a następnie „generic data export”. Zaznacz pola opisane jako „right header file” oraz „right marker file”. Dodatkowo wybierz format tekstowy („text format”) w celu ewentualnego obliczenia wskaźnika zaangażowania (engagement index) w programie MATLAB.Następnie zaimportuj sygnał EEG do programu MATLAB. W tym celu uruchom skrypt EEGLAB, aby w MATLAB-ie pojawił się interfejs graficzny EEGLAB.Importuj dane dla jednego uczestnika na raz, wybierając import plików za pomocą funkcji i wtyczek EEG lab, a następnie z pliku brain vis rec VDR wklej skrypt w oknie poleceń, który wygeneruje wskaźnik zaangażowania. Skrypt ten utworzy plik tekstowy. Otwórz plik tekstowy ze wskaźnikiem zaangażowania w programie Microsoft Excel.Zastosuj normalizację Z-score do danych EEG, aby umożliwić porównania międzyosobnicze. Po zakończeniu wstępnego przetwarzania danych EEG, przeprowadź wstępne przetwarzanie danych fizjologicznych poprzez import danych aktywności ELEKTRODERMALNEJ lub danych EDA do oprogramowania do analizy danych fizjologicznych.Następnie przeprowadź normalizację z-score danych EDA, klikając w opcję transformacji i matematyki przebiegów (transformation and waveform math), aby umożliwić porównania międzyosobnicze. Odbywa się to w dwóch krokach. Po pierwsze, wybierz kanał EDA jako źródło pierwsze, znak minus w oknie operacji matematycznych oraz K jako źródło drugie.Następnie w menu docelowym wybierz opcję new. Wprowadź wartość średnią kanału EDA i zaznacz transform entire wave. Kliknij okay, w drugim kroku ponownie otwórz transformation waveform math, a następnie wybierz kanał EDAK jako źródło jedno (source one), znak dzielenia w oknie operacji matematycznych oraz K jako źródło dwa (source two).Następnie w menu docelowym wybierz opcję new. Wprowadź wartość odchylenia standardowego dla kanału EDA i zaznacz transform entire wave. Na koniec kliknij okay, aby zakończyć ostatni etap wstępnego przetwarzania.Zaimportuj dane wideo z rejestratora multimedialnego do oprogramowania do automatycznego rozpoznawania emocji z twarzy, klikając w menu plik nowy, a następnie uczestnik. Wybierz nowego uczestnika w menu projektu. Następnie kliknij plik nowa analiza i wideo.Kliknij ikonę lupy obok analizy pierwszej i wybierz odpowiedni plik wideo. Następnie oblicz zco dla danych walencyjnych w programie SPSS, klikając analyze, descriptive statistics, a następnie descriptives. Zaznacz opcję save standardized values w sekcji variables, po czym pojawi się kolumna z wynikiem Z-score.Zacznij od zaimportowania filmów z trackingu I, klikając plik, importuj i wideo w nowej obserwacji. Nazwij nową obserwację i wybierz żądany plik wideo do importu. Zaimportuj wszystkie dane zewnętrzne, klikając plik, importuj i dane zewnętrzne.Dołącz wynik Z sygnału EEG, wynik Z sygnału EDA oraz wynik Z danych dotyczących walencji. W razie potrzeby dodaj markery zdarzeń do dalszej analizy. Aby zsynchronizować czas między komputerami, otwórz menu przesunięcia (offset), naciskając klawisze control, shift i znak równości, a następnie wybierz przesunięcie numeryczne, aby wprowadzić czas w sekundach pomiędzy każdą parą źródeł danych.Kliknij OK. Następnie wybierz zmienne, które mają zostać wygenerowane w raporcie, klikając Analyze, Select Data oraz New Data Profile. Wybierz zdarzenie przeznaczone do analizy i kliknij OK.Następnie dodaj linię połączenia między tabelą startową a tabelą gniazdową (nest table), a także między tabelą gniazdową a tabelą wyników. Wygeneruj raport, klikając „analyze numerical analysis”, a następnie „statistics” i zaznaczając pole wyboru przy opcji „mean” w menu danych zewnętrznych (external data). Na koniec kliknij OK.Kliknij układ i upewnij się, że dane zewnętrzne znajdują się w kolumnach, a kontenery wyników w wierszach. Zatwierdź, klikając OK. Na koniec kliknij przycisk oblicz, aby oprogramowanie zaktualizowało obliczenia zawarte w generowanym raporcie.W tym eksperymencie synchronizowanych jest wiele wymiarów danych dotyczących zaangażowania, w tym behawioralne, poznawcze i emocjonalne, przy użyciu wielu komputerów. W celu ustalenia poziomu bazowego badanego, użyteczne jest wykorzystanie danych z momentu w zadaniu, w którym następuje przerwa, konkretnie z jej końca. Zaangażowanie poznawcze mierzone za pomocą EEG ponownie nieznacznie rośnie w oczekiwaniu na kolejne zadanie, podczas gdy pobudzenie nadal spada.Dane dotyczące walencji są nieobecne, ponieważ uczestnik ma zamknięte oczy podczas zadania rozwiązywania problemu. W momencie gdy badany czyta trzecią linię, można zauważyć, że jego pobudzenie osiągnęło szczyt. Walencja emocjonalna jest neutralna, a poznawcze zaangażowanie EEG po opanowaniu zadania znajduje się na maksymalnym poziomie.Technika ta obejmuje około 30 minut przygotowania badanego przed rozpoczęciem eksperymentu. Po jej opracowaniu metoda ta utoruje drogę badaczom i praktykom nie tylko z zakresu technologii informatycznych, ale także z przemysłu gier wideo, do monitorowania w czasie rzeczywistym aspektów behawioralnych, emocjonalnych i poznawczych użytkowników. Kluczowym krokiem w każdym podejściu regulacyjnym jest synchronizacja, a precyzja tej procedury powinna być testowana przed i po każdym eksperymencie, aby zapewnić dokładne zgranie czasowe między wszystkimi urządzeniami.Po obejrzeniu tego filmu powinni Państwo posiadać gruntowną wiedzę na temat tego, jak gromadzić zsynchronizowane dane psychofizjologiczne, aby lepiej zrozumieć dynamikę interakcji wymiarów behawioralnych, emocjonalnych i poznawczych zaangażowania podczas zadania edukacyjnego.

assessing-multiple-dimensions-engagement-to-characterize-learning

Research

JoVE Journal

Behavior

Zachowanie

Ocena wielu wymiarów zaangażowania w charakterystykę uczenia się: Neurofizjologiczne ujęcie

Ten manuskrypt opisuje podejście do pomiaru aktywności neuronalnej ludzi podczas rozwiązywania przestrzennie skoncentrowanych problemów inżynieryjnych. Metodologia elektroencefalogramu pomaga interpretować pomiary fal mózgowych beta pod kątem wydajności neuronalnej, aby ostatecznie umożliwić porównanie wykonania zadań zarówno między typami problemów, jak i między uczestnikami.

Wykorzystanie pomiarów elektroencefalografii do porównania sprawności neuronalnej specyficznej dla danego zadania: zadania z zakresu inteligencji przestrzennej

Ta praca przedstawia nowy protokół oceny zespołu nadpobudliwości psychoruchowej z deficytem uwagi (ADHD), zapewniając bardziej obiektywną procedurę diagnostyczną dla tego zaburzenia rozwojowego opartą na użyciu innowacyjnych narzędzi. Analizuje również związek między środkami aktywizującymi a miarami funkcji wykonawczych.

Korzystanie z aktywacji mózgu (nir-HEG/Q-EEG) i środków wykonawczych (CPT) w protokole oceny ADHD

Prezentujemy wykrywanie, akwizycję i analizę wskaźników mrugania oczami podczas oglądania treści multimedialnych.

Wykorzystanie pomiarów elektroencefalograficznych i wysokiej jakości nagrań wideo do analizy wizualnej percepcji treści medialnych

Opracowano eksperymentalny projekt w celu zbadania wpływów doświadczenia egzaminacyjnego w czasie rzeczywistym, aby ocenić emocjonalną rzeczywistość, której doświadczają studenci w środowisku i zadaniach szkolnictwa wyższego. Projekt ten jest wynikiem podejścia interdyscyplinarnego (np. psychologia edukacyjna, biologia, fizjologia, inżynieria) i multimodalnego (np. markery śliny, ankiety, czujnik elektrodermalny).

Interdyscyplinarny i multimodalny projekt eksperymentalny do badania autentycznych doświadczeń egzaminacyjnych w czasie zbliżonym do rzeczywistego

Proponujemy metodologię, która umożliwia pomiar zaangażowania widzów w grze społeczno-cyfrowej łącząc dane fizjologiczne i zgłaszane przez nich informacje. Ponieważ ta cyfrowa gra obejmuje grupę swobodnie poruszających się osób, doświadczenie jest filmowane za pomocą techniki synchronizacji, która łączy dane fizjologiczne z wydarzeniami w grze.

Pomiar zaangażowania widzów gier cyfrowych społecznościowych

Przedstawiono protokół przeprowadzania eksperymentów hiperskanowania fNIRS na diadach wspólnego uczenia się w naturalnym środowisku uczenia się. Ponadto przedstawiono proces analizy synchronizacji międzymózgowej (IBS) sygnałów hemoglobiny natlenionej (Oxy-Hb).

Synchronizacja między mózgami w otwartym uczeniu się opartym na współpracy: badanie fNIRS-Hyperscanning

Ten artykuł proponuje system oparty na sztucznej inteligencji, który automatycznie wykrywa, czy uczniowie zwracają uwagę na klasę, czy są rozproszeni. System ten ma za zadanie pomóc nauczycielom utrzymać uwagę uczniów, zoptymalizować ich lekcje i dynamicznie wprowadzać modyfikacje, aby były one bardziej angażujące.

Oparty na sztucznej inteligencji system do wykrywania poziomu uwagi u uczniów

Prezentowany tutaj jest potok analizy wideo, który pokonuje wyzwania związane z monitorowaniem zachowań w środowiskach MRI, pozwalając na wykrywanie nieinstruowanych reakcji behawioralnych na zewnętrzne sygnały. Analiza ta ułatwi bardziej kompleksowe zrozumienie wywołanych zmian stanu wewnętrznego i aktywności całego mózgu.

Profilowanie reakcji na zachowanie matki podczas obrazowania całego mózgu

Wzbogacenie środowiska zapewnia potencjalny efekt ochronny przed zaburzeniami neurodegeneracyjnymi. Obecnie jednak nie ma łatwego sposobu na określenie skuteczności procedur wzbogacania.  Protokół ten opisuje prostą metodę "Puzzle Box" do oceny funkcji poznawczych zwierzęcia, w celu ujawnienia skuteczności wzbogacania środowiska.

Wykorzystanie pudełka z puzzlami jako sposobu oceny skuteczności wzbogacania środowiska

Protokół Mindfulness in Motion (MIM) oferuje pragmatyczną Interwencję Opartą na Uważności (MBI) na miejscu, dla osób pracujących w chronicznie stresującym środowisku pracy, która znacznie zwiększa odporność i zaangażowanie w pracę. Protokół okazał się wykonalny, korzystny i można go łatwo dostosować do innych miejsc pracy o wysokim poziomie stresu.

Mindfulness in Motion (MIM): Interwencja oparta na uważności (MBI) na miejscu w środowisku pracy o chronicznie wysokim poziomie stresu w celu zwiększenia odporności i zaangażowania w pracę

Poznaj metody synchronizacji danych behawioralnych, emocjonalnych i poznawczych zaangażowania podczas zadań edukacyjnych. Technika łączy eye tracking, EEG i pomiar aktywności elektrodermalnej.

Ocena wielu wymiarów zaangażowania w celu scharakteryzowania uczenia się: perspektywa neurofizjologiczna

Przeglądaj więcej filmów