Ocena wielu wymiarów zaangażowania w celu scharakteryzowania uczenia się: perspektywa neurofizjologiczna
July 1st, 2015
Ten artykuł ma na celu opisanie technik związanych z gromadzeniem i synchronizacją wielu wymiarów (behawioralnego, afektywnego i poznawczego) zaangażowania uczniów podczas zadania.
Ogólnym celem tej procedury jest zebranie i zsynchronizowanie danych dotyczących behawioralnego, emocjonalnego i poznawczego zaangażowania podczas zadań edukacyjnych. Osiąga się to poprzez połączenie wszystkich systemów gromadzenia danych za pomocą urządzenia synchronizującego, które wyśle znacznik czasu w zebranych danych. Drugim krokiem jest zebranie danych dotyczących śledzenia ruchu gałek ocznych i interakcji z oprogramowaniem w celu zaangażowania behawioralnego.
Następnie zostaną zebrane dane EEG w celu scharakteryzowania zaangażowania poznawczego. Ostatnim krokiem jest zebranie danych o zaangażowaniu emocjonalnym pochodzących z aktywności ELECTRODERMAL lub ED do pomiaru pobudzenia i automatycznego rozpoznawania emocji twarzy lub A FER w celu wygenerowania danych walencyjnych. Ostatecznie te indeksy charakteryzujące trzy wymiary zaangażowania zostaną ponownie zsynchronizowane w oprogramowaniu synchronizacyjnym zgodnie ze znacznikami czasu początkowo wysłanymi przez urządzenie synchronizujące.
Główną zaletą tej techniki jest to, że określa ona ilościowo trzy wymiary zaangażowania uczniów podczas zadania edukacyjnego, w przeciwieństwie do klasycznych metod badawczych, które koncentrują się wyłącznie na instrumentach samooceny zaangażowania po wykonaniu zadań. Metoda ta może pomóc odpowiedzieć na kluczowe pytania z zakresu wskazania, takie jak: jaka jest dynamika wpływania na poznanie w różnych złożonych środowiskach uczenia się oraz jaki jest wpływ różnych ustawień pedagogicznych na efekt i poznanie? Technika ta ma swoje implikacje w innych dziedzinach.
Na przykład w technologii informacyjnej używamy tej techniki do mierzenia zaangażowania użytkownika podczas przeglądania strony internetowej lub korzystania z aplikacji. Technika ta jest inspirowana niedawnymi pracami w dziedzinie neuro-omiki, w których dane dotyczące czujności kierowców długodystansowych zostały zebrane za pomocą urządzeń EEG. Tę procedurę zademonstruje Gabrielle Zu z asystentką naukową w Tech three Lab of HEC Montreal, ale także Igo i Yig, którzy są asystentami badawczymi z Neuro Lab of Begin, włączając eye tracker, wzmacniacz EEG do komputerów nagrywających i głośników.
Przygotuj roztwór EEG z wymaganym materiałem zgodnie z procedurami zalecanymi przez producenta. Następnie przygotuj oprogramowanie EEG i do śledzenia ruchu gałek ocznych dla przyszłego uczestnika. Następnie uruchom oprogramowanie do nagrywania wideo, a kamery uruchomią oprogramowanie synchronizujące z określonym podprogramem utworzonym dla projektu, który pozwala na wysyłanie znaczników synchronizacji co 60 sekund.
Następnie uruchom oprogramowanie do pomiarów fizjologicznych i otwórz konkretny układ utworzony dla projektu. Następnie zaproś uczestnika do pokoju zbierania danych i znajdź lokalizację elektrody cz na głowie uczestnika zgodnie z systemem odniesienia 10 20. Umieść siatkę EEG na głowie uczestnika i upewnij się, że każda elektroda jest ustawiona prostopadle do powierzchni głowy.
Podłącz złącze sieciowe i wykonaj kontrolę impedancji z progiem na poziomie 40 kiloomów. Na koniec umieść dwa czujniki fizjologiczne na lewej dłoni uczestnika. Rozpocznij zbieranie danych.
Gdy całe oprogramowanie do nagrywania będzie gotowe do uruchomienia w trybie Synchrony, wykonaj procedurę kalibracji dziewięciopunktowej i obserwuj uczestnika, gdy podąża za czerwonymi kropkami na ekranie. Powtarzaj tę procedurę, aż zostanie osiągnięta wystarczająca dokładność zgodnie ze standardami producenta, poinstruuj uczestnika, aby rozwiązał 10 problemów z fizyki newtonowskiej na komputerze. Zatrzymaj pobieranie danych na wszystkich komputerach.
Po zakończeniu zadania usuń wszystkie czujniki z uczestnika. Najpierw zaimportuj dane EEG do oprogramowania do analizy danych EEG. Następnie kliknij plik, a następnie nowy projekt i wybierz lokalizację nieprzetworzonych danych, klikając przycisk przeglądaj.
Wybierz nowo utworzony folder z danymi pierwotnymi. Wybierz lokalizację dwóch kolejnych folderów o nazwie historia i eksportuj w ten sam sposób. Następnie kliknij OK.
Następnie kliknij transformacje i filtry IIR, aby wstępnie przetworzyć sygnał mózgu, stosując filtr i wycięcie w oknie oprogramowania. Ustaw limity odcięcia na 1,5 i 50 Hz z nachyleniem 12 decybeli dla każdego i włącz wycięcie na częstotliwości 60 Hz. Następnie DC D trenduje sygnał, klikając transformacje i DC dre.
Wybierz opcję na podstawie czasu 100 milisekund przed znacznikiem i 100 milisekund przed podłączeniem DC. Przeprowadź inspekcję danych pierwotnych, klikając pozycję Przekształcenia i Inspekcja danych pierwotnych. Wybierz inspekcję półautomatyczną i wybierz parametry napięcia, maksymalnego minimum i amplitudy widoczne tutaj.
Wykonaj automatyczną niezależną analizę komponentów lub ICA z klasyczną sferą do usuwania I blink, klikając transformacje i ICA po zakończeniu. Przetwarzaj odwrotną ICA, klikając przekształcenia ICA. Następnie odwróć ICA.
Na koniec wyeksportuj sygnał i znaczniki, klikając eksport i eksport danych ogólnych. Zaznacz pola oznaczone jako prawy plik nagłówkowy i prawy plik znacznika. Ponadto wybierz format tekstu do ewentualnej konstrukcji indeksu zaangażowania w programie MATLAB.
Następnie zaimportuj sygnał EEG do matlaba. Aby to zrobić, uruchom skrypt E-E-G-L-A-B. Tak więc graficzny interfejs użytkownika laboratorium EEG pojawia się w matlabie.
Zaimportuj dane dla jednego uczestnika na raz, wybierając plik importuj dane za pomocą funkcji i wtyczek EEG lab, a z pliku brain vis rec VDR wklej skrypt w oknie poleceń, który wygeneruje indeks zaangażowania. Ten skrypt wygeneruje plik tekstowy. Otwórz plik tekstowy indeksu zaangażowania w programie Microsoft Excel.
Zastosuj normalizację Z-score do danych EEG, aby umożliwić porównanie między osobnikami. Po zakończeniu wstępnego przetwarzania EEG. Wstępnie przetwórz dane fizjologiczne, importując dane dotyczące aktywności ELECTRODERMAL lub EDA do oprogramowania do analizy danych fizjologicznych.
Następnie oblicz normalizację z-score na danych EDA, klikając transformację i matematykę przebiegu, aby umożliwić porównanie między obiektami. Odbywa się to w dwóch krokach. Najpierw wybierz kanał EDA dla źródła pierwszego, znak minus w oknie operacji matematycznej i K dla źródła drugiego.
Następnie wybierz nowy w menu docelowym. Wprowadź średnią wartość kanału EDA i wybierz opcję przekształć całą falę. Kliknij OK, aby przejść do drugiego kroku, ponownie otwórz matematykę przebiegu transformacji i wybierz kanał EDAK dla źródła pierwszego, znak dzielenia w oknie operacji matematycznej i K dla źródła drugiego.
Następnie wybierz nowy w menu docelowym. Wprowadź wartość odchylenia standardowego kanału EDA i wybierz opcję przekształć całą falę. Na koniec kliknij OK, aby przejść do ostatniego kroku wstępnego przetwarzania.
Zaimportuj dane wideo z rejestratora multimediów do oprogramowania do automatycznego rozpoznawania emocji twarzy, klikając plik nowy, a następnie uczestnika. Wybierz nowego uczestnika z menu projektu. Następnie kliknij plik nowej analizy i wideo.
Kliknij lupę obok analizy i wybierz żądany plik wideo. Zakończ od obliczenia zco danych walencyjnych w SPSS, klikając analizuj statystyki opisowe i opisowe. Wybierz opcję zapisz znormalizowaną wartość w zmiennych, a pojawi się kolumna z Z-score.
Zacznij od zaimportowania filmów śledzenia I, klikając file, import i video w nowej obserwacji. Nazwij nową obserwację i wybierz żądany plik wideo do zaimportowania. Zaimportuj wszystkie dane zewnętrzne, klikając filet, import i external data.
Uwzględnij wskaźnik Z sygnału EEG, zco sygnału EDA i wskaźnik Z danych walencyjnych. W razie potrzeby dodaj znaczniki zdarzeń do dalszej analizy. Aby zsynchronizować taktowanie między komputerami, otwórz menu przesunięcia, naciskając Control Shift i znak równości wybierz przesunięcie numeryczne, aby wprowadzić czas w sekundach między każdą parą źródeł danych.
Kliknij w porządku. Następnie wybierz interesujące Cię zmienne, które mają zostać wygenerowane w raporcie, klikając analizuj wybierz dane i nowy profil danych. Wybierz żądane zdarzenie do analizy i kliknij przycisk OK.
Następnie dodaj linię połączenia między tabelą początkową a tabelą zagnieżdżenia, a także między tabelą zagnieżdżoną a tabelą wyników. Wygeneruj raport, klikając, przeanalizuj analizę numeryczną i statystyki nowych kliknięć, a następnie zaznacz pole obok średniej w menu danych zewnętrznych. Następnie kliknij OK.
Kliknij pozycję Układ i upewnij się, że dane zewnętrzne znajdują się w kolumnach, a kontenery wynikowe są wyświetlane w wierszach. Zakończ, klikając. Porządku. Na koniec kliknij przycisk obliczania, aby oprogramowanie zaktualizowało obliczenia związane z generowanym raportem.
W tym eksperymencie synchronizowanych jest wiele wymiarów danych dotyczących zaangażowania, w tym behawioralnych, poznawczych i emocjonalnych dzięki wykorzystaniu wielu komputerów. Aby ustalić punkt odniesienia dla badanego, warto użyć danych z punktu w zadaniu, w którym na końcu pauzy występuje pauza. Zaangażowanie poznawcze EEG nieznacznie wzrasta w oczekiwaniu na następne zadanie, a pobudzenie nadal spada.
Brak danych walencyjnych, ponieważ oczy uczestnika są zamknięte podczas zadania rozwiązywania problemu. Gdy podmiot czyta trzecią linijkę, widać, że jego podniecenie osiągnęło szczyt. Walencja emocjonalna jest neutralna, a zaangażowanie poznawcze EEG jest maksymalne po opanowaniu.
Technika ta obejmuje około 30 minut przygotowania obiektu przed rozpoczęciem eksperymentu po jego opracowaniu. Technika ta utoruje drogę badaczom i praktykom technologii informatycznych, ale także w branży gier wideo, do monitorowania w czasie rzeczywistym behawioralnego, emocjonalnego i poznawczego aspektu użytkowników. Kluczowym krokiem w każdym podejściu do regulacji jest synchronizacja, a precyzja tej procedury powinna być testowana przed i po każdym eksperymencie, aby uzyskać dokładny czas między wszystkimi urządzeniami.
Po obejrzeniu tego filmu powinieneś teraz dobrze zrozumieć, jak zbierać zsynchronizowane dane psychofizjologiczne, aby lepiej zrozumieć dynamikę interakcji behawioralnych, emocjonalnych i poznawczych wymiarów zaangażowania podczas zadania uczenia się.
View the full transcript and gain access to thousands of scientific videos
Przegląd
Niniejszy dokument opisuje techniki zbierania i synchronizowania danych dotyczących zaangażowania behawioralnego, emocjonalnego i poznawczego podczas wykonywania zadań edukacyjnych. Badanie koncentruje się na integracji wielu wymiarów zaangażowania uczniów w celu lepszego zrozumienia procesu uczenia się.
Kluczowe elementy badania
Dziedzina nauki
- Neuronauki
- Psychologia
- Technologia edukacyjna
Tło
- Zaangażowanie jest wielowymiarową konstrukcją obejmującą zachowanie, emocje i poznawanie.
- Zrozumienie zaangażowania może poprawić wyniki edukacyjne.
- Synchronizacja danych z różnych źródeł jest kluczowa dla dokładnej analizy.
- Postęp technologiczny pozwala na kompleksowe zbieranie danych.
Cel badania
- Zebranie danych dotyczących różnych wymiarów zaangażowania uczniów.
- Synchronizacja tych danych dla lepszej analizy i lepszego zrozumienia.
- Wykorzystanie zaawansowanych technik do pomiaru zaangażowania.
Stosowane metody
- Łączenie systemów zbierania danych przez urządzenie synchronizacyjne.
- Zbieranie danych z śledzenia ruchów oczu i interakcji z oprogramowaniem dla zaangażowania behawioralnego.
- Zbieranie danych EEG dla charakteryzacji zaangażowania poznawczego.
- Pomiar zaangażowania emocjonalnego poprzez aktywność elektrodermalną i rozpoznawanie emocji na twarzy.
Główne wyniki
- Skuteczne synchronizowanie danych behawioralnych, emocjonalnych i poznawczych.
- Identyfikacja kluczowych wskaźników zaangażowania uczniów.
- Demonstracja skutecznych technik zbierania danych.
- Wgląd w wzajemne relacje między różnymi wymiarami zaangażowania.
Wnioski
- Wielowymiarowe zaangażowanie można efektywnie mierzyć i analizować.
- Synchronizacja danych poprawia zrozumienie zachowania uczniów.
- Przyszłe badania mogą opierać się na tych metodach, aby dalsze badać zaangażowanie.
Często zadawane pytania
Executive Industry Relevance
This methodology enables synchronized, multi-dimensional measurement of behavioral, emotional, and cognitive engagement during learning tasks, offering a neurophysiological framework for assessing user interaction with digital systems. In biopharma R&D, such approaches can inform the design of adaptive training platforms for clinical trial staff, enhance engagement metrics in patient-reported outcome tools, and support mechanistic de-risking in neurocognitive therapeutic development by providing quantifiable, real-time indices of attentional and affective states. The integration of EEG, electrodermal activity, eye tracking, and facial recognition delivers a systems-level view of engagement dynamics, aligning with target validation efforts that require objective, multi-parametric biomarkers of cognitive and emotional response.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables interrogation of therapeutic hypotheses by correlating neurophysiological engagement markers with cognitive load and emotional valence during task performance.
- Operational Value: Supports functional target validation through objective, real-time measurement of arousal and attention via synchronized EEG and electrodermal signals.
- Predictive Confidence: Provides quantitative, multi-dimensional data to de-risk mechanisms involving attention, emotion, and cognition in neuropsychiatric disease models.
Screening & Assay Development
- Assay Readiness: Produces standardized, z-scored engagement indices from EEG, electrodermal, and facial valence data suitable for high-throughput screening of cognitive modulators.
- Reproducibility: Employs time-stamped synchronization markers every 60 seconds to ensure temporal alignment across multimodal data streams, enhancing assay reliability.
- Quantitative Output: Generates normalized engagement indices that allow intersubject comparison and statistical analysis of compound effects on behavioral, emotional, and cognitive domains.
Translational & Preclinical Research
- Disease Relevance: Offers a translational biomarker framework for neuropsychiatric conditions where engagement dimensions are disrupted, such as attention deficit or depressive disorders.
- Preclinical Continuity: Supports risk-adjusted advancement by linking target modulation to measurable changes in synchronized engagement metrics across species or model systems.
- Mechanistic De-risking: Clarifies whether cognitive improvements are accompanied by appropriate emotional and behavioral engagement, reducing false-positive leads in CNS drug discovery.
Pipeline & Workflow Integration
This method fits within the discovery continuum from target validation through lead identification to preclinical efficacy, particularly for compounds targeting cognitive and emotional processing pathways where multi-dimensional engagement serves as a functional readout.
- Discovery Biology: Facilitates hypothesis testing by revealing how perturbations in neural systems affect the dynamic interplay between attention, arousal, and valence during cognitive tasks.
- Screening: Delivers assay-ready, synchronized engagement metrics that enable reliable comparison of test compounds across behavioral, emotional, and cognitive dimensions.
- Analytics: Provides z-scored EEG, electrodermal, and valence outputs that support statistical comparison and effect size calculation in screening campaigns.
- Translational Research: Connects target engagement to preclinical validation through alignment with established neuropsychological constructs of engagement, supporting biomarker qualification.
- Enterprise Reuse: Establishes a reusable neurophysiological platform for assessing user or patient engagement across training, assessment, and therapeutic response monitoring workflows.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence by reducing mechanistic ambiguity through concurrent measurement of behavioral, emotional, and cognitive engagement.
- Operational Value: Enhances standardization and reproducibility via synchronized data acquisition and z-score normalization across multimodal physiological streams.
- Strategic Value: Improves go/no-go decisions by offering multi-parametric engagement profiles that capture holistic neurobehavioral responses to interventions.
- Portfolio Impact: Enables risk-adjusted prioritization by identifying compounds that modulate target engagement without inducing dissociated emotional or attentional effects.
Implementation Considerations
- Requires expertise in neurophysiology, signal processing, and multimodal data integration to manage EEG, electrodermal, eye tracking, and facial recognition systems.
- Dependent on specialized hardware and software for synchronization, including trigger devices and alignment tools to correct inter-device latency.
- Necessitates cross-team standardization of data preprocessing pipelines, including filtering, artifact removal (e.g., ICA for blink correction), and z-score transformation for intersubject comparability.
- Involves adaptation challenges when applying the protocol across different model systems or environmental contexts due to sensor placement and baseline variability.
- Limited by the need for controlled settings to minimize motion artifacts and ensure data quality, particularly during prolonged cognitive tasks.
Biopharma FAQs
Chapters in this video
0:05
Title
2:20
Equipment and Participant Setup
3:51
Data Collection
4:36
Pre-processing of EEG, Physiology, and Facial Emotion Data
9:51
Data Integration and Synchronization
11:54
Results: Multiple Dimensions of Engagement Assess Learning During a Problem-solving Task
12:50
Conclusion
