July 1st, 2015
이 논문은 과제 중 학습자 참여의 여러 차원(행동적, 정서적, 인지적)을 수집하고 동기화하는 데 관련된 기술을 설명하는 것을 목표로 합니다.
이 절차의 전반적인 목표는 학습 작업 중 행동, 정서적 및 인지적 참여에 대한 데이터를 수집하고 동기화하는 것입니다. 이는 먼저 수집된 데이터 내에서 시간 마커를 전송하는 동기화 장치를 통해 모든 데이터 수집 시스템을 연결하여 수행됩니다. 두 번째 단계는 행동 참여를 위해 시선 추적 및 소프트웨어 상호 작용 데이터를 수집하는 것입니다.
다음으로, 인지 참여 특성화를 위해 EEG 데이터를 수집합니다. 마지막 단계는 각성 측정 및 자동 얼굴 감정 인식을 위한 ELECTRODERMAL 활동 또는 ED에서 오는 정서적 참여 데이터를 수집하거나 원자가 데이터를 생성하기 위한 FERR을 수집하는 것입니다. 궁극적으로, 참여의 3차원을 특징짓는 이러한 인덱스는 동기화 장치에서 처음에 보낸 시간 마커에 따라 동기화 소프트웨어에서 다시 동기화됩니다.
이 기법의 가장 큰 장점은 과제 수행 후 참여 도구를 자기 평가하는 데에만 초점을 맞추는 고전적인 연구 방법과 달리 학습 과제 중 학습자 참여의 3차원을 정량화한다는 것입니다. 이 방법은 다양한 복잡한 학습 환경에서 인지에 영향을 미치는 역학이 무엇인지, 다양한 교육학적 환경이 효과와 인지에 미치는 영향은 무엇인지와 같은 표시 분야의 주요 질문에 답하는 데 도움이 될 수 있습니다. 다른 분야에서도 이 기술에 대한 함의가 있습니다.
예를 들어, 정보 기술에서는 이 기술을 사용하여 웹사이트를 탐색하거나 소프트웨어 애플리케이션을 사용하는 동안 사용자의 참여를 측정합니다. 이 기술은 EEG 장치를 사용하여 장거리 운전자의 경계 데이터를 수집한 신경 오믹스(neuro omics)의 최근 연구에서 영감을 받았습니다. 이 절차를 시연하는 것은 HEC 몬트리올의 Tech three Lab에서 연구 조교로 일하는 Gabrielle Zu뿐만 아니라 Begin의 Neuro Lab에서 연구 조교로 일하는 Igo와 Yig가 시연할 예정이며, 이들은 컴퓨터 및 스피커를 녹음하기 위한 시선 추적기, EEG 증폭기를 켜서 수행합니다.
제조업체의 권장 절차에 따라 필요한 재료로 EEG 용액을 준비합니다. 그런 다음 예정된 참가자를 위해 EEG 및 시선 추적 소프트웨어를 준비합니다. 그런 다음 비디오 녹화 소프트웨어를 시작하고 카메라는 프로젝트를 위해 생성된 특정 서브 루틴으로 동기화 소프트웨어를 시작하여 동기화 마커를 60초마다 전송할 수 있습니다.
그런 다음 생리학적 측정 소프트웨어를 시작하고 프로젝트를 위해 생성된 특정 레이아웃을 엽니다. 다음으로, 참가자를 데이터 수집실로 데려와 10 20 참조 시스템에 따라 참가자의 머리에서 cz 전극 위치를 찾습니다. EEG 그물을 참가자의 머리에 놓고 각 전극이 머리 표면에 수직으로 위치하는지 확인합니다.
네트 커넥터를 연결하고 40킬로옴의 임계값으로 임피던스 검사를 수행합니다. 마지막으로 참가자의 왼손 위에 두 개의 생리학적 센서를 놓습니다. 데이터 수집을 시작합니다.
모든 레코딩 소프트웨어를 Synchrony에서 시작할 준비가 되면 9포인트 캘리브레이션 절차를 수행하고 참가자가 화면의 빨간 점을 따라가는 동안 참가자를 관찰합니다. 제조업체의 표준에 따라 충분한 정확도가 달성될 때까지 이 절차를 반복하고 참가자에게 컴퓨터에서 10개의 뉴턴 물리학 문제를 풀도록 지시합니다. 모든 컴퓨터에서 데이터 수집을 중지합니다.
작업이 완료되면 참가자로부터 모든 센서를 제거합니다. 먼저 EEG 데이터를 EEG 데이터 분석 소프트웨어로 가져옵니다. 그런 다음 파일, 새 프로젝트를 차례로 클릭하고 찾아보기를 클릭하여 원시 데이터 위치를 선택합니다.
새로 생성된 원시 데이터 폴더를 선택합니다. history라는 두 개의 폴더 위치를 더 선택하고 같은 방식으로 내보냅니다. 그런 다음 확인을 클릭합니다.
그런 다음 변환 및 IIR 필터를 클릭하여 소프트웨어 창에 필터와 노치를 적용하여 뇌 신호를 전처리합니다. 각각 1.5데시벨의 기울기로 50Hz 및 12Hz에서 차단 한계를 설정하고 60Hz의 주파수에서 노치를 활성화합니다. 그런 다음 DC D는 변환 및 DC dre를 클릭하여 신호 추세를 나타냅니다.
마커 전 100밀리초 및 DC 연결 전 100밀리초의 시간을 기준으로 옵션을 선택합니다. transformations(변환) 및 raw data inspection(원시 데이터 검사)을 클릭하여 원시 데이터 검사를 수행합니다. 반자동 검사를 선택하고 여기에 표시된 전압, 최대 최소 및 진폭에 대한 매개변수를 선택합니다.
자동 독립 구성 요소 분석을 수행하거나 완료된 후 변환을 클릭하여 I 깜박임 제거를 위한 클래식 구를 사용한 ICA를 수행합니다. 변환 ICA를 클릭하여 역 ICA를 처리합니다. 그런 다음 ICA를 역으로 합니다.
마지막으로 export 및 generic data export를 클릭하여 신호와 마커를 내보냅니다. 오른쪽 헤더 파일 및 오른쪽 마커 파일이라고 표시된 상자를 선택합니다. 또한, MATLAB의 참여 지수(engagement index)를 최종적으로 구성하기 위한 텍스트 형식을 선택합니다.
다음으로, EEG 신호를 matlab으로 가져옵니다. 이렇게 하려면 E-E-G-L-A-B 스크립트를 시작합니다. 따라서 EEG lab GUI가 matlab에 나타납니다.
파일을 선택하여 한 번에 한 참가자의 데이터를 가져오고, EEG 랩 기능 및 플러그인을 사용하여 데이터를 가져오고, brain vis rec VDR 파일에서 참여 인덱스를 생성할 명령을 창에 스크립트를 붙여넣습니다. 이 스크립트는 텍스트 파일을 출력합니다. Microsoft Excel에서 참여 인덱스 텍스트 파일을 엽니다.
EEG 데이터에 Z-점수 정규화를 적용하여 주제 간 비교를 허용합니다. EEG 전처리가 완료되면. ELECTRODERMAL 활성 또는 EDA 데이터를 생리학적 데이터 분석 소프트웨어로 가져와서 생리학 데이터를 전처리합니다.
그런 다음 변환 및 파형 수학을 클릭하여 EDA 데이터에 대한 z-score 정규화를 계산하여 주제 간 비교를 허용합니다. 이 작업은 두 단계로 수행됩니다. 먼저 소스 1에 대해 EDA 채널을 선택하고, 수학 연산 창에서 빼기 기호를 선택하고, 소스 2에 대해 K를 선택합니다.
그런 다음 대상 메뉴에서 새로 만들기를 선택합니다. EDA 채널의 평균값을 입력하고 전체 웨이브 변환을 선택합니다. 두 번째 단계에서 확인을 클릭하고, 변환 파형 수학을 다시 열고, 소스 1에 대해 EDAK 채널을 선택하고, 수학 연산 창에서 분할 기호를 선택하고, 소스 2에 대해 K를 선택합니다.
그런 다음 대상 메뉴에서 새로 만들기를 선택합니다. EDA 채널의 표준 편차 값을 입력하고 전체 웨이브 변환을 선택합니다. 마지막으로 확인을 클릭하여 최종 전처리 단계를 수행합니다.
미디어 레코더에서 파일 새로 만들기를 클릭한 다음 참가자를 클릭하여 자동 얼굴 감정 인식 소프트웨어로 비디오 데이터를 가져옵니다. 프로젝트 메뉴에서 새 참가자를 선택합니다. 그런 다음 새 분석 및 비디오 파일을 클릭합니다.
분석 항목 옆에 있는 돋보기를 클릭하고 원하는 비디오 파일을 선택합니다. 기술 통계 및 기술 분석 분석을 클릭하여 SPSS에서 원자가 데이터의 zco를 계산하여 완료합니다. 변수에 표준화된 값 저장을 선택하면 Z-점수가 있는 열이 나타납니다.
먼저 새 관찰에서 파일, 가져오기 및 비디오를 클릭하여 I 추적 비디오를 가져옵니다. 새 관찰의 이름을 지정하고 가져올 비디오 파일을 선택합니다. 파일, 가져오기 및 외부 데이터를 클릭하여 모든 외부 데이터를 가져옵니다.
EEG 신호의 Z-점수, EDA 신호의 zco, 원자가 데이터의 Z-점수를 포함합니다. 원하는 경우 추가 분석을 위해 이벤트 표식기를 추가합니다. 컴퓨터 간에 타이밍을 동기화하려면 control shift를 눌러 오프셋 메뉴를 열고 등호로 숫자 오프셋을 선택하여 각 데이터 소스 쌍 사이의 시간을 초 단위로 입력합니다.
확인을 클릭합니다. 다음으로, 분석 선택 데이터 및 새 데이터 프로필을 클릭하여 보고서에서 생성할 흥미로운 변수를 선택합니다. 분석할 이벤트를 선택하고 확인을 클릭합니다.
그런 다음 시작 테이블과 중첩 테이블 사이, 중첩 테이블과 결과 테이블 사이에 연결선을 추가합니다. 클릭하여 보고서를 생성하고, 수치 분석 및 새로운 클릭 통계를 분석하고, 외부 데이터 메뉴에서 mean 옆의 확인란을 선택합니다. 그런 다음 확인을 클릭합니다.
레이아웃을 클릭하고 외부 데이터가 열에 있고 결과 컨테이너가 행에 나타나는지 확인합니다. 클릭하여 마칩니다. 그래. 마지막으로 계산 버튼을 클릭하면 소프트웨어가 생성되는 보고서와 관련된 계산을 업데이트합니다.
이 실험에서는 여러 컴퓨터를 사용하여 행동, 인지적, 정서적 데이터를 포함한 여러 차원의 참여 데이터가 동기화됩니다. 주제의 기준선을 설정하려면 일시 중지가 끝날 때 일시 중지가 있는 작업 지점의 데이터를 사용하는 것이 유용합니다. EEG 인지 참여는 다음 작업에 대한 기대로 약간 다시 증가하고 있으며 각성은 여전히 감소하고 있습니다.
원자가 데이터가 누락된 이유는 문제 해결 작업 중에 참가자의 눈이 감겨 있기 때문입니다. 피험자가 세 번째 줄을 읽을 때, 당신은 그들의 흥분이 최고조에 달한 것을 볼 수 있습니다. 정서적 원자가는 중립적이며 EEG 인지 참여는 일단 숙달되면 최대입니다.
이 기술은 개발 후 실험이 시작되기 전에 약 30분의 피험자 준비를 포함합니다. 이 기술은 연구자와 실무자가 정보 기술뿐만 아니라 비디오 게임 산업에서도 사용자의 행동, 감정 및 인지적 측면을 실시간으로 모니터링 할 수있는 길을 열 것입니다. 모든 조절 접근 방식의 핵심 단계는 동기화이며, 모든 장치 간에 정확한 타이밍을 갖기 위해 모든 실험 전후에 이 절차의 정밀도를 테스트해야 합니다.
이 비디오를 시청한 후에는 이제 학습 작업 중 참여의 행동적, 정서적, 인지적 차원의 상호 작용 역학을 더 잘 이해하기 위해 동기화된 정신 생리학적 데이터를 수집하는 방법을 잘 이해하게 되었을 것입니다.
View the full transcript and gain access to thousands of scientific videos
이 논문은 학습 과제 중 행동적, 감정적, 인지적 참여를 수집하고 동기화하는 기술을 설명합니다. 이 연구는 학습 과정에 대한 이해를 향상시키기 위해 학습자 참여의 여러 차원을 통합하는 데 초점을 맞추고 있습니다.
This methodology enables synchronized, multi-dimensional measurement of behavioral, emotional, and cognitive engagement during learning tasks, offering a neurophysiological framework for assessing user interaction with digital systems. In biopharma R&D, such approaches can inform the design of adaptive training platforms for clinical trial staff, enhance engagement metrics in patient-reported outcome tools, and support mechanistic de-risking in neurocognitive therapeutic development by providing quantifiable, real-time indices of attentional and affective states. The integration of EEG, electrodermal activity, eye tracking, and facial recognition delivers a systems-level view of engagement dynamics, aligning with target validation efforts that require objective, multi-parametric biomarkers of cognitive and emotional response.
This method fits within the discovery continuum from target validation through lead identification to preclinical efficacy, particularly for compounds targeting cognitive and emotional processing pathways where multi-dimensional engagement serves as a functional readout.