행동 관찰 및 학습 분석을 이용한 대학생의 강의실 참여도, 성찰적 표현 및 친사회적 의도 평가

요약

본 프로토콜은 대학생들의 행동적 참여, 성찰적 표현 및 사회 지향적 학습 성과를 4주간의 교육 기간 동안 평가하기 위해 강의실 관찰, 성찰적 글쓰기, 친사회적 의도 측정 및 학습 분석을 통합합니다. 여기에는 윤리 승인, 도구 내용, 소프트웨어 워크플로우, 결측값 처리, 트러블슈팅 절차 및 실제 구현 과정에서 관찰된 제약 사항을 포함한 대표적 결과의 해석 방법이 명시되어 있습니다.

초록

전통적인 지표를 넘어 학생 참여도에 대한 다차원적 평가의 필요성을 해결하기 위해, 본 프로토콜은 학부 과정에서 강의실 참여도, 성찰적 표현, 학습 분석 활동 및 친사회적 의도를 평가하기 위한 체계적인 접근 방식을 설명합니다. 이 프로토콜은 구간 기반의 행동 관찰, 매주 진행되는 구조화된 성찰 글쓰기, 비식별화된 학습관리시스템 기록, 그리고 사전/사후 친사회적 의도 설문지를 결합하여 사용합니다. 수정된 절차에는 재현 가능한 행동 코딩 모델, 점수 예시가 포함된 성찰적 표현 루브릭, 소프트웨어 및 데이터 관리 단계, 그리고 관찰자 간 불일치, 플랫폼 기록 누락, 낮은 성찰문 제출률, 카메라 시야 확보 불량, 참여자 중도 탈락, 일관되지 않은 선수 지식 등에 대한 명시적인 문제 해결 가이드가 제공됩니다. 본 프로토콜은 연구자가 학부 수업 중 실제 강의실 행동, 학생의 자기 해석, 그리고 일상적인 학습관리시스템(LMS) 활동을 낮은 침습성과 재현 가능한 방식으로 결합해야 할 때 사용해야 합니다. 관찰 가능한 상호작용이 없는 완전 비동기식 강의, 독립적인 관찰이나 기록 연동이 금지된 환경, 또는 생체 인식이나 감정 인식 추론이 필요한 연구에는 적합하지 않습니다. 대표 결과는 윤리 승인 확인, 강의 기록의 비식별화 및 저장소 준비를 거쳐 실제 구현된 경험적 적용 사례를 바탕으로 보고되었습니다.

서론

고등 교육에서의 학생 참여도를 평가하기 위해서는 종합적이고 다각적인 접근 방식이 필요합니다. 학생 참여는 관찰 가능한 행동, 인지적 노력, 그리고 환경적 상호작용을 포함하는 다차원적 구성 개념으로 널리 정의되지만, 현재의 분석 방식은 주로 로그인 빈도나 시스템에 기록된 활동과 같은 표면적인 로그 데이터에 의존하고 있습니다¹. 이러한 과도한 의존성은 실제 강의실 기반 연구에 상당한 어려움을 줍니다. 교수 학습 참여의 가장 핵심적인 형태인 직접적인 동료 상호작용, 인지적 성찰, 그리고 사회적 기여는 플랫폼의 가시 범위 밖에서 일어나는 경우가 많기 때문입니다².

디지털 플랫폼과 전통적인 대면 교육을 결합한 하이브리드 교수법 모델의 도입으로 현대 대학 강의실의 복잡성이 더욱 심화되었습니다. 학습 분석(learning analytics)에 대한 체계적 문헌 고찰을 통해 디지털 흔적이 시간 배분, 접속 패턴 및 장기 기억률에 대한 가치 있는 통찰을 제공한다는 점이 확인되었으나, 이러한 지표만으로는 학습자의 주의 집중이 실제로 효율적인지 또는 의미가 있는지를 판단할 수 없습니다³. 따라서 최근의 학술 연구에서는 강의실 내 행동 및 성찰 활동과 같이 참여의 맥락 의존적 측정을 디지털 흔적과 연계함으로써, 학습 분석을 더 강력한 이론적 틀에 기반하도록 구축할 것을 권장하고 있습니다⁴.

성찰적 글쓰기는 이러한 평가에 매우 중요한 질적 차원을 제공합니다. 구조화된 수업 후 성찰과 저널은 학습 활동에 대한 학생들의 해석을 포착하고, 교수법상의 어려움을 명확히 하며, 이론적 내용과 이후의 실제적 행동을 연결해 줍니다. 최근의 경험적 근거에 따르면, 성찰적 표현은 묘사적 회상, 분석적 추론, 자기 참조적 표현 및 의미 일반화로 구성된 통합적인 다성분 구성 개념으로 정의됩니다⁵. 또한 연구에 따르면, 학생들에게 반복적인 성찰 안내를 제공함으로써 내성 능력을 점진적으로 강화할 수 있으며, 교과 과정 동안 구조화된 성찰의 빈도가 증가함에 따라 학생들의 독립적인 탐구 능력 또한 동시에 향상되는 것으로 나타났습니다⁶.

현재의 학습 참여 연구에서 나타나는 두 번째 주요 공백은 강의실 내 사회화 과정이 빈번하게 소외된다는 점입니다. 기존 연구들은 개인의 행동이나 인지적 측면을 크게 강조하지만, 대학 강의실은 학생들이 협력과 반응적 상호작용을 통해 서로에게 영향을 미치는 본질적인 사회적 학습 환경으로 기능합니다. 최근의 증거들은 강의실 분위기와 참여 구조가 친사회적 행동 및 기여 지향적 사고방식과 강한 상관관계가 있음을 보여주며, 이러한 결과들은 전통적인 학업 성취도나 학생 만족도 지표에 비해 연구가 미흡한 상태입니다. 학술적 환경에서의 친사회적 행동은 단순히 정서적 상태나 스트레스의 부산물이 아니라, 학생들이 집단 학습 활동 내에서 자신의 위치를 어떻게 설정하는지와 근본적으로 연관되어 있습니다⁷. 따라서 친사회적 의도를 측정하는 것은 강의실 참여가 단순한 개별 과제 완수를 넘어, 즉각적인 교수 환경 너머까지 협력적이고 격려하는 행동을 촉진하는 단계로 확장되는지를 판단하는 적절한 관점을 제공합니다⁸.

이러한 개념적 발전은 단일 교육 창 내에서 전개되는 통합적 증거 수집 체계의 필요성을 강조합니다. 다중 소스 설계는 단일 지표에 의존할 때의 한계를 완화하며, 다양한 참여 방식 간의 교차 검증을 가능하게 하고 학생들이 독립적 학습을 촉진하기 위해 수업 후 활동을 어떻게 해석하는지를 밝혀줍니다⁹. 성찰적 평가는 학습자의 내부 인지 상태를 포착하지만, 이러한 자기 보고 내용을 객관적인 행동 추적 데이터와 연결함으로써 학습 데이터의 해석력을 현저히 높일 수 있습니다. 현재로서는 체계적인 행동 관찰, 구조화된 성찰 보고 및 학습 분석을 원활하게 합성하여 대학에서 일상적으로 구현할 수 있는 실용적인 강의실 적용 프로토콜이 현저히 부족한 실정입니다.

이러한 방법론적 한계를 해결하기 위해, 본 논문은 대학생의 강의실 참여도, 성찰적 표현 및 친사회적 의도를 동시에 측정하도록 설계된 평가 프로토콜을 소개합니다. 학부 교육 환경을 위해 특별히 개발된 이 프로토콜은 과학적 재현성을 희생하지 않으면서도 행정적 부담을 최소화하는 효율적인 방법론을 제공합니다. 관찰 가능한 행동, 명시된 자기 경험, 그리고 사회 지향적 학습 성과 사이의 분석적 격차를 메움으로써, 이 프레임워크는 교육 환경 내 인간-기술 상호작용 연구에서 개념적 명확성을 높여야 한다는 증가하는 요구에 부응합니다¹⁰.

프로토콜

인간 참여자가 포함된 모든 방법은 헬싱키 선언 및 관련 기관 지침을 준수하여 수행되었습니다. 본 연구의 경우, 모집 시작 전 남창 공과대학 윤리 위원회의 승인을 받았습니다(승인 번호: NITE778291). 모든 참여 학생으로부터 서면 동의서를 받았습니다. 분석에는 비식별화된 집계 classroom observation, 성찰 점수, 학습 분석 및 설문지 데이터만 사용되었으며, 식별 가능한 강의실 영상, 성함, 기관 ID 및 수정되지 않은 성찰 텍스트는 공개 발표에서 제외되었습니다.

1. 연구 설계 및 참가자 선정

1. 선택된 각 클래스 섹션에 대해 4회 연속 수업 기간 동안 프로토콜을 실행합니다. 비식별화된 강좌 라벨, 교수법 형식, 학급 규모, 강사의 해당 강좌 경험, 그리고 각 수업에 전체 수업, 그룹 활동 또는 개별 실습이 포함되는지 여부를 기록합니다. 18세 이상의 학부생 약 180~210명을 초기 등록 목표로 설정하거나, 강좌 상황에 맞게 표본 크기 목표를 조정합니다.
2. 모든 참여자가 강좌 플랫폼의 활성 기관 계정을 보유하고, 관찰 수업에 참석하며, 해당 학급에 통상적으로 제공되는 필수 사전 강좌 안내를 받았는지 확인합니다. 사전 지식의 차이가 상당히 큰 경우에는 관찰 기간 전에 짧은 브릿징 유인물, 수업 전 리소스 목록 또는 강사 주도 복습을 제공하고, 제공된 지원 내용을 상황적 메타데이터로 기록합니다.
3. 종합적인 서면 정보지를 제공한 후 모든 학생으로부터 서면 동의서를 받습니다. 동의서에는 본 연구가 강의실 행동 관찰, 주간 성찰 글쓰기 및 비식별화된 학습 플랫폼 기록을 연계한다는 점을 명확히 명시합니다.
4. 동의한 학생만 연구 데이터 세트에 포함합니다. 참여 거부가 출결, 성적, 강좌 접근 또는 강사와의 소통에 영향을 미치지 않도록 보장합니다.
   1. 첫 번째 성찰 과제 전에 인공지능(AI) 도구의 허용 및 금지 사용 범위를 설명합니다.
      참고: AI 도구는 강좌 정책에서 허용한 경우에만, 그리고 일반적인 학습 지원 용도로만 사용할 수 있습니다. 성찰 제출물과 친사회적 의도 응답은 학생 본인의 경험을 기술해야 하며, AI의 도움을 받은 경우 이를 밝혀야 합니다.
   2. 강사가 사전 지식 습득을 위한 AI 지원 브릿징을 허용하는 경우, 모든 학생에게 동일하게 승인된 프롬프트나 리소스를 제공하고 이 지원 내용을 프로토콜 수정 사항으로 기록합니다. 검증 연구에서 AI 지원 응답을 명시적으로 평가하지 않는 한, AI가 생성한 요약본을 학생 성찰의 주요 증거로 사용하지 마십시오.
5. 동의를 거부하거나, 프로토콜 기간 중 강좌를 중도 포기하거나, 관찰, 성찰 및 분석 기록 간의 일치하는 데이터가 부족한 학생은 분석 전 단계에서 제외합니다. 4주 기간 동안 세 가지 서로 다른 출처로부터 일관된 데이터를 수집하기 위해 반복 측정 설계를 적용합니다².

2. 기선 데이터 획득 및 식별 관리

1. 단일 데이터 관리자를 지정하여 가상 무작위 프로세스를 통해 동의한 각 참여자에게 8자리의 영숫자 연구 ID를 할당합니다.
2. 학생 성명, 기관 ID, 학급 섹션 및 연구 번호가 포함된 신원-연구 ID 연결 파일을 생성합니다. 이 파일은 분석 파일과 별도로 안전하게 보관하여 관찰자, 성찰 코더 및 연구자가 절대 접근할 수 없도록 합니다.
3. 제한적 연결 및 비식별화에 관한 현재의 고등 교육 학습 분석 관행을 준수하면서¹, 승인된 기관 데이터 보존 정책에 따라 최종 데이터 검증 후 이 연결 파일을 파기하거나 아카이브합니다.
4. 첫 관찰 수업 전 초기 1주일 동안 참여자의 연령, 성별, 학년 및 전공에 관한 기초 인구통계학적 데이터를 수집합니다.
5. 첫 관찰 수업 전 구조화된 기초 조사 도구로 Supplementary File 1에 있는 6개 항목의 친사회적 의도 설문지를 사용합니다. 이를 LMS를 통해 전자적으로 실시하거나 할당된 연구 ID만을 사용하여 종이 설문지로 실시합니다. 학생들은 각 항목을 1 = 매우 반대함부터 5 = 매우 찬성함까지의 5점 척도로 평가하며, 6개 항목 중 최소 5개 항목에 응답한 경우 완료된 항목의 평균값을 기초 점수로 계산합니다.
6. 질적 코딩 프로세스가 시작되기 전, 완전한 익명성을 보장하기 위해 성명, 이메일 주소 또는 기타 개인 식별 정보가 제외된 상태로 이후 수집된 모든 성찰 텍스트를 내보냅니다.

3. 강의실 관찰 준비

1. 각 수업 섹션에 대해 4주 연속으로 주 1회 관찰 일정을 잡으십시오. 일반적인 90분 수업의 경우, 코딩에서 처음 10분과 마지막 10분을 제외하여 70분의 관찰 창을 설정합니다⁵.
2. 일반적인 90분 수업의 10^분 시점에 코딩을 시작하여 80^분 시점에 종료하십시오. 이 버퍼 기간은 70분 관찰 창에 포함되지 않으므로, 일반적인 수업에서는 30분 세션이 아닌 70분 분량의 코딩된 관찰 결과가 도출됩니다.
3. 알람, 강의실 변경 또는 플랫폼 중단으로 인해 5분 이상의 중단이 발생한 경우, 해당 중단된 교육 블록은 최종 평가에서 제외하십시오.
4. 각 측정 시점에 여러 행동 지표를 동시에 기록함으로써 강의실 참여도를 여러 행동의 관찰 가능한 조합으로 처리하십시오¹¹. 지표에는 과업 집중 주의력, 구두 참여, 동료 협업, 과업 중심의 노트 필기 또는 기기 사용, 과업 외 주의 산만 및 도움 요청 행동이 포함됩니다.
5. 첫 번째 관찰 전 강의실 좌석을 그룹별로 배치하고, 4주 전체 기간 동안 이 좌석 배치를 엄격히 유지하십시오.
6. 두 명의 훈련된 관찰자를 강의실 전체가 보이는 고정된 위치에 배치하여 독립적으로 코딩하게 하십시오. 기관의 촬영 허가가 있고 참여자가 동의한 경우, 후면 중앙과 후면 측면 영역에 두 대의 고정식 카메라를 설치하고 세션 시작 전에 동기화하십시오.
7. 카메라 녹화물은 관찰자 교육, 신뢰도 검증 및 가시성 문제의 판정에만 사용하십시오. 비디오 녹화물을 주 코딩 소스로 사용하지 마십시오. 또한 안면 감정, 음성 감정, 생체 인식 또는 신원 인식 분석을 수행하지 마십시오.

4. 구간 기반 행동 코딩

1. 70분 관찰 창을 20초의 시각적 스캔 후 10초의 기록 기간으로 구성된 연속적인 구간으로 나눕니다. 대형 강의, 실험 또는 온라인 수업으로 인해 다른 구간 길이가 필요한 경우, 데이터 수집 시작 전에 조정된 구간 구조를 보고하고 그 근거를 제시하십시오.
   참고: 이 20초/10초 구조는 실제 교실 관찰과 코더의 작업량 사이의 균형을 맞춥니다. 스캔 기간은 지속적인 주의 집중, 협업 및 과업 외 행동을 감지하기에 충분히 길며, 기록 기간은 기억 부담을 줄여 일관된 이진 결정을 내릴 수 있도록 지원합니다.
2. 좌석 배치에 따라 연속적인 루프로 구간당 최대 10명의 학생으로 정의된 그룹을 스캔합니다.
3. 느슨한 조작적 정의로 인한 코더의 불일치를 방지하기 위해 특정 스캔 기준을 활용하십시오⁴. 각 스캔 동안 6가지의 이진 학생 수준 지표를 코딩합니다. 여기에는 과업 집중 주의, 구두 참여, 동료 협업, 과업 중심 필기 또는 기기 사용, 과업 외 산만, 도움 요청 행동이 포함됩니다.
4. 20초 스캔 중 어느 시점에서든 지정된 행동이 발생하면 지표를 "1"로 표시합니다. 그렇지 않으면 "0"로 표시합니다. 학생이 스캔 시간 중 최소 10초 동안 보이지 않는 경우 해당 구간을 결측치로 코딩합니다.
5. 학생이 강사, 지정된 과업, 제시된 정보 또는 과업 토론에 참여 중인 동료를 향해 최소 5초 연속으로 시각적 방향을 잡고 있을 때 과업 집중 주의로 기록합니다. 들리며 과업과 관련된 모든 기여는 구두 참여로 코딩합니다.
6. 학생들이 가시적인 과업 기반 교환, 공동 문제 해결 또는 동료 설명을 수행할 때 동료 협업으로 코딩합니다. 적극적인 쓰기, 타이핑 또는 강의 자료와의 디지털 상호작용은 과업 중심 필기 또는 기기 사용으로 기록합니다.
7. 학생이 관련 없는 대화, 비학습적 기기 사용 또는 최소 5초 연속으로 지속적인 이탈 상태일 때 과업 외 산만으로 표시합니다. 학생이 강사나 동료에게 명시적으로 설명이나 도움을 요청할 때 도움 요청으로 기록합니다.
8. 각 학생의 주간 행동 점수를 모든 유효 평가 대비 긍정적 판정의 총 횟수로 계산합니다. 이후 6가지 모든 지표에 대해 4주 평균값을 도출합니다.
9. 사전에 지정된 수학적 모델을 사용하여 w주 차 학생 i의 통합 관찰 교실 참여 지수(Observed Classroom Engagement Index, OCEI)를 산출합니다: OCEI_iw = [On-task attention_iw + Verbal participation_iw + Peer collaboration_iw + Task-focused note-taking/device use_iw + (1 - Off-task distraction_iw)]/5.
10. 도움 요청은 상황에 따라 건설적인 명확화 요청 또는 학습 내용에 대한 어려움을 나타낼 수 있으므로 독립적인 분석 변수로 유지합니다¹². 연구 워크플로우는 그림 1을, 관찰 지수 및 코딩 규칙은 표 1을 참조하십시오.

5. 관찰자 교육 및 신뢰도 평가

1. 60분간의 매뉴얼 교육 세션을 통해 관찰자 교육을 실시하고, 정식 프로그램 시작 전에 세 차례의 보정 라운드를 수행합니다.
2. 첫 번째 보정 라운드는 연구 대상이 아닌 강의실 영상의 가이드 코딩을 통해 수행합니다. 이후 두 차례의 라운드는 서로 다른 비연구 영상들에 대해 독립적인 코딩을 완료한 후, 수석 코더와 직접 통계적 비교를 수행합니다.
3. Cohen's Kappa 값이 0.75 이상에 도달하고, 전체 평가자 간 일치도가 85%를 초과할 때만 정식 데이터 수집을 시작합니다.
4. 4주간의 프로토콜 전반에 걸쳐, 전체 세션의 10%와 나머지 세션에서 무작위로 추출한 10분 분량의 세그먼트 하나에 대해 이중 맹검 드리프트 검증을 실시합니다.
5. 특정 지표의 Kappa 값이 0.70 미만으로 떨어질 경우, 데이터 잠금 전 72시간 이내에 코딩 팀을 재보정하고 영향을 받은 세션을 재검증합니다. 평가의 안정성을 지속적으로 유지하기 위해 피드백을 계속 제공하고 보정 연습을 조직합니다¹³.

6. 반사 발현 수집 및 평가

1. 학생들에게 참관 수업마다 하나의 구조화된 성찰 텍스트(100-350단어)를 제출하도록 안내하여, 4주간의 프로토콜 동안 참가자당 4개의 항목을 생성하도록 합니다.
2. 참관 수업 후 2시간 이내에 LMS 또는 종이 양식을 통해 성찰 프롬프트를 제공하고, 72시간 후에 제출 창을 닫습니다. 양식에는 연구 대상자 ID(Study ID) 필드와 다음 세 가지 프롬프트가 모든 학생에게 동일한 순서로 표시되어야 합니다.
   1. 수업 중 가장 몰입되었던 부분과 가장 그렇지 않았던 부분을 식별합니다.
   2. 과제 난이도, 선수 지식, 그룹 상호작용, 강사의 설명 또는 플랫폼 사용을 포함한 맥락적 원인을 설명합니다.
   3. 자신의 참여가 강의실 분위기에 어떤 영향을 미쳤으며, 향후 어떤 조치를 취할 계획인지 기술합니다.
      참고: 100단어 미만의 항목도 유지하되, 데이터베이스에 정보 부족(low-information)으로 표시합니다. 또한 몰입도, 맥락적 원인 또는 향후 조치/사회적 영향 프롬프트가 누락된 항목도 표시하는데, 이러한 누락은 성찰 품질 점수 산정 및 실행 가능성 보고에 영향을 미치기 때문입니다.
3. 두 명의 블라인드 코더를 지정하여 서술적 구체성, 분석적 깊이, 자기 조절 지향성, 사회적-친사회적 의미의 관점에서 제출물을 평가합니다.
   1. 각 차원을 4점 척도로 평가하며, 0은 부재, 1은 약하거나 모호한 증거, 2는 명확하지만 제한적인 증거, 3은 강력하고 정교한 증거를 나타냅니다. 예를 들어, 분석적 깊이의 경우 이유가 제공되지 않으면 0점, 학생이 활동이 어려웠다고만 언급하면 1점, 난이도를 특정 개념이나 강의실 조건과 연결하면 2점, 그리고 이전 지식, 동료 토론, 강사 피드백 및 계획된 학습 전략 간의 상호작용을 설명하면 3점으로 점수를 부여합니다. Table 2와 Supplementary File 1에서 네 가지 성찰 차원 모두에 대한 점수 수준별 예시를 제공합니다.
4. 파일럿 텍스트에 대해 각 차원별로 0.80 이상의 급내 상관 계수(intra-class correlation coefficient)를 달성한 후에만 정식 평가를 시작합니다¹⁴.
5. 평가자 드리프트(rater drift)를 제어하기 위해 프로토콜 진행 중에 연구 성찰문의 15%를 무작위로 이중 점수화합니다. 텍스트 길이 또는 단어 빈도에만 의존하지 않고 이러한 다차원적 정성적 지표를 기반으로 성찰 글을 평가합니다.
6. 최소 2명의 교육 연구자와 1명의 교과 강사가 참여하는 전문가 검토를 통해 성찰 표현 루브릭을 개발하거나 수정합니다. 20~30개의 비연구 대상 성찰문으로 루브릭을 시범 적용하고, 모호한 기술어를 수정하며, 정식 코딩을 시작하기 전에 최종 루브릭 버전을 문서화합니다.
7. Supplementary File 1에 제시된 친사회적 의도 설문지를 실시합니다. 학생들에게 어려움을 겪는 급우를 도우려는 의지, 학습 자원 공유, 토론에 건설적으로 기여, 동료 격려, 그룹 과제 중 공정하게 행동, 그리고 강의실 학습 분위기 개선에 대한 동의 정도를 평가하도록 요청합니다. 1(매우 반대)부터 5(매우 찬성)까지의 5점 척도를 사용합니다. 6개 항목 중 최소 5개 항목이 완료된 경우 평균 점수를 계산하고, 기초 조사 및 프로토콜 후 조사에 대한 Cronbach's alpha를 보고합니다.

7. 학습 분석 추출

1. 관찰 및 성찰 과정의 오염을 방지하기 위해, 4주 차 이후에 학습 분석 데이터를 추출할 외부 관리자를 지정하십시오.
2. 추출 범위를 첫 수업이 관찰된 날의 00:00부터 최종 성찰 기간 종료일의 23:59까지로 설정하십시오.
3. 프로토콜에 필요한 지정된 변수만을 추출하십시오. 플랫폼 내 활성 일수, 고유 리소스 조회 수, 할당된 리소스 중 열람된 리소스의 비율, 게시된 토론 답글 수, 평균 동영상 시청 완료율 및 과제 제출 정시성을 캡처하십시오.
4. 강사 및 조교 계정, 중복 기록, 테스트 이벤트, 지정된 시간 범위를 벗어난 데이터 포인트를 제거하여 로우 데이터 내보내기(raw exports) 파일을 정제하십시오.
5. 활성 일수(active day)는 인증된 코스 접속 후 파일 열기, 비디오 시청 또는 답글 게시와 같은 유의미한 상호작용이 최소 한 번 이상 발생한 모든 달력 날짜로 계산합니다.
6. 60초 이내에 발생하는 중복 새로고침 이벤트는 무시하고 고유한 리소스 오픈 횟수를 산출하십시오. 예약된 시간 01:00 대비 시청 비율을 절삭하여 비디오 완독률을 결정한 후, 할당된 모든 미디어 항목에 대해 평균을 내십시오.
7. 예정된 마감 기한 전에 제출된 과제의 비율을 기반으로 과제 제출의 정시성을 계산하십시오. 심야 접속 비율은 관찰 기간 내 전체 유의미한 활동 대비 00:00에서 06:00 사이에 발생한 유의미한 이벤트의 비율로 산출하십시오. 단순한 로그 누적보다 더 풍부한 정보를 제공하기 위해 이러한 시간 기반 및 기여 중심의 지표를 활용하십시오.¹⁵.
8. 학습 관리 시스템(learning-management-system)의 원본 내보내기 데이터에 대해 미리 지정된 데이터 관리 워크플로우를 사용하십시오. 원본 내보내기 파일은 읽기 전용 파일로 저장하고, 비식별 처리된 작업용 사본을 생성하십시오. 강사 및 조교 계정을 제거하고, 중복 또는 테스트 이벤트를 삭제하며, 각 정제 단계 후의 행 수를 기록한 처리 로그를 유지하십시오.
9. 스프레드시트 또는 이후 단계에서 데이터 정제(data cleaning)를 수행하고, R 버전 4.4.0 이상 또는 이에 상응하는 소프트웨어를 사용하여 통계 분석을 수행하십시오.
   1. 스프레드시트에서 7.9.1.1~7.9.1.2에 기술된 단계를 따르십시오.
      1. 다음을 사용하여 비식별화된 CSV 파일을 가져옵니다. 데이터 > 데이터 가져오기 > 텍스트/CSV 파일로부터, 및 사용 데이터 > 중복 제거 중복 제거를 위해 연구 ID/타임스탬프/이벤트 행.
      2. 적용하다 필터 강사 또는 조교 계정과 창 외부 기록을 제외하고, 각 단계 후의 행 수가 포함된 처리 로그를 저장합니다.
   2. R에서 7.9.2.1~7.9.2.3에 기술된 단계를 수행하십시오.
      1. 다음으로 파일을 가져옵니다. readr::read_csv()주간 기록의 형태를 다음과 같이 변경하십시오. dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer(), 그리고 tidyr::pivot_wider().
      2. 다음을 이용하여 코헨의 카파(Cohen's kappa)를 산출하십시오. irr::kappa2(), ~가 포함된 면역세포화학염색(ICCs) psych::ICC()및 Cronbach's alpha를 이용한 psych::alpha().
      3. 다음을 사용하여 섹션 조정 선형 모델을 적합시키십시오. stats::lm()사용법 lme4::lmer() 사전에 지정된 클래스-섹션 랜덤 절편이 필요할 때 사용하며, lme4::glmer(family = binomial) 이진 결과(binary outcomes)에만 해당합니다. 제출 자료와 함께 정확한 스크립트 및 패키지 버전을 보관하십시오.
10. 다음의 재현 가능한 분석 시퀀스를 사용하십시오.
    1. 학생-주 관찰 비율을 계산하고, 단계 4.9의 공식을 사용하여 OCEI를 산출하며, 연구 ID(Study ID) 및 주차별로 주간 성찰 점수를 병합하십시오.
    2. 동일한 4주 기간 동안의 학습 분석 변수를 집계하고, 데이터 소스별 결측치를 점검하며, 기술 통계량과 신뢰도 추정치를 계산한 후, 사전 정의된 연관 모델을 적용합니다.
    3. 결과를 검토한 후, 탐색적 변수로 표시되지 않은 계획되지 않은 예측 변수를 추가하지 마십시오.
11. (선택 사항) 투명성을 위해 비식별화된 분석 스크립트, 코드북, 빈 코딩 양식, 성찰 프롬프트, 성찰 루브릭 및 친사회적 설문지를 공개 저장소 또는 보충 자료에 제출하십시오. 식별 가능한 가공되지 않은 강의실 영상, 이름, 기관 ID 또는 수정되지 않은 성찰 텍스트는 제출하지 마십시오.

8. 프로토콜 후 측정 및 데이터셋 통합

1. 마지막 성찰 창이 종료된 직후에 친사회적 의도 도구를 두 번째로 실시합니다.
2. 학생들에게 급우를 돕고자 하는 의지, 자원 공유, 토론에 대한 건설적인 기여, 동료 격려, 공정한 행동, 그리고 학습 분위기 개선 의지를 1(전혀 동의하지 않음)에서 5(매우 동의함)까지의 척도로 평가하도록 요청합니다. 6개 항목 중 최소 5개 항목에 응답한 경우, 응답 값의 평균을 내어 각 개인의 프로토콜 후 총점을 계산합니다.
3. 익명화된 연구 ID(Study ID)를 사용하여 관찰 파일, 성찰 점수 및 학습 분석 기록을 병합합니다. 이 병합된 데이터를 바탕으로 참가자 수준의 마스터 파일과 주 단위 롱 포맷(long format) 파일의 두 가지 최종 데이터셋을 구성합니다.
4. 학생이 보이지 않아 발생한 누락된 관찰 구간이나 제출하지 않아 발생한 누락된 주간 성찰 내용은 보간법(impute)으로 채우지 않습니다. 분석 전, 부분적으로 작성된 성찰, 불완전한 학습 분석 변수, 정보량이 적은 성찰 및 일치하지 않는 연구 ID를 표시(flag)합니다.
5. 사전에 지정된 연관성 모델에 대해 완전 사례 분석(complete-case analysis)을 수행하고, 각 모델에서 제외된 사례 수를 보고하며, 가용한 기초 변수를 통해 포함된 학생과 제외된 학생을 비교하는 민감도 검사를 실시합니다.
6. 대학생들의 참여 방식의 구조적 변화를 뒷받침하는 지지적이고 협력적인 태도를 반영하기 위해 친사회적 의도를 주요 결과 측정치로 유지합니다.

9. 문제 해결 및 프로토콜 조정

1. 동일한 학생 클러스터 내에서 두 관찰자의 이진 범주 패턴이 하나 이상 일치하지 않거나, 특정 지표의 Cohen's kappa 값이 0.70 미만으로 떨어지는 경우, 해당 세션의 공식 채점을 중단하고 조작적 정의를 재검토한 뒤 10분간의 재교정 세그먼트를 완료하고 데이터 잠금 전 해당 구간을 다시 코딩하십시오.
2. 플랫폼 내보내기 파일이 불완전한 경우, 누락된 필드를 기록하고 외부 관리자에게 2차 내보내기를 요청하십시오. 관찰/성찰 요약에는 해당 학생을 유지하되, 해당 필드가 필요한 모델에서는 사용 불가능한 분석 변수를 제외하십시오.
3. 과제 시작 후 48 h 이내에 예상 성찰문의 80% 미만이 제출된 경우, 전체 학급에 중립적인 리마인더를 보내고 액세스 문제에 대한 기술 지원을 제공하며, 최종 정시 제출, 지연 제출 및 미제출 건수를 각각 별도로 보고하십시오.
4. 클러스터 내 학생의 10% 이상이 스캔 창의 최소 절반 동안 보이지 않는 경우, 해당 구간을 누락으로 코딩하고 가려진 비디오에서 행동을 추론하려 하기보다 실시간 관찰 기록에 의존하십시오.
5. 학생이 중도 탈퇴하거나 추가 참여를 거부하거나 또는 소스 간 연결 가능한 데이터가 없는 경우, 해당 학생을 연결된 연관 모델에서 제거하되, 윤리 승인에서 허용하는 경우 총체적인 프로토콜 타당성 수치는 유지하십시오.
6. 여러 학생이 특정 섹션을 이해하기 어렵다고 신호를 보내면, 강사는 짧은 재설명, 풀이 예제, 동료 토론 또는 후속 자료 제공과 같은 일반적인 교육적 대응을 해야 합니다. 이는 도움 요청, 성찰 깊이 및 플랫폼 활동에 영향을 미칠 수 있으므로 맥락적 이벤트로 기록하십시오.
7. 학생 클러스터 크기, 구간 길이, 성찰 프롬프트 및 분석 변수를 교육 형식에 맞게 조정하되, 사전 정의된 행동 지표, 비식별 기록, 독립적 코딩 및 투명한 데이터 누락 규칙이라는 동일한 논리는 유지하십시오.
8. 낮은 신뢰도, 높은 누락률, 제한적인 성찰 깊이, 약한 친사회적 변화 및 데이터 스트림 간의 낮은 일치도는 프로토콜의 실패가 아니라 유용한 실행 결과로 취급하십시오. 이러한 결과를 보고하고, 이것이 교실 맥락, 도구의 한계 또는 데이터 수집 문제 중 무엇을 반영하는지 설명하십시오.

결과

참가자 포함, 데이터 완전성 및 점수 신뢰도
모든 분반에 걸쳐 204명의 학생으로 구성된 초기 코호트가 참여 요청을 받았으며, 최종적으로 198명이 동의하였습니다. 이후 프로토콜 기간 중 수강 철회 또는 관찰, 성찰 및 플랫폼 기록 간의 데이터 연결 불완전으로 인해 14건의 사례가 제외되었습니다. 결과적으로 최종 분석 표본은 184명의 학생으로 구성되었습니다. 참가자 특성, 주간 완료율 및 전반적인 데이터 완전성은 표 3에 상세히 기술되어 있습니다.

4주간의 프로그램 동안 24회의 수업 세션이 관찰되었으며, 이를 통해 각 참여자에 대한 동기화된 학습 분석 기록이 생성되었습니다. 예상된 736건의 성찰 보고서 중 701건이 72시간 이내에 제출되었고, 18건은 지연 제출되었으며, 17건은 누락되었습니다. 최종적으로 171명의 학생이 모든 주간 성찰 보고서를 기한 내에 성공적으로 완료했습니다. 강사 계정, 중복 항목 및 기한 외 활동을 필터링한 후, 최종 참여자 184명에 대한 학습 분석 데이터가 완전히 추출되었습니다.

관찰 코딩은 프로토콜 기간 내내 매우 안정적으로 유지되었습니다. 교실 관찰의 6가지 행동 지표에 대한 평가자 간 신뢰도는 Cohen's kappa 값이 0.76에서 0.84 범위로 나타났으며, 드리프트 테스트 중의 전반적인 일치도는 86%를 초과했습니다. 성찰적 표현 점수의 경우, 4가지 차원에 걸친 급내 상관 계수(ICCs)는 0.82에서 0.89 사이였습니다. 표 4는 주요 연구 변수에 대한 기술 통계량과 신뢰도 지수를 보여줍니다.

교실 행동 관찰
관찰된 교실 행동은 4주간의 프로토콜 동안 점진적인 개선을 보였습니다. 그림 2에 나타난 바와 같이, 과제 집중도, 구어적 참여 및 또래 협동은 초기 주차에 비해 4주 차에 유의미하게 더 높았습니다. 구체적으로, 구어적 참여는 1주 차의 0.18 ± 0.09에서 4주 차에는 0.24 ± 0.10로 증가했습니다 (p < 0.05). 또래 협동 또한 0.29 ± 0.11에서 0.35 ± 0.12로 상승했습니다 (p = 0.006). 과제 집중도는 0.71 ± 0.12에서 0.76 ± 0.11로 변화하며 매우 유의미한 개선을 보였습니다 (p < 0.001).

반대로, 과업 중심의 노트 필기나 기기 사용은 매주 미미한 증가만을 보였으며 통계적 유의성에 도달하지 않았습니다 (p = 0.08). 도움 요청 행동은 관찰 기간 내내 지속적으로 낮게 유지되었으며, 유의미한 시간적 효과를 나타내지 않았습니다 (p = 0.21). 과업 외 주의 분산은 1주 차의 0.14 ± 0.08에서 4주 차의 0.11 ± 0.07로 유의미하게 감소했습니다 (p = 0.03). 종합적으로, 복합 관찰 수업 참여 지수(Observed Classroom Engagement Index)는 첫째 주 0.52 ± 0.10에서 마지막 주 0.58 ± 0.11로 유의미하게 상승했습니다 (p < 0.001).

4주 프로토콜에 따른 성찰적 표현
성찰적 표현은 연구 기간 동안 발전하였으나, 그 변화의 정도는 하위 차원마다 다르게 나타났다. 그림 3에 나타난 바와 같이, 전체 성찰 점수는 1주 차부터 증가하여 4주 차에는 7.2 ± 1.9가 되었다 (p < 0.001).

분석적 깊이는 처음 2주에 비해 4주 차 말에 눈에 띄게 더 컸습니다(p < 0.001). 마찬가지로, 사회-친사회적 의미는 1.08 ± 0.55에서 1.54 ± 0.60으로 증가하였으며(p < 0.001), 자기 조절 지향성은 1.42 ± 0.63에서 1.69 ± 0.65로 증가하였습니다(p < 0.05). 반면, 묘사적 구체성은 2.14 ± 0.57에서 2.24 ± 0.55로 약간 상승하는 경향을 보였으나, 이는 통계적으로 유의미하지 않았습니다(p = 0.09).

프로토콜 전반에 걸쳐 제출물은 항목당 평균 223자에서 231자였습니다. 예상된 736건의 성찰 보고서 중 18건은 지연 제출되었고, 17건은 누락되었습니다. 정보량이 적은 항목이나 상황적 원인 또는 향후 조치/사회적 영향 프롬프트를 누락한 응답은 데이터베이스에 표시되었습니다. 이러한 사례들은 가능성 지표로 유지되었으며, 관련 점수를 부여할 수 없는 경우에만 해당 주차의 성찰 품질 모델에서 제외되었습니다.

연구 기간 동안의 학습 분석 패턴
그림 4에 나타낸 바와 같이, 4주간의 연구 기간 동안 플랫폼 활동 지표는 개인 간에 상당한 차이를 보였습니다.

전체 기간 동안 학생들의 플랫폼 평균 활성 일수는 9.7 ± 2.4일이었다. 고유 리소스 조회 수의 평균은 27.3 ± 8.6회였으며, 학생들은 할당된 리소스의 평균 0.81 ± 0.14 비율을 확인하였다. 또한, 평균 토론 답글 수는 4.8 ± 2.7회였다. 평균 과제 제출 정시성과 평균 비디오 완료율은 각각 0.86 ± 0.18 및 0.79 ± 0.17이었다. 심야 시간대 플랫폼 접속 비율은 평균 0.12 ± 0.09였다.

특히, 과제 제출의 정시성은 점수 분포가 넓었음에도 불구하고, 토론 답글 및 과제 제출 정시성이 다른 참여 지표와 더 뚜렷한 양의 상관관계를 보였습니다.

관찰, 성찰 및 학습 데이터의 교차 연관성
세 가지 데이터 소스는 균일하지는 않으나 의미 있는 연관성을 보여주었습니다. 그림 5에 나타난 바와 같이, 관찰된 강의실 참여 지수가 더 높은 학생일수록 총 성찰 점수가 더 높은 경향을 보였습니다. 분반 조정 모델에서 관찰된 강의실 참여는 성찰 총 점수를 긍정적으로 예측했습니다(β = 0.34, p < 0.001).

학습 분석 변수 중에서 토론 답글 수와 과제 제출의 정시성은 성찰 품질과 유의미한 정적 상관관계를 보였습니다. 표 5에 상세히 기술된 바와 같이, 토론 답글 수는 성찰 총점을 정적으로 예측했으며(β = 0.19, p = 0.013), 과제 제출의 정시성 또한 마찬가지였습니다(β = 0.17, p = 0.028). 기초 학습 자료 조회 수와 할당된 자료의 오픈 비율은 초기에 정적 연관성을 보였으나, 교란 변수를 보정한 후에는 이러한 상관관계가 유의미하게 약화되었습니다. 심야 시간 접속 비율은 성찰 총점과 유의미한 연관성을 보이지 않았습니다(p = 0.18).

데이터 분석 결과, 관찰된 교실 행동과 특정 플랫폼 활동 사이에 약한 상호 상관관계가 있음이 밝혀졌습니다. 예를 들어, 단순 리소스 조회 수는 관찰된 교실 참여 지수(Observed Classroom Engagement Index)와 아주 낮은 상관관계만을 보였습니다. 또한, 그룹 토론에 더 빈번하게 참여한 학생들은 구어 소통 능력이 더 높게 나타난 반면, 행동 조절 능력이 더 높은 학생들은 과제 제출 시 미루는 행동이 적게 나타났습니다.

친사회적 의도의 변화
친사회적 의도는 기저선에서 사후 검사까지 유의미한 성장을 보였다. 평균 친사회적 의도 점수는 기저선의 3.61 ± 0.53에서 4주간의 프로토콜 수행 후 3.84 ± 0.50으로 증가하였다 (p < 0.001). 그림 6은 쌍을 이룬 분포와 조정된 연관성을 보여준다.

최종 조정 모델에서, 관찰된 강의실 참여 지수(Observed Classroom Engagement Index)가 높을수록 기저 점수 대비 프로토콜 후 친사회적 의도의 증가 폭이 더 클 것으로 예측되었습니다(β = 0.21, p < 0.05). 성찰적 차원 중에서는 사회-친사회적 의미(social-prosocial meaning)가 프로토콜 후 친사회적 의도에 대해 가장 상당한 독립적 영향을 미쳤습니다(β = 0.29, p < 0.001). 언어적 참여는 사후 검사 친사회적 결과와 정(+)의 비조정 상관관계를 보였으나, 기저 값을 통제한 후에는 이 연관성의 통계적 유의성이 사라졌습니다(p = 0.09). 마지막으로, 심야 접속률은 프로토콜 후 친사회적 의도와 관련이 없는 것으로 나타났습니다(p = 0.27).

관찰된 구현 제약 및 유의미하지 않은 결과
본 연구의 구현 과정에서 프로토콜을 중단해야 할 정도의 실패보다는, 최적은 아니지만 유익한 몇 가지 결과가 도출되었다. 관찰자 kappa 값이 0.70 미만으로 인해 제외된 세션은 없었으며, 최종 내보내기 후 사용할 수 없는 학습 분석 필드도 없었고, 가시성 문제가 사전에 지정된 결측치 임계값을 초과한 경우도 없었다. 관찰된 제약 사항은 성찰 일지 작성 완료 여부와 유의미하지 않거나 한계적인 행동 결과에 집중되었다: 18건의 성찰 일지가 늦게 제출되었으며, 17건의 예상 성찰 일지가 누락되었다. 과업 중심의 노트 작성 및 기기 사용은 한계적인 증가만을 보였고(p = 0.08), 도움 요청 행동은 시간에 따른 유의미한 효과가 나타나지 않았으며(p = 0.21), 심야 시간대 접속은 성찰 일지 총점이나 프로토콜 종료 후의 친사회적 의도와 연관성이 없었다.

이러한 결과들은 프로토콜의 구현 가능성과 경계 조건을 설명하고 있으므로 그대로 유지되었습니다. 지연되었거나 누락된 성찰 내용은 참여자 흐름 및 데이터 완전성 요약에 보고되었으며, 한계적이거나 무관한 상관관계는 선택적 누락 없이 보고되었습니다. 또한, 프로토콜 섹션의 문제 해결 절차에는 관찰자 표류, 가시성 방해 또는 LMS 필드 누락과 같은 가상의 실패 사례를 향후 구현 시 어떻게 처리해야 하는지가 명시되어 있습니다.

비식별화된 분석 파일, 데이터 사전, 분석 스크립트, 빈 코딩 양식, 성찰 프롬프트, 성찰 루브릭 및 친사회적 의도 설문지가 Zenodo(https://zenodo.org/records/20607517)에 저장되었습니다. 식별 가능한 가공되지 않은 교실 영상, 성함, 기관 ID 및 수정되지 않은 성찰 텍스트는 공개적으로 배포되지 않았습니다.

그림 1: 연구 워크플로우 및 다중 소스 데이터 통합 프로토콜. (A) 두 개의 학부 과정 및 6개 분반에 걸친 참가자 모집, 동의서 수집 및 연구 ID 할당. (B) 4주간의 데이터 수집 주기: 주간 강의실 관찰, 성찰적 글쓰기 과제 및 동기화된 학습 분석 캡처 창. (C) 세 가지 병렬 데이터 스트림: 강의실 행동 관찰, 성찰적 표현 점수 및 비식별화된 학습 플랫폼 기록. (D) 참가자 수준의 마스터 데이터셋과 주차별 롱 포맷(long-format) 데이터베이스 구축을 통해 도출된 주요 연구 결과물: 관찰된 강의실 참여도 지수, 성찰 점수 및 친사회적 의도. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 2: 4주간의 프로토콜 동안 관찰된 교실 행동의 주간 변화. (A) 과제 집중 주의력. (B) 구두 참여. (C) 또래 협력. (D) 과제 중심의 노트 작성 또는 과제 중심의 기기 사용. (E) 과제 외 집중 분산. (F) 도움 요청. 값은 구간 기반의 교실 관찰에서 도출된 주간 학생 수준의 비율 점수이다. 점은 주간 평균을 나타내며, 오차 막대는 표준 편차를 나타낸다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.

그림 3: 4회의 성찰 과제 제출물 전반에 걸친 성찰 표현의 주간 변화. (A) 묘사적 구체성. (B) 분석적 깊이. (C) 자기 조절 지향성. (D) 사회적-친사회적 의미. (E) 총 성찰 점수. 성찰 점수는 사전 정의된 루브릭을 사용하여 두 명의 블라인드 코더가 배정하였습니다. 점은 주별 평균을 나타내며, 오차 막대는 표준 편차를 나타냅니다. 여기를 클릭하여 이 그림의 더 큰 버전을 확인하십시오.

그림 4: 4주간의 학습 기간 동안의 학습 분석 지표 분포. (A) 학습 플랫폼 활동 일수. (B) 리소스 조회 수. (C) 할당된 리소스의 오픈 비율. (D) 게시된 토론 답글 수. (E) 평균 비디오 시청 완료율. (F) 과제 제출 정시성. (G) 심야 접속 비율. 모든 값은 강의실 관찰 및 성찰적 글쓰기에 사용된 것과 동일한 4주 기간 동안 계산되었습니다. 바이올린 플롯은 학생 수준의 분포를 나타내며, 박스 플롯은 중앙값과 사분위수 범위를 나타냅니다. 이 그림의 확대 버전을 보려면 여기를 클릭하십시오.

그림 5: 관찰된 강의실 참여도, 성찰적 표현 및 선택된 학습 분석 지표 간의 연관성. (A>) 관찰된 강의실 참여도 지수와 성찰 총점 간의 연관성. (B>) 게시된 토론 답글 수와 성찰 총점 간의 연관성. (C>) 과제 제출 정시성과 성찰 총점 간의 연관성. (D>) 구두 참여도와 성찰 총점 간의 연관성. 추세선은 적합된 선형 연관성을 나타내며, 음영 영역은 95% 신뢰 구간을 나타냅니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.

그림 6: 친사회적 의도의 변화 및 수업 참여도와 성찰적 의미와의 연관성. (A) 기초선 및 프로토콜 종료 후 친사회적 의도 점수의 쌍 분포. 선은 동일한 학생의 사전/사후 쌍 점수를 연결함. (B) 기초선 점수를 통제한 후 관찰된 수업 참여 지수(Observed Classroom Engagement Index)와 프로토콜 종료 후 친사회적 의도 사이의 연관성. (C) 사회적-친사회적 의미와 프로토콜 종료 후 친사회적 의도 사이의 연관성. (D) 언어적 참여와 프로토콜 종료 후 친사회적 의도 사이의 연관성. 패널 B-D의 음영 표시된 띠는 95% 신뢰 구간을 나타냄. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

표 1: 학생 수준의 교실 관찰 지표 및 코딩 규칙. 이 표는 과업 집중 주의력, 언어적 참여, 동료 협업, 과업 중심의 노트 작성 또는 기기 사용, 과업 외 주의 산만, 도움 요청에 대한 조작적 정의와 코딩 기준을 상세히 설명합니다. 70분 코딩 창, 20초 스캔/10초 기록 주기, 클러스터 스캔 절차, 가시성 결여 규칙 및 OCEI 공식은 프로토콜 섹션에 설명되어 있습니다. 여기le를 클릭하여 이 표를 다운로드하십시오.

표 2: 성찰적 표현 점수 산정 프레임워크, 점수 수준별 예시 및 학습 분석 변수 정의. 이 표는 각 성찰 차원에 대한 점수 0, 1, 2, 3의 예시를 포함하여 성찰 텍스트의 점수 산정 루브릭과 추출된 학습 분석 변수의 조작적 정의를 나타냅니다. 성찰 구성 요소에는 묘사적 구체성, 분석적 깊이, 자기 조절 지향성, 사회적-친사회적 의미, 전체 성찰 점수, 단어 수 및 제출 상태가 포함됩니다. 학습 분석은 활동일 수, 리소스 조회 수, 할당된 리소스 오픈 비율, 토론 답글 게시 수, 평균 비디오 시청 완료율, 과제 제출 정시성 및 심야 접속 비율로 구성됩니다. 여기를 클릭하여 이 표를 다운로드하십시오.

표 3: 참여자 특성, 포함 흐름 및 데이터 완결성. 이 표는 참여자 적격성, 동의율, 제외 기준, 최종 표본 크기 및 세 가지 데이터 소스에 걸친 데이터 완결성을 요약합니다. 여기에는 기초 인구통계학적 특성과 함께 예상 성찰 항목 수, 정시 제출, 지연 제출, 누락된 성찰 및 성공적인 학습 분석 추출 결과가 보고됩니다. 별도로 명시되지 않는 한 값은 n (%)로 표시됩니다. 반올림으로 인해 백분율의 합계가 정확히 100%가 되지 않을 수 있습니다. 프로토콜에 따라, 지연 제출된 성찰은 보관되지만 주차별 성찰 분석에서는 제외됩니다. 학습 분석 추출 완료는 강사 계정, 중복 항목 및 기간 외 이벤트를 제거한 후 비식별화된 연구 기간 기록을 성공적으로 검색했음을 의미합니다. 이 표를 다운로드하려면 여기를 클릭하십시오.

표 4: 주요 연구 변수의 기술 통계 및 검사 신뢰도 점수. 이 표는 관찰된 교실 행동, 성찰적 표현, 학습 분석 및 친사회적 의도에 대한 주차별 평균값, 표준 편차 및 신뢰도 지수를 나타냅니다. 교실 관찰 데이터의 신뢰도는 Cohen's kappa를 사용하여 평가되었습니다. 성찰 점수 신뢰도는 이중 채점된 텍스트에 대한 클래스 내 상관계수(ICCs)로 제시되었습니다. 친사회적 의도 측정의 내부 일관성은 Cronbach's α를 사용하여 보고되었습니다. 학습 분석 변수는 관찰 및 성찰에 활용된 것과 동일한 4주 기간 동안 계산되었습니다. 이 표를 다운로드하시려면 여기를 클릭하십시오.

표 5: 관찰된 강의실 참여도, 성찰적 표현, 학습 분석 및 친사회적 의도 간의 다변량 연관성. 이 표는 주요 분석에 활용된 추론 모델을 상세히 보여줍니다. 성찰 총점의 다변량 예측 변수, (기초 수준을 통제한) 프로토콜 후 친사회적 의도의 보정된 예측 변수 및 선택된 비보정 연관성을 제시합니다. β 값은 비표준화 회귀 계수를 나타냅니다. 모든 다변량 모델은 분반(class section)으로 보정되었습니다. 모든 추정치에 대해 표준 오차(SE), 95% 신뢰 구간(CI) 및 p-값이 제공됩니다. 여기를 클릭하여 이 표를 다운로드하십시오.

토론

본 연구는 단일 수업 시간 내에서 대학생들의 참여, 자기표현 및 친사회적 인식을 종합적으로 조사하기 위해 행동 관찰, 성찰적 글쓰기, 학습 분석을 통합한 실용적인 프로토콜을 제안합니다. 참여의 다양한 차원을 포착함으로써, 이 삼중 모드 접근 방식은 이용 시간 측정 지표와 센서 기반 모니터링만으로는 개별 평가 시 불충분하다는 최근 고등 교육 연구의 비판을 해결합니다¹. 4주간의 프로토콜 수행 결과, 가시적인 강의실 참여도가 유의미하게 향상되었습니다. 구체적으로, 과제 집중도와 더불어 언어적 참여와 동료 협업이 증가한 반면, 도움 요청 및 과제 중심의 노트 필기는 최소한의 변화만을 보였습니다. 이러한 행동 변화는 학생들이 교육 환경에 적응함에 따라, 이들의 참여가 더욱 전략적이고 사회적 상호작용 중심적이며 기여 지향적인 참여로 진화한다는 것을 나타냅니다¹⁶.

방법론적 관점에서 볼 때, 이 프로토콜의 가치는 일관되게 긍정적인 결과가 관찰되는 것보다 엄격한 실행 여부에 달려 있습니다. 따라서 수정된 워크플로우는 사전에 지정된 OCEI 공식, 독립적 관찰, 문서화된 소프트웨어 처리, 루브릭 예시, 신뢰도 임계값 및 명시적인 결측 데이터 규칙을 강조합니다. 이러한 추가 사항들은 플랫폼 기록, 학생 출석, 카메라 가시성 및 성찰의 질이 불완전한 일반적인 강의실 환경에서도 프로토콜을 재현할 수 있도록 하기 위한 것입니다.

본 프로토콜은 형식에 민감한 것으로 해석되어야 합니다. 대규모 강의의 경우, 관찰자에게 더 작은 회전 클러스터와 더 긴 보정 기간이 필요할 수 있습니다. 온라인 수업에서는 행동 관찰이 강의실 스캐닝보다는 상호작용 로그와 가시적인 참여도에 의존할 수 있습니다. 실험실에서는 안전 관련 행동에 대해 추가적인 지표가 필요할 수 있으며, 문화적으로 다양한 교실에서는 성찰 프롬프트와 친사회적 의도 항목을 사용하기 전에 언어적 명확성과 문화적 적절성을 검토해야 합니다.

성찰적 글쓰기는 이러한 행동 패턴에 대한 2차적 통찰을 제공합니다. 총 성찰 점수는 프로토콜 전반에 걸쳐 꾸준한 상승 추세를 보였으며, 특히 분석적 깊이와 사회적-친사회적 의미 영역에서 가장 뚜렷한 개선이 나타났습니다. 학생들은 단순히 교실 내 사건을 회고하는 수준을 넘어, 교육 상황을 더 넓고 사회적으로 의식 있는 관점에서 분석하는 능력이 향상되었음을 보여주었습니다. 이는 텍스트의 표면적 양이 상대적으로 일정하게 유지되더라도, 반복적이고 구조화된 성찰 과업이 고차원적인 의미 형성 및 지식 기반 담론을 촉진한다는 최근의 연구 결과와 일치합니다⁹. 결과적으로 고등 교육에서의 성찰적 글쓰기는 해석, 전이, 그리고 자기 조절적 투영과 관련된 기술들이 시간이 지남에 따라 서로 다른 속도로 발달하는 다차원적 구성 개념으로 이해하는 것이 가장 적절합니다⁵.

학습 분석의 통합은 다중 소스 프로토콜의 필요성을 더욱 뒷받침합니다. 토론 답글 및 과제 제출 기한 준수와 같은 실질적인 활동이 단순한 활동량보다 몰입도를 나타내는 훨씬 더 유용한 지표임이 입증되었습니다. 반대로, 심야 시간대의 플랫폼 접속은 성찰의 질이나 친사회적 의도와 유의미한 연관성을 보이지 않았습니다. 이러한 결과는 학생의 참여도를 평가할 때 단순 빈도나 로그인 지표에 과도하게 의존하는 것에 대해 경고한 이전 연구들과 일치합니다⁴. 본 연구 결과는 강의 자료와 건설적으로 상호작용하는 학생들이 더 강력한 성찰 능력을 발달시킨다는 점을 시사하지만, 기본적인 플랫폼 활동이 관찰 가능한 교실 내 참여도를 완벽하게 반영하지는 않습니다. 따라서 관찰, 성찰 및 분석 간의 과도한 중복이 아닌 적절한 중첩이 확인되었으며, 이는 독립적인 단일 소스 추론보다 복합 측정 전략을 사용하는 것이 타당함을 입증합니다¹⁷.

본 연구의 부수적인 기여점은 표준 참여 지표를 넘어 평가 결과 범위를 확장했다는 점입니다. 친사회적 의도는 사전 검사에서 사후 검사로 가면서 측정 가능한 증가를 보였으며, 성찰 과정에서 사회적-친사회적 주제를 명확히 표현하고 광범위한 상호작용 프로필을 유지한 학생들 사이에서 가장 강한 상관관계가 나타났습니다. 이는 협력적이고 기여 지향적인 특성이 단순한 부수적 효과가 아니라 강의실 내 상호작용의 필수적인 요소라고 상정하는 최근의 고등 교육 연구 결과와 일치합니다⁸. 나아가, 이러한 결과는 강의실을 복잡한 사회적 시스템으로 개념화하는 관점을 뒷받침합니다. 학생들이 학습 공동체에 대한 자신의 상대적 기여도를 능동적으로 평가할 때, 이들의 행동은 기본적인 순응에서 벗어나 건설적이고 친사회적인 참여로 전환되는 경향이 있습니다¹⁸.

이러한 결론은 교육적 설계를 위한 실행 가능한 통찰력을 제공합니다. 제안된 프로토콜은 특수 센서나 침습적인 모니터링 시스템을 필요로 하지 않습니다. 간격 기반 관찰, 주간 구조화된 성찰, 그리고 표준 강의 플랫폼 데이터에만 의존함으로써, 이 조합은 학습 참여에 대한 투명하고 형성적인 증거가 필요하지만 고급 기술 인프라가 부족한 학부 교육 환경에 매우 실현 가능한 솔루션을 제공합니다. 학습 공동체와 가치 창출 교육을 강조하는 최근의 교육적 프레임워크는 학생을 수동적인 소비자가 아닌 능동적인 공동 창조자로 재정립함으로써 고등 교육 참여에 더 큰 의미를 부여할 수 있음을 시사합니다¹⁹. 기여 관련 지표가 단순한 플랫폼 트래픽보다 성찰의 질 및 친사회적 의도와 훨씬 더 밀접하게 군집화되어 있다는 당사의 실증적 발견은 이러한 교육적 전환을 강력하게 뒷받침합니다.

몇 가지 한계점을 인정해야 합니다. 첫째, 본 프로토콜은 제한된 수의 수업 섹션을 대상으로 설계되었으므로, 실험 기반, 강의 중심, 완전 비동기식 온라인 또는 문화적으로 다양한 환경으로 이전하기 위해서는 계획된 적응과 새로운 신뢰성 검증이 필요합니다. 둘째, 친사회적 의도는 자기 보고 방식으로 측정되었으며, 이는 직접적인 행동적 실측치보다는 보고된 의도로 해석되어야 합니다. 셋째, 학습 분석으로는 플랫폼을 통해 매개된 활동만 포착되므로, 오프라인 준비, 비공식적인 동료 지원 및 공개되지 않은 AI 보조 학습 등은 누락될 수 있습니다. 넷째, 4주의 관찰 기간은 단기적인 실행 패턴을 식별할 수 있지만, 더 긴 발달 궤적을 포착하지는 못할 수 있습니다. 마지막으로, 4주간의 대표값은 일반화 가능한 인과적 추정치라기보다 특정 맥락에 기반한 실행 증거로 해석되어야 합니다²⁰.

향후 연구는 이 프레임워크를 여러 방향으로 확장해야 합니다. 다양한 학문 분야와 교수법에 걸쳐 이 프로토콜을 재현하는 것이 중요한 다음 단계입니다. 또한, 이러한 단기적 성찰 관행이 지속적인 친사회적 태도나 지속적인 행동적 이점을 생성하는지 판단하기 위해 종단적 추적 조사가 필요합니다. 후속 연구에서는 이 관찰 프레임워크를 동료 평가, 그룹 수준의 산출물 분석 또는 이벤트 시퀀스 분석과 같은 대안적 방법론과 비교할 수 있을 것입니다. 그럼에도 불구하고, 현재의 형태로 이 프로토콜은 학생들이 강의실에서 무엇을 하는지, 그 행동을 사후에 어떻게 해석하는지, 그리고 더 넓은 학습 환경 내에서 스스로를 사회적으로 어떻게 위치시키는지를 삼각 측량할 수 있는 강력하고 실행 가능한 메커니즘을 제공합니다.

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
교실 관찰 코딩 시트	자체 제작	6가지 이분법적 행동 지표	과제 집중, 구두 참여, 동료 협업, 과제 중심의 노트 필기/기기 사용, 과제 외 주의 분산 및 도움 요청에 대한 구간 기반 코딩.
GraphPad Prism	Graphpad	Version 10.2.3	워크플로우 다이어그램, 주간 추세 도표, 분포 도표 및 연관성 수치 생성.
기관 학습 관리 시스템 / 강좌 플랫폼	해당 대학	기존 기관 LMS 계정 시스템	비식별화된 학습 분석 데이터 수집.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	워크플로우 다이어그램, 주간 추세 도표, 분포 도표 및 연관성 수치 생성.
R	R Foundation		ggplot2 3.5.1
스프레드시트 소프트웨어	Microsoft Corporation	Microsoft Excel 365 v2402	데이터 입력, 정제, 비식별화 확인 및 관찰/성찰/분석 데이터셋 병합.
SPSS Statistics	IBM Corp	Version 26.0	통계 분석 소프트웨어; 기술 통계, 반복 측정 비교, Cohen's kappa, ICC, Cronbach's alpha, 상관 분석 및 회귀 모델.