이 콘텐츠를 보려면 JoVE 구독이 필요합니다. 로그인하거나 오늘 무료 평가판을 시작하세요.

방법 논문

행동 관찰 및 학습 분석을 이용한 대학생의 강의실 참여도, 성찰적 표현 및 친사회적 의도 평가

74 조회수

⸱

DOI:

10.3791/72077

⸱

2026년 8월 18일

1Nanchang Institute of Technology

이 논문에서

요약

본 프로토콜은 대학생들의 행동적 참여, 성찰적 표현 및 사회 지향적 학습 성과를 4주간의 교육 기간 동안 평가하기 위해 강의실 관찰, 성찰적 글쓰기, 친사회적 의도 측정 및 학습 분석을 통합합니다. 여기에는 윤리 승인, 도구 내용, 소프트웨어 워크플로우, 결측값 처리, 트러블슈팅 절차 및 실제 구현 과정에서 관찰된 제약 사항을 포함한 대표적 결과의 해석 방법이 명시되어 있습니다.

초록

전통적인 지표를 넘어 학생 참여도에 대한 다차원적 평가의 필요성을 해결하기 위해, 본 프로토콜은 학부 과정에서 강의실 참여도, 성찰적 표현, 학습 분석 활동 및 친사회적 의도를 평가하기 위한 체계적인 접근 방식을 설명합니다. 이 프로토콜은 구간 기반의 행동 관찰, 매주 진행되는 구조화된 성찰 글쓰기, 비식별화된 학습관리시스템 기록, 그리고 사전/사후 친사회적 의도 설문지를 결합하여 사용합니다. 수정된 절차에는 재현 가능한 행동 코딩 모델, 점수 예시가 포함된 성찰적 표현 루브릭, 소프트웨어 및 데이터 관리 단계, 그리고 관찰자 간 불일치, 플랫폼 기록 누락, 낮은 성찰문 제출률, 카메라 시야 확보 불량, 참여자 중도 탈락, 일관되지 않은 선수 지식 등에 대한 명시적인 문제 해결 가이드가 제공됩니다. 본 프로토콜은 연구자가 학부 수업 중 실제 강의실 행동, 학생의 자기 해석, 그리고 일상적인 학습관리시스템(LMS) 활동을 낮은 침습성과 재현 가능한 방식으로 결합해야 할 때 사용해야 합니다. 관찰 가능한 상호작용이 없는 완전 비동기식 강의, 독립적인 관찰이나 기록 연동이 금지된 환경, 또는 생체 인식이나 감정 인식 추론이 필요한 연구에는 적합하지 않습니다. 대표 결과는 윤리 승인 확인, 강의 기록의 비식별화 및 저장소 준비를 거쳐 실제 구현된 경험적 적용 사례를 바탕으로 보고되었습니다.

서론

고등 교육에서의 학생 참여도를 평가하기 위해서는 종합적이고 다각적인 접근 방식이 필요합니다. 학생 참여는 관찰 가능한 행동, 인지적 노력, 그리고 환경적 상호작용을 포함하는 다차원적 구성 개념으로 널리 정의되지만, 현재의 분석 방식은 주로 로그인 빈도나 시스템에 기록된 활동과 같은 표면적인 로그 데이터에 의존하고 있습니다1. 이러한 과도한 의존성은 실제 강의실 기반 연구에 상당한 어려움을 줍니다. 교수 학습 참여의 가장 핵심적인 형태인 직접적인 동료 상호작용, 인지적 성찰, 그리고 사회적 기여는 플랫폼의 가시 범위 밖에서 일어나는 경우가 많기 때문입니다2.

디지털 플랫폼과 전통적인 대면 교육을 결합한 하이브리드 교수법 모델의 도입으로 현대 대학 강의실의 복잡성이 더욱 심화되었습니다. 학습 분석(learning analytics)에 대한 체계적 문헌 고찰을 통해 디지털 흔적이 시간 배분, 접속 패턴 및 장기 기억률에 대한 가치 있는 통찰을 제공한다는 점이 확인되었으나, 이러한 지표만으로는 학습자의 주의 집중이 실제로 효율적인지 또는 의미가 있는지를 판단할 수 없습니다3. 따라서 최근의 학술 연구에서는 강의실 내 행동 및 성찰 활동과 같이 참여의 맥락 의존적 측정을 디지털 흔적과 연계함으로써, 학습 분석을 더 강력한 이론적 틀에 기반하도록 구축할 것을 권장하고 있습니다4.

성찰적 글쓰기는 이러한 평가에 매우 중요한 질적 차원을 제공합니다. 구조화된 수업 후 성찰과 저널은 학습 활동에 대한 학생들의 해석을 포착하고, 교수법상의 어려움을 명확히 하며, 이론적 내용과 이후의 실제적 행동을 연결해 줍니다. 최근의 경험적 근거에 따르면, 성찰적 표현은 묘사적 회상, 분석적 추론, 자기 참조적 표현 및 의미 일반화로 구성된 통합적인 다성분 구성 개념으로 정의됩니다5. 또한 연구에 따르면, 학생들에게 반복적인 성찰 안내를 제공함으로써 내성 능력을 점진적으로 강화할 수 있으며, 교과 과정 동안 구조화된 성찰의 빈도가 증가함에 따라 학생들의 독립적인 탐구 능력 또한 동시에 향상되는 것으로 나타났습니다6.

현재의 학습 참여 연구에서 나타나는 두 번째 주요 공백은 강의실 내 사회화 과정이 빈번하게 소외된다는 점입니다. 기존 연구들은 개인의 행동이나 인지적 측면을 크게 강조하지만, 대학 강의실은 학생들이 협력과 반응적 상호작용을 통해 서로에게 영향을 미치는 본질적인 사회적 학습 환경으로 기능합니다. 최근의 증거들은 강의실 분위기와 참여 구조가 친사회적 행동 및 기여 지향적 사고방식과 강한 상관관계가 있음을 보여주며, 이러한 결과들은 전통적인 학업 성취도나 학생 만족도 지표에 비해 연구가 미흡한 상태입니다. 학술적 환경에서의 친사회적 행동은 단순히 정서적 상태나 스트레스의 부산물이 아니라, 학생들이 집단 학습 활동 내에서 자신의 위치를 어떻게 설정하는지와 근본적으로 연관되어 있습니다7. 따라서 친사회적 의도를 측정하는 것은 강의실 참여가 단순한 개별 과제 완수를 넘어, 즉각적인 교수 환경 너머까지 협력적이고 격려하는 행동을 촉진하는 단계로 확장되는지를 판단하는 적절한 관점을 제공합니다8.

이러한 개념적 발전은 단일 교육 창 내에서 전개되는 통합적 증거 수집 체계의 필요성을 강조합니다. 다중 소스 설계는 단일 지표에 의존할 때의 한계를 완화하며, 다양한 참여 방식 간의 교차 검증을 가능하게 하고 학생들이 독립적 학습을 촉진하기 위해 수업 후 활동을 어떻게 해석하는지를 밝혀줍니다9. 성찰적 평가는 학습자의 내부 인지 상태를 포착하지만, 이러한 자기 보고 내용을 객관적인 행동 추적 데이터와 연결함으로써 학습 데이터의 해석력을 현저히 높일 수 있습니다. 현재로서는 체계적인 행동 관찰, 구조화된 성찰 보고 및 학습 분석을 원활하게 합성하여 대학에서 일상적으로 구현할 수 있는 실용적인 강의실 적용 프로토콜이 현저히 부족한 실정입니다.

이러한 방법론적 한계를 해결하기 위해, 본 논문은 대학생의 강의실 참여도, 성찰적 표현 및 친사회적 의도를 동시에 측정하도록 설계된 평가 프로토콜을 소개합니다. 학부 교육 환경을 위해 특별히 개발된 이 프로토콜은 과학적 재현성을 희생하지 않으면서도 행정적 부담을 최소화하는 효율적인 방법론을 제공합니다. 관찰 가능한 행동, 명시된 자기 경험, 그리고 사회 지향적 학습 성과 사이의 분석적 격차를 메움으로써, 이 프레임워크는 교육 환경 내 인간-기술 상호작용 연구에서 개념적 명확성을 높여야 한다는 증가하는 요구에 부응합니다10.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

프로토콜

인간 참여자가 포함된 모든 방법은 헬싱키 선언 및 관련 기관 지침을 준수하여 수행되었습니다. 본 연구의 경우, 모집 시작 전 남창 공과대학 윤리 위원회의 승인을 받았습니다(승인 번호: NITE778291). 모든 참여 학생으로부터 서면 동의서를 받았습니다. 분석에는 비식별화된 집계 classroom observation, 성찰 점수, 학습 분석 및 설문지 데이터만 사용되었으며, 식별 가능한 강의실 영상, 성함, 기관 ID 및 수정되지 않은 성찰 텍스트는 공개 발표에서 제외되었습니다.

1. 연구 설계 및 참가자 선정

  1. 선택된 각 클래스 섹션에 대해 4회 연속 수업 기간 동안 프로토콜을 실행합니다. 비식별화된 강좌 라벨, 교수법 형식, 학급 규모, 강사의 해당 강좌 경험, 그리고 각 수업에 전체 수업, 그룹 활동 또는 개별 실습이 포함되는지 여부를 기록합니다. 18세 이상의 학부생 약 180~210명을 초기 등록 목표로 설정하거나, 강좌 상황에 맞게 표본 크기 목표를 조정합니다.
  2. 모든 참여자가 강좌 플랫폼의 활성 기관 계정을 보유하고, 관찰 수업에 참석하며, 해당 학급에 통상적으로 제공되는 필수 사전 강좌 안내를 받았는지 확인합니다. 사전 지식의 차이가 상당히 큰 경우에는 관찰 기간 전에 짧은 브릿징 유인물, 수업 전 리소스 목록 또는 강사 주도 복습을 제공하고, 제공된 지원 내용을 상황적 메타데이터로 기록합니다.
  3. 종합적인 서면 정보지를 제공한 후 모든 학생으로부터 서면 동의서를 받습니다. 동의서에는 본 연구가 강의실 행동 관찰, 주간 성찰 글쓰기 및 비식별화된 학습 플랫폼 기록을 연계한다는 점을 명확히 명시합니다.
  4. 동의한 학생만 연구 데이터 세트에 포함합니다. 참여 거부가 출결, 성적, 강좌 접근 또는 강사와의 소통에 영향을 미치지 않도록 보장합니다.
    1. 첫 번째 성찰 과제 전에 인공지능(AI) 도구의 허용 및 금지 사용 범위를 설명합니다.
      참고: AI 도구는 강좌 정책에서 허용한 경우에만, 그리고 일반적인 학습 지원 용도로만 사용할 수 있습니다. 성찰 제출물과 친사회적 의도 응답은 학생 본인의 경험을 기술해야 하며, AI의 도움을 받은 경우 이를 밝혀야 합니다.
    2. 강사가 사전 지식 습득을 위한 AI 지원 브릿징을 허용하는 경우, 모든 학생에게 동일하게 승인된 프롬프트나 리소스를 제공하고 이 지원 내용을 프로토콜 수정 사항으로 기록합니다. 검증 연구에서 AI 지원 응답을 명시적으로 평가하지 않는 한, AI가 생성한 요약본을 학생 성찰의 주요 증거로 사용하지 마십시오.
  5. 동의를 거부하거나, 프로토콜 기간 중 강좌를 중도 포기하거나, 관찰, 성찰 및 분석 기록 간의 일치하는 데이터가 부족한 학생은 분석 전 단계에서 제외합니다. 4주 기간 동안 세 가지 서로 다른 출처로부터 일관된 데이터를 수집하기 위해 반복 측정 설계를 적용합니다2.

2. 기선 데이터 획득 및 식별 관리

  1. 단일 데이터 관리자를 지정하여 가상 무작위 프로세스를 통해 동의한 각 참여자에게 8자리의 영숫자 연구 ID를 할당합니다.
  2. 학생 성명, 기관 ID, 학급 섹션 및 연구 번호가 포함된 신원-연구 ID 연결 파일을 생성합니다. 이 파일은 분석 파일과 별도로 안전하게 보관하여 관찰자, 성찰 코더 및 연구자가 절대 접근할 수 없도록 합니다.
  3. 제한적 연결 및 비식별화에 관한 현재의 고등 교육 학습 분석 관행을 준수하면서1, 승인된 기관 데이터 보존 정책에 따라 최종 데이터 검증 후 이 연결 파일을 파기하거나 아카이브합니다.
  4. 첫 관찰 수업 전 초기 1주일 동안 참여자의 연령, 성별, 학년 및 전공에 관한 기초 인구통계학적 데이터를 수집합니다.
  5. 첫 관찰 수업 전 구조화된 기초 조사 도구로 Supplementary File 1에 있는 6개 항목의 친사회적 의도 설문지를 사용합니다. 이를 LMS를 통해 전자적으로 실시하거나 할당된 연구 ID만을 사용하여 종이 설문지로 실시합니다. 학생들은 각 항목을 1 = 매우 반대함부터 5 = 매우 찬성함까지의 5점 척도로 평가하며, 6개 항목 중 최소 5개 항목에 응답한 경우 완료된 항목의 평균값을 기초 점수로 계산합니다.
  6. 질적 코딩 프로세스가 시작되기 전, 완전한 익명성을 보장하기 위해 성명, 이메일 주소 또는 기타 개인 식별 정보가 제외된 상태로 이후 수집된 모든 성찰 텍스트를 내보냅니다.

3. 강의실 관찰 준비

  1. 각 수업 섹션에 대해 4주 연속으로 주 1회 관찰 일정을 잡으십시오. 일반적인 90분 수업의 경우, 코딩에서 처음 10분과 마지막 10분을 제외하여 70분의 관찰 창을 설정합니다5.
  2. 일반적인 90분 수업의 10분 시점에 코딩을 시작하여 80분 시점에 종료하십시오. 이 버퍼 기간은 70분 관찰 창에 포함되지 않으므로, 일반적인 수업에서는 30분 세션이 아닌 70분 분량의 코딩된 관찰 결과가 도출됩니다.
  3. 알람, 강의실 변경 또는 플랫폼 중단으로 인해 5분 이상의 중단이 발생한 경우, 해당 중단된 교육 블록은 최종 평가에서 제외하십시오.
  4. 각 측정 시점에 여러 행동 지표를 동시에 기록함으로써 강의실 참여도를 여러 행동의 관찰 가능한 조합으로 처리하십시오11. 지표에는 과업 집중 주의력, 구두 참여, 동료 협업, 과업 중심의 노트 필기 또는 기기 사용, 과업 외 주의 산만 및 도움 요청 행동이 포함됩니다.
  5. 첫 번째 관찰 전 강의실 좌석을 그룹별로 배치하고, 4주 전체 기간 동안 이 좌석 배치를 엄격히 유지하십시오.
  6. 두 명의 훈련된 관찰자를 강의실 전체가 보이는 고정된 위치에 배치하여 독립적으로 코딩하게 하십시오. 기관의 촬영 허가가 있고 참여자가 동의한 경우, 후면 중앙과 후면 측면 영역에 두 대의 고정식 카메라를 설치하고 세션 시작 전에 동기화하십시오.
  7. 카메라 녹화물은 관찰자 교육, 신뢰도 검증 및 가시성 문제의 판정에만 사용하십시오. 비디오 녹화물을 주 코딩 소스로 사용하지 마십시오. 또한 안면 감정, 음성 감정, 생체 인식 또는 신원 인식 분석을 수행하지 마십시오.

4. 구간 기반 행동 코딩

  1. 70분 관찰 창을 20초의 시각적 스캔 후 10초의 기록 기간으로 구성된 연속적인 구간으로 나눕니다. 대형 강의, 실험 또는 온라인 수업으로 인해 다른 구간 길이가 필요한 경우, 데이터 수집 시작 전에 조정된 구간 구조를 보고하고 그 근거를 제시하십시오.
    참고: 이 20초/10초 구조는 실제 교실 관찰과 코더의 작업량 사이의 균형을 맞춥니다. 스캔 기간은 지속적인 주의 집중, 협업 및 과업 외 행동을 감지하기에 충분히 길며, 기록 기간은 기억 부담을 줄여 일관된 이진 결정을 내릴 수 있도록 지원합니다.
  2. 좌석 배치에 따라 연속적인 루프로 구간당 최대 10명의 학생으로 정의된 그룹을 스캔합니다.
  3. 느슨한 조작적 정의로 인한 코더의 불일치를 방지하기 위해 특정 스캔 기준을 활용하십시오4. 각 스캔 동안 6가지의 이진 학생 수준 지표를 코딩합니다. 여기에는 과업 집중 주의, 구두 참여, 동료 협업, 과업 중심 필기 또는 기기 사용, 과업 외 산만, 도움 요청 행동이 포함됩니다.
  4. 20초 스캔 중 어느 시점에서든 지정된 행동이 발생하면 지표를 "1"로 표시합니다. 그렇지 않으면 "0"로 표시합니다. 학생이 스캔 시간 중 최소 10초 동안 보이지 않는 경우 해당 구간을 결측치로 코딩합니다.
  5. 학생이 강사, 지정된 과업, 제시된 정보 또는 과업 토론에 참여 중인 동료를 향해 최소 5초 연속으로 시각적 방향을 잡고 있을 때 과업 집중 주의로 기록합니다. 들리며 과업과 관련된 모든 기여는 구두 참여로 코딩합니다.
  6. 학생들이 가시적인 과업 기반 교환, 공동 문제 해결 또는 동료 설명을 수행할 때 동료 협업으로 코딩합니다. 적극적인 쓰기, 타이핑 또는 강의 자료와의 디지털 상호작용은 과업 중심 필기 또는 기기 사용으로 기록합니다.
  7. 학생이 관련 없는 대화, 비학습적 기기 사용 또는 최소 5초 연속으로 지속적인 이탈 상태일 때 과업 외 산만으로 표시합니다. 학생이 강사나 동료에게 명시적으로 설명이나 도움을 요청할 때 도움 요청으로 기록합니다.
  8. 각 학생의 주간 행동 점수를 모든 유효 평가 대비 긍정적 판정의 총 횟수로 계산합니다. 이후 6가지 모든 지표에 대해 4주 평균값을 도출합니다.
  9. 사전에 지정된 수학적 모델을 사용하여 w주 차 학생 i의 통합 관찰 교실 참여 지수(Observed Classroom Engagement Index, OCEI)를 산출합니다: OCEI_iw = [On-task attention_iw + Verbal participation_iw + Peer collaboration_iw + Task-focused note-taking/device use_iw + (1 - Off-task distraction_iw)]/5.
  10. 도움 요청은 상황에 따라 건설적인 명확화 요청 또는 학습 내용에 대한 어려움을 나타낼 수 있으므로 독립적인 분석 변수로 유지합니다12. 연구 워크플로우는 그림 1을, 관찰 지수 및 코딩 규칙은 표 1을 참조하십시오.

5. 관찰자 교육 및 신뢰도 평가

  1. 60분간의 매뉴얼 교육 세션을 통해 관찰자 교육을 실시하고, 정식 프로그램 시작 전에 세 차례의 보정 라운드를 수행합니다.
  2. 첫 번째 보정 라운드는 연구 대상이 아닌 강의실 영상의 가이드 코딩을 통해 수행합니다. 이후 두 차례의 라운드는 서로 다른 비연구 영상들에 대해 독립적인 코딩을 완료한 후, 수석 코더와 직접 통계적 비교를 수행합니다.
  3. Cohen's Kappa 값이 0.75 이상에 도달하고, 전체 평가자 간 일치도가 85%를 초과할 때만 정식 데이터 수집을 시작합니다.
  4. 4주간의 프로토콜 전반에 걸쳐, 전체 세션의 10%와 나머지 세션에서 무작위로 추출한 10분 분량의 세그먼트 하나에 대해 이중 맹검 드리프트 검증을 실시합니다.
  5. 특정 지표의 Kappa 값이 0.70 미만으로 떨어질 경우, 데이터 잠금 전 72시간 이내에 코딩 팀을 재보정하고 영향을 받은 세션을 재검증합니다. 평가의 안정성을 지속적으로 유지하기 위해 피드백을 계속 제공하고 보정 연습을 조직합니다13.

6. 반사 발현 수집 및 평가

  1. 학생들에게 참관 수업마다 하나의 구조화된 성찰 텍스트(100-350단어)를 제출하도록 안내하여, 4주간의 프로토콜 동안 참가자당 4개의 항목을 생성하도록 합니다.
  2. 참관 수업 후 2시간 이내에 LMS 또는 종이 양식을 통해 성찰 프롬프트를 제공하고, 72시간 후에 제출 창을 닫습니다. 양식에는 연구 대상자 ID(Study ID) 필드와 다음 세 가지 프롬프트가 모든 학생에게 동일한 순서로 표시되어야 합니다.
    1. 수업 중 가장 몰입되었던 부분과 가장 그렇지 않았던 부분을 식별합니다.
    2. 과제 난이도, 선수 지식, 그룹 상호작용, 강사의 설명 또는 플랫폼 사용을 포함한 맥락적 원인을 설명합니다.
    3. 자신의 참여가 강의실 분위기에 어떤 영향을 미쳤으며, 향후 어떤 조치를 취할 계획인지 기술합니다.
      참고: 100단어 미만의 항목도 유지하되, 데이터베이스에 정보 부족(low-information)으로 표시합니다. 또한 몰입도, 맥락적 원인 또는 향후 조치/사회적 영향 프롬프트가 누락된 항목도 표시하는데, 이러한 누락은 성찰 품질 점수 산정 및 실행 가능성 보고에 영향을 미치기 때문입니다.
  3. 두 명의 블라인드 코더를 지정하여 서술적 구체성, 분석적 깊이, 자기 조절 지향성, 사회적-친사회적 의미의 관점에서 제출물을 평가합니다.
    1. 각 차원을 4점 척도로 평가하며, 0은 부재, 1은 약하거나 모호한 증거, 2는 명확하지만 제한적인 증거, 3은 강력하고 정교한 증거를 나타냅니다. 예를 들어, 분석적 깊이의 경우 이유가 제공되지 않으면 0점, 학생이 활동이 어려웠다고만 언급하면 1점, 난이도를 특정 개념이나 강의실 조건과 연결하면 2점, 그리고 이전 지식, 동료 토론, 강사 피드백 및 계획된 학습 전략 간의 상호작용을 설명하면 3점으로 점수를 부여합니다. Table 2와 Supplementary File 1에서 네 가지 성찰 차원 모두에 대한 점수 수준별 예시를 제공합니다.
  4. 파일럿 텍스트에 대해 각 차원별로 0.80 이상의 급내 상관 계수(intra-class correlation coefficient)를 달성한 후에만 정식 평가를 시작합니다14.
  5. 평가자 드리프트(rater drift)를 제어하기 위해 프로토콜 진행 중에 연구 성찰문의 15%를 무작위로 이중 점수화합니다. 텍스트 길이 또는 단어 빈도에만 의존하지 않고 이러한 다차원적 정성적 지표를 기반으로 성찰 글을 평가합니다.
  6. 최소 2명의 교육 연구자와 1명의 교과 강사가 참여하는 전문가 검토를 통해 성찰 표현 루브릭을 개발하거나 수정합니다. 20~30개의 비연구 대상 성찰문으로 루브릭을 시범 적용하고, 모호한 기술어를 수정하며, 정식 코딩을 시작하기 전에 최종 루브릭 버전을 문서화합니다.
  7. Supplementary File 1에 제시된 친사회적 의도 설문지를 실시합니다. 학생들에게 어려움을 겪는 급우를 도우려는 의지, 학습 자원 공유, 토론에 건설적으로 기여, 동료 격려, 그룹 과제 중 공정하게 행동, 그리고 강의실 학습 분위기 개선에 대한 동의 정도를 평가하도록 요청합니다. 1(매우 반대)부터 5(매우 찬성)까지의 5점 척도를 사용합니다. 6개 항목 중 최소 5개 항목이 완료된 경우 평균 점수를 계산하고, 기초 조사 및 프로토콜 후 조사에 대한 Cronbach's alpha를 보고합니다.

7. 학습 분석 추출

  1. 관찰 및 성찰 과정의 오염을 방지하기 위해, 4주 차 이후에 학습 분석 데이터를 추출할 외부 관리자를 지정하십시오.
  2. 추출 범위를 첫 수업이 관찰된 날의 00:00부터 최종 성찰 기간 종료일의 23:59까지로 설정하십시오.
  3. 프로토콜에 필요한 지정된 변수만을 추출하십시오. 플랫폼 내 활성 일수, 고유 리소스 조회 수, 할당된 리소스 중 열람된 리소스의 비율, 게시된 토론 답글 수, 평균 동영상 시청 완료율 및 과제 제출 정시성을 캡처하십시오.
  4. 강사 및 조교 계정, 중복 기록, 테스트 이벤트, 지정된 시간 범위를 벗어난 데이터 포인트를 제거하여 로우 데이터 내보내기(raw exports) 파일을 정제하십시오.
  5. 활성 일수(active day)는 인증된 코스 접속 후 파일 열기, 비디오 시청 또는 답글 게시와 같은 유의미한 상호작용이 최소 한 번 이상 발생한 모든 달력 날짜로 계산합니다.
  6. 60초 이내에 발생하는 중복 새로고침 이벤트는 무시하고 고유한 리소스 오픈 횟수를 산출하십시오. 예약된 시간 01:00 대비 시청 비율을 절삭하여 비디오 완독률을 결정한 후, 할당된 모든 미디어 항목에 대해 평균을 내십시오.
  7. 예정된 마감 기한 전에 제출된 과제의 비율을 기반으로 과제 제출의 정시성을 계산하십시오. 심야 접속 비율은 관찰 기간 내 전체 유의미한 활동 대비 00:00에서 06:00 사이에 발생한 유의미한 이벤트의 비율로 산출하십시오. 단순한 로그 누적보다 더 풍부한 정보를 제공하기 위해 이러한 시간 기반 및 기여 중심의 지표를 활용하십시오.15.
  8. 학습 관리 시스템(learning-management-system)의 원본 내보내기 데이터에 대해 미리 지정된 데이터 관리 워크플로우를 사용하십시오. 원본 내보내기 파일은 읽기 전용 파일로 저장하고, 비식별 처리된 작업용 사본을 생성하십시오. 강사 및 조교 계정을 제거하고, 중복 또는 테스트 이벤트를 삭제하며, 각 정제 단계 후의 행 수를 기록한 처리 로그를 유지하십시오.
  9. 스프레드시트 또는 이후 단계에서 데이터 정제(data cleaning)를 수행하고, R 버전 4.4.0 이상 또는 이에 상응하는 소프트웨어를 사용하여 통계 분석을 수행하십시오.
    1. 스프레드시트에서 7.9.1.1~7.9.1.2에 기술된 단계를 따르십시오.
      1. 다음을 사용하여 비식별화된 CSV 파일을 가져옵니다. 데이터 > 데이터 가져오기 > 텍스트/CSV 파일로부터, 및 사용 데이터 > 중복 제거 중복 제거를 위해 연구 ID/타임스탬프/이벤트 행.
      2. 적용하다 필터 강사 또는 조교 계정과 창 외부 기록을 제외하고, 각 단계 후의 행 수가 포함된 처리 로그를 저장합니다.
    2. R에서 7.9.2.1~7.9.2.3에 기술된 단계를 수행하십시오.
      1. 다음으로 파일을 가져옵니다. readr::read_csv()주간 기록의 형태를 다음과 같이 변경하십시오. dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer(), 그리고 tidyr::pivot_wider().
      2. 다음을 이용하여 코헨의 카파(Cohen's kappa)를 산출하십시오. irr::kappa2(), ~가 포함된 면역세포화학염색(ICCs) psych::ICC()및 Cronbach's alpha를 이용한 psych::alpha().
      3. 다음을 사용하여 섹션 조정 선형 모델을 적합시키십시오. stats::lm()사용법 lme4::lmer() 사전에 지정된 클래스-섹션 랜덤 절편이 필요할 때 사용하며, lme4::glmer(family = binomial) 이진 결과(binary outcomes)에만 해당합니다. 제출 자료와 함께 정확한 스크립트 및 패키지 버전을 보관하십시오.
  10. 다음의 재현 가능한 분석 시퀀스를 사용하십시오.
    1. 학생-주 관찰 비율을 계산하고, 단계 4.9의 공식을 사용하여 OCEI를 산출하며, 연구 ID(Study ID) 및 주차별로 주간 성찰 점수를 병합하십시오.
    2. 동일한 4주 기간 동안의 학습 분석 변수를 집계하고, 데이터 소스별 결측치를 점검하며, 기술 통계량과 신뢰도 추정치를 계산한 후, 사전 정의된 연관 모델을 적용합니다.
    3. 결과를 검토한 후, 탐색적 변수로 표시되지 않은 계획되지 않은 예측 변수를 추가하지 마십시오.
  11. (선택 사항) 투명성을 위해 비식별화된 분석 스크립트, 코드북, 빈 코딩 양식, 성찰 프롬프트, 성찰 루브릭 및 친사회적 설문지를 공개 저장소 또는 보충 자료에 제출하십시오. 식별 가능한 가공되지 않은 강의실 영상, 이름, 기관 ID 또는 수정되지 않은 성찰 텍스트는 제출하지 마십시오.

8. 프로토콜 후 측정 및 데이터셋 통합

  1. 마지막 성찰 창이 종료된 직후에 친사회적 의도 도구를 두 번째로 실시합니다.
  2. 학생들에게 급우를 돕고자 하는 의지, 자원 공유, 토론에 대한 건설적인 기여, 동료 격려, 공정한 행동, 그리고 학습 분위기 개선 의지를 1(전혀 동의하지 않음)에서 5(매우 동의함)까지의 척도로 평가하도록 요청합니다. 6개 항목 중 최소 5개 항목에 응답한 경우, 응답 값의 평균을 내어 각 개인의 프로토콜 후 총점을 계산합니다.
  3. 익명화된 연구 ID(Study ID)를 사용하여 관찰 파일, 성찰 점수 및 학습 분석 기록을 병합합니다. 이 병합된 데이터를 바탕으로 참가자 수준의 마스터 파일과 주 단위 롱 포맷(long format) 파일의 두 가지 최종 데이터셋을 구성합니다.
  4. 학생이 보이지 않아 발생한 누락된 관찰 구간이나 제출하지 않아 발생한 누락된 주간 성찰 내용은 보간법(impute)으로 채우지 않습니다. 분석 전, 부분적으로 작성된 성찰, 불완전한 학습 분석 변수, 정보량이 적은 성찰 및 일치하지 않는 연구 ID를 표시(flag)합니다.
  5. 사전에 지정된 연관성 모델에 대해 완전 사례 분석(complete-case analysis)을 수행하고, 각 모델에서 제외된 사례 수를 보고하며, 가용한 기초 변수를 통해 포함된 학생과 제외된 학생을 비교하는 민감도 검사를 실시합니다.
  6. 대학생들의 참여 방식의 구조적 변화를 뒷받침하는 지지적이고 협력적인 태도를 반영하기 위해 친사회적 의도를 주요 결과 측정치로 유지합니다.

9. 문제 해결 및 프로토콜 조정

  1. 동일한 학생 클러스터 내에서 두 관찰자의 이진 범주 패턴이 하나 이상 일치하지 않거나, 특정 지표의 Cohen's kappa 값이 0.70 미만으로 떨어지는 경우, 해당 세션의 공식 채점을 중단하고 조작적 정의를 재검토한 뒤 10분간의 재교정 세그먼트를 완료하고 데이터 잠금 전 해당 구간을 다시 코딩하십시오.
  2. 플랫폼 내보내기 파일이 불완전한 경우, 누락된 필드를 기록하고 외부 관리자에게 2차 내보내기를 요청하십시오. 관찰/성찰 요약에는 해당 학생을 유지하되, 해당 필드가 필요한 모델에서는 사용 불가능한 분석 변수를 제외하십시오.
  3. 과제 시작 후 48 h 이내에 예상 성찰문의 80% 미만이 제출된 경우, 전체 학급에 중립적인 리마인더를 보내고 액세스 문제에 대한 기술 지원을 제공하며, 최종 정시 제출, 지연 제출 및 미제출 건수를 각각 별도로 보고하십시오.
  4. 클러스터 내 학생의 10% 이상이 스캔 창의 최소 절반 동안 보이지 않는 경우, 해당 구간을 누락으로 코딩하고 가려진 비디오에서 행동을 추론하려 하기보다 실시간 관찰 기록에 의존하십시오.
  5. 학생이 중도 탈퇴하거나 추가 참여를 거부하거나 또는 소스 간 연결 가능한 데이터가 없는 경우, 해당 학생을 연결된 연관 모델에서 제거하되, 윤리 승인에서 허용하는 경우 총체적인 프로토콜 타당성 수치는 유지하십시오.
  6. 여러 학생이 특정 섹션을 이해하기 어렵다고 신호를 보내면, 강사는 짧은 재설명, 풀이 예제, 동료 토론 또는 후속 자료 제공과 같은 일반적인 교육적 대응을 해야 합니다. 이는 도움 요청, 성찰 깊이 및 플랫폼 활동에 영향을 미칠 수 있으므로 맥락적 이벤트로 기록하십시오.
  7. 학생 클러스터 크기, 구간 길이, 성찰 프롬프트 및 분석 변수를 교육 형식에 맞게 조정하되, 사전 정의된 행동 지표, 비식별 기록, 독립적 코딩 및 투명한 데이터 누락 규칙이라는 동일한 논리는 유지하십시오.
  8. 낮은 신뢰도, 높은 누락률, 제한적인 성찰 깊이, 약한 친사회적 변화 및 데이터 스트림 간의 낮은 일치도는 프로토콜의 실패가 아니라 유용한 실행 결과로 취급하십시오. 이러한 결과를 보고하고, 이것이 교실 맥락, 도구의 한계 또는 데이터 수집 문제 중 무엇을 반영하는지 설명하십시오.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

결과

참가자 포함, 데이터 완결성 및 점수 신뢰도
모든 강의 섹션에서 총 204명의 학생을 대상으로 초기 코호트를 모집하였으며, 그 중 198명이 참여에 동의하였습니다. 이후 프로토콜 기간 중 수강 철회 또는 관찰, 성찰 및 플랫폼 기록 간의 데이터 연결 불완전으로 인해 14건의 사례가 제외되었습니다. 결과적으로 최종 분석 표본은 184명의 학생으로 구성되었습니다. 참가자 특성, 주별 완료율 및 전체 데이터 완결성은 표 3에 상세히 기술되어 있습니다.

4주간의 프로그램 동안 24회의 수업 세션이 관찰되었으며, 이를 통해 각 참여자에 대한 동기화된 학습 분석 기록이 생성되었습니다. 예상된 736건의 성찰 보고서 중 701건이 72시간 이내에 제출되었고, 18건은 지각 제출되었으며, 17건은 누락되었습니다. 결과적으로 171명의 학생이 모든 주별 성찰 보고서를 제때에 성공적으로 완료하였습니다. 강사 계정, 중복 항목 및 ...

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

토론

본 연구는 단일 수업 시간 내에서 대학생들의 참여, 자기표현 및 친사회적 인식을 종합적으로 조사하기 위해 행동 관찰, 성찰적 글쓰기, 학습 분석을 통합한 실용적인 프로토콜을 제안합니다. 참여의 다양한 차원을 포착함으로써, 이 삼중 모드 접근 방식은 이용 시간 측정 지표와 센서 기반 모니터링만으로는 개별 평가 시 불충분하다는 최근 고등 교육 연구의 비판을 해결합니다1. 4주간의 프로토콜 수행 결과, 가시적인 강의실 참여도가 유의미하게 향상되었습니다. 구체적으로, 과제 집중도와 더불어 언어적 참여와 동료 협업이 증가한 반면, 도움 요청 및 과제 중심의 노트 필기는 최소한의 변화만을 보였습니다. 이러한 행동 변화는 학생들이 교육 환경에 적응함에 따라, 이들의 참여가 더욱 전략적이고 사회적 상호작용 중심적이며 기여 지향적인 참여로 진화한다는 것을 나타냅니다16.

방법론적 관점에서 볼 때, 이 프로토콜의...

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

공개 사항

저자들은 공개할 사항이 없습니다.

감사의 글

저자는 본 연구에 참여한 학부생들과 강의 담당 교수님들께 진심으로 감사를 표합니다. 이들의 협조는 행동 관찰, 성찰적 글쓰기 및 학습 분석 기록을 수집하는 데 필수적이었습니다. 본 연구는 공공, 상업 또는 비영리 부문의 어떤 지원 기관으로부터도 특정 보조금을 지원받지 않았습니다.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

재료

이 논문에 사용된 재료 목록
이름회사카탈로그 번호댓글
교실 관찰 코딩 시트자체 제작6가지 이분법적 행동 지표과제 집중, 구두 참여, 동료 협업, 과제 중심의 노트 필기/기기 사용, 과제 외 주의 분산 및 도움 요청에 대한 구간 기반 코딩.
GraphPad PrismGraphpadVersion 10.2.3워크플로우 다이어그램, 주간 추세 도표, 분포 도표 및 연관성 수치 생성.
기관 학습 관리 시스템 / 강좌 플랫폼해당 대학기존 기관 LMS 계정 시스템비식별화된 학습 분석 데이터 수집.
Microsoft PowerPointMicrosoftMicrosoft 365 v2402워크플로우 다이어그램, 주간 추세 도표, 분포 도표 및 연관성 수치 생성.
RR Foundationggplot2 3.5.1
스프레드시트 소프트웨어Microsoft CorporationMicrosoft Excel 365 v2402데이터 입력, 정제, 비식별화 확인 및 관찰/성찰/분석 데이터셋 병합.
SPSS StatisticsIBM CorpVersion 26.0통계 분석 소프트웨어; 기술 통계, 반복 측정 비교, Cohen's kappa, ICC, Cronbach's alpha, 상관 분석 및 회귀 모델.

참고문헌

  1. Bergdahl N, et al. Unpacking student engagement in higher education learning analytics: a systematic review. Int J Educ Technol High Educ. 2024;21:63.
  2. Zou W, et al. Examining learners' engagement patterns and knowledge outcome in an experiential learning intervention for youth's social media literacy. Comput Educ. 2024;216:105046.
  3. Johar NA, Kew SN, Tasir Z, Koh E. Learning analytics on student engagement to enhance students' learning performance: a systematic review. Sustainability. 2023;15(10):7849.
  4. Xu Z, et al. Leveraging learning analytics to model student engagement in graduate statistics: a problem-based learning approach in agricultural education. Behav Sci. 2025;15(10):1360.
  5. Alt D, Raichel N, Naamati-Schneider L. Higher education students' reflective journal writing and lifelong learning skills: insights from an exploratory sequential study. Front Psychol. 2022;12:707168.
  6. Suraworachet W, Zhou Q, Cukurova M. Impact of combining human and analytics feedback on students' engagement with, and performance in, reflective writing tasks. Int J Educ Technol High Educ. 2023;20:1.
  7. Zhou S, et al. How classroom climate is linked to prosocial behavior in undergraduate students: a multilevel moderated mediation model of feedback expectation and self-monitoring. BMC Psychol. 2025;14(1):1-13.
  8. Charan IA, Chongjin W, Soomro S. The relationship between academic stress, anxiety, and cognitive behavioral outcomes among young adults: the moderating role of prosocial behavior. Acta Psychol. 2025;258:105234.
  9. Yang Y, Yuan K, Zhu G, Jiao L. Collaborative analytics-enhanced reflective assessment to foster conducive epistemic emotions in knowledge building. Comput Educ. 2024;209:104950.
  10. Veiga F, et al. Higher education student engagement in learning activities: clarifying concepts and introducing a short scale. PLoS One. 2026;21(2):e0340391.
  11. De Bruijn-Smolders M, Prinsen FR. Effective student engagement with blended learning: a systematic review. Heliyon. 2024;10(23):e39439.
  12. Awidi IT, Klutsey JQ. Using online critical reflection to enhance students' confidence, motivation, and engagement in higher education. Technol Knowl Learn. 2025;30:1499-1534.
  13. Cohen J. A coefficient of agreement for nominal scales. Educ Psychol Meas. 1960;20(1):37-46.
  14. Jung Y, Wise AF, Oshima J. How students engage with learning analytics: access, action-taking, and learning routines with message-based information to support collaborative annotation. Comput Educ. 2025;232:105280.
  15. Uzun Y, et al. Engagement with analytics feedback and its relationship to self-regulated learning competence and course performance. Int J Educ Technol High Educ. 2025;22:17.
  16. NasirpourOsgoei SN, Daniel E, Jones-Devitt S. Enhancing academic performance through attendance and recognition: an active learning approach in UK higher education. Innov Educ Teach Int. 2025;1-16.
  17. Chua YHV, Yeo J, Lim WY. Testing individual and group markers of collaboration in a team-based learning classroom. Learn Instr. 2025;101:102176.
  18. Karlsson PS, Shafti F, Duffy K. The house of the business school: a pragmatic approach to conceptualising learning community. Int J Manag Educ. 2025;23(2):101141.
  19. Lackéus M, Hyldegård JS, Færgemann HM. Value creation pedagogy across disciplines in higher education: approaches and motivations. Int J Manag Educ. 2025;23(3):101270.
  20. Gordon CS, Pink MA, Rosing H, Mizzi S. A systematic meta-analysis and meta-synthesis of the impact of service-learning programs on university students' empathy. Educ Res Rev. 2022;37:100490.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

재인쇄 및 허가

태그

학부 과정성찰적 글쓰기행동 코딩학습 관리 시스템학생 참여
문의하기
도서관에 추천하기

개인정보 처리방침

이용 약관

정책

저작권 © 2026 MyJoVE Corporation. 모든 권리 보유.