行動観察とラーニングアナリティクスを用いた大学生の教室におけるエンゲージメント、省察的表現、および親社会的な意図の評価

サマリー

本プロトコルは、4週間の指導期間における大学生の行動的エンゲージメント、省察的表現、および社会志向の学習成果を評価するため、教室観察、省察的ライティング、親社会的な意図の測定、およびラーニングアナリティクスを統合したものである。本稿では、倫理審査の承認、測定ツールの内容、ソフトウェアのワークフロー、欠損データの処理、トラブルシューティングの手順、および観察された実施上の制約を含む代表的な結果の解釈について詳述する。

要約

従来の指標を超えた学生の関与に関する多次元的な評価の必要性に対応するため、本プロトコルでは、学部課程において教室でのエンゲージメント、省察的表現、ラーニングアナリティクス活動、および親社会的な意図を評価するための構造化されたアプローチを記述します。このプロトコルは、インターバルベースの行動観察、週次で構造化された省察的ライティング、匿名化された学習管理システム（LMS）の記録、および事前・事後の親社会的な意図に関する質問票を組み合わせています。改訂された手順では、再現可能な行動コーディングモデル、スコア例を含む省察的表現ルーブリック、ソフトウェアおよびデータ管理の手順、ならびに観察者間の不一致、プラットフォーム記録の欠損、省察提出率の低さ、カメラの視認性不良、参加者の脱落、および前提知識の不一致に対する明確なトラブルシューティングガイダンスを提供します。本プロトコルは、研究者が学部教育において、教室でのライブ行動、学生による自己解釈、および日常的な学習管理システム（LMS）の活動を、低侵襲かつ再現可能な方法で組み合わせる必要がある場合に活用されるべきです。一方で、観察可能な相互作用のない完全な非同期形式のコース、独立した観察や記録の紐付けが禁止されている環境、またはバイオメトリクスや感情認識による推論を必要とする研究には適していません。代表的な結果は、倫理委員会の承認、コース記録の匿名化、およびリポジトリの準備を経て実施された実証的な適用事例から報告されています。

概要

高等教育における学生の参加状況を評価するには、包括的かつ多角的なアプローチが必要です。学生のエンゲージメントは、観察可能な行動、認知的努力、および環境との相互作用を包含する多次元的な構成概念として広く概念化されていますが、現在の分析手法は、ログイン回数やシステムに記録されたアクションなどの、表層的なログデータに主に依存しています¹。この過度な依存は、実際の教室ベースの研究において大きな課題となります。教育的な参加における最も重要な形態である、直接的なピアインタラクション、認知的リフレクション、および社会的貢献は、プラットフォームの可視性の限定的な範囲外で発生することが多いためです²。

デジタルプラットフォームと従来の対面指導を組み合わせたハイブリッド教育モデルの導入により、現代の大学における教室の複雑さは増しています。ラーニングアナリティクスの系統的レビューでは、デジタル上の履歴が時間配分、アクセスパターン、長期保持率に関する貴重な洞察を提供することが確認されていますが、これらの指標だけでは、学習者の注意が本当に効率的であるか、あるいは有意義であるかを判断することはできません³。そのため、近年の研究では、デジタル上の履歴を、教室での行動や内省的活動といった、より豊かで文脈依存的な参加尺度と整合させることで、ラーニングアナリティクスをより強固な理論的枠組みに基づかせるべきであると提唱されています⁴。

リフレクティブ・ライティング（省察的記述）は、この評価に不可欠な質的側面をもたらします。構造化された授業後のリフレクションやジャーナルは、学習活動に対する学生の解釈を捉え、指導上の課題を明確にし、理論的な内容とそれに続く実践的な行動を橋渡しします。近年の実証的根拠により、省察的な表現は、記述的な回想、分析的な推論、自己参照的な表象、および意味の一般化から構成される、統合された多成分構成概念として概念化されています⁵。さらに、学生に繰り返し省察的なガイダンスを提供することで、内省能力が段階的に強化されることが研究で示されています。コースワークにおける構造化されたリフレクションの頻度が高まるにつれて、学生の自立的な探索スキルも同時に向上します⁶。

現在のエンゲージメント研究におけるもう一つの大きな欠落は、教室での社会化が軽視されがちであることである。既存の研究では個人の行動や認知が強く強調されているが、大学の教室は、学生が協働や反応的な相互作用を通じて互いに影響し合う、本質的に社会的な学習環境として機能している。新たなエビデンスにより、教室の雰囲気や参加構造が、親社会的な行動や貢献志向のマインドセットと強く相関していることが示されている。これらの成果は、学業成績や学生満足度といった従来の指標と比較して、十分に調査されていない。学術的な設定における親社会的行動は、単に感情的な状態やストレスの副産物ではなく、むしろ、学生が集団的な学習活動の中で自らをどのように位置づけるかに根本的に関係している⁷。したがって、親社会的な意図を測定することは、教室でのエンゲージメントが、単なる個別のタスク完了を超えて、直接的な指導環境以外でも協調的かつ励まし合う行動を促進するものかどうかを判断するための適切な視点となる⁸。

これらの概念的な展開は、単一の指導期間内で展開される統合的なエビデンス収集フレームワークの必要性を強調している。マルチソース設計は、単一の指標に依存することによる限界を軽減し、異なる参加形態間での相互検証を可能にするとともに、学生が自律学習を促進するためにクラス後の活動をどのように解釈しているかを明らかにする⁹。リフレクティブ・アセスメントは学習者の内部的な認知状態を捉えるが、これらの自己報告を客観的な行動トレースで裏付けることで、学習データの解釈可能性は大幅に向上する。現在、体系的な行動観察、構造化されたリフレクティブ・レポート、およびラーニング・アナリティクスをシームレスに統合し、大学での日常的な運用に適した実用的かつ教室で即座に導入可能なプロトコルは、著しく不足している。

これらの手法的な欠点を解消するため、本論文では、大学生の授業へのエンゲージメント、内省的な表現、および親社会的な意向を同時に測定するために設計された評価プロトコルを紹介します。学部教育の環境向けに特化して開発されたこのプロトコルは、科学的な再現性を損なうことなく、管理上の負担を最小限に抑えた効率的な手法を提供します。観察可能な行動、言語化された自己体験、および社会志向の学習成果の間の分析的ギャップを埋めることで、このフレームワークは、教育環境における人間とテクノロジーの相互作用研究において、概念的な明確さを求める高まる要望に応えるものです¹⁰。

プロトコル

ヒトを対象としたすべての手法は、ヘルシンキ宣言および関連する施設ガイドラインに従って実施されました。本研究において、プロトコルは被験者の募集開始前に南昌工業大学（Nanchang Institute of Technology）の倫理委員会によって承認されました（承認番号：NITE778291）。参加したすべての学生から書面によるインフォームドコンセントを得ました。分析には、匿名化された集計済みの教室観察データ、リフレクションスコア、ラーニングアナリティクス、およびアンケートデータのみを使用しました。個人が特定可能な教室のビデオ、氏名、施設ID、および編集されていないリフレクションのテキストは、公開から除外されました。

1. 研究デザインおよび参加者の選定

1. 選択した各クラスセクションにおいて、4回連続の授業期間にわたってプロトコルを実施する。匿名化されたコースラベル、指導形式、クラス人数、講師の当該コースにおける経験、および各クラスに全クラス指導、グループワーク、または個人練習が含まれているか否かを記録する。18歳以上の学部生約180名から210名の初回登録を目標とするか、またはコースの状況に合わせてサンプルサイズの目標を調整する。
2. すべての参加者が、コースプラットフォームの有効な機関アカウントを保有し、観察対象の授業に出席し、通常クラスに提供される必須のコースガイダンスを受けていることを確認する。必須知識に大幅な差がある場合は、観察期間の前に短いブリッジング用ハンドアウト、クラス前リソースリスト、または講師主導の復習を提供し、提供したサポート内容をコンテクストメタデータとして記録する。
3. 包括的な書面による情報提供シートを提示した後、すべての学生から書面によるインフォームドコンセントを得る。同意書の中で、本研究が教室内の行動観察、毎週のリフレクティブ・ライティング、および匿名化された学習プラットフォームの記録を関連付けるものであることを明確に記載する。
4. 同意した学生のみを研究データセットに登録する。参加への拒否が、出席、成績、コースへのアクセス、または講師とのコミュニケーションに影響を与えないことを保証する。
   1. 最初のリフレクション課題の前に、人工知能（AI）ツールの許可される利用方法と禁止される利用方法について説明する。
      注：AIツールは、コースの方針で許可されている場合に限り、また一般的な学習支援としてのみ使用できる。リフレクションの提出物および親社会的な意図に関する回答は、学生自身の経験を記述しなければならず、AIによる支援を受けた場合はそれを開示しなければならない。
   2. 講師が必須知識の補完にAIによるサポートを許可する場合、承認された同一のプロンプトまたはリソースをすべての学生に提供し、このサポートをプロトコルの適応として記録する。検証研究においてAI支援による回答を明示的に評価していない限り、AIが生成した要約を学生のリフレクションの主要なエビデンスとして使用してはならない。
5. 解析前に、同意を拒否した学生、プロトコル期間中にコースを脱落した学生、または観察、リフレクション、およびアナリティクス記録の間でデータが一致しない学生を除外する。反復測定設計を採用し、4週間にわたって3つの異なるソースから一貫したデータを収集する²。

2. ベースラインデータの収集と ID 管理

1. 単一のデータ管理者を指名し、擬似乱数プロセスを通じて、同意した各参加者に8桁の英数字で構成されるスタディIDを割り当てる。
2. 学生名、機関ID、クラスセクション、およびスタディ番号を含む、個人識別情報とスタディIDの照合ファイルを作成する。このファイルは分析用ファイルとは別に安全に保管し、オブザーバー、リフレクション・コーダー、および研究者が完全にアクセスできないようにする。
3. 最終的なデータ検証後、承認された機関のデータ保持ポリシーに従ってこの照合ファイルを破棄またはアーカイブし、同時に、限定的な照合および匿名化に関する現在の高等教育ラーニングアナリティクスの慣行を遵守する¹。
4. 最初の観察クラスが行われる前の最初の1週間に、参加者の年齢、性別、学年、および専攻に関するベースラインの人口統計学的データを収集する。
5. 最初の観察クラスの前に、Supplementary File 1にある6項目の向社会的な意図に関する質問票を構造化されたベースライン評価尺度として使用する。これはLMSを通じて電子的に、または割り当てられたスタディIDのみを用いて紙ベースで実施する。学生は各項目を1 = 全く同意しないから5 = 強く同意するまでの5段階尺度で評価し、6項目のうち5項目以上に回答がある場合、回答済み項目の平均値をベースラインスコアとして算出する。
6. 質的コーディングプロセスを開始する前に、完全な匿名性を確保するため、その後収集されたすべてのリフレクションテキストを、名前、メールアドレス、その他の個人識別情報を含まない形式でエクスポートする。

3. 教室観察の準備

1. 各クラスセクションについて、4週間連続で週1回の観察をスケジュールします。標準的な90分の授業の場合、最初の10分間と最後の10分間をコーディング対象から除外し、70分間の観察ウィンドウを設定します。⁵.
2. 10からコーディングを開始する^{翻訳対象のテキストをご提示ください。} 最小値、および80で停止^{申し訳ございませんが、翻訳するためのソーステキストが提供されておりません。翻訳が必要な英文をご提示ください。} 標準的な90分の授業における最小時間です。これらのバッファー期間は70分の観察ウィンドウには含まれません。したがって、標準的な授業では、30分のセッションではなく、70分間のコーディング済み観察データが得られます。
3. アラーム、部屋の変更、またはプラットフォームの停止により、5分を超える中断が発生した場合は、その中断された指導ブロックを最終評価から除外してください。
4. 各測定時点で複数の行動指標を同時に記録することにより、教室でのエンゲージメントを、観察可能な複数の行動の組み合わせとして扱う。¹¹指標には、課題への集中、口頭での参加、ピアコラボレーション（学習者同士の協力）、課題に沿ったメモ作成またはデバイスの使用、課題外への注意散漫、および助けを求める行動が含まれます。
5. 最初の観察の前に、教室の座席をグループごとに配置し、4週間の全期間を通じてこの座席配置を厳格に維持してください。
6. 2名の訓練を受けた観察者を、室内の全域が見渡せる固定位置に配置し、独立してコーディングを行います。施設内での撮影が許可され、参加者の同意が得られた場合は、後方中央と後方側面に2台の定点カメラを設置し、セッション前に同期させてください。
7. カメラによる録画は、観察者のトレーニング、信頼性の検証、および視認性の問題に関する裁定のみに使用してください。ビデオ録画を主要なコーディングソースとして使用せず、また、顔の感情分析、音声の感情分析、バイオメトリック分析、または個体識別分析を行わないでください。

4. インターバルベースの行動コーディング

1. 70-minの観察ウィンドウを、20-sの視覚的スキャンとそれに続く10-sの記録期間からなる連続的なインターバルに分割する。大規模な講義、実験、またはオンラインクラスにおいて異なるインターバル長が必要な場合は、データ収集を開始する前に、適応させたインターバル構造を報告し、その正当性を説明すること。
   注：この20-s/10-sの構造は、生態学的な教室観察とコーダーの負荷のバランスを考慮したものである。スキャン期間は、持続的な注意、協働、およびタスク外の行動を検出するのに十分な長さであり、記録期間は記憶への負担を軽減し、一貫したバイナリ判断をサポートする。
2. 座席配置に基づき、1インターバルにつき最大10人の学生からなる明確に定義されたグループを、連続的なループでスキャンする。
3. 定義が曖昧であることによるコーダーの不整合を防ぐため、特定のスキャン基準を利用する⁴。各スキャン中に、学生レベルの6つのバイナリ指標をコーディングする。これらには、タスクへの注意、言語的参加、ピア・コラボレーション、タスクに焦点を当てたノート作成またはデバイスの使用、タスク外の注意散漫、および援助要請行動が含まれる。
4. 20-sのスキャン中の任意の時点で指定された行動が発生した場合は、指標を"1"とマークする。それ以外の場合は、"0"とマークする。学生がスキャンのうち少なくとも10 sの間見えない場合は、そのインターバルを欠損としてコーディングする。
5. 学生が指導者、割り当てられたタスク、提示された情報、またはタスクの議論に従事しているピアに向かって、少なくとも5 s連続で視覚的に向きを変えた場合に、タスクへの注意を記録する。可聴であり、かつタスクに関連するあらゆる寄与について、言語的参加をコーディングする。
6. 学生が可視的なタスクベースのやり取り、共同の問題解決、またはピアへの説明に従事した場合に、ピア・コラボレーションをコーディングする。能動的な記述、タイピング、またはコース教材とのデジタル的な相互作用について、タスクに焦点を当てたノート作成またはデバイスの使用を記録する。
7. 学生が無関係な会話、非学術的なデバイスの使用、または少なくとも5 s連続して持続的な離脱状態にある場合に、タスク外の注意散漫をマークする。学生が指導者やピアに対して明示的に説明や援助を求めた場合に、援助要請を記録する。
8. 各学生の週間行動スコアを、肯定的な判定の総数をすべての有効な評価数で除して算出する。その後、6つの指標すべてについて4週間の平均を導出する。
9. 事前に指定された数理モデルを用いて、週wにおける学生iの統合観察教室エンゲージメント指数（Observed Classroom Engagement Index: OCEI）を算出する：OCEI_iw = [On-task attention_iw + Verbal participation_iw + Peer collaboration_iw + Task-focused note-taking/device use_iw + (1 - Off-task distraction_iw)]/5。
10. 援助要請は、文脈によって建設的な確認または指導内容への困難のいずれかを表し得るため、独立した分析変数として保持する¹²。研究のワークフローについてはFigure 1を、観察指標とコーディングルールについてはTable 1を参照すること。

5. 観察者のトレーニングと信頼性の評価

1. 60分間のマニュアルトレーニングセッションを用いて観察者のトレーニングを行い、正式なプログラムを開始する前に3回のキャリブレーションラウンドを実施する。
2. 第1ラウンドのキャリブレーションでは、研究対象外の教室ビデオを用いてガイド付きコーディングを行う。続く2つのラウンドでは、異なる研究対象外ビデオを用いて独立したコーディングを行い、その後、シニアコーダーと直接的な統計的比較を行う。
3. Cohen's Kappaが0.75以上に達し、かつ全評価者間一致率が85%を超えた場合にのみ、正式なデータ収集を開始する。
4. 4週間のプロトコル期間を通じて、全セッションの10%および残りのセッションからランダムに抽出した10分間のセグメントに対して、ダブルブラインドでのドリフト検証を実施する。
5. いずれかの指標においてKappa値が0.70未満に低下した場合は、72時間以内にコーディングチームの再キャリブレーションを行い、データのロック前に影響を受けたセッションを再検証する。評価の安定性を長期的に維持するため、継続的にフィードバックを提供し、キャリブレーション演習を組織する¹³。

6. 内省的表現の収集と評価

1. 学生に対し、観察した各回のクラスについて1つの構造化された振り返りテキスト（100〜350語）を提出するように指示し、4週間のプロトコル全体で参加者1人あたり4つのエントリーを生成させます。
2. 観察クラスの終了後2時間以内に、LMSまたは紙のフォームを通じて振り返りのプロンプトを公開し、その72時間後に提出ウィンドウを閉じます。フォームには、すべての学生に対してStudy IDフィールドと、以下の3つのプロンプトを同じ順序で表示させる必要があります。
   1. クラスの中で、最も関与していたと感じた点と、最も関与していなかったと感じた点を特定させる。
   2. タスクの難易度、前提知識、グループ間の相互作用、講師の説明、またはプラットフォームの使用など、状況的な原因を説明させる。
   3. 自身の参加がクラスの雰囲気にどのように影響したか、および今後どのような行動をとるつもりであるかを記述させる。
      注意：100語未満のエントリーも保持しますが、データベース内で「低情報（low-information）」としてフラグを立ててください。また、関与、状況的原因、または今後の行動/社会的影響に関するプロンプトを欠いているエントリーにもフラグを立ててください。これらの欠落は、振り返りの質のスコアリングおよび実現可能性の報告に影響するためです。
3. 2名のブラインドコーダーを割り当て、記述の具体性、分析的深度、自己調節的志向、および社会的・親社会的意味の観点から提出物を評価します。
   1. 各次元を4段階尺度で評価します。0は欠如、1は根拠が弱または曖昧、2は根拠が明確だが限定的、3は根拠が強く詳細であることを示します。例えば、分析的深度については、理由が全く示されていない場合は0点、学生が単に「活動が難しかった」と述べている場合は1点、難しさを特定の概念やクラスの状態に関連付けている場合は2点、そして、事前知識、ピアディスカッション、講師のフィードバック、および計画された学習戦略の間の相互作用を説明している場合は3点としてスコアリングします。Table 2およびSupplementary File 1に、4つの振り返り次元すべてに対するスコアレベルの例を提示しています。
4. パイロットテキストにおいて、各次元で0.80以上のクラス内相関係数（ICC）を達成した後にのみ、正式な評価を開始してください¹⁴。
5. 評価者のドリフト（基準の変動）を制御するため、プロトコル期間中に研究対象の振り返りの15%をランダムにダブルスコアリングします。テキストの長さや単語の頻度だけに頼らず、これらの多次元的な質的指標に基づいて振り返りの文章を評価してください。
6. 少なくとも2名の教育研究者と1名のコース担当講師による専門家レビューを通じて、振り返り表現ルーブリックを開発または適応させます。20〜30件の非研究対象の振り返りでルーブリックをパイロット運用し、曖昧な記述子を修正した上で、正式なコーディングを開始する前に最終的なルーブリックのバージョンを記録してください。
7. Supplementary File 1に提示されている親社会的意向アンケートを実施します。困難に直面しているクラスメートを助ける意欲、学習リソースの共有、議論への建設的な寄与、ピアへの励まし、グループタスク中の公正な行動、およびクラスの学習環境の改善に対する意欲を評価させます。1（全く同意しない）から5（強く同意する）までの5段階尺度を使用します。6項目のうち少なくとも5項目が完了している場合に平均スコアを算出し、ベースラインおよびプロトコル後の実施におけるCronbachのα係数を報告してください。

7. 学習分析の抽出

1. 観察および省察プロセスへの汚染を防ぐため、第4週後に学習分析データを抽出する外部管理者を任命する。
2. 抽出期間を、最初に観察したクラスの当日の00:00から、最終省察ウィンドウの最終日の23:59までとする。
3. プロトコルに必要な、あらかじめ指定された変数のみを抽出する。プラットフォーム上のアクティブ日数の合計、異なるリソースの閲覧数、割り当てられたリソースの開封率、投稿されたディスカッション返信数、平均ビデオ完了率、および課題の提出期限遵守率をキャプチャする。
4. 講師およびティーチング・アシスタントのアカウント、重複レコード、テストイベント、および指定期間外のデータポイントを削除して、生のエクスポートデータをクリーニングする。
5. アクティブ日は、少なくとも1回の認証済みコースアクセスがあり、それに続いてファイルの開封、ビデオの視聴、または返信の投稿などの有意義なインタラクションが行われたカレンダー日として計算する。
6. 60 s以内に発生した重複するリフレッシュイベントを無視して、ユニークなリソース開封数をカウントする。ビデオ完了率は、予定時間に対する視聴分数を01:00で切り捨て、その後、すべての割り当てられたメディア項目で平均して決定する。
7. 課題の提出期限遵守率を、予定された期限前に提出されたタスクの割合に基づいて計算する。深夜アクセス率を、観察期間内の全有意義なアクティビティに対する、00:00から06:00の間に発生した有意義なイベントの比率として算出する。単なるログの蓄積よりも豊かな情報を提供するため、これらの時間制限および貢献指向のメトリクスに依拠する¹⁵。
8. 学習管理システムからエクスポートされた生データに対して、あらかじめ指定されたデータ管理ワークフローを使用する。元のエクスポートファイルを読み取り専用ファイルとして保存し、匿名化した作業コピーを作成し、講師およびティーチング・アシスタントのアカウントを削除し、重複またはテストイベントを削除し、各クリーニングステップ後の行数を記載した処理ログを保持する。
9. データのクリーニングはスプレッドシート（またはそれ以降のバージョン）で、統計分析はR version 4.4.0以降または同等のソフトウェアで実施する。
   1. スプレッドシートでは、7.9.1.1–7.9.1.2に記載された手順に従う。
      1. データ > データの取得 > テキスト/CSVからを使用して匿名化されたCSVファイルをインポートし、データ > 重複の削除を使用して、重複するStudy ID/タイムスタンプ/イベント行を削除する。
      2. フィルターを適用して、講師またはティーチング・アシスタントのアカウントおよび期間外のレコードを除外し、各ステップ後の行数を記載した処理ログを保存する。
   2. Rでは、7.9.2.1–7.9.2.3に記載された手順に従う。
      1. readr::read_csv()でファイルをインポートし、dplyr::mutate()、dplyr::group_by()、dplyr::summarise()、tidyr::pivot_longer()、およびtidyr::pivot_wider()を用いて週次レコードを再構成する。
      2. irr::kappa2()でCohenのカッパ係数を、psych::ICC()でICCを、psych::alpha()でCronbachのα係数を算出する。
      3. stats::lm()を用いてセクション調整線形モデルを適合させる。あらかじめ指定されたクラスセクションのランダム切片が必要な場合はlme4::lmer()を使用し、バイナリ結果にのみlme4::glmer(family = binomial)を使用する。正確なスクリプトとパッケージバージョンを投稿資料とともにアーカイブする。
10. 以下の再現可能な分析シーケンスを使用する。
    1. 学生の週次観察割合を計算し、ステップ4.9の公式を用いてOCEIを算出し、Study IDと週に基づいて週次省察スコアを統合する。
    2. 同一の4週間のウィンドウ全体で学習分析変数を集計し、データソース別の欠損値を検査し、記述統計量と信頼性推定値を算出し、あらかじめ指定された関連モデルを適合させる。
    3. 結果を検査した後、探索的であると明記されていない限り、計画にない予測変数を追加しない。
11. （任意）透明性を確保するため、匿名化した分析スクリプト、コードブック、空白のコーディングフォーム、省察プロンプト、省察ルーブリック、および向社会的行動質問票をパブリックリポジトリまたは補足資料に登録する。個人が特定可能な生の教室ビデオ、氏名、機関ID、または編集されていない省察テキストは登録しない。

8. プロトコル後の測定およびデータセットの統合

1. 最終リフレクションウィンドウの終了直後に、親社会的意図尺度を2回目に実施する。
2. 学生に対し、クラスメートを助ける意欲、リソースの共有、議論への建設的な寄与、仲間の励まし、公正な行動、および学習環境の改善について、1（強く反対）から5（強く同意）までの尺度で評価させる。6項目のうち少なくとも5項目に回答している場合、回答の平均を算出して個人のプロトコル後合計スコアを算出する。
3. 匿名化されたStudy IDを用いて、観察ファイル、リフレクションスコア、およびラーニングアナリティクスの記録を統合する。この統合データから、参加者レベルのマスターファイルと週レベルのロング形式ファイルの2つの最終データセットを作成する。
4. 学生の不在による観察区間の欠損や、未提出による週次リフレクションの欠損に対しては、補完を行わない。分析前に、部分的に完了したリフレクション、不完全なラーニングアナリティクス変数、情報の少ないリフレクション、および不一致のStudy IDにフラグを立てる。
5. 事前に指定した関連性モデルには完全ケース分析を用い、各モデルで除外されたケース数を報告し、利用可能なベースライン変数を用いて、組み込まれた学生と除外された学生を比較する感度分析を行う。
6. 大学生の参加における構造的変化を支える支援的および協調的な態度を反映させるため、親社会的意図を主要評価項目として保持する。

9. トラブルシューティングおよびプロトコルの適応

1. 同一の学生クラスターにおいて、2人の観察者の間で2つ以上のバイナリカテゴリーパターンの不一致がある場合、またはいずれかの指標でCohen's kappaが0.70を下回った場合は、当該セッションの正式なスコアリングを一時停止し、操作的定義を再確認し、10分間の再キャリブレーションセグメントを完了させ、データロック前に当該区間を再コード化すること。
2. プラットフォームからのエクスポートが不完全な場合は、欠落しているフィールドを記録し、外部管理者に2回目のエクスポートを依頼し、観察・リフレクションの要約にはその学生を保持しつつ、当該フィールドを必要とするモデルからは利用不可能な分析変数を除外すること。
3. タスク公開後48時間以内に、想定されるリフレクションの80%未満しか提出されなかった場合は、クラス全体に中立的なリマインドを送信し、アクセス上の問題に対するテクニカルサポートを拡充し、最終的な期限内、期限後、および未提出の件数を個別に報告すること。
4. クラスター内の10%以上の学生が、スキャンウィンドウの少なくとも半分にわたって確認できない場合は、当該区間を欠損としてコード化し、遮蔽されたビデオから行動を推測しようとするのではなく、ライブ観察記録に従うこと。
5. 学生が辞退した、今後の参加を拒否した、またはソース間でリンク可能なデータが不足している場合は、関連付けモデルからその学生を削除する。ただし、倫理委員会の承認で許可されている場合は、集計されたプロトコルの実現可能性の件数に保持すること。
6. 複数の学生が特定のセクションの内容が理解しにくいことを示した場合、指導者は、短い再説明、例題の提示、ピアディスカッション、またはフォローアップ資料の提供など、通常の教育的対応を行う。これは、ヘルプシーキング、リフレクションの深さ、およびプラットフォームでの活動に影響を与える可能性があるため、コンテキストイベントとして記録すること。
7. 学生クラスターのサイズ、区間長、リフレクションのプロンプト、および分析変数を指導形式に合わせて調整するが、事前定義された行動指標、匿名化された記録、独立したコーディング、および透明性のある欠損データルールという同一の論理を維持すること。
8. 信頼性の低さ、高い欠損率、限定的なリフレクションの深さ、弱い向社会的な変化、およびデータストリーム間の弱い一致は、プロトコルの失敗ではなく、有益な実装結果として扱う。これらの結果を報告し、それらが教室のコンテキスト、ツールの限界、またはデータキャプチャの問題のいずれを反映しているかを説明すること。

結果

参加者の包含基準、データの完全性およびスコアの信頼性
全クラスのセクションから204人の学生に協力的に参加を依頼し、198人の同意を得た。その後、プロトコル期間中のコース脱落、または観察、リフレクション、プラットフォーム記録間のデータ連携が不完全であった14例を除外した。その結果、最終的な分析サンプルは184人の学生となった。参加者の特性、週ごとの完了率、および全体のデータの完全性については、表3に詳述している。

4週間のプログラム期間中に24回のクラスセッションを観察し、各参加者の同期学習分析レコードを作成しました。予定されていた736件のリフレクティブレポートのうち、701件が72時間の期限内に提出され、18件が期限後に提出され、17件が未提出でした。最終的に、171名の学生がすべての週次リフレクションを期限内に完了しました。指導者アカウント、重複エントリー、および期間外のアクティビティを除外した結果、最終的な184名の参加者について学習分析データを完全に抽出しました。

ディスカッション

本研究では、行動観察、リフレクティブ・ライティング、およびラーニング・アナリティクスを統合し、1回の授業時間内で大学生の参加状況、自己表現、および親社会的な意識を包括的に調査するための実践的なプロトコルを提案します。エンゲージメントの異なる側面を捉えることで、このトライモーダル（3つの様式による）アプローチは、利用時間などの指標やセンサーベースのモニタリングを単独で評価しても不十分であるとする、近年の高等教育研究における批判に対応しています¹。4週間のプロトコルを通じて、教室での目に見えるエンゲージメントは有意に向上しました。具体的には、口頭での参加やピアコラボレーションが、タスクへの集中力とともに増加した一方で、援助要請やタスクに焦点を当てたノート作成には最小限の変化しか見られませんでした。これらの行動変化は、学生が指導環境に慣れるにつれて、彼らのエンゲージメントがより戦略的で社会的な相互作用を伴い、貢献志向の参加へと進化することを示しています¹⁶。

手法に焦点を当てた視点から言えば、...

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
教室観察コーディングシート	自作	6つの二値行動指標	オンタスクへの注目、言語的参加、ピアコラボレーション、タスクに集中したメモ取り/デバイス使用、オフタスクの注意散漫、およびヘルプシーキングの間隔ベースコーディング。
GraphPad Prism	Graphpad	Version 10.2.3	ワークフロー図、週次トレンドプロット、分布図、および関連図の作成。
機関学習管理システム / コースプラットフォーム	所属大学	既存の機関LMSアカウントシステム	匿名化されたラーニングアナリティクスの収集。
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	ワークフロー図、週次トレンドプロット、分布図、および関連図の作成。
R	R Foundation		ggplot2 3.5.1
表計算ソフトウェア	Microsoft Corporation	Microsoft Excel 365 v2402	データ入力、クリーニング、匿名化チェック、および観察/リフレクション/アナリティクスデータセットの統合。
SPSS Statistics	IBM Corp	Version 26.0	統計解析ソフトウェア。記述統計、反復測定比較、Cohen's kappa、ICC、Cronbach's alpha、相関、および回帰モデル。