本プロトコルは、4週間の指導期間における大学生の行動的エンゲージメント、省察的表現、および社会志向の学習成果を評価するため、教室観察、省察的ライティング、親社会的な意図の測定、およびラーニングアナリティクスを統合したものである。本稿では、倫理審査の承認、測定ツールの内容、ソフトウェアのワークフロー、欠損データの処理、トラブルシューティングの手順、および観察された実施上の制約を含む代表的な結果の解釈について詳述する。
この記事について
サマリー
要約
従来の指標を超えた学生の関与に関する多次元的な評価の必要性に対応するため、本プロトコルでは、学部課程において教室でのエンゲージメント、省察的表現、ラーニングアナリティクス活動、および親社会的な意図を評価するための構造化されたアプローチを記述します。このプロトコルは、インターバルベースの行動観察、週次で構造化された省察的ライティング、匿名化された学習管理システム（LMS）の記録、および事前・事後の親社会的な意図に関する質問票を組み合わせています。改訂された手順では、再現可能な行動コーディングモデル、スコア例を含む省察的表現ルーブリック、ソフトウェアおよびデータ管理の手順、ならびに観察者間の不一致、プラットフォーム記録の欠損、省察提出率の低さ、カメラの視認性不良、参加者の脱落、および前提知識の不一致に対する明確なトラブルシューティングガイダンスを提供します。本プロトコルは、研究者が学部教育において、教室でのライブ行動、学生による自己解釈、および日常的な学習管理システム（LMS）の活動を、低侵襲かつ再現可能な方法で組み合わせる必要がある場合に活用されるべきです。一方で、観察可能な相互作用のない完全な非同期形式のコース、独立した観察や記録の紐付けが禁止されている環境、またはバイオメトリクスや感情認識による推論を必要とする研究には適していません。代表的な結果は、倫理委員会の承認、コース記録の匿名化、およびリポジトリの準備を経て実施された実証的な適用事例から報告されています。
概要
高等教育における学生の参加状況を評価するには、包括的かつ多角的なアプローチが必要です。学生のエンゲージメントは、観察可能な行動、認知的努力、および環境との相互作用を包含する多次元的な構成概念として広く概念化されていますが、現在の分析手法は、ログイン回数やシステムに記録されたアクションなどの、表層的なログデータに主に依存しています1。この過度な依存は、実際の教室ベースの研究において大きな課題となります。教育的な参加における最も重要な形態である、直接的なピアインタラクション、認知的リフレクション、および社会的貢献は、プラットフォームの可視性の限定的な範囲外で発生することが多いためです2。
デジタルプラットフォームと従来の対面指導を組み合わせたハイブリッド教育モデルの導入により、現代の大学における教室の複雑さは増しています。ラーニングアナリティクスの系統的レビューでは、デジタル上の履歴が時間配分、アクセスパターン、長期保持率に関する貴重な洞察を提供することが確認されていますが、これらの指標だけでは、学習者の注意が本当に効率的であるか、あるいは有意義であるかを判断することはできません3。そのため、近年の研究では、デジタル上の履歴を、教室での行動や内省的活動といった、より豊かで文脈依存的な参加尺度と整合させることで、ラーニングアナリティクスをより強固な理論的枠組みに基づかせるべきであると提唱されています4。
リフレクティブ・ライティング（省察的記述）は、この評価に不可欠な質的側面をもたらします。構造化された授業後のリフレクションやジャーナルは、学習活動に対する学生の解釈を捉え、指導上の課題を明確にし、理論的な内容とそれに続く実践的な行動を橋渡しします。近年の実証的根拠により、省察的な表現は、記述的な回想、分析的な推論、自己参照的な表象、および意味の一般化から構成される、統合された多成分構成概念として概念化されています5。さらに、学生に繰り返し省察的なガイダンスを提供することで、内省能力が段階的に強化されることが研究で示されています。コースワークにおける構造化されたリフレクションの頻度が高まるにつれて、学生の自立的な探索スキルも同時に向上します6。
現在のエンゲージメント研究におけるもう一つの大きな欠落は、教室での社会化が軽視されがちであることである。既存の研究では個人の行動や認知が強く強調されているが、大学の教室は、学生が協働や反応的な相互作用を通じて互いに影響し合う、本質的に社会的な学習環境として機能している。新たなエビデンスにより、教室の雰囲気や参加構造が、親社会的な行動や貢献志向のマインドセットと強く相関していることが示されている。これらの成果は、学業成績や学生満足度といった従来の指標と比較して、十分に調査されていない。学術的な設定における親社会的行動は、単に感情的な状態やストレスの副産物ではなく、むしろ、学生が集団的な学習活動の中で自らをどのように位置づけるかに根本的に関係している7。したがって、親社会的な意図を測定することは、教室でのエンゲージメントが、単なる個別のタスク完了を超えて、直接的な指導環境以外でも協調的かつ励まし合う行動を促進するものかどうかを判断するための適切な視点となる8。
これらの概念的な展開は、単一の指導期間内で展開される統合的なエビデンス収集フレームワークの必要性を強調している。マルチソース設計は、単一の指標に依存することによる限界を軽減し、異なる参加形態間での相互検証を可能にするとともに、学生が自律学習を促進するためにクラス後の活動をどのように解釈しているかを明らかにする9。リフレクティブ・アセスメントは学習者の内部的な認知状態を捉えるが、これらの自己報告を客観的な行動トレースで裏付けることで、学習データの解釈可能性は大幅に向上する。現在、体系的な行動観察、構造化されたリフレクティブ・レポート、およびラーニング・アナリティクスをシームレスに統合し、大学での日常的な運用に適した実用的かつ教室で即座に導入可能なプロトコルは、著しく不足している。
これらの手法的な欠点を解消するため、本論文では、大学生の授業へのエンゲージメント、内省的な表現、および親社会的な意向を同時に測定するために設計された評価プロトコルを紹介します。学部教育の環境向けに特化して開発されたこのプロトコルは、科学的な再現性を損なうことなく、管理上の負担を最小限に抑えた効率的な手法を提供します。観察可能な行動、言語化された自己体験、および社会志向の学習成果の間の分析的ギャップを埋めることで、このフレームワークは、教育環境における人間とテクノロジーの相互作用研究において、概念的な明確さを求める高まる要望に応えるものです10。
プロトコル
ヒトを対象としたすべての手法は、ヘルシンキ宣言および関連する施設ガイドラインに従って実施されました。本研究において、プロトコルは被験者の募集開始前に南昌工業大学（Nanchang Institute of Technology）の倫理委員会によって承認されました（承認番号：NITE778291）。参加したすべての学生から書面によるインフォームドコンセントを得ました。分析には、匿名化された集計済みの教室観察データ、リフレクションスコア、ラーニングアナリティクス、およびアンケートデータのみを使用しました。個人が特定可能な教室のビデオ、氏名、施設ID、および編集されていないリフレクションのテキストは、公開から除外されました。
1. 研究デザインおよび参加者の選定
- 選択した各クラスセクションにおいて、4回連続の授業期間にわたってプロトコルを実施する。匿名化されたコースラベル、指導形式、クラス人数、講師の当該コースにおける経験、および各クラスに全クラス指導、グループワーク、または個人練習が含まれているか否かを記録する。18歳以上の学部生約180名から210名の初回登録を目標とするか、またはコースの状況に合わせてサンプルサイズの目標を調整する。
- すべての参加者が、コースプラットフォームの有効な機関アカウントを保有し、観察対象の授業に出席し、通常クラスに提供される必須のコースガイダンスを受けていることを確認する。必須知識に大幅な差がある場合は、観察期間の前に短いブリッジング用ハンドアウト、クラス前リソースリスト、または講師主導の復習を提供し、提供したサポート内容をコンテクストメタデータとして記録する。
- 包括的な書面による情報提供シートを提示した後、すべての学生から書面によるインフォームドコンセントを得る。同意書の中で、本研究が教室内の行動観察、毎週のリフレクティブ・ライティング、および匿名化された学習プラットフォームの記録を関連付けるものであることを明確に記載する。
- 同意した学生のみを研究データセットに登録する。参加への拒否が、出席、成績、コースへのアクセス、または講師とのコミュニケーションに影響を与えないことを保証する。
- 最初のリフレクション課題の前に、人工知能（AI）ツールの許可される利用方法と禁止される利用方法について説明する。
注：AIツールは、コースの方針で許可されている場合に限り、また一般的な学習支援としてのみ使用できる。リフレクションの提出物および親社会的な意図に関する回答は、学生自身の経験を記述しなければならず、AIによる支援を受けた場合はそれを開示しなければならない。 - 講師が必須知識の補完にAIによるサポートを許可する場合、承認された同一のプロンプトまたはリソースをすべての学生に提供し、このサポートをプロトコルの適応として記録する。検証研究においてAI支援による回答を明示的に評価していない限り、AIが生成した要約を学生のリフレクションの主要なエビデンスとして使用してはならない。
- 最初のリフレクション課題の前に、人工知能（AI）ツールの許可される利用方法と禁止される利用方法について説明する。
- 解析前に、同意を拒否した学生、プロトコル期間中にコースを脱落した学生、または観察、リフレクション、およびアナリティクス記録の間でデータが一致しない学生を除外する。反復測定設計を採用し、4週間にわたって3つの異なるソースから一貫したデータを収集する2。
2. ベースラインデータの収集と ID 管理
- 単一のデータ管理者を指名し、擬似乱数プロセスを通じて、同意した各参加者に8桁の英数字で構成されるスタディIDを割り当てる。
- 学生名、機関ID、クラスセクション、およびスタディ番号を含む、個人識別情報とスタディIDの照合ファイルを作成する。このファイルは分析用ファイルとは別に安全に保管し、オブザーバー、リフレクション・コーダー、および研究者が完全にアクセスできないようにする。
- 最終的なデータ検証後、承認された機関のデータ保持ポリシーに従ってこの照合ファイルを破棄またはアーカイブし、同時に、限定的な照合および匿名化に関する現在の高等教育ラーニングアナリティクスの慣行を遵守する1。
- 最初の観察クラスが行われる前の最初の1週間に、参加者の年齢、性別、学年、および専攻に関するベースラインの人口統計学的データを収集する。
- 最初の観察クラスの前に、Supplementary File 1にある6項目の向社会的な意図に関する質問票を構造化されたベースライン評価尺度として使用する。これはLMSを通じて電子的に、または割り当てられたスタディIDのみを用いて紙ベースで実施する。学生は各項目を1 = 全く同意しないから5 = 強く同意するまでの5段階尺度で評価し、6項目のうち5項目以上に回答がある場合、回答済み項目の平均値をベースラインスコアとして算出する。
- 質的コーディングプロセスを開始する前に、完全な匿名性を確保するため、その後収集されたすべてのリフレクションテキストを、名前、メールアドレス、その他の個人識別情報を含まない形式でエクスポートする。
3. 教室観察の準備
- 各クラスセクションについて、4週間連続で週1回の観察をスケジュールします。標準的な90分の授業の場合、最初の10分間と最後の10分間をコーディング対象から除外し、70分間の観察ウィンドウを設定します。5.
- 10からコーディングを開始する翻訳対象のテキストをご提示ください。 最小値、および80で停止申し訳ございませんが、翻訳するためのソーステキストが提供されておりません。翻訳が必要な英文をご提示ください。 標準的な90分の授業における最小時間です。これらのバッファー期間は70分の観察ウィンドウには含まれません。したがって、標準的な授業では、30分のセッションではなく、70分間のコーディング済み観察データが得られます。
- アラーム、部屋の変更、またはプラットフォームの停止により、5分を超える中断が発生した場合は、その中断された指導ブロックを最終評価から除外してください。
- 各測定時点で複数の行動指標を同時に記録することにより、教室でのエンゲージメントを、観察可能な複数の行動の組み合わせとして扱う。11指標には、課題への集中、口頭での参加、ピアコラボレーション（学習者同士の協力）、課題に沿ったメモ作成またはデバイスの使用、課題外への注意散漫、および助けを求める行動が含まれます。
- 最初の観察の前に、教室の座席をグループごとに配置し、4週間の全期間を通じてこの座席配置を厳格に維持してください。
- 2名の訓練を受けた観察者を、室内の全域が見渡せる固定位置に配置し、独立してコーディングを行います。施設内での撮影が許可され、参加者の同意が得られた場合は、後方中央と後方側面に2台の定点カメラを設置し、セッション前に同期させてください。
- カメラによる録画は、観察者のトレーニング、信頼性の検証、および視認性の問題に関する裁定のみに使用してください。ビデオ録画を主要なコーディングソースとして使用せず、また、顔の感情分析、音声の感情分析、バイオメトリック分析、または個体識別分析を行わないでください。
4. インターバルベースの行動コーディング
- 70-minの観察ウィンドウを、20-sの視覚的スキャンとそれに続く10-sの記録期間からなる連続的なインターバルに分割する。大規模な講義、実験、またはオンラインクラスにおいて異なるインターバル長が必要な場合は、データ収集を開始する前に、適応させたインターバル構造を報告し、その正当性を説明すること。
注：この20-s/10-sの構造は、生態学的な教室観察とコーダーの負荷のバランスを考慮したものである。スキャン期間は、持続的な注意、協働、およびタスク外の行動を検出するのに十分な長さであり、記録期間は記憶への負担を軽減し、一貫したバイナリ判断をサポートする。 - 座席配置に基づき、1インターバルにつき最大10人の学生からなる明確に定義されたグループを、連続的なループでスキャンする。
- 定義が曖昧であることによるコーダーの不整合を防ぐため、特定のスキャン基準を利用する4。各スキャン中に、学生レベルの6つのバイナリ指標をコーディングする。これらには、タスクへの注意、言語的参加、ピア・コラボレーション、タスクに焦点を当てたノート作成またはデバイスの使用、タスク外の注意散漫、および援助要請行動が含まれる。
- 20-sのスキャン中の任意の時点で指定された行動が発生した場合は、指標を"1"とマークする。それ以外の場合は、"0"とマークする。学生がスキャンのうち少なくとも10 sの間見えない場合は、そのインターバルを欠損としてコーディングする。
- 学生が指導者、割り当てられたタスク、提示された情報、またはタスクの議論に従事しているピアに向かって、少なくとも5 s連続で視覚的に向きを変えた場合に、タスクへの注意を記録する。可聴であり、かつタスクに関連するあらゆる寄与について、言語的参加をコーディングする。
- 学生が可視的なタスクベースのやり取り、共同の問題解決、またはピアへの説明に従事した場合に、ピア・コラボレーションをコーディングする。能動的な記述、タイピング、またはコース教材とのデジタル的な相互作用について、タスクに焦点を当てたノート作成またはデバイスの使用を記録する。
- 学生が無関係な会話、非学術的なデバイスの使用、または少なくとも5 s連続して持続的な離脱状態にある場合に、タスク外の注意散漫をマークする。学生が指導者やピアに対して明示的に説明や援助を求めた場合に、援助要請を記録する。
- 各学生の週間行動スコアを、肯定的な判定の総数をすべての有効な評価数で除して算出する。その後、6つの指標すべてについて4週間の平均を導出する。
- 事前に指定された数理モデルを用いて、週wにおける学生iの統合観察教室エンゲージメント指数（Observed Classroom Engagement Index: OCEI）を算出する：OCEI_iw = [On-task attention_iw + Verbal participation_iw + Peer collaboration_iw + Task-focused note-taking/device use_iw + (1 - Off-task distraction_iw)]/5。
- 援助要請は、文脈によって建設的な確認または指導内容への困難のいずれかを表し得るため、独立した分析変数として保持する12。研究のワークフローについてはFigure 1を、観察指標とコーディングルールについてはTable 1を参照すること。
5. 観察者のトレーニングと信頼性の評価
- 60分間のマニュアルトレーニングセッションを用いて観察者のトレーニングを行い、正式なプログラムを開始する前に3回のキャリブレーションラウンドを実施する。
- 第1ラウンドのキャリブレーションでは、研究対象外の教室ビデオを用いてガイド付きコーディングを行う。続く2つのラウンドでは、異なる研究対象外ビデオを用いて独立したコーディングを行い、その後、シニアコーダーと直接的な統計的比較を行う。
- Cohen's Kappaが0.75以上に達し、かつ全評価者間一致率が85%を超えた場合にのみ、正式なデータ収集を開始する。
- 4週間のプロトコル期間を通じて、全セッションの10%および残りのセッションからランダムに抽出した10分間のセグメントに対して、ダブルブラインドでのドリフト検証を実施する。
- いずれかの指標においてKappa値が0.70未満に低下した場合は、72時間以内にコーディングチームの再キャリブレーションを行い、データのロック前に影響を受けたセッションを再検証する。評価の安定性を長期的に維持するため、継続的にフィードバックを提供し、キャリブレーション演習を組織する13。
6. 内省的表現の収集と評価
- 学生に対し、観察した各回のクラスについて1つの構造化された振り返りテキスト（100〜350語）を提出するように指示し、4週間のプロトコル全体で参加者1人あたり4つのエントリーを生成させます。
- 観察クラスの終了後2時間以内に、LMSまたは紙のフォームを通じて振り返りのプロンプトを公開し、その72時間後に提出ウィンドウを閉じます。フォームには、すべての学生に対してStudy IDフィールドと、以下の3つのプロンプトを同じ順序で表示させる必要があります。
- クラスの中で、最も関与していたと感じた点と、最も関与していなかったと感じた点を特定させる。
- タスクの難易度、前提知識、グループ間の相互作用、講師の説明、またはプラットフォームの使用など、状況的な原因を説明させる。
- 自身の参加がクラスの雰囲気にどのように影響したか、および今後どのような行動をとるつもりであるかを記述させる。
注意：100語未満のエントリーも保持しますが、データベース内で「低情報（low-information）」としてフラグを立ててください。また、関与、状況的原因、または今後の行動/社会的影響に関するプロンプトを欠いているエントリーにもフラグを立ててください。これらの欠落は、振り返りの質のスコアリングおよび実現可能性の報告に影響するためです。
- 2名のブラインドコーダーを割り当て、記述の具体性、分析的深度、自己調節的志向、および社会的・親社会的意味の観点から提出物を評価します。
- 各次元を4段階尺度で評価します。0は欠如、1は根拠が弱または曖昧、2は根拠が明確だが限定的、3は根拠が強く詳細であることを示します。例えば、分析的深度については、理由が全く示されていない場合は0点、学生が単に「活動が難しかった」と述べている場合は1点、難しさを特定の概念やクラスの状態に関連付けている場合は2点、そして、事前知識、ピアディスカッション、講師のフィードバック、および計画された学習戦略の間の相互作用を説明している場合は3点としてスコアリングします。Table 2およびSupplementary File 1に、4つの振り返り次元すべてに対するスコアレベルの例を提示しています。
- パイロットテキストにおいて、各次元で0.80以上のクラス内相関係数（ICC）を達成した後にのみ、正式な評価を開始してください14。
- 評価者のドリフト（基準の変動）を制御するため、プロトコル期間中に研究対象の振り返りの15%をランダムにダブルスコアリングします。テキストの長さや単語の頻度だけに頼らず、これらの多次元的な質的指標に基づいて振り返りの文章を評価してください。
- 少なくとも2名の教育研究者と1名のコース担当講師による専門家レビューを通じて、振り返り表現ルーブリックを開発または適応させます。20〜30件の非研究対象の振り返りでルーブリックをパイロット運用し、曖昧な記述子を修正した上で、正式なコーディングを開始する前に最終的なルーブリックのバージョンを記録してください。
- Supplementary File 1に提示されている親社会的意向アンケートを実施します。困難に直面しているクラスメートを助ける意欲、学習リソースの共有、議論への建設的な寄与、ピアへの励まし、グループタスク中の公正な行動、およびクラスの学習環境の改善に対する意欲を評価させます。1（全く同意しない）から5（強く同意する）までの5段階尺度を使用します。6項目のうち少なくとも5項目が完了している場合に平均スコアを算出し、ベースラインおよびプロトコル後の実施におけるCronbachのα係数を報告してください。
7. 学習分析の抽出
- 観察および省察プロセスへの汚染を防ぐため、第4週後に学習分析データを抽出する外部管理者を任命する。
- 抽出期間を、最初に観察したクラスの当日の00:00から、最終省察ウィンドウの最終日の23:59までとする。
- プロトコルに必要な、あらかじめ指定された変数のみを抽出する。プラットフォーム上のアクティブ日数の合計、異なるリソースの閲覧数、割り当てられたリソースの開封率、投稿されたディスカッション返信数、平均ビデオ完了率、および課題の提出期限遵守率をキャプチャする。
- 講師およびティーチング・アシスタントのアカウント、重複レコード、テストイベント、および指定期間外のデータポイントを削除して、生のエクスポートデータをクリーニングする。
- アクティブ日は、少なくとも1回の認証済みコースアクセスがあり、それに続いてファイルの開封、ビデオの視聴、または返信の投稿などの有意義なインタラクションが行われたカレンダー日として計算する。
- 60 s以内に発生した重複するリフレッシュイベントを無視して、ユニークなリソース開封数をカウントする。ビデオ完了率は、予定時間に対する視聴分数を01:00で切り捨て、その後、すべての割り当てられたメディア項目で平均して決定する。
- 課題の提出期限遵守率を、予定された期限前に提出されたタスクの割合に基づいて計算する。深夜アクセス率を、観察期間内の全有意義なアクティビティに対する、00:00から06:00の間に発生した有意義なイベントの比率として算出する。単なるログの蓄積よりも豊かな情報を提供するため、これらの時間制限および貢献指向のメトリクスに依拠する15。
- 学習管理システムからエクスポートされた生データに対して、あらかじめ指定されたデータ管理ワークフローを使用する。元のエクスポートファイルを読み取り専用ファイルとして保存し、匿名化した作業コピーを作成し、講師およびティーチング・アシスタントのアカウントを削除し、重複またはテストイベントを削除し、各クリーニングステップ後の行数を記載した処理ログを保持する。
- データのクリーニングはスプレッドシート（またはそれ以降のバージョン）で、統計分析はR version 4.4.0以降または同等のソフトウェアで実施する。
- スプレッドシートでは、7.9.1.1–7.9.1.2に記載された手順に従う。
- データ > データの取得 > テキスト/CSVからを使用して匿名化されたCSVファイルをインポートし、データ > 重複の削除を使用して、重複するStudy ID/タイムスタンプ/イベント行を削除する。
- フィルターを適用して、講師またはティーチング・アシスタントのアカウントおよび期間外のレコードを除外し、各ステップ後の行数を記載した処理ログを保存する。
- Rでは、7.9.2.1–7.9.2.3に記載された手順に従う。
- readr::read_csv()でファイルをインポートし、dplyr::mutate()、dplyr::group_by()、dplyr::summarise()、tidyr::pivot_longer()、およびtidyr::pivot_wider()を用いて週次レコードを再構成する。
- irr::kappa2()でCohenのカッパ係数を、psych::ICC()でICCを、psych::alpha()でCronbachのα係数を算出する。
- stats::lm()を用いてセクション調整線形モデルを適合させる。あらかじめ指定されたクラスセクションのランダム切片が必要な場合はlme4::lmer()を使用し、バイナリ結果にのみlme4::glmer(family = binomial)を使用する。正確なスクリプトとパッケージバージョンを投稿資料とともにアーカイブする。
- スプレッドシートでは、7.9.1.1–7.9.1.2に記載された手順に従う。
- 以下の再現可能な分析シーケンスを使用する。
- 学生の週次観察割合を計算し、ステップ4.9の公式を用いてOCEIを算出し、Study IDと週に基づいて週次省察スコアを統合する。
- 同一の4週間のウィンドウ全体で学習分析変数を集計し、データソース別の欠損値を検査し、記述統計量と信頼性推定値を算出し、あらかじめ指定された関連モデルを適合させる。
- 結果を検査した後、探索的であると明記されていない限り、計画にない予測変数を追加しない。
- （任意）透明性を確保するため、匿名化した分析スクリプト、コードブック、空白のコーディングフォーム、省察プロンプト、省察ルーブリック、および向社会的行動質問票をパブリックリポジトリまたは補足資料に登録する。個人が特定可能な生の教室ビデオ、氏名、機関ID、または編集されていない省察テキストは登録しない。
8. プロトコル後の測定およびデータセットの統合
- 最終リフレクションウィンドウの終了直後に、親社会的意図尺度を2回目に実施する。
- 学生に対し、クラスメートを助ける意欲、リソースの共有、議論への建設的な寄与、仲間の励まし、公正な行動、および学習環境の改善について、1（強く反対）から5（強く同意）までの尺度で評価させる。6項目のうち少なくとも5項目に回答している場合、回答の平均を算出して個人のプロトコル後合計スコアを算出する。
- 匿名化されたStudy IDを用いて、観察ファイル、リフレクションスコア、およびラーニングアナリティクスの記録を統合する。この統合データから、参加者レベルのマスターファイルと週レベルのロング形式ファイルの2つの最終データセットを作成する。
- 学生の不在による観察区間の欠損や、未提出による週次リフレクションの欠損に対しては、補完を行わない。分析前に、部分的に完了したリフレクション、不完全なラーニングアナリティクス変数、情報の少ないリフレクション、および不一致のStudy IDにフラグを立てる。
- 事前に指定した関連性モデルには完全ケース分析を用い、各モデルで除外されたケース数を報告し、利用可能なベースライン変数を用いて、組み込まれた学生と除外された学生を比較する感度分析を行う。
- 大学生の参加における構造的変化を支える支援的および協調的な態度を反映させるため、親社会的意図を主要評価項目として保持する。
9. トラブルシューティングおよびプロトコルの適応
- 同一の学生クラスターにおいて、2人の観察者の間で2つ以上のバイナリカテゴリーパターンの不一致がある場合、またはいずれかの指標でCohen's kappaが0.70を下回った場合は、当該セッションの正式なスコアリングを一時停止し、操作的定義を再確認し、10分間の再キャリブレーションセグメントを完了させ、データロック前に当該区間を再コード化すること。
- プラットフォームからのエクスポートが不完全な場合は、欠落しているフィールドを記録し、外部管理者に2回目のエクスポートを依頼し、観察・リフレクションの要約にはその学生を保持しつつ、当該フィールドを必要とするモデルからは利用不可能な分析変数を除外すること。
- タスク公開後48時間以内に、想定されるリフレクションの80%未満しか提出されなかった場合は、クラス全体に中立的なリマインドを送信し、アクセス上の問題に対するテクニカルサポートを拡充し、最終的な期限内、期限後、および未提出の件数を個別に報告すること。
- クラスター内の10%以上の学生が、スキャンウィンドウの少なくとも半分にわたって確認できない場合は、当該区間を欠損としてコード化し、遮蔽されたビデオから行動を推測しようとするのではなく、ライブ観察記録に従うこと。
- 学生が辞退した、今後の参加を拒否した、またはソース間でリンク可能なデータが不足している場合は、関連付けモデルからその学生を削除する。ただし、倫理委員会の承認で許可されている場合は、集計されたプロトコルの実現可能性の件数に保持すること。
- 複数の学生が特定のセクションの内容が理解しにくいことを示した場合、指導者は、短い再説明、例題の提示、ピアディスカッション、またはフォローアップ資料の提供など、通常の教育的対応を行う。これは、ヘルプシーキング、リフレクションの深さ、およびプラットフォームでの活動に影響を与える可能性があるため、コンテキストイベントとして記録すること。
- 学生クラスターのサイズ、区間長、リフレクションのプロンプト、および分析変数を指導形式に合わせて調整するが、事前定義された行動指標、匿名化された記録、独立したコーディング、および透明性のある欠損データルールという同一の論理を維持すること。
- 信頼性の低さ、高い欠損率、限定的なリフレクションの深さ、弱い向社会的な変化、およびデータストリーム間の弱い一致は、プロトコルの失敗ではなく、有益な実装結果として扱う。これらの結果を報告し、それらが教室のコンテキスト、ツールの限界、またはデータキャプチャの問題のいずれを反映しているかを説明すること。
結果
参加者の包含基準、データの完全性およびスコアの信頼性
全クラスのセクションから204人の学生に協力的に参加を依頼し、198人の同意を得た。その後、プロトコル期間中のコース脱落、または観察、リフレクション、プラットフォーム記録間のデータ連携が不完全であった14例を除外した。その結果、最終的な分析サンプルは184人の学生となった。参加者の特性、週ごとの完了率、および全体のデータの完全性については、表3に詳述している。
4週間のプログラム期間中に24回のクラスセッションを観察し、各参加者の同期学習分析レコードを作成しました。予定されていた736件のリフレクティブレポートのうち、701件が72時間の期限内に提出され、18件が期限後に提出され、17件が未提出でした。最終的に、171名の学生がすべての週次リフレクションを期限内に完了しました。指導者アカウント、重複エントリー、および期間外のアクティビティを除外した結果、最終的な184名の参加者について学習分析データを完全に抽出しました。
観察コーディングは、プロトコルの期間を通じて高い安定性を維持した。教室観察における6つの行動指標の評価者間信頼性では、Cohen's kappa値が0.76から0.84の範囲となり、ドリフトテストにおける全体的な一致率は86%を超えていた。内省的表現スコアについては、4つの次元におけるクラス内相関関数（ICC）が0.82から0.89の間で変動した。表4に、主要な研究変数の記述統計量と信頼性指標を示す。
教室での行動観察
観察された教室での行動は、4週間のプロトコルを通じて緩やかな改善を示した。図2に示されているように、タスクへの集中力、口頭での参加、およびピアコラボレーションは、初期の週と比較して第4週で有意に高かった。具体的には、口頭での参加は第1週の0.18 ± 0.09から、第4週までに0.24 ± 0.10に増加した（p < 0.05）。ピアコラボレーションも同様に、0.29 ± 0.11から0.35 ± 0.12に上昇した（p = 0.006）。タスクへの集中力は、0.71 ± 0.12から0.76 ± 0.11へと変化し、極めて有意な改善を示した（p < 0.001）。
対照的に、タスクに集中したノート作成やデバイスの使用は、わずかな週ごとの増加は見られたものの、統計的な有意差には至りませんでした（p = 0.08）。援助要請行動は観察期間を通じて一貫して低く、有意な時間的影響は認められませんでした（p = 0.21）。タスク外への注意散漫は、第1週の 0.14 ± 0.08 から第4週には 0.11 ± 0.07 まで有意に減少しました（p = 0.03）。全体として、複合的な教室参加観察指数（Observed Classroom Engagement Index）は、第1週の 0.52 ± 0.10 から最終週までに 0.58 ± 0.11 へと有意に上昇しました（p < 0.001）。
4週間のプロトコルにおけるリフレクティブ・エクスプレッション（内省的表現）
リフレクティブ・エクスプレッションは研究期間を通じて進化したが、変化の大きさはその下位次元によって異なっていた。図3に示すように、リフレクションの合計スコアは第1週から増加し、第4週までには7.2 ± 1.9となった（p < 0.001）。
分析的深度は、最初の2週間と比較して第4週の終わりに顕著に増大しました（p < 0.001）。同様に、社会的・親社会的意味は1.08 ± 0.55から1.54 ± 0.60へと増加し（p < 0.001）、自己調節的志向は1.42 ± 0.63から1.69 ± 0.65へと増加しました（p < 0.05）。対照的に、記述的具体性は2.14 ± 0.57から2.24 ± 0.55へとわずかな上昇傾向を示しましたが、統計的な有意差は認められませんでした（p = 0.09）。
プロトコル全体を通じて、提出物の1エントリーあたりの平均単語数は223語から231語の間でした。期待されていた736件のリフレクティブレポートのうち、18件が期限後に提出され、17件が未提出でした。情報の少ないエントリーや、「文脈上の原因」または「今後の行動/社会的影響」のプロンプトに対する回答が欠落しているレスポンスは、データベース内でフラグが立てられました。これらのケースは実現可能性の指標として保持され、該当するスコアを割り当てることができない場合に限り、週ごとのリフレクション品質モデルから除外されました。
学習分析パターンの学習期間中における推移
図4に示すように、プラットフォームの活動指標は、4週間の期間を通じて個人間で大きなばらつきを示した。
全期間を通じて、学生のプラットフォーム上の平均アクティブ日数は9.7 ± 2.4日であった。異なるリソースの閲覧回数の平均は27.3 ± 8.6回であり、学生が割り当てられたリソースを開いた平均割合は0.81 ± 0.14であった。さらに、ディスカッションへの平均返信数は4.8 ± 2.7回であった。課題提出の平均的な適時性と平均ビデオ完了率は、それぞれ0.86 ± 0.18および0.79 ± 0.17であった。深夜のプラットフォームアクセス割合の平均は0.12 ± 0.09であった。
注目すべき点として、課題提出の期限遵守スコアは分布が広かったものの、ディスカッションへの返信と課題提出の期限遵守は、他の参加指標とより顕著な正の相関を示しました。
観察、振り返り、および学習データの相互関連性
3つのデータソースには、一様ではないものの意味のある関連性が認められた。図5に示すように、教室での観察によるエンゲージメント指数が高い学生は、振り返りの合計スコアが高くなる傾向があった。セクション調整モデルにおいて、教室での観察によるエンゲージメントは、振り返りの合計スコアを正に予測した（β = 0.34, p < 0.001）。
ラーニングアナリティクスの変数の中で、ディスカッションへの返信数と課題提出の期限遵守は、リフレクションの質と有意かつ正の相関を示した。表5に詳述されている通り、ディスカッションへの返信数はリフレクションの合計スコアの正の予測因子であり（β = 0.19, p = 0.013）、課題提出の期限遵守も同様であった（β = 0.17, p = 0.028）。リソースの単純閲覧数と割り当てられたリソースの開封率は、当初は正の関連を示したが、交絡変数を調整した後は、これらの相関は有意に弱まった。深夜アクセス率は、リフレクションの合計スコアとの間に有意な関連を示さなかった（p = 0.18）。
また、データから、観察された教室内での行動と特定のプラットフォーム上のアクティビティとの間に、わずかな相互相関があることが明らかになりました。例えば、リソースの単純な閲覧回数は、教室内エンゲージメント観察指標（Observed Classroom Engagement Index）とわずかに相関しているだけでした。さらに、グループディスカッションに頻繁に参加した学生は口頭でのコミュニケーション能力が高く、行動調節能力が高い学生は課題提出における先延ばし傾向が少ないことが示されました。
親社会的な意図の変化
親社会的な意図は、ベースラインからポストテストにかけて有意な向上を示した。親社会的な意図の平均スコアは、ベースラインの 3.61 ± 0.53 から、4週間のプロトコル実施後には 3.84 ± 0.50 に増加した (p < 0.001)。図6は、対応のある分布および調整後の関連性を示している。
最終調整モデルにおいて、観察された教室エンゲージメント指数（Observed Classroom Engagement Index）が高いほど、ベースラインスコアに対するプロトコル後の親社会的な意向の増加が大きくなることが予測されました（β = 0.21, p < 0.05）。省察的次元の中では、「社会的・親社会的な意味（social-prosocial meaning）」がプロトコル後の親社会的な意向に対して最も実質的な独立した影響を及ぼしていました（β = 0.29, p < 0.001）。言語的参加は、未調整の状態では事後テストの親社会的アウトカムと正の相関を示しましたが、ベースライン値を制御した後は、この関連性の統計的有意性は消失しました（p = 0.09）。最後に、深夜のアクセス率は、プロトコル後の親社会的な意向と無関係なままでした（p = 0.27）。
観察された実施上の制約および有意な結果が得られなかった項目
実施した研究では、プロトコルの停止に至るような失敗ではなく、最適ではないものの有益な結果がいくつか得られた。オブザーバーのκ係数が0.70を下回ったために除外が必要となったセッションはなく、最終エクスポート後に利用不能なままの学習分析フィールドはなく、また事前規定の欠損閾値を上回る視認性の問題も認められなかった。観察された制約は、リフレクションの完了および行動面での有意でない、または限定的な結果に集中していた。具体的には、18件のリフレクションの提出が遅れ、17件のリフレクションが未提出であった。タスクに集中したノート作成やデバイスの使用はわずかな増加しか認められず（p = 0.08）、援助要請行動については有意な時間経過による効果は見られず（p = 0.21）、深夜のアクセスはリフレクションの合計スコアやプロトコル後の親社会的な意図とは関連していなかった。
これらの知見は、プロトコルの実施可能性および境界条件を記述しているため、保持されました。回答の遅延または欠落については、参加者のフローおよびデータの完全性の要約において報告され、わずかな関連性または関連性がない結果についても、選択的な除外を行うことなく報告されました。また、「プロトコル」セクションのトラブルシューティング手順では、観察者のドリフト、視認性の妨害、またはLMSフィールドの欠落といった想定される失敗に今後どのように対処すべきかが規定されています。
匿名化された解析ファイル、データディクショナリー、解析スクリプト、空白のコーディングフォーム、リフレクションプロンプト、リフレクションルーブリック、および親社会的な意図に関する質問票をZenodo（https://zenodo.org/records/20607517）に保存しました。個人が特定可能な教室ビデオの生データ、氏名、機関ID、および編集前のリフレクションテキストは公開していません。
図1研究ワークフローおよびマルチソースデータ統合プロトコル。 (A2つの学部課程および6つのクラスセクションにおける、参加者の募集、同意書の収集、および研究IDの割り当て。B4週間のデータ収集サイクル：週次の教室観察、リフレクティブ・ライティング課題、および同期化されたラーニング・アナリティクスのキャプチャウィンドウ。C3つの並行データストリーム：教室での行動観察、内省的表現のスコアリング、および匿名化された学習プラットフォームの記録。D参加者レベルのマスターデータセットおよび週レベルのロング形式データベースを構築し、主要な研究アウトカムである、観察による教室エンゲージメント指標、リフレクションスコア、および親社会的な意図を算出した。 こちらの図の拡大表示を見るには、ここをクリックしてください。
図2: 4週間のプロトコル期間中における教室内の観察行動の週次変化。(A>) 課題への集中。(B>) 形式的な発言への参加。(C>) ピアコラボレーション。(D>) 課題に関連したメモ取りまたはデバイスの使用。(E>) 課題外の注意散漫。(F>) 援助要請。値はインターバルベースの教室観察から得られた学生レベルの週次割合スコアである。点は週平均を示し、エラーバーは標準偏差を示す。 こちらのリンクをクリックして、この図の拡大版を表示してください。
図34回のリフレクティブ・サブミッションにおけるリフレクティブな表現の週次変化。 (A）記述的特異性（B分析深度C) 自己調節志向 (D) 社会的・向社会的意味 (E）総リフレクションスコア。リフレクションスコアは、事前に規定されたルーブリックを用い、2名の盲検化されたコーダーによって割り当てられた。プロット点は週ごとの平均値を、エラーバーは標準偏差を示す。 この図の拡大版を表示するには、ここをクリックしてください。
図 4: 4週間の学習期間中におけるラーニング・アナリティクス指標の分布。(A) 学習プラットフォームのアクティブ日数。(B) リソース閲覧数。(C) 開封された指定リソースの割合。(D) 投稿されたディスカッションへの返信数。(E) 平均ビデオ完了率。(F) 課題提出の期限遵守率。(G) 深夜アクセスの割合。すべての値は、教室観察およびリフレクティブ・ライティングに使用されたものと同じ4週間の期間で算出された。バイオリンプロットは学生レベルの分布を、ボックスプロットは中央値と四分位範囲を示す。ここをクリックして、この図の拡大版を表示してください。
図 5: 観察された教室でのエンゲージメント、リフレクティブな表現、および選択されたラーニングアナリティクス指標間の関連性。(A) 観察された教室エンゲージメント指標とリフレクション合計スコアとの関連性。(B) 投稿されたディスカッションへの返信数とリフレクション合計スコアとの関連性。(C) 課題提出の期限遵守とリフレクション合計スコアとの関連性。(D) 口頭での参加とリフレクション合計スコアとの関連性。トレンドラインは適合させた線形関連性を示し、網掛け部分は 95% 信頼区間を示す。 この図の拡大版を表示するには、ここをクリックしてください。
図6向社会的意図の変化と、教室でのエンゲージメントおよび省察的意味との関連性。 (A) ベースライン時とプロトコル実施後の親社会的意図スコアの対分布。線は同一学生の事前および事後の対スコアを繋いでいる。(B) ベースラインスコアを制御した後の、観察された教室エンゲージメント指数とプロトコル後の親社会的な意図との関連性。 (C社会的・親社会的な意味づけと、プロトコル実施後の親社会的意図との関連性。D）言語的参加とプロトコル後の向社会的意図との関連。パネルB〜Dの網掛け部分は95%信頼区間を示す。 この図の拡大版を表示するには、ここをクリックしてください。
表1：生徒レベルの教室観察指標およびコーディングルール。本表では、タスクへの集中、口頭参加、ピアコラボレーション、タスクに焦点を当てたメモ取りまたはデバイスの使用、タスク外の不注意、および助けを求める行動に関する操作的定義とコーディング基準を詳述している。70分間のコーディングウィンドウ、20秒のスキャン/10秒の記録サイクル、クラスタースキャン手順、視認性欠如ルール、およびOCEI算出式については、「プロトコル」セクションに記載されている。こちらをクリックして本表をダウンロードしてください。
表2：省察的表現のスコアリングフレームワーク、スコアレベルの例、およびラーニングアナリティクス変数の定義。 本表は、各省察次元におけるスコア0、1、2、3の例を含む、省察的テキストのスコアリングルーブリックと、抽出されたラーニングアナリティクス変数の操作的定義を概説している。省察構成要素には、記述の具体性、分析的深化、自己調整志向、社会的・親社会的意味、総合省察スコア、単語数、および提出状況が含まれる。ラーニングアナリティクスは、アクティブ日数、リソース閲覧数、割り当てられたリソースの閲覧割合、ディスカッションへの返信投稿数、平均ビデオ完了率、課題の提出期限遵守、および深夜アクセス割合で構成される。こちらのリンクをクリックして本表をダウンロードしてください。
表3：参加者の特性、組み入れフロー、およびデータの完全性。この表は、3つのデータソースにおける参加者の適格性、同意率、除外基準、最終サンプルサイズ、およびデータの完全性をまとめたものである。ベースラインの人口統計学的特性に加え、期待される振り返りエントリー数、期限内の提出、期限後の提出、欠損している振り返り、および学習分析抽出の成功数が報告されている。特に断りがない限り、値は n (%) で表示される。丸め処理により、パーセンテージの合計が正確に100%にならない場合がある。プロトコルに従い、期限後に提出された振り返りはアーカイブされるが、週ごとの振り返り分析からは除外される。学習分析抽出の完了とは、講師アカウント、重複エントリー、および期間外のイベントを削除した後、匿名化された研究期間内のレコードが正常に回収されたことを示す。こちらのリンクから本表をダウンロードしてください。
表4：主要研究変数の記述統計および検査信頼性スコア。 本表は、観察された教室内の行動、省察的表現、ラーニングアナリティクス、および親社会的な意図について、週ごとの平均値、標準偏差、および信頼性指標を示しています。教室観察データの信頼性はCohen's kappaを用いて評価されています。省察スコアリングの信頼性は、二重採点されたテキストのクラス内相関係数（ICC）として提示されています。親社会的な意図の測定における内部一貫性はCronbach's αを用いて報告されています。ラーニングアナリティクスの変数は、観察および省察に用いられたものと同一の4週間の期間にわたって算出されています。こちらのリンクをクリックして、本表をダウンロードしてください。
表5：観察されたクラスルーム・エンゲージメント、省察的表現、ラーニング・アナリティクス、および親社会的な意図の間の多変数関連。本表は、主解析で用いられた推論モデルの詳細を示している。省察合計スコアの多変数予測因子、プロトコル後の親社会的な意図の調整済み予測因子（ベースラインレベルを制御）、および選択された非調整の関連を提示している。β値は非標準化回帰係数を表す。すべての多変数モデルはクラスセクションで調整されている。すべての推定値に対して、標準誤差（SE）、95%信頼区間（CI）、およびp値が提供されている。こちらをクリックして本表をダウンロードしてください。
ディスカッション
本研究では、行動観察、リフレクティブ・ライティング、およびラーニング・アナリティクスを統合し、1回の授業時間内で大学生の参加状況、自己表現、および親社会的な意識を包括的に調査するための実践的なプロトコルを提案します。エンゲージメントの異なる側面を捉えることで、このトライモーダル（3つの様式による）アプローチは、利用時間などの指標やセンサーベースのモニタリングを単独で評価しても不十分であるとする、近年の高等教育研究における批判に対応しています1。4週間のプロトコルを通じて、教室での目に見えるエンゲージメントは有意に向上しました。具体的には、口頭での参加やピアコラボレーションが、タスクへの集中力とともに増加した一方で、援助要請やタスクに焦点を当てたノート作成には最小限の変化しか見られませんでした。これらの行動変化は、学生が指導環境に慣れるにつれて、彼らのエンゲージメントがより戦略的で社会的な相互作用を伴い、貢献志向の参加へと進化することを示しています16。
手法に焦点を当てた視点から言えば、本プロトコルの価値は、一律に肯定的な結果を得ることではなく、規律ある実施に依存します。したがって、改訂されたワークフローでは、事前に規定されたOCEI算式、独立した観察、記録されたソフトウェア処理、ルーブリックの例、信頼性の閾値、および欠損データの明確な取り扱い規則を強調しています。これらの追加事項は、プラットフォームの記録、学生の出席状況、カメラの視認性、および振り返りの質が不完全である一般的な教室環境においても、本プロトコルの再現性を確保することを目的としています。
本プロトコルは、状況（フォーマット）に応じて調整が必要であると解釈されるべきです。大規模な講義形式では、観察者はより小規模な回転クラスターと、より長いキャリブレーション期間を必要とする場合があります。オンライン形式のクラスでは、行動観察は室内のスキャンではなく、インタラクションログや目に見える参加状況に依存することになります。研究室（ラボ）では、安全に関連する行動に別途指標が必要になる場合があります。また、文化的に多様な教室では、振り返りのプロンプトや親社会的な意図に関する項目について、使用前に言語的な明快さと文化的適切さを検討する必要があります。
リフレクティブ・ライティング（内省的記述）は、これらの行動パターンにさらなる洞察をもたらします。リフレクションの総合スコアは、プロトコル全体を通じて一貫した上昇傾向を示し、特に分析の深さと社会的・親社会的な意味づけにおいて最も顕著な改善が見られました。学生は単に教室での出来事を回想するのではなく、教育状況をより広く、社会的な意識に基づいた視点から分析する能力が高まっていることを示しました。これは、表面的な記述量に大きな変化がなくても、構造化されたリフレクション課題を繰り返し行うことで、高次的な意味形成と知識ベースのディスクールが促進されるという最近の知見と一致しています9。したがって、高等教育におけるリフレクティブ・ライティングは多次元的な構成概念として理解するのが最適であり、解釈、転移、および自己調節的投影に関連するスキルは、時間の経過とともに異なる速度で発達すると考えられます5。
ラーニングアナリティクスの統合により、マルチソースプロトコルの必要性がさらに正当化されました。ディスカッションへの返信や課題の提出期限の遵守といった実質的な行動は、単なる活動量よりも、エンゲージメントを示すはるかに有益な指標であることが証明されました。対照的に、深夜のプラットフォームアクセスは、リフレクションの質および向社会的な意図のいずれとも、有意義な関連性は認められませんでした。これらの知見は、学生の関与を評価するために、単純な頻度やログイン指標に過度に依存することに警鐘を鳴らした先行研究を支持するものです4。本結果は、コース教材と建設的に相互作用する学生ほど、リフレクション能力が高まることを示唆していますが、基本的なプラットフォーム活動が、観察可能な教室でのエンゲージメントを完全に反映しているわけではありません。したがって、観察、リフレクション、およびアナリティクスの間に過剰な冗長性ではなく適度な重複があることは、独立した単一ソースによる推論よりも、複合的な測定戦略を用いることの正当性を裏付けています17。
本研究の副次的な貢献は、評価対象となった成果を標準的な参加指標以上に拡大させた点にあります。親社会的な意図は、事前テストから事後テストにかけて測定可能な増加を示し、特にリフレクションにおいて社会的・親社会的なテーマを明確にし、広範な相互作用プロファイルを維持した学生の間で最も強い関連性が見られました。これは、協調的で貢献志向の特性が単なる副産物ではなく、教室内の相互作用に不可欠であるとする現在の高等教育研究の結果と一致しています8。さらに、これらの結果は、教室を複雑な社会システムとして概念化することを支持するものです。学生が学習コミュニティに対する自身の相対的な貢献度を能動的に評価すると、その行動は単純な形式的遵守から、建設的で親社会的な関与へと移行する傾向があります18。
これらの結論は、教育設計に活用可能な知見を提供する。提案したプロトコルでは、特殊なセンサーや侵襲的なモニタリングシステムを必要としない。インターバルベースの観察、週次の構造化されたリフレクション、および標準的なコースプラットフォームのデータのみに依拠することで、この組み合わせは、エンゲージメントに関する透明性の高い形成的エビデンスを必要としながらも、高度な技術的インフラを欠いている学部教育の環境において、極めて実現可能な解決策となる。学習コミュニティや価値創造教育を強調する近年の教育的枠組みは、学生を単なる受動的な消費者ではなく、能動的な共同創造者として再定義することが、高等教育への参加にさらなる意味を吹き込むことを示唆している19。寄与に関連する指標が、単なるプラットフォームのトラフィックよりも、リフレクションの質や向社会的な意図と強く相関してクラスター化しているという我々の実証的知見は、このような教育的転換を強力に支持するものである。
いくつかの制限事項を認める必要があります。第一に、本プロトコルは限られた数のクラスセクション向けに設計されているため、研究室ベース、講義中心、完全非同期のオンライン、または文化的に多様な環境への転用には、計画的な適応と信頼性の再検証が必要です。第二に、親社会的な意図は自己報告によって測定されており、直接的な行動の根拠（グラウンド・トゥルース）ではなく、報告された意図として解釈されるべきです。第三に、ラーニングアナリティクスはプラットフォームを介した活動を捕捉するため、オフラインでの準備、非公式なピアサポート、および開示されていないAI支援による学習が見落とされる可能性があります。第四に、4週間の観察期間では、短期間の実施パターンを特定することはできますが、より長期的な発達軌跡を捉えられない可能性があります。最後に、4週間の代表値は、一般化可能な因果推計ではなく、コンテクスト特異的な実施のエビデンスとして解釈されるべきです20。
今後の研究では、このフレームワークをいくつかの方向へ拡張すべきである。多様な学術分野や指導法において本プロトコルを再現することが、重要な次のステップとなる。加えて、これらの短期的な省察実践が、持続的な親社会的な態度や持続的な行動上の利益を生み出すかどうかを判断するために、縦断的なフォローアップが必要である。今後の研究では、この観察フレームワークを、ピアアセスメント、グループレベルの成果物分析、またはイベントシーケンス分析などの代替手法と比較することも考えられる。とはいえ、現状のままでも、このプロトコルは、学生が教室で何を行い、その後それらの行動をどのように解釈し、より広い学習環境の中で自らを社会的にどのように位置づけているかをトライアンギュレーションするための、堅牢で操作可能なメカニズムを提供するものである。
開示事項
著者は開示すべき事項はない。
謝辞
著者は、本研究に参加した学部生およびコース講師に心より感謝いたします。彼らの協力は、行動観察、リフレクティブ・ライティング、およびラーニングアナリティクスの記録を得る上で不可欠でした。本研究は、公的、商業的、または非営利セクターのいかなる資金提供機関からも特定の助成金を受けていません。
材料
| 名前 | 会社 | カタログ番号 | コメント |
|---|---|---|---|
| 教室観察コーディングシート | 自作 | 6つの二値行動指標 | オンタスクへの注目、言語的参加、ピアコラボレーション、タスクに集中したメモ取り/デバイス使用、オフタスクの注意散漫、およびヘルプシーキングの間隔ベースコーディング。 |
| GraphPad Prism | Graphpad | Version 10.2.3 | ワークフロー図、週次トレンドプロット、分布図、および関連図の作成。 |
| 機関学習管理システム / コースプラットフォーム | 所属大学 | 既存の機関LMSアカウントシステム | 匿名化されたラーニングアナリティクスの収集。 |
| Microsoft PowerPoint | Microsoft | Microsoft 365 v2402 | ワークフロー図、週次トレンドプロット、分布図、および関連図の作成。 |
| R | R Foundation | ggplot2 3.5.1 | |
| 表計算ソフトウェア | Microsoft Corporation | Microsoft Excel 365 v2402 | データ入力、クリーニング、匿名化チェック、および観察/リフレクション/アナリティクスデータセットの統合。 |
| SPSS Statistics | IBM Corp | Version 26.0 | 統計解析ソフトウェア。記述統計、反復測定比較、Cohen's kappa、ICC、Cronbach's alpha、相関、および回帰モデル。 |
参考文献
- Bergdahl N, et al. Unpacking student engagement in higher education learning analytics: a systematic review. Int J Educ Technol High Educ. 2024;21:63.
- Zou W, et al. Examining learners' engagement patterns and knowledge outcome in an experiential learning intervention for youth's social media literacy. Comput Educ. 2024;216:105046.
- Johar NA, Kew SN, Tasir Z, Koh E. Learning analytics on student engagement to enhance students' learning performance: a systematic review. Sustainability. 2023;15(10):7849.
- Xu Z, et al. Leveraging learning analytics to model student engagement in graduate statistics: a problem-based learning approach in agricultural education. Behav Sci. 2025;15(10):1360.
- Alt D, Raichel N, Naamati-Schneider L. Higher education students' reflective journal writing and lifelong learning skills: insights from an exploratory sequential study. Front Psychol. 2022;12:707168.
- Suraworachet W, Zhou Q, Cukurova M. Impact of combining human and analytics feedback on students' engagement with, and performance in, reflective writing tasks. Int J Educ Technol High Educ. 2023;20:1.
- Zhou S, et al. How classroom climate is linked to prosocial behavior in undergraduate students: a multilevel moderated mediation model of feedback expectation and self-monitoring. BMC Psychol. 2025;14(1):1-13.
- Charan IA, Chongjin W, Soomro S. The relationship between academic stress, anxiety, and cognitive behavioral outcomes among young adults: the moderating role of prosocial behavior. Acta Psychol. 2025;258:105234.
- Yang Y, Yuan K, Zhu G, Jiao L. Collaborative analytics-enhanced reflective assessment to foster conducive epistemic emotions in knowledge building. Comput Educ. 2024;209:104950.
- Veiga F, et al. Higher education student engagement in learning activities: clarifying concepts and introducing a short scale. PLoS One. 2026;21(2):e0340391.
- De Bruijn-Smolders M, Prinsen FR. Effective student engagement with blended learning: a systematic review. Heliyon. 2024;10(23):e39439.
- Awidi IT, Klutsey JQ. Using online critical reflection to enhance students' confidence, motivation, and engagement in higher education. Technol Knowl Learn. 2025;30:1499-1534.
- Cohen J. A coefficient of agreement for nominal scales. Educ Psychol Meas. 1960;20(1):37-46.
- Jung Y, Wise AF, Oshima J. How students engage with learning analytics: access, action-taking, and learning routines with message-based information to support collaborative annotation. Comput Educ. 2025;232:105280.
- Uzun Y, et al. Engagement with analytics feedback and its relationship to self-regulated learning competence and course performance. Int J Educ Technol High Educ. 2025;22:17.
- NasirpourOsgoei SN, Daniel E, Jones-Devitt S. Enhancing academic performance through attendance and recognition: an active learning approach in UK higher education. Innov Educ Teach Int. 2025;1-16.
- Chua YHV, Yeo J, Lim WY. Testing individual and group markers of collaboration in a team-based learning classroom. Learn Instr. 2025;101:102176.
- Karlsson PS, Shafti F, Duffy K. The house of the business school: a pragmatic approach to conceptualising learning community. Int J Manag Educ. 2025;23(2):101141.
- Lackéus M, Hyldegård JS, Færgemann HM. Value creation pedagogy across disciplines in higher education: approaches and motivations. Int J Manag Educ. 2025;23(3):101270.
- Gordon CS, Pink MA, Rosing H, Mizzi S. A systematic meta-analysis and meta-synthesis of the impact of service-learning programs on university students' empathy. Educ Res Rev. 2022;37:100490.