本プロトコルは、4週間の指導期間における大学生の行動的エンゲージメント、省察的表現、および社会志向の学習成果を評価するため、教室観察、省察的ライティング、親社会的な意図の測定、およびラーニングアナリティクスを統合したものである。本稿では、倫理審査の承認、測定ツールの内容、ソフトウェアのワークフロー、欠損データの処理、トラブルシューティングの手順、および観察された実施上の制約を含む代表的な結果の解釈について詳述する。
方法論記事
本プロトコルは、4週間の指導期間における大学生の行動的エンゲージメント、省察的表現、および社会志向の学習成果を評価するため、教室観察、省察的ライティング、親社会的な意図の測定、およびラーニングアナリティクスを統合したものである。本稿では、倫理審査の承認、測定ツールの内容、ソフトウェアのワークフロー、欠損データの処理、トラブルシューティングの手順、および観察された実施上の制約を含む代表的な結果の解釈について詳述する。
従来の指標を超えた学生の関与に関する多次元的な評価の必要性に対応するため、本プロトコルでは、学部課程において教室でのエンゲージメント、省察的表現、ラーニングアナリティクス活動、および親社会的な意図を評価するための構造化されたアプローチを記述します。このプロトコルは、インターバルベースの行動観察、週次で構造化された省察的ライティング、匿名化された学習管理システム(LMS)の記録、および事前・事後の親社会的な意図に関する質問票を組み合わせています。改訂された手順では、再現可能な行動コーディングモデル、スコア例を含む省察的表現ルーブリック、ソフトウェアおよびデータ管理の手順、ならびに観察者間の不一致、プラットフォーム記録の欠損、省察提出率の低さ、カメラの視認性不良、参加者の脱落、および前提知識の不一致に対する明確なトラブルシューティングガイダンスを提供します。本プロトコルは、研究者が学部教育において、教室でのライブ行動、学生による自己解釈、および日常的な学習管理システム(LMS)の活動を、低侵襲かつ再現可能な方法で組み合わせる必要がある場合に活用されるべきです。一方で、観察可能な相互作用のない完全な非同期形式のコース、独立した観察や記録の紐付けが禁止されている環境、またはバイオメトリクスや感情認識による推論を必要とする研究には適していません。代表的な結果は、倫理委員会の承認、コース記録の匿名化、およびリポジトリの準備を経て実施された実証的な適用事例から報告されています。
高等教育における学生の参加状況を評価するには、包括的かつ多角的なアプローチが必要です。学生のエンゲージメントは、観察可能な行動、認知的努力、および環境との相互作用を包含する多次元的な構成概念として広く概念化されていますが、現在の分析手法は、ログイン回数やシステムに記録されたアクションなどの、表層的なログデータに主に依存しています1。この過度な依存は、実際の教室ベースの研究において大きな課題となります。教育的な参加における最も重要な形態である、直接的なピアインタラクション、認知的リフレクション、および社会的貢献は、プラットフォームの可視性の限定的な範囲外で発生することが多いためです2。
デジタルプラットフォームと従来の対面指導を組み合わせたハイブリッド教育モデルの導入により、現代の大学における教室の複雑さは増しています。ラーニングアナリティクスの系統的レビューでは、デジタル上の履歴が時間配分、アクセスパターン、長期保持率に関する貴重な洞察を提供することが確認されていますが、これらの指標だけでは、学習者の注意が本当に効率的であるか、あるいは有意義であるかを判断することはできません3。そのため、近年の研究では、デジタル上の履歴を、教室での行動や内省的活動といった、より豊かで文脈依存的な参加尺度と整合させることで、ラーニングアナリティクスをより強固な理論的枠組みに基づかせるべきであると提唱されています4。
リフレクティブ・ライティング(省察的記述)は、この評価に不可欠な質的側面をもたらします。構造化された授業後のリフレクションやジャーナルは、学習活動に対する学生の解釈を捉え、指導上の課題を明確にし、理論的な内容とそれに続く実践的な行動を橋渡しします。近年の実証的根拠により、省察的な表現は、記述的な回想、分析的な推論、自己参照的な表象、および意味の一般化から構成される、統合された多成分構成概念として概念化されています5。さらに、学生に繰り返し省察的なガイダンスを提供することで、内省能力が段階的に強化されることが研究で示されています。コースワークにおける構造化されたリフレクションの頻度が高まるにつれて、学生の自立的な探索スキルも同時に向上します6。
現在のエンゲージメント研究におけるもう一つの大きな欠落は、教室での社会化が軽視されがちであることである。既存の研究では個人の行動や認知が強く強調されているが、大学の教室は、学生が協働や反応的な相互作用を通じて互いに影響し合う、本質的に社会的な学習環境として機能している。新たなエビデンスにより、教室の雰囲気や参加構造が、親社会的な行動や貢献志向のマインドセットと強く相関していることが示されている。これらの成果は、学業成績や学生満足度といった従来の指標と比較して、十分に調査されていない。学術的な設定における親社会的行動は、単に感情的な状態やストレスの副産物ではなく、むしろ、学生が集団的な学習活動の中で自らをどのように位置づけるかに根本的に関係している7。したがって、親社会的な意図を測定することは、教室でのエンゲージメントが、単なる個別のタスク完了を超えて、直接的な指導環境以外でも協調的かつ励まし合う行動を促進するものかどうかを判断するための適切な視点となる8。
これらの概念的な展開は、単一の指導期間内で展開される統合的なエビデンス収集フレームワークの必要性を強調している。マルチソース設計は、単一の指標に依存することによる限界を軽減し、異なる参加形態間での相互検証を可能にするとともに、学生が自律学習を促進するためにクラス後の活動をどのように解釈しているかを明らかにする9。リフレクティブ・アセスメントは学習者の内部的な認知状態を捉えるが、これらの自己報告を客観的な行動トレースで裏付けることで、学習データの解釈可能性は大幅に向上する。現在、体系的な行動観察、構造化されたリフレクティブ・レポート、およびラーニング・アナリティクスをシームレスに統合し、大学での日常的な運用に適した実用的かつ教室で即座に導入可能なプロトコルは、著しく不足している。
これらの手法的な欠点を解消するため、本論文では、大学生の授業へのエンゲージメント、内省的な表現、および親社会的な意向を同時に測定するために設計された評価プロトコルを紹介します。学部教育の環境向けに特化して開発されたこのプロトコルは、科学的な再現性を損なうことなく、管理上の負担を最小限に抑えた効率的な手法を提供します。観察可能な行動、言語化された自己体験、および社会志向の学習成果の間の分析的ギャップを埋めることで、このフレームワークは、教育環境における人間とテクノロジーの相互作用研究において、概念的な明確さを求める高まる要望に応えるものです10。
ヒトを対象としたすべての手法は、ヘルシンキ宣言および関連する施設ガイドラインに従って実施されました。本研究において、プロトコルは被験者の募集開始前に南昌工業大学(Nanchang Institute of Technology)の倫理委員会によって承認されました(承認番号:NITE778291)。参加したすべての学生から書面によるインフォームドコンセントを得ました。分析には、匿名化された集計済みの教室観察データ、リフレクションスコア、ラーニングアナリティクス、およびアンケートデータのみを使用しました。個人が特定可能な教室のビデオ、氏名、施設ID、および編集されていないリフレクションのテキストは、公開から除外されました。
1. 研究デザインおよび参加者の選定
2. ベースラインデータの収集と ID 管理
3. 教室観察の準備
4. インターバルベースの行動コーディング
5. 観察者のトレーニングと信頼性の評価
6. 内省的表現の収集と評価
7. 学習分析の抽出
8. プロトコル後の測定およびデータセットの統合
9. トラブルシューティングおよびプロトコルの適応
参加者の組み入れ、データの完備性、およびスコアの信頼性
全クラスのセクションから204名の学生に initially 参加を依頼し、198名から同意を得た。その後、プロトコルの期間中にコースを脱落したか、または観察、リフレクション、およびプラットフォームの記録間でのデータ連携が不完全であった14例を除外した。その結果、最終的な解析サンプルは184名の学生となった。参加者の特性、週ごとの完了率、および全体的なデータの完備性は表3に詳しく記載されている。
4週間のプログラム期間中、24回のクラスセッションが観察され、各参加者の同期化された学習分析レコードが生成されました。予定されていた736件のリフレクティブレポートのうち、701件が72時間の期限内に提出され、18件が期限後に提出され、17件が未提出でした。最終的に、171名の学生がすべての週次リフレクションを期限内に完了しました。講師アカウント、重複エントリ、および期間外のアクティビティをフィルタリングした後、最終的な184名の参加者について学習分析データが完全に抽出されました。
観察コーディングは、プロトコル期間を通じて非常に安定していました。教室観察における6つの行動指標の評価者間信頼性は、Cohen's kappa値が0.76から0.84の範囲にあり、ドリフトテスト中の全体的な一致率は86%を超えました。内省的表現スコアについては、4つの次元におけるクラス内相関係数(ICC)が0.82から0.89の間でした。表4に、主要研究変数の記述統計量と信頼性指標を示します。
教室での行動観察
観察された教室での行動は、4週間のプロトコルを通じて緩やかな改善を示した。図2に示されているように、課題への集中力、言語的参加、およびピアコラボレーションは、初期の数週間に比べて第4週で有意に高かった。具体的には、言語的参加は第1週の 0.18 ± 0.09 から第4週までには 0.24 ± 0.10 に増加した (p < 0.05)。同様に、ピアコラボレーションは 0.29 ± 0.11 から 0.35 ± 0.12 に上昇した (p = 0.006)。課題への集中力は、0.71 ± 0.12 から 0.76 ± 0.11 へと変化し、極めて有意な改善を示した (p < 0.001)。
対照的に、タスクに集中したメモ取りやデバイスの使用は、わずかな週次増加を示したのみで、統計的な有意差には至りませんでした(p = 0.08)。助けを求める行動は、観察期間を通じて一貫して低く、有意な時間効果は見られませんでした(p = 0.21)。タスク外の注意散漫は、第1週の 0.14 ± 0.08 から第4週の 0.11 ± 0.07 へと有意に減少しました(p = 0.03)。全体として、複合的な教室エンゲージメント観察指標(Observed Classroom Engagement Index)は、第1週の 0.52 ± 0.10 から最終週までに 0.58 ± 0.11 へと有意に上昇しました(p < 0.001)。
4週間のプロトコルにおける省察的表現
省察的表現は研究期間を通じて進化したが、変化の大きさはその下位次元によって異なっていた。図3に示すように、省察の合計スコアは第1週から増加し、第4週までに7.2 ± 1.9となった(p < 0.001)。
分析的深度は、最初の2週間と比較して、第4週の終了時点で著しく大きくなっていました(p < 0.001)。同様に、社会的・親社会的な意味は1.08 ± 0.55から1.54 ± 0.60へと増加し(p < 0.001)、自己調節的志向は1.42 ± 0.63から1.69 ± 0.65へと増加しました(p < 0.05)。対照的に、記述的具体性は2.14 ± 0.57から2.24 ± 0.55へとわずかな上昇傾向を示しましたが、統計的に有意ではありませんでした(p = 0.09)。
プロトコル全体を通じて、提出物の1エントリーあたりの平均単語数は223語から231語の間でした。予想されていた736件のリフレクティブ・レポートのうち、18件が期限後に提出され、17件が未提出でした。また、情報の少ないエントリーや、文脈上の原因または今後の行動・社会的影響に関するプロンプトへの回答を省略したものは、データベース内でフラグが立てられました。これらのケースは実現可能性の指標として保持され、関連するスコアを割り当てることができない場合にのみ、週ごとのリフレクション品質モデルから除外されました。
学習分析期間中のパターンの傾向
プラットフォームの活動指標は、図4に示すように、4週間の期間を通じて個人間で大きなばらつきが見られました。
全期間を通じて、学生のプラットフォーム上での平均アクティブ日数は9.7 ± 2.4日であった。異なるリソースの平均閲覧数は27.3 ± 8.6回であり、割り当てられたリソースの平均閲覧割合は0.81 ± 0.14であった。さらに、ディスカッションへの平均返信数は4.8 ± 2.7回であった。課題提出の平均期限遵守率およびビデオの平均完了率は、それぞれ0.86 ± 0.18および0.79 ± 0.17であった。深夜のプラットフォームアクセスの割合は平均0.12 ± 0.09であった。
注目すべき点として、提出期限の遵守状況のスコアには大きなばらつきがあったものの、ディスカッションへの返信と課題提出の期限遵守は、他の参加指標とより顕著な正の相関を示した。
観察、振り返り、および学習データの相互関連付け
3つのデータソースの間には、一様ではないものの、有意な関連性が認められました。図5に示すように、教室での観察的エンゲージメント指数(Observed Classroom Engagement Indices)が高い学生は、振り返りの合計スコアが高くなる傾向にありました。セクション調整済みモデルにおいて、教室での観察的エンゲージメントは、振り返りの合計スコアを正に予測しました(β = 0.34, p < 0.001)。
ラーニングアナリティクスの変数の中で、ディスカッションへの返信数と課題提出の期限遵守は、リフレクションの質と有意に正の相関を示しました。表5に詳しく示されている通り、ディスカッションへの返信数(β = 0.19, p = 0.013)および課題提出の期限遵守(β = 0.17, p = 0.028)は、リフレクションの合計スコアを正に予測しました。リソースの閲覧回数および割り当てられたリソースの閲覧割合は、当初は正の関連を示しましたが、交絡変数を調整した後はこれらの相関は大幅に弱まりました。深夜帯のアクセス割合は、リフレクションの合計スコアと有意な関連を示しませんでした(p = 0.18)。
また、データからは、観察された教室での行動と特定のプラットフォーム上のアクティビティとの間に、軽微な相互相関があることが明らかになりました。例えば、リソースの単純な閲覧数は、「観察された教室エンゲージメント指数(Observed Classroom Engagement Index)」とわずかに相関しているのみでした。さらに、グループディスカッションに頻繁に参加した学生は、より高い言語的コミュニケーション能力を示し、行動調節能力が高い学生は、課題提出における先延ばし傾向が少ないことが示されました。
親社会的な意図の変化
親社会的な意図は、ベースラインからポストテストにかけて有意な増加を示しました。親社会的な意図の平均スコアは、ベースライン時の 3.61 ± 0.53 から、4週間のプロトコル実施後には 3.84 ± 0.50 に上昇しました(p < 0.001)。図6に、対分布および調整後の関連性を示します。
最終的な調整モデルにおいて、観察されたクラスルーム・エンゲージメント指標が高いほど、ベースラインスコアと比較してプロトコル後の親社会的な意向の増加が大きくなることが予測されました(β = 0.21, p < 0.05)。リフレクティブな次元の中では、「社会・親社会的意味」がプロトコル後の親社会的な意向に対して最も実質的な独立的影響を及ぼしていました(β = 0.29, p < 0.001)。言語的参加は、調整前の解析ではポストテストの親社会的アウトカムと正の相関を示しましたが、ベースライン値を制御した後は、この関連性の統計的有意性は消失しました(p = 0.09)。最後に、深夜のアクセス率は、プロトコル後の親社会的な意向と無関連なままでした(p = 0.27)。
観察された実施上の制約および有意差のない結果
実施された研究では、プロトコルの停止を要するような失敗ではなく、最適とは言えないものの有益な情報を含む結果がいくつか得られた。オブザーバー間のκ係数が0.70を下回ったために除外が必要となったセッションはなく、最終エクスポート後に利用不能なままとなったラーニングアナリティクス項目もなく、また、規定の欠損しきい値を超える視認性の問題も発生しなかった。観察された制約は、リフレクションの完了および、行動面における有意差のない、あるいは限定的な結果に集中していた。具体的には、18件のリフレクションの提出が遅れ、予定されていたリフレクションのうち17件が欠損していた。タスクに集中したメモ取りやデバイスの使用はわずかな増加にとどまり(p = 0.08)、援助要請行動には有意な時間的効果は見られず(p = 0.21)、深夜のアクセスはリフレクションの合計スコアやプロトコル後の親社会的な意向とは関連していなかった。
これらの知見は、プロトコルの実施可能性と境界条件を記述しているため、そのまま保持されました。遅延した、あるいは欠落したリフレクションは、参加者のフローおよびデータの完全性の要約に報告されました。また、限定的または無効な関連性についても、選択的な除外を行うことなく報告されました。さらに、「プロトコル」セクションのトラブルシューティング手順では、観察者のドリフト、視認性の妨げ、またはLMSフィールドの欠落といった想定される失敗を、今後の実施においてどのように処理すべきかが指定されています。
匿名化された解析ファイル、データディクショナリ、解析スクリプト、空白のコーディングフォーム、リフレクション用プロンプト、リフレクション用ルーブリック、および親社会的な意図に関する質問票は、Zenodo(https://zenodo.org/records/20607517)に保存されています。個人を特定可能な教室内の未編集ビデオ、氏名、機関ID、および編集前のリフレクションテキストは公開されていません。

図 1: 研究ワークフローおよびマルチソースデータ統合プロトコル。 (A) 2つの学部コースおよび6つのクラスセクションにおける参加者の募集、同意書の収集、および研究IDの割り当て。 (B) 4週間のデータ収集サイクル:毎週の教室観察、リフレクティブ・ライティング(内省的記述)課題、および同期化されたラーニング・アナリティクス収集ウィンドウ。 (C) 3つの並行データストリーム:教室での行動観察、リフレクティブな表現のスコアリング、および匿名化された学習プラットフォームの記録。 (D) 参加者レベルのマスターデータセットおよび週レベルのロング形式データベースの構築。これにより、主要な研究成果である、観察された教室エンゲージメント指標、リフレクションスコア、および親社会的な意図が算出される。 この図の拡大版を表示するには、ここをクリックしてください。

図 2: 4週間のプロトコル期間中における、観察された教室内の行動の週次変化。(A) 学習への集中。 (B) 口頭での参加。 (C) ピアコラボレーション。 (D) タスクに集中したメモ取りまたはデバイスの使用。 (E) 学習外への注意散漫。 (F) 援助要請。 値は、時間間隔に基づいた教室観察から得られた学生レベルの週次割合スコアである。点は週平均を示し、エラーバーは標準偏差を示す。 この図の拡大版を表示するには、ここをクリックしてください。

図34回のリフレクティブ・サブミッションにおける、省察的表現の週ごとの変化。 (A記述的特異性B) 分析深度 (C) 自己調節志向(D) 社会的・親社会的意味 (E)総リフレクションスコア。リフレクションスコアは、事前規定のルーブリックを用い、2名のブラインド化されたコーダーによって割り当てられた。点は週平均を示し、エラーバーは標準偏差を示す。 この図の拡大版を表示するには、ここをクリックしてください。

図4: 4週間の学習期間中におけるラーニングアナリティクス指標の分布。(A) 学習プラットフォームの利用日数。(B) リソースの閲覧数。(C) 指定リソースの開封率。(D) ディスカッションへの返信投稿数。(E) 平均ビデオ視聴完了率。(F) 課題提出の期限遵守率。(G) 深夜アクセス割合。すべての値は、教室観察およびリフレクティブライティングに使用されたものと同じ4週間の期間で算出された。バイオリンプロットは学生レベルの分布を、ボックスプロットは中央値と四分位範囲を示す。こちらのリンクをクリックして、この図の拡大版を表示してください。

図5: 観察されたクラスルーム・エンゲージメント、省察的表現、および選択されたラーニング・アナリティクス指標の間の関連性。(A) 観察されたクラスルーム・エンゲージメント指標と省察合計スコアの関連性。(B) 投稿されたディスカッションへの返信数と省察合計スコアの関連性。(C) 課題提出の適時性と省察合計スコアの関連性。(D) 口頭参加と省察合計スコアの関連性。トレンド線は適合させた線形関連性を示し、網掛け部分は95%信頼区間を示す。こちらのリンクをクリックして、この図の拡大版を表示してください。

図 6: 親社会的な意図の変化と、教室でのエンゲージメントおよび内省的意味との関連。(A) ベースライン時とプロトコル終了後の親社会的な意図のスコアのペア分布。線は同一学生の前後スコアを結んでいる。(B) ベースラインスコアで制御した後の、観察された教室エンゲージメント指数とプロトコル終了後の親社会的な意図との関連。(C) 社会的・親社会的な意味とプロトコル終了後の親社会的な意図との関連。(D) 言語的参加とプロトコル終了後の親社会的な意図との関連。パネル B-D の網掛け部分は 95% 信頼区間を示す。こちらのリンクをクリックして、この図の拡大版を表示してください。
表1:学生レベルの教室観察指標およびコーディングルール。本表では、「課題への集中(on-task attention)」、「言語的参加」、「ピアコラボレーション」、「課題に集中したノート作成またはデバイスの使用」、「課題外の注意散漫(off-task distraction)」、および「援助要請」の操作的定義とコーディング基準を詳述しています。70分のコーディングウィンドウ、20秒のスキャン/10秒の記録サイクル、クラスタースキャン手順、視認不可ルール、およびOCEI算式については、「プロトコル」のセクションに記載されています。こちらのリンクから本表をダウンロードしてください。
表2:内省的表現のスコアリング枠組み、スコアレベルの例、および学習分析変数の定義。本表は、内省的テキストのスコアリングルブリックを概説したものであり、各内省的次元におけるスコア0、1、2、3の例と、抽出された学習分析変数の操作的定義が含まれている。内省的構成要素には、記述の具体性、分析的深さ、自己調整志向、社会的・親社会的意味、総合内省スコア、単語数、および提出状況が含まれる。学習分析には、アクティブ日数、リソース閲覧数、割り当てられたリソースの開封率、ディスカッションへの返信投稿数、平均ビデオ完了率、課題の提出期限遵守状況、および深夜アクセス率が含まれる。こちらのリンクをクリックして本表をダウンロードしてください。
表3:参加者の特性、組み入れフローおよびデータの完結性。本表は、参加者の適格性、同意率、除外基準、最終的なサンプルサイズ、および3つのデータソースにわたるデータの完結性をまとめたものである。ベースラインの人口統計学的特性とともに、期待されるリフレクション(振り返り)の記載数、期限内提出数、期限後提出数、リフレクションの欠損数、およびラーニングアナリティクスの抽出成功数を報告している。特に指定がない限り、値は n (%) で示している。丸め処理により、パーセンテージの合計が正確に100%にならない場合がある。プロトコルに従い、期限後に提出されたリフレクションはアーカイブされるが、週別のリフレクション分析からは除外される。ラーニングアナリティクスの完結した抽出とは、指導者アカウント、重複エントリ、および期間外のイベントを削除した後、匿名化された研究期間内のレコードの取得に成功したことを意味する。こちらのリンクをクリックして、本表をダウンロードしてください。
表4:主要研究変数の記述統計および検査信頼性スコア。本表は、観察された教室内の行動、内省的表現、ラーニングアナリティクス、および親社会的な意図について、週ごとの平均値、標準偏差、および信頼性指標を示している。教室観察データの信頼性は、Cohen's kappaを用いて評価されている。内省スコアリングの信頼性は、二重採点されたテキストに対するクラス内相関係数(ICCs)として提示されている。親社会的な意図の尺度の内部一貫性は、Cronbach's αを用いて報告されている。ラーニングアナリティクスの変数は、観察および内省に用いられたものと同一の4週間にわたって算出されている。こちらのリンクをクリックして、本表をダウンロードしてください。
表5:観察された教室でのエンゲージメント、リフレクティブ・エクスプレッション(内省的表現)、ラーニングアナリティクス、および親社会的な意図の間の多変数関連。この表は、主要分析で用いられた推論モデルの詳細を示している。内省合計スコアの多変数予測因子、プロトコル実施後の親社会的意図の調整済み予測因子(ベースラインレベルで制御)、および選択された未調整の関連を提示している。β値は非標準化回帰係数を示す。すべての多変数モデルはクラスセクションで調整されている。すべての推定値について、標準誤差(SE)、95%信頼区間(CI)、およびp値が提供されている。こちらのリンクをクリックして、この表をダウンロードしてください。
本研究では、行動観察、リフレクティブ・ライティング、およびラーニング・アナリティクスを統合し、1回の授業時間内で大学生の参加状況、自己表現、および親社会的な意識を包括的に調査するための実践的なプロトコルを提案します。エンゲージメントの異なる側面を捉えることで、このトライモーダル(3つの様式による)アプローチは、利用時間などの指標やセンサーベースのモニタリングを単独で評価しても不十分であるとする、近年の高等教育研究における批判に対応しています1。4週間のプロトコルを通じて、教室での目に見えるエンゲージメントは有意に向上しました。具体的には、口頭での参加やピアコラボレーションが、タスクへの集中力とともに増加した一方で、援助要請やタスクに焦点を当てたノート作成には最小限の変化しか見られませんでした。これらの行動変化は、学生が指導環境に慣れるにつれて、彼らのエンゲージメントがより戦略的で社会的な相互作用を伴い、貢献志向の参加へと進化することを示しています16。
手法に焦点を当てた視点から言えば、本プロトコルの価値は、一律に肯定的な結果を得ることではなく、規律ある実施に依存します。したがって、改訂されたワークフローでは、事前に規定されたOCEI算式、独立した観察、記録されたソフトウェア処理、ルーブリックの例、信頼性の閾値、および欠損データの明確な取り扱い規則を強調しています。これらの追加事項は、プラットフォームの記録、学生の出席状況、カメラの視認性、および振り返りの質が不完全である一般的な教室環境においても、本プロトコルの再現性を確保することを目的としています。
本プロトコルは、状況(フォーマット)に応じて調整が必要であると解釈されるべきです。大規模な講義形式では、観察者はより小規模な回転クラスターと、より長いキャリブレーション期間を必要とする場合があります。オンライン形式のクラスでは、行動観察は室内のスキャンではなく、インタラクションログや目に見える参加状況に依存することになります。研究室(ラボ)では、安全に関連する行動に別途指標が必要になる場合があります。また、文化的に多様な教室では、振り返りのプロンプトや親社会的な意図に関する項目について、使用前に言語的な明快さと文化的適切さを検討する必要があります。
リフレクティブ・ライティング(内省的記述)は、これらの行動パターンにさらなる洞察をもたらします。リフレクションの総合スコアは、プロトコル全体を通じて一貫した上昇傾向を示し、特に分析の深さと社会的・親社会的な意味づけにおいて最も顕著な改善が見られました。学生は単に教室での出来事を回想するのではなく、教育状況をより広く、社会的な意識に基づいた視点から分析する能力が高まっていることを示しました。これは、表面的な記述量に大きな変化がなくても、構造化されたリフレクション課題を繰り返し行うことで、高次的な意味形成と知識ベースのディスクールが促進されるという最近の知見と一致しています9。したがって、高等教育におけるリフレクティブ・ライティングは多次元的な構成概念として理解するのが最適であり、解釈、転移、および自己調節的投影に関連するスキルは、時間の経過とともに異なる速度で発達すると考えられます5。
ラーニングアナリティクスの統合により、マルチソースプロトコルの必要性がさらに正当化されました。ディスカッションへの返信や課題の提出期限の遵守といった実質的な行動は、単なる活動量よりも、エンゲージメントを示すはるかに有益な指標であることが証明されました。対照的に、深夜のプラットフォームアクセスは、リフレクションの質および向社会的な意図のいずれとも、有意義な関連性は認められませんでした。これらの知見は、学生の関与を評価するために、単純な頻度やログイン指標に過度に依存することに警鐘を鳴らした先行研究を支持するものです4。本結果は、コース教材と建設的に相互作用する学生ほど、リフレクション能力が高まることを示唆していますが、基本的なプラットフォーム活動が、観察可能な教室でのエンゲージメントを完全に反映しているわけではありません。したがって、観察、リフレクション、およびアナリティクスの間に過剰な冗長性ではなく適度な重複があることは、独立した単一ソースによる推論よりも、複合的な測定戦略を用いることの正当性を裏付けています17。
本研究の副次的な貢献は、評価対象となった成果を標準的な参加指標以上に拡大させた点にあります。親社会的な意図は、事前テストから事後テストにかけて測定可能な増加を示し、特にリフレクションにおいて社会的・親社会的なテーマを明確にし、広範な相互作用プロファイルを維持した学生の間で最も強い関連性が見られました。これは、協調的で貢献志向の特性が単なる副産物ではなく、教室内の相互作用に不可欠であるとする現在の高等教育研究の結果と一致しています8。さらに、これらの結果は、教室を複雑な社会システムとして概念化することを支持するものです。学生が学習コミュニティに対する自身の相対的な貢献度を能動的に評価すると、その行動は単純な形式的遵守から、建設的で親社会的な関与へと移行する傾向があります18。
これらの結論は、教育設計に活用可能な知見を提供する。提案したプロトコルでは、特殊なセンサーや侵襲的なモニタリングシステムを必要としない。インターバルベースの観察、週次の構造化されたリフレクション、および標準的なコースプラットフォームのデータのみに依拠することで、この組み合わせは、エンゲージメントに関する透明性の高い形成的エビデンスを必要としながらも、高度な技術的インフラを欠いている学部教育の環境において、極めて実現可能な解決策となる。学習コミュニティや価値創造教育を強調する近年の教育的枠組みは、学生を単なる受動的な消費者ではなく、能動的な共同創造者として再定義することが、高等教育への参加にさらなる意味を吹き込むことを示唆している19。寄与に関連する指標が、単なるプラットフォームのトラフィックよりも、リフレクションの質や向社会的な意図と強く相関してクラスター化しているという我々の実証的知見は、このような教育的転換を強力に支持するものである。
いくつかの制限事項を認める必要があります。第一に、本プロトコルは限られた数のクラスセクション向けに設計されているため、研究室ベース、講義中心、完全非同期のオンライン、または文化的に多様な環境への転用には、計画的な適応と信頼性の再検証が必要です。第二に、親社会的な意図は自己報告によって測定されており、直接的な行動の根拠(グラウンド・トゥルース)ではなく、報告された意図として解釈されるべきです。第三に、ラーニングアナリティクスはプラットフォームを介した活動を捕捉するため、オフラインでの準備、非公式なピアサポート、および開示されていないAI支援による学習が見落とされる可能性があります。第四に、4週間の観察期間では、短期間の実施パターンを特定することはできますが、より長期的な発達軌跡を捉えられない可能性があります。最後に、4週間の代表値は、一般化可能な因果推計ではなく、コンテクスト特異的な実施のエビデンスとして解釈されるべきです20。
今後の研究では、このフレームワークをいくつかの方向へ拡張すべきである。多様な学術分野や指導法において本プロトコルを再現することが、重要な次のステップとなる。加えて、これらの短期的な省察実践が、持続的な親社会的な態度や持続的な行動上の利益を生み出すかどうかを判断するために、縦断的なフォローアップが必要である。今後の研究では、この観察フレームワークを、ピアアセスメント、グループレベルの成果物分析、またはイベントシーケンス分析などの代替手法と比較することも考えられる。とはいえ、現状のままでも、このプロトコルは、学生が教室で何を行い、その後それらの行動をどのように解釈し、より広い学習環境の中で自らを社会的にどのように位置づけているかをトライアンギュレーションするための、堅牢で操作可能なメカニズムを提供するものである。
著者は開示すべき事項はない。
著者は、本研究に参加した学部生およびコース講師に心より感謝いたします。彼らの協力は、行動観察、リフレクティブ・ライティング、およびラーニングアナリティクスの記録を得る上で不可欠でした。本研究は、公的、商業的、または非営利セクターのいかなる資金提供機関からも特定の助成金を受けていません。
| 名前 | 会社 | カタログ番号 | コメント |
|---|---|---|---|
| 教室観察コーディングシート | 自作 | 6つの二値行動指標 | オンタスクへの注目、言語的参加、ピアコラボレーション、タスクに集中したメモ取り/デバイス使用、オフタスクの注意散漫、およびヘルプシーキングの間隔ベースコーディング。 |
| GraphPad Prism | Graphpad | Version 10.2.3 | ワークフロー図、週次トレンドプロット、分布図、および関連図の作成。 |
| 機関学習管理システム / コースプラットフォーム | 所属大学 | 既存の機関LMSアカウントシステム | 匿名化されたラーニングアナリティクスの収集。 |
| Microsoft PowerPoint | Microsoft | Microsoft 365 v2402 | ワークフロー図、週次トレンドプロット、分布図、および関連図の作成。 |
| R | R Foundation | ggplot2 3.5.1 | |
| 表計算ソフトウェア | Microsoft Corporation | Microsoft Excel 365 v2402 | データ入力、クリーニング、匿名化チェック、および観察/リフレクション/アナリティクスデータセットの統合。 |
| SPSS Statistics | IBM Corp | Version 26.0 | 統計解析ソフトウェア。記述統計、反復測定比較、Cohen's kappa、ICC、Cronbach's alpha、相関、および回帰モデル。 |
このJoVE記事のテキストまたは図の再利用許可をリクエスト
許可をリクエスト