本研究は、ディープラーニングアルゴリズムを用いて大学の教室の動画で学生の行動を検出することで、学生の行動関与を評価します。学習への関与と正の相関を持つ7つの行動を特定し、スコアモデルを用いて個々の生徒とクラス全体の関与度を評価します。
このコンテンツを表示するには、JoVEへの購読が必要です。 または、無料トライアルをお申し込みください。
この記事について
サマリー
要約
本研究は、ディープラーニングを用いたビデオオブジェクト検出を用いて、大学の教室における学生の学習関与を評価することを目的としています。そのために、相関分析を通じて、本研究はまず、学習エンゲージメントと非常に正の相関を示す7つの教室行動を、生徒の学習エンゲージメントを測定する指標として特定しました。次に、山東科技大学(SDUST)の6クラスの実際の教室での授業を30本の同期動画で収集し、トレーニングセットとテストセットに分けました。7つの挙動を訓練データに手動で注釈付けした後、機械学習アルゴリズムがこのセット上で教師ありの方法で訓練されました。学習後、モデルは残りのラベルなしデータに対して初期注釈を生成しました。より正確かつ効率的な教室での行動認識を実現するために、本研究は行動検出実験にFaster R-CNNとYOLOv5sという代表的なアルゴリズムを選びました。精度と時間コストの面での検出性能の比較に基づき、本研究ではYOLOv5sが教室での行動検出に選ばれました。最後に、本研究ではフォーカスグループ手法を用いて各行動にスコアを割り当て、3段階の学習エンゲージメントスコアリングモデルを開発しました。自動測定された行動データに基づき、このモデルは個人レベルとクラスレベルの両方で学習参加度をリアルタイムかつ自動的に評価することを可能にします。
概要
学習エンゲージメントとは、生徒の学習への参加、集中力、努力を指し、行動的関与、感情的関与、認知的関与から成ります。生徒の学習関与は学習状況を明らかにし、教師が指導戦略を調整するのに役立ちます。しかし、教室での学習参加度は主に生徒の自己報告と教師の観察によって評価されます。3.中国の大学における高い教員と学生の比率は、教師が従来の手作業による学習エンゲージメント評価に多大な時間と労力を要することを意味します。
近年、中国でインテリジェント録画・放送教室の普及が進む中、教室動画に基づく学習参加度の自動測定が可能になっています。インテリジェント技術による教室教育の観点から、本研究はディープラーニング手法を用いて大学の教室動画で学生の行動を検出し、学生の行動関与を自動的に測定するスコアリングモデルを提案しました。
行動関与研究の簡単なレビュー
行動参加には主に3つのレベルがあります。(1) 学校レベルでは、生徒が課外活動に参加したいという熱意を指します。(2) 教室レベルでは、授業中の生徒の前向きな行動(例えば授業の順序に従うこと)や、授業をサボったり6年生で話したりするような破壊的な行動が含まれます。(3) 学習過程のレベルでは、質問をしたり宿題を完了したりするなど、学習課題への生徒の参加や行動を指します。現在、行動関与を評価する方法は大きく分けて手動、半自動、自動の3つのカテゴリーに分類できます。
自己申告、面接、教師観察、その他の従来の評価方法を含む手動方法は、手間がかかり、客観性と正確性を確保するのが困難です。ログ分析は、主に学習プラットフォームから収集された学習ログデータを分析する代表的な半自動評価手法です。ログイン頻度、オンライン時間、回答の正確性などの指標が含まれます。この方法は、生徒の学習参加度をより客観的に評価できます。しかし、データの膨大かつ複雑さは、その後の処理に課題をもたらします。自動方式はコンピュータビジョンに基づいており、録画や放送プラットフォームなどのインテリジェント機器を用いて、主に教室での行動を評価するために、生徒の表情、ジェスチャー、行動、その他の視覚的手がかりを捉えます。前述の2つの方法と比較して、このアプローチはコンピュータやアルゴリズムを通じた行動関与の迅速な測定を可能にし、主観的な干渉の影響を受けにくい9。
物体検出に基づく行動関与評価の簡単なレビュー
ディープラーニングの台頭に伴い、オブジェクト検出技術は学習エンゲージメント分析にますます応用されています。オブジェクト検出アルゴリズムは、畳み込みニューラルネットワークに基づく画像のオブジェクト分類と局在化を行います。ビデオ録画システムを備えたスマート教室では、これらのアルゴリズムが教室の動画から生徒の姿勢、ジェスチャー、表情に関連する視覚情報を認識し、生徒の行動を自動的に特定し、行動への関与を評価することが可能になります。したがって、生徒の非言語的行動に反映される教室での学習状態は効果的に解釈可能です。
さまざまな機器やアルゴリズムが、動画から生徒の複数の非言語行動を収集・特定するために用いられています。Rahmanら10 、ZaleteljとKošir11 はKinectセンサーを用いて学生の視線、顔情報、身体姿勢の特徴などを収集し、機械学習アルゴリズムを用いて注意レベルを分析しました。WhitehillらはiPadウェブカメラを使って生徒 の表情を記録し、認識モデルを訓練し、機械学習技術が学習エンゲージメント評価の精度において人間の観察と同等であることを証明しました。スクマランとマノハラン12 はEGG信号を使って学生の関与を検知しました。AshwinとGuddeti13 は、畳み込みニューラルネットワークを用いて実験室の教室映像を分析し、表情、手の姿勢、身体の姿勢などの非言語的行動を検出し、学習への関与を評価しました。Baiら14 は、Faster R-CNNを用いて多重化特徴融合を用いて、学習、睡眠、頭を下げるなどの教室行動を転移学習によって検出しました。Dengら9は、Faster R-CNNディープラーニング技術を組み合わせてリモート教室の動画を分析し 、生徒の頭部、手、体の姿勢に基づく行動認識と教室での関与測定を実現する方法を提案しました。
初期の研究は主に実験室で行われ、多くは10,11,12,13の単一シナリオで個人に焦点を当てていましたが、近年の研究では実際の教室環境(9,14,15,16,17,18,19)を調査することが増えています。.さらに、調査される行動の範囲はますます多様化しています。例えば、Baiら14とOuyangら15は、教室の動画で頭を上げる動作と頭を下げる行動の2つだけを特定しました。Dengらは小学校の教室の映像を調査し、検出された行動カテゴリーを頭部の動きから手や体の動きまで拡大しました。張氏らは、上を見る、下を見る、寝る、周りを見回す、あくびの5種類の行動を収集しました。
しかし、データは小学校の教室から収集されたため、生徒は通常固定された位置に座っているため、観察可能な行動の範囲は比較的限定的でした。そのため、その後の研究はますます大学の教室に焦点を当てています。多くの大学の教室は広く、約100人の学生がランダムに座っていることが多く、学生の行動を察知するのが難しくなります。さらに、実際の大学の教室では、生徒は教師やクラスメート、黒板、教科書との交流など、より多様な行動や相互作用を示します。Yanら17 は、混雑した教室シーンでの姿勢認識精度向上を目的としたディープラーニングベースの姿勢認識手法「BetaPose」を提案しました。Tanら18 はYOLOv9ネットワークに協調注意(CA)モジュールを組み込み、その結果生まれたCA-YOLOv9モデルは、大規模な学生集団を持つ複雑な大学教室環境における7つの教室行動の認識に適用されました。Wangら19 は、知的教室における生徒の行動、特に小規模で遮蔽された対象を特定するための双方向特徴増強ネットワーク(BATNet)を提案しました。
アルゴリズムの開発により、行動検出の速度と精度が大幅に向上しました。しかし、現在の研究では、教室で検出された行動と生徒の関与との間に相関関係があるかどうかの説明が無視されており、特定の行動が行動関与を測定するパラメータとして使えるか、またどの行動が学習関与を効果的に反映できるかといった疑問が未解決のままです。さらに、生徒の行動参加を明確に示す方法も検討する必要があります。したがって、本研究は相関分析を通じて、生徒の学習関与と高度に関連する教室行動を特定しました。一方で、行動関与の評価モデルを構築するためのスコアリングシステムが開発されました。その結果、個々の生徒だけでなくクラス全体に対しても行動関与の自動測定が可能です。
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
プロトコル
すべての映像は山東科技大学が定める最新の人間研究倫理的慣行に従って取得・使用されました。データの利用許可が下りました。
まず、相関分析を行い、行動関与の指標となりうる生徒の行動を特定しました。フレーム抽出でデータセットが確立され、トレーニングセットとテストセットに分割された後、対象検出のための代表的な2つのアルゴリズムがトレーニングセット内で実行され、精度と効率の観点で比較されました。最後に、パフォーマンスの良いアルゴリズム(YOLO-v5s)がテストセット上で動作し、行動検出を行いました。 図1 は、生徒の行動の特定と検出のプロセスの流れ図を示しています。
図1。生徒の行動の特定と検出のフローチャート。この図の拡大版はこちらをクリックしてご覧ください。
指標の特定
物体検出実験を行う前に、生徒の行動関与を示す非言語的行動を特定する必要がありました。これまでに、物体検出に基づく行動関与の研究は、視線、顔情報、身体姿勢など多様な非言語的行動の検出に成功しています(9,10,11,12,13,14)。しかし、特定の行動が生徒の行動関与の指標として正当化されるかどうかはまだ議論されていません。したがって、本研究では、生徒の行動と行動関与レベルとの相関分析を用いて、行動関与を示す行動を特定しました。
(1) 行動関与テスト
本研究は、SDUST-Jinanの4つの非英語専攻の自然なクラスから122名の学部生を抽出し、相関研究のサンプルとして選びました。まず、自己申告尺度を用いて122名の学生から行動関与データを収集し、内部経験の観点から行動関与の状態を理解することを目指しました。本研究の教室映像データは「Academic English」クラスから取得されたため、Ren Qingmei20 が開発した大学英語教室での学習参加度の多次元評価ツールが採用されました。このツールは特に中国語の外国語教育環境向けに設計されており、本研究と同様に学習関与の古典的な分類を用いており、行動的関与、感情的関与、認知的関与の3つの次元を含みます。その中でも、行動関与のツールは9項目で構成されており、教師と生徒の相互作用(例:「英語の授業で教師の質問に積極的に答える」)、個人の努力(例:「英語の授業中に遭遇する困難を慎重に考慮する」)、仲間との交流(例:「他の生徒と協力して英語の授業の学習課題を完了する」)などに対応しています。各項目はリッカート5点スケール形式で提示され、「ほとんどない、稀に」「時々」「頻繁に」「いつも」の回答選択肢が1から5までで、生徒は自分の学習体験に最も合った選択肢を選びます。15点以下の学生は低エンゲージメントの学生、16〜30点の学生は中程度のエンゲージメントの学生、31〜45点の学生は高いエンゲージメントの学生に分類されました。最後に、120件の有効な尺度が収集され、そのうち17人が低エンゲージメントカテゴリー、45人が中程度のエンゲージメントカテゴリー、58人が高エンゲージメントカテゴリーに分類されました。
(2) 行動識別
一方で、これら4つのクラスの「アカデミック英語」クラスの全人数参加から合計50分の録画動画4本が収集されました。15秒ごとに1フレームを描画し、最終的に200枚の画像が抽出されて観測されました。3人の学生によるビデオサンプルの繰り返し視聴に基づき、本研究は教室内での生徒の行動の12種類を特定しました。すなわち、周囲を見回す、携帯電話を使う、議論する、歩き回る、歩き回る、食べたり飲んだりする、ノートを取る、読む、注意深く聞く、質問に答えるために立ち上がる、あくび、睡眠する、コンピューターを使うことです。12の挙動の例は 図2に示されています。
図2。12の行動例。この図の拡大版はこちらをクリックしてご覧ください。
各タイプには視覚的特徴や時空間的文脈の詳細な記述が添えられ、教室行動注釈の標準作業手順(SDR)が形成され、注釈間の概念的一貫性を確保しました。 表1は 生徒の行動の12のカテゴリーとそれぞれの行動の説明を示しています。
周囲を見回すには、頭を左右、そして後ろに大きく回すことが含まれていました。生徒が頭を向けて口を開くと議論中とみなされました。教室のシナリオでは、注意深く聞くことは黒板や目の前に立つ教師をじっと見つめることと結びついていました。視線が別の方向に向けられると、その生徒はおそらくさまよい歩いていた。生徒が頭を下げた姿勢を示し、本やノートなどの物があった場合、その行動はノートを取っているか本を読んでいると識別できます。立った姿勢で、生徒が口を開けて座席に立っている場合、その生徒は立った姿勢で質問に答えているとみなされました。もし生徒が席から外れていた場合は、その生徒は「回っている」とみなされ、授業に遅刻したり教室を出たりしている可能性が示唆されます。生徒が机に頭を伏せていると、その人は眠っていると認識されました。生徒が食べ物や飲み物を手に持っている場合、その行動は「食べている」または「飲んでいる」と識別されました。口を大きく開けたり体を伸ばす行動姿勢は、あくびをしていることを示していました。
| 行動カテゴリー | 行動の説明 |
| 周りを見回す | 頭が右、左、または後ろに明らかに動く |
| 携帯電話の使用 | 携帯電話を手で触る |
| 議論 | 口を開け、頭を動かす |
| 放浪 | 無関係な場所を虚ろに見つめる |
| 回り歩く | 席を離れる |
| 飲食 | 口を開けて食べ物や水に触れている状態 |
| ノートを取るか読書するか | ノートを取ったり、本を見下ろしたりしています |
| 注意深く聞く | 黒板や先生を見つめること |
| 立ち上がって(質問に答えるため) | 口を開けて席で立ち上がる |
| あくび | 口を開けるか体のストレッチ |
| 眠っている | 机に頭を乗せて |
| コンピュータの使用 | 机の上には開いたパソコンがあった |
表1:生徒の行動のカテゴリーと説明。
(3) 相関解析
上記の基準を用いて、12人の経験豊富な教師が120人の生徒の動画を見て、行動タイプや頻度を記録しました。行動は 表1に従って特定されました。教師たちは4つのグループに分けられ、各グループには3人の教師がいました。各グループは30人の生徒を記録し、3人の教師それぞれが独立して30人の生徒の行動を記録しました。クロンバックのアルファ(αと呼ばれる)は、スケールやアンケートの内部整合性を測定する指標です。クロンバックのアルファの値範囲は0から1であり、0.8 α ≥通常良好な内部整合性21として解釈されます。3人の教師全員で特定の行動の頻度に高い一貫性(α > 0.8、つまり高い一貫性)があった場合、その行動の頻度は3つの頻度の平均として記録されました。その後、一方で各生徒の異なる行動頻度を示すデータと、行動関与度を示すデータを用いて、両者の相関分析が行われました。結果は 表2に示されています。
| 行動 | 行動的関与 | |
| 飲食 | ピアソン相関 | .319** |
| シグ(2本尾) | 0.004 | |
| N | 120 | |
| あくび | ピアソン相関 | -.335** |
| シグ(2本尾) | 0 | |
| N | 120 | |
| 議論 | ピアソン相関 | .546** |
| シグ(2本尾) | 0 | |
| N | 120 | |
| 回り歩く | ピアソン相関 | -.774** |
| シグ(2本尾) | 0 | |
| N | 120 | |
| 放浪 | ピアソン相関 | .293** |
| シグ(2本尾) | 0.008 | |
| N | 120 | |
| 周りを見回す | ピアソン相関 | -.834** |
| シグ(2本尾) | 0 | |
| N | 120 | |
| 読書やノート取り | ピアソン相関 | .912** |
| シグ(2本尾) | 0 | |
| N | 120 | |
| 注意深く聞く | ピアソン相関 | .881** |
| シグ(2本尾) | 0 | |
| N | 120 | |
| 立ち上がる | ピアソン相関 | .330** |
| (質問に答えるため) | シグ(2本尾) | 0 |
| N | 120 | |
| 眠っている | ピアソン相関 | -.411** |
| シグ(2本尾) | 0 | |
| N | 120 | |
| 使用 | ピアソン相関 | .591** |
| 携帯電話 | シグ(2本尾) | 0 |
| N | 120 | |
| コンピュータの使用 | ピアソン相関 | .362** |
| シグ(2本尾) | 0.001 | |
| N | 120 |
表2:相関解析結果。
相関解析において、rは相関係数であり、2つの変数間の線形相関度を指し、−1から1の範囲です。関係度に応じて、相関は以下のタイプに分類できます。
高い相関(│r│ ≥ 0.70)
中間相関(0.40 ≤ │r│ ≤ 0.70)
相関関係は低い(†r│ ≤ 0.40)
関係の方向性によって、以下のタイプに分類できます:
正の相関(r > 0)
負の相関(r < 0)
相関なし(r = 0)
表1から、周囲を見回す(r = −0.834**, p < 0.05)、携帯電話の使用(r = 0.591**、p < 0.05)、議論(r = 0.546, p < 0.05)、回り(r = −0.774**, p < 0.05)、ノート取りや読書(r = 0.912**, p < 0.05)、注意深く聞く(r = −0.881**, p < 0.05)、睡眠(r = −0.411**、 p < 0.05)、行動関与と高いまたは中程度の相関があり、一方で食事や飲水(r = 0.319**, p = 0.04)、立ち上がること(質問に答えるため)(r = 0.330**, p = 0.00)、あくび(r = −0.335**, p < 0.05)、さまよること(r = 0.293, p > 0.05)、コンピュータ使用(r = 0.362, p < 0.05)などの行動は行動関与との相関が低いか全くありませんでした。相関分析に基づき、本研究は最終的に学習への関与を示す7つの行動を特定しました。すなわち、周囲を見回す、携帯電話を使う、議論する、移動する、ノートを取る、読む、注意深く聞く、そして睡眠です。
データセットの確立
本研究で使用されたビデオデータは、SDUSTの直接録画プラットフォームから収集され、「Academic English」コースの実際の教室での授業を同期した映像を提供しました。非英語専攻の4クラスから約50分の動画を収集し、生徒の教室での行動の訓練可能なデータセットを構築しました。15秒ごとに1フレーム描画され、最終的に2,000枚の画像が抽出され、解像度は1,920×1,080でした。
データセットの分割
この実験では、生徒の行動データセットを完全に独立した2つの部分、すなわちトレーニングセットとテストセットに分割しました(表 3に示されているように、共有画像はありません)。このデータセットは7つの学生の行動すべてを網羅していました。トレーニングセットとテストセットは、それぞれモデルパラメータのトレーニングと精度評価に使用されました。トレーニングパラメータは 表4に示されたように設定されました。
| データセット | 画像の数 |
| 合計 | 2830 |
| トレーニングセット | 2111 |
| テストセット | 719 |
表3:学生行動データセットの分割。
| パラメータ | 価値 |
| 学習率 | 0.01 |
| 運動量 | 0.937 |
| 重量減衰 | 0.0005 |
| 時代 | 100 |
| バッチサイズ | 16 |
表4:実験パラメータの設定。
同じ学生が異なるサブセットに現れることによるデータ漏洩を防ぎ、行動の自然な時間的連続性を保つために、「階層化時間分割」法が採用されました。
主語の切り離: データセットは一意の学生IDで分割されており、トレーニング、検証、テストセット内の学生が相互排他的であることが保証されました。
時間分割: 動画は時系列で整理されていました。時間セグメントの最初の70%はトレーニングに、次の15%は検証用、最後の15%はテスト用に使われました。この方法はランダムスプリッティングに比べて現実世界の時間的一般化をより良いシミュレートで行いました。
クラスバランス: 「睡眠」や「携帯電話使用」などの過小評価カテゴリーでは、すべてのカテゴリーから特徴を学習できるように、トレーニングセット内で適度なオーバーサンプリングが適用されました。
トレーニングデータセットの注釈
オープンソースの注釈ツールを用いて、訓練データに手動で注釈を付けました。このツールはバウンディングボックスの注釈に使われました。具体的なワークフローは以下の通りです:(1) 異なる学校、時間帯、コースタイプをカバーする監視映像から固定レート(1フレーム/秒)でキーフレームを抽出し、その後顔のぼかしなどの匿名化処理を行いました。(2) 注釈SOPに従い、注釈者は特定の行動を行う生徒を正確に区切るために長方形のボックスを使用し、対応するカテゴリーラベルを割り当てました。(3) 注釈はPASCAL VOC形式のXMLファイルとしてエクスポートされました。
ラベル品質を確保し、特に曖昧な動作(例:議論と徘徊)を区別する際の誤りを避けるために、「三段階注釈-仲裁」という共同作業メカニズムが実装されました。
初期注釈: 各キーフレームは3人の訓練を受けた注釈者によって独立して注釈が付けられました。各ラベルはカテゴリラベルとバウンディングボックスで構成されています。
一貫性検証: 注釈間の交差・和集合のカテゴリー整合性が計算されました。境界ボックスは、IoU > 0.8と同一のカテゴリラベルによる初期注釈の結果であり、「一貫した注釈」と見なされました。IoU ≤0.8または同一でないカテゴリラベルのバウンディングボックスは「一貫性のない注釈」とみなされました。
専門的な仲裁: 一貫性のない注釈(例:「見回す」と「議論する」といった曖昧なケース)については、教育経験のある専門家パネルがビデオクリップ、行動の文脈、教育的な事前知識に基づいて最終判断を行いました。最終的な判断は、キーフレームのソース映像セグメントの検査を通じてラベルの正確性を検証することで行われます。
注釈は、 図3に示すように、学生の行動が複数で集中的かつ小さなターゲットによって特徴づけられていることを明らかにしました。
図3。教室画像注釈の例。この図の拡大版はこちらをクリックしてご覧ください。
授業中の生徒たちは、注意深く聞くこと、携帯電話の使用、頻繁に読書やノートを取る行動を示しましたが、外回りや歩き回る頻度は比較的少なかったです。図4はトレーニングデータセットにおける教室行動の分布を示しています。
図4。トレーニングデータセットにおける行動の分布。 この図の拡大版はこちらをクリックしてご覧ください。
生徒の行動の検出
深層学習に基づく物体検出フレームワークは主に22のカテゴリーに分けられました:2段階法(Faster R-CNNシリーズ)と1段階法(YOLO)です。第1のカテゴリーでは、2段階検出法がまずリージョン提案ネットワーク(RPN)を用いてリージョン提案を作成し、その後詳細なクラス確率計算とバウンディングボックス回帰を行いました。2つ目のカテゴリーでは、1段階の手法が単一段階でオブジェクトクラスとバウンディングボックスを同時に予測することで検出プロセスを効率化しました。二段階手法はこの分野の発展初期に登場しましたが、一段階手法はその簡略化されたアーキテクチャと計算効率から人気を集めています。より正確かつ効率的な教室行動認識を実現するために、本研究は両カテゴリーから代表的なアルゴリズム、すなわちFaster R-CNN23,24とYOLO-v525,26を選び、教室での行動検出実験を行い、両アルゴリズムの検出結果を比較した後、本研究で行動検出に用いるアルゴリズムを決定しました。
実験結果を効率的に評価するため、各アルゴリズムモデルの時間コストに対して全体的な検出精度に重点が置かれました。平均精度(mAP)と訓練時間(h)を用いて2モデルを測定しました。
2つの方法で7つの行動カテゴリーが認識され、平均検出精度値(AP)は 表5に記録されました。その中で、YOLO-v5は移動、講義を注意深く聞く、携帯電話の使用という3つの動作カテゴリーの検出でFaster R-CNNを上回り、AP値はそれぞれ100%、62.7%、31.8%でした。
| ネットワークモデル | 議論 | 回り歩く | よく聞く | 周りを見渡す | 眠っている | ノートを取るか読むか | 携帯電話の使用 |
| より高速なR-CNN | 32.6 | 99.5 | 45.4 | 9.3 | 22 | 52.6 | 26.8 |
| YOLO-v5s | 17.8 | 100 | 62.7 | 3.8 | 19 | 51 | 31.8 |
表5:単一クラスにおける2つのアルゴリズムの平均精度。
テストセット上の2つの古典的検出ネットワークの訓練時間と平均検出精度は、IoU 0.5での表 6に示されています。Faster R-CNNネットワークは精度が高いものの、実行時間は比較的長かったです。比較すると、YOLO-v5は稼働時間を30%短縮し、精度低下は0.3%で、効率の向上がより大きく向上しました。本研究では教室内の生徒行動をリアルタイムで検出する必要があるため、ネットワークの研修期間はできるだけ短くすることが期待されていました。訓練セット上で訓練されたモデルの検出精度と時間コストの両方を考慮し、本論文はYOLO-v5sの方が教室での生徒行動検出により適していると結論づけました。
| ネットワークモデル | h | mAP@0.5(%) |
| より高速なR-CNN | 2.88 | 41.17 |
| YOLO-v5s | 2.016 | 40.87 |
表6:検出性能の比較。
したがって、本研究ではYOLO-v5sが教室での行動検出に選ばれました。YOLO-v5による検出結果は 図5に示されており、連続的なマルチターゲット挙動検出と対応するラベルが示されています。
図5。テストセットの検出結果の例。この図の拡大版はこちらをクリックしてご覧ください。
(1) データ拡張および前処理
モデルの堅牢性と一般化を高めるために、トレーニング中にランダムアフィン変換、カラージッター、ランダムオクルージョンを含む複合データ増強戦略が用いられました。すべての画像は640ピクセル×640ピクセルに一様にリサイズされました。
(2) 訓練戦略
訓練プロセスは3つの段階に分かれていました。
凍結バックボーンフェーズ(エポック1-100):バックボーンネットワークは凍結され、検出ヘッドのみが学習速度を低くして学習を始めました。
全ネットワーク微調整フェーズ(エポック101-250):すべてのネットワーク層が凍結解除されました。コサインアニーリングスケジューラーが学習率を調整しました。
精錬フェーズ(エポーク251-300):指数移動平均を適用してトレーニングを安定化させ、モデルの精錬のためにデータ増強の強度を低減しました。
クラスの不均衡に対処するため、訓練セット内の周波数に反比例するクラス固有の重みを損失関数に適用しました。
(3) 後処理および時間最適化
教室での行動における時間的一貫性を維持するため、モデル推論後に時間的一貫性フィルターが適用されました。具体的には、ビデオシーケンス内で検出されたターゲットの場合、その行動カテゴリを少なくとも3フレーム連続で特定しなければならず、これにより一時的な誤陽性を効果的にフィルタリングしました。
行動関与スコアリング法の確立
この研究では、フォーカスグループ法を用いて各行動にスコアを割り当てました。20名の第一線大学教員が、教室管理の経験に基づいて7つの行動カテゴリーの関与度を評価するよう招かれました。20名の教師全員が10年以上教鞭をとり、複数の分野にわたる幅広いコースを担当してきました。エンゲージメントスコアは0から3の範囲で、0-1は低いエンゲージメント、1-2は中程度のエンゲージメント、2-3は高いエンゲージメントを示しました。特定の行動タイプに対して複数の評価者の評価に高い一貫性(α >0.8)がある場合、その行動の関与度は個々の教師の評価を平均することで測定されました。各行動の種類に対する最終評価は 表7に示されています。
| 行動タイプ | 周りを見渡す | 携帯電話の使用 | 議論 | 回り込んでる | ノート取りや読書 | 注意深く耳を傾けている | 眠っている |
| エンゲージメントスコア | 0.9 | 1.2 | 1.9 | 0.6 | 2.7 | 2.8 | 0.2 |
表7:行動評価。
各生徒の行動関与の公式は次の通りです
ESi=学生の行動関与、 Sj = 行動スコア、 fj = 行動頻度 j。
クラスで検出された行動数が100で、そのうち「議論」4、注意深く聞く68、「読書/ノート取り」25、「周囲を見回す」3が含まれると、生徒の総合的な個人的関与スコアは(1.9 × 4 + 2.8 × 68 + 2.7 × 25 + 0.9 × 3) / 100 = 2.68となります。講義全体を基準に、行動関与は0-3スケールの等間隔分割で4つのレベルに分けられました。スコア0.75未満は「関与なし」、0.76-1.5は「やや関与」、1.6-2.25は「関与」、2.26-3は「非常に関与」と定義されました。そのため、その生徒は「非常に集中している」と評価されました。
クラス全体の行動関与は、全生徒の平均スコアを指します。クラスの行動関与の公式は次の通りです:
Ec = クラスの行動関与、 ES = 特定の生徒の行動関与、 n = 生徒数
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
結果
行動を検出しスコアリングモデルを用いることで、学生の行動関与を自動的に測定することが可能となりました。動画のある授業を例に挙げると、各生徒のリアルタイム行動関与度を行動検出結果とスコアリングモデルに基づいて計算できます。図6は、このクラスの2人の学生の行動的関与を示し、異なる時間点での関与度を示しています。平均して、学生Aは授業を通じて学生Bよりも高い関与を示していることがわかりました。最初の15分間は、2人の学生が高い関与を示しました。しかし、後半期にはその関与が減少しました。
図6。2人の生徒の行動関与。
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
ディスカッション
この研究は行動関与の自動認識と測定を実現しました。以前の研究と比べて、特定された行動は大学の教室(例えば携帯電話の使用)をよりよく代表しており、行動関与の評価は図で示され、直感的に見やすくなっていました。この自動測定アプローチにより、教師は個々の生徒だけでなくクラス全体の関与度も効率的かつ明確に評価でき、個別指導を支援し教室での指導効率向上につながりました。例えば 図7では、両クラスとも最初に生徒の注意を引く成功した導入が見られます。クラスAでは、中程度から高いエンゲージメントのピークが複数見られ、効果的な教師と生徒の相互作用と魅力的な指導戦略が示されました。対照的に、クラスBは後半に高いエンゲージメントのピークは見られず、スコアは1.5を下回り、教師が指導活動や戦略を再考する必要があったことを示唆しています。
物体検出に基づく学生行動認識手法の研究において、プロセス全体でいくつかの大きな課題に直面しています。データ注釈段階では、主に挙動定義の曖昧さと注釈...
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
開示事項
著者には利益相反を主張するものはありません。
謝辞
この研究は山東省社会科学計画基金プログラム(23CRWJ11)の支援を受けました。
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
材料
| 名前 | 会社 | カタログ番号 | コメント |
|---|---|---|---|
| 教室のビデオ | 本研究で使用されたビデオデータは、山東科技大学(SDUST)の直接録画プラットフォームから収集されたもので、アカデミック英語コースの実際の教室での授業を同期させた映像です。英語以外の専攻の6クラスから約50分の30本の動画を収集し、学生のトレーニング可能なデータセットを構築しました。教室での行動。 | ||
| IBM SPSS 統計 26 | IBM | SPSS for Windowsは、データ入力、整理、分析機能を統合したモジュール型ソフトウェアパッケージです。その基本的な機能には、データ管理、統計分析、チャート解析、出力管理などが含まれます。本記事では、SPSSは主に整合性解析および相関解析に用いられています。 | |
| ラベル付け 1.8.6 | ラベリングは視覚的な画像注釈ツールです。Pythonで書かれ、グラフィカルインターフェースとしてQtを利用しています。注釈はPASCAL VOC形式のXMLファイルとして保存され、ImageNetで使用されています。さらに、YOLOフォーマットにも対応しています。Faster R-CNN、YOLO、SSDなどのオブジェクト検出ネットワークに必要なデータセットで、画像内のオブジェクトに注釈を付けるために使用されます。 | ||
| MMDetection 2.22.0 | MMDetection, 2.22.0、MMDetectionは、リッチオブジェクト検出、インスタンスセグメンテーション、パノラマセグメンテーション手法、関連するコンポーネントやモジュールを含むオブジェクト検出ツールボックスです。 |
参考文献
- Fredricks, J. A., Blumenfeld, P. C., Paris, A. H. School engagement: potential of the concept, state of the evidence. Rev Educ Res. 74 (1), 59-109 (2004).
- Xu, J. F., Qiu, Y. J. Development and validation of an online English learning engagement scale for college students. Foreign Lang Their Teach. 42 (1), 39-50 (2025).
- Xing, C. B., Xu, M. B. Higher education expansion, teacher–student ratio and education quality. Econ Educ Rev. 8 (1), 59-88 (2023).
- Li, X., Li, Y. Y., Bao, H. G., Cheng, L. New developments in learning engagement evaluation: from one-dimensional analysis to multimodal fusion. Res Audiovis Educ. 42 (10), 100-107 (2021).
- Finn, J. D., Pannozzo, G. M., Voelkl, K. E. Disruptive and inattentive-withdrawn behavior and achievement among fourth graders. Elem Sch J. 95 (5), 421-434 (1995).
- Finn, J. D., Rock, D. A. Academic success among students at risk for school failure. J Appl Psychol. 82 (2), 221-234 (1997).
- Skinner, E. A., Belmont, M. J. Motivation in the classroom: reciprocal effects of teacher behavior and student engagement across the school year. J Educ Psychol. 85 (4), 571-581 (1993).
- Whitehill, J., Serpell, Z., Lin, Y. C., Foster, A., Movellan, J. R. The faces of engagement: automatic recognition of student engagement from facial expressions. IEEE Trans Affect Comput. 5 (1), 86-98 (2014).
- Deng, W., Xia, L. J., Liu, Q. T., Zhang, S., Wei, Y. T. Analysis of distance classroom learning engagement based on video recognition. J Contin High Educ. 35 (6), 15-24 (2022).
- Designing an empirical framework to measure the level of interest of humans. Rahman, M., et al. Proc Int Conf Electr Inf Commun Technol (EICT), , 581-585 (2015).
- Zaletelj, J., Košir, A. Predicting students’ attention in the classroom from Kinect facial and body features. EURASIP J Image Video Process. 2017 (1), 80-82 (2017).
- Sukumaran, A., Manoharan, A. Student engagement recognition: comprehensive analysis through EEG and verification by image traits using deep learning techniques. IEEE Access. 13 (1), 11639-11662 (2025).
- Unobtrusive students’ engagement analysis in computer science laboratories using deep learning techniques. Ashwin, T. S., Guddeti, R. M. R. Proc IEEE Int Conf Adv Learn Technol (ICALT), , 436-440 (2018).
- Bai, J., et al. Detection of students’ classroom performance based on Faster R-CNN and transfer learning with multi-channel feature fusion. J Guangxi Norm Univ Nat Sci Ed. 38 (5), 1-11 (2020).
- Ouyang, W. X., Fan, W. S., Chen, L. W. Classroom head-up and head-down behavior recognition based on YOLOv5. Comput Knowl Technol. 19 (29), 9-12 (2023).
- Classroom behavior recognition and detection based on deep learning. Zhang, J. P., Zhang, Z. Y., Guan, L. T., Hu, H. M. Proc Int Conf Comput Vis Image Deep Learn (CVIDL), , 430-433 (2024).
- Yan, X. Y., Kuang, Y. X., Bai, G. R., Li, Y. Student classroom behavior recognition based on deep learning. Comput Eng. 49 (7), 251-258 (2023).
- Tan, S. Y., Wang, Z. X., He, G. D. Real-time panoramic multi-scale classroom behavior recognition based on the CA-YOLOv9 network. Mod Educ Technol. 34 (7), 123-130 (2024).
- Wang, S. B., Lin, Z. J., Huang, J., Ju, J. H. A real-time network-based method for analyzing student classroom behavior. J Zhejiang Univ Sci Technol. 37 (3), 259-269 (2025).
- Ren, Q. M. Formulation and verification of a multidimensional evaluation scale for student engagement in college English classrooms. Shandong Foreign Lang Teach. 43 (4), 58-66 (2022).
- Cronbach, L. J. Coefficient alpha and the internal structure of tests. Psychometrika. 16 (3), 297-334 (1951).
- Zhou, J. Y., Zhao, Y. M. Application of convolutional neural networks in image classification and object detection. Comput Eng Appl. 53 (13), 34-41 (2017).
- Fast R-CNN. Girshick, R. Proc IEEE Int Conf Comput Vis, , 91-99 (2015).
- Ren, S. P., He, K. M., Girshick, R., Sun, J. Faster R-CNN: toward real-time object detection with region proposal networks. Adv Neural Inf Process Syst (NeurIPS). 29, 91-99 (2016).
- Multiple object tracking based on YOLOv5 and an optimized DeepSORT algorithm. Bai, T. J Phys Conf Ser, 2547 (1), 012001(2023).
- Wang, Y. P., Chi, Z. Z., Liu, M., Li, G., Ding, S. High-performance lightweight fall detection using an improved YOLOv5s algorithm. Machines. 11 (8), 818(2023).
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。