人工知能を用いた学生の注意力検出システム

Summary

この論文では、学生がクラスに注意を払っているか、気を散らしているかを自動的に検出する人工知能ベースのシステムを提案しています。このシステムは、教師が生徒の注意を引き付け、授業を最適化し、生徒がより魅力的になるように動的に変更を導入できるように設計されています。

Abstract

教室での生徒の注意力は、人工知能(AI)技術を使用することで向上させることができます。注意力のレベルを自動的に特定することで、教師は生徒の集中力を取り戻すための戦略を採用できます。これは、さまざまな情報源を通じて実現できます。

その一つが、生徒の顔に映る感情を分析することです。AIは、中立、嫌悪感、驚き、悲しみ、恐怖、幸福、怒りなどの感情を検出できます。さらに、生徒の視線の方向も、生徒の注意力のレベルを示している可能性があります。もう一つの情報源は、生徒の体の姿勢を観察することです。カメラやディープラーニングの手法を用いることで、姿勢を解析し、注意力の度合いを判断することができます。たとえば、前かがみになったり、机に頭を乗せたりしている学生は、注意力が低い可能性があります。学生に配布されるスマートウォッチは、心拍数や慣性測定などの生体認証やその他のデータを提供でき、注意の指標としても使用できます。これらの情報源を組み合わせることで、AIシステムを訓練して、教室での注意のレベルを特定できます。ただし、さまざまな種類のデータを統合するには、ラベル付きデータセットを作成する必要があるという課題があります。正確なラベリングのために、専門家の意見と既存の研究が参照されます。この論文では、そのような測定値の統合と、データセットと潜在的な注意分類器の作成を提案します。教師にフィードバックを提供するために、スマートウォッチやダイレクトコンピューターなど、さまざまな方法を検討します。教師が注意力の問題に気付いたら、生徒を再び関与させ、やる気を起こさせるために、教育アプローチを調整することができます。要約すると、AI技術は、学生の感情、視線方向、体の姿勢、および生体認証データを分析することにより、学生の注意レベルを自動的に識別できます。この情報は、教師が教育と学習のプロセスを最適化するのに役立ちます。

Introduction

現代の教育現場では、効果的な教育と学習のためには、生徒の注意を正確に評価し、維持することが重要です。しかし、自己報告や教師の主観的な観察など、エンゲージメントを測定する従来の方法は時間がかかり、バイアスがかかりやすい。この課題に対処するために、人工知能(AI)技術が自動アテンション検出の有望なソリューションとして浮上しています。学生のエンゲージメントレベルを理解する上で重要な側面の1つは、感情認識¹です。AIシステムは、顔の表情を分析して、中立、嫌悪、驚き、悲しみ、恐怖、幸福、怒りなどの感情を特定できます²。

視線の向きと体の姿勢も、生徒の注意力の重要な指標^です3。カメラと高度な機械学習アルゴリズムを活用することで、AIシステムは生徒がどこを見ているかを正確に追跡し、生徒の体の姿勢を分析して、興味のなさや疲労の兆候を検出することができます⁴。さらに、生体認証データを組み込むことで、注意検出の精度と信頼性が向上します⁵。生徒が着用するスマートウォッチを通じて、心拍数や血中酸素飽和度などの測定値を収集することにより、注意の客観的な指標を取得し、他の情報源を補完することができます。

本稿では....

Protocol

次のプロトコルは、アリカンテ大学の人間研究倫理委員会のガイドラインに従っており、承認されたプロトコル番号は UA-2022-11-12 です。この実験およびここにあるデータの使用について、すべての参加者からインフォームド コンセントが得られています。

1. ハードウェア、ソフトウェア、クラスのセットアップ

1. WiFi機能を備えたルーター(実験はDLink DSR 1000ACを使用して実施)を目的の場所に設定して、その範囲が部屋全体をカバーするようにします。ここでは、25人の生徒と30人の生徒がいる25m^の 教室がカバーされました。
2. 生徒の場所に1台のスマートウォッチ(ここではSamsung Galaxy Smartwatch 5)と1台のカメラ(ここではLogitech C920カメラ)を設定します。生徒2人につき1台の組み込みデバイスを設定します。2台のカメラを2台の三脚に固定し、別の組み込みデバイス(以下、天頂カメラ)に接続します。
3. カメラをUSBリンクで対応する組み込みデバイスに接続し、電源を入れます。すべての組み込みデバイスとスマートウォッチを、手順1.1で設定したルーターのWiFiネットワークに接続します。
4. カメラを各生徒の机の隅に置き、生徒の顔が画像にはっきりと見えるように、カメラを前方に向け、少し上に傾けます。

Results

本研究の対象グループは学部生と修士課程の学生であり、18歳から25歳が主な年齢層です。この集団は、若い学生よりも気を散らすものが少なく電子機器を扱えるため、選ばれました。グループには合計25人が含まれていました。この年齢層は、プロポーザルをテストするための最も信頼性の高い結果を提供できます。

教師に示された注意力の結果は2つの部分から成ります。結果のパートAは、各生徒の現在の注意レベルに関する個々の情報を示しています。パートBは、クラス全体の平均的な注意と、レッスン全体を通してその時間的履歴を得ることを目的としています。これにより、教室での生徒の注意の一般的な傾向を捉え、教師が使用する方法論をライブで適応させることができます。毎秒、インターフェイスはサーバーから新しい情報を要求します。さらに、このビューにはブラウザ通知の使用が組み込まれているため、教師が通常どおり活動を行っている間、このGUIをフォアグラウンドに保持することなく、生徒の注意の大幅な変化を邪魔にならない方法で表示できます。この GUI の例を 図 5 に示し.......

Discussion

この作品は、カメラ、スマートウォッチ、人工知能アルゴリズムを使用して、教室での生徒の注意力レベルを測定するシステムを示しています。この情報は、その後、教師に提示され、クラスの一般的な状態を把握することができます。

このプロトコルの主な重要なステップの1つは、スマートウォッチの情報をカラーカメラ画像と同期させることです。これは、これらの画像の周波数が異なるためです。これは、ラズベリーをサーバーとしてデプロイし、スマートウォッチとカメラからそれぞれのタイムスタンプで情報を受け取り、この情報の大まかな照合を実行することで解決されました。最後に、この情報は中央のサーバーに送信され、さらに処理されます。このプロトコルのもう1つの重要なステップは、さまざまなソースから取得したデータを使用して最終的な推論を生成するための最終分類器の定義です。この点を解決するには、生データをさまざまなサブシステムで前処理し、ユーザーの姿勢、感情、アクションなどの貴重な情報を生成する必要があります。この情報は、生体認証データとともに正規化され、組み合わされて、各学生の注意レベルを推定します。

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
4つのGPU Nvidia A40 Ampere	集中型モデル処理サーバー用	NVIDIA	TCSA40M-PB
FusionServer 2288H V5	X-Fusion	02311XBK	集中型モデル処理サーバー用の電源とマザーボードを含むプラットフォーム
メモリカード Evo Plus 128 GB	Samsung	MB-MC128KA/EU	ラズベリーパイ4b 2GBの操作用メモリカード。 ラズベリー1個につき1個
NEMIX RAM - 512 GB キット DDR4-3200 PC4-25600 8Rx4 EC	NEMIX	M393AAG40M32-CAE	RAM 集中型モデル処理サーバー用
プロセッサ Intel Xeon Gold 6330	Intel	CD8068904572101	集中型モデル処理サーバー用
プロセッサ Raspberry PI 4B 2GB	Raspberry	1822095	クロックから要求を受信し、一般サーバーに送信するローカル サーバー。生徒の2人に1人です。
Samsung Galaxy Watch 5 (40mm)	各	SM-R900NZAAPHE	クロック。各学生に
Samsung MZQL23T8HCLS-00B7C PM9A3 3.84Tb Nvme U.2 PCI-Express-4 x4 2.5inch SSDサムスン		MZQL23T8HCLS-00B7C	集中型モデル処理サーバー用内部ストレージ
WebCam HD Pro C920 Webcam FullHD	Logitech	960-001055	Webcam HD.各生徒に1つ、生徒のポーズに2つ。