Name: 人工知能を用いた学生の注意力検出システム (動画) | JoVE Journal
Uploaded: 2023-12-15T14:10:00.000+00:00
Duration: 6 min 37 s
Description: 学ぼう、人工知能を用いた学生の注意力検出システムの構築方法。画像分類と姿勢推定技術を組み合わせ、リアルタイムで教室での生徒の集中度を評価し、教師が授業を最適化できる革新的な教育技術を解説します。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

この研究は、 Programa Prometeo(プロジェクトID CIPROM/2021/017)からの資金提供を受けて開発されました。ロザベル・ロイグ教授は、ユネスコの「教育、研究、デジタルインクルージョン」の議長です。

次のプロトコルは、アリカンテ大学の人間研究倫理委員会のガイドラインに従っており、承認されたプロトコル番号は UA-2022-11-12 です。この実験およびここにあるデータの使用について、すべての参加者からインフォームド コンセントが得られています。
1. ハードウェア、ソフトウェア、クラスのセットアップ
<ol><li>WiFi機能を備えたルーター(実験はDLink DSR 1000ACを使用して実施)を目的の場所に設定して、その範囲が部屋全体をカバーするようにします。ここでは、25人の生徒と30人の生徒がいる25mの 教室がカバーされました。</li>
	<li>生徒の場所に1台のスマートウォッチ(ここではSamsung Galaxy Smartwatch 5)と1台のカメラ(ここではLogitech C920カメラ)を設定します。生徒2人につき1台の組み込みデバイスを設定します。2台のカメラを2台の三脚に固定し、別の組み込みデバイス(以下、天頂カメラ)に接続します。</li>
	<li>カメラをUSBリンクで対応する組み込みデバイスに接続し、電源を入れます。すべての組み込みデバイスとスマートウォッチを、手順1.1で設定したルーターのWiFiネットワークに接続します。</li>
	<li>カメラを各生徒の机の隅に置き、生徒の顔が画像にはっきりと見えるように、カメラを前方に向け、少し上に傾けます。</li>
	<li>カメラ付きの2つの三脚を、教室の最前列の通路に最も近い机の前に置きます。三脚ライザーを最も高い位置に移動して、カメラがほとんどの生徒をはっきりと見ることができるようにします。各組み込みデバイスは、1人または2人の学生と、それぞれのカメラと時計を管理できます。セットアップを 図 1 に示します。</li>
	<li>スマートウォッチと組み込みデバイスでキャプチャソフトウェアを実行して、画像と加速度計、ジャイロスコープ、心拍数、および照明データを送信する準備が整います。データを収集して保存するサーバーソフトウェアを実行します。これらすべての要素の図を 図 2 に示します。</li>
	<li>天頂カメラがシーンを支配し、生徒の体がはっきりと見えるようにします。各生徒の前に追加の個別のカメラを置きます。</li>
	<li>生徒を自分の場所に座らせ、実験の目標を伝え、利き手にスマートウォッチを装着し、セットアップのどの要素にも触れないように指示します。</li>
	<li>サーバー内のデータのキャプチャと収集を開始し、通常どおりクラスのレッスンを再開します。</li>
</ol><img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/65931/65931fig01.jpg"> 図 1: ハードウェアとデータ パイプライン。 カメラとスマートウォッチのデータは収集され、機械学習アルゴリズムに供給されて処理されます。 <a href="https://www.jove.com/files/ftp_upload/65931/65931fig01large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/65931/65931fig02.jpg"> 図2:センサー、教師、生徒の位置。 教師と生徒がいる教室のカメラ、スマートウォッチ、GUIの位置を示す図。 <a href="https://www.jove.com/files/ftp_upload/65931/65931fig02large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
2. キャプチャとデータ処理パイプライン
注: これらの手順はすべて、サーバーに展開されたソフトウェアを処理することによって自動的に実行されます。この作業の実験に使用された実装は、Python 3.8 で書かれました。
<ol><li>各生徒のスマートウォッチからすべての画像と生体認証データを収集して必要なデータを収集し、1秒からのデータを含むデータフレームを構築します。このデータ フレームは、個々のカメラからの 1 つの画像、各天頂カメラからの 1 つの画像 (この場合は 2 つ)、3 つのジャイロ スコープ値の 50 個のレジスタ、3 つの加速度計値の 50 個のレジスタ、1 つの心拍数値、および 1 つの光条件値で構成されます。</li>
	<li>頭の向きを計算するには、最初のステップは、生徒の顔を指しているWebカメラを使用して画像を取得することです。次に、その画像は BlazeFace17 ランドマーク推定アルゴリズムによって処理されます。このようなアルゴリズムの出力は、顔の特定の領域に対応する 2D キーポイントのリストです。</li>
	<li>アルゴリズムによって提供される目、鼻、口、あごの推定位置を使用して、OpenCV ライブラリのメソッド cv::SolvePnPMethod (標準的な顔の設定) を使用して、遠近法の n 点問題を解きます。ヘッドの方向を定義する回転マトリックスは、この手順の結果として得られます。</li>
	<li>学生が描かれているデータ フレームから天頂画像を BlazePose18 ランドマーク推定アルゴリズムに転送して、体の姿勢を計算し、画像に描かれている体の関節の 2D 座標のリストを取得します。このランドマークのリストは、生徒のポーズを説明しています。 注:ボディポーズは、クラス中のさまざまな活動に対する生徒の関与を正確に表すことができるため、重要です。たとえば、生徒が自然に机に手を置いて座っている場合、それは彼らがメモを取っていることを意味する可能性があります。一方、常に腕を動かしている場合は、誰かに話しかけている可能性があります。</li>
	<li>生徒の顔の画像を取得し、アライメント前処理を行います。手順2.3で計算したリストから目のキーポイントを取得し、それらを画像平面に投影して、目の位置が得られるようにします。</li>
	<li>両目の位置を結合する仮想ベクトルをトレースします。そのベクトルと水平線との間の角度を計算し、ホモグラフィ行列を作成して、画像とキーポイントに逆角度を適用して、目が水平に整列するようにします。</li>
	<li>キーポイントを使用して顔を切り抜き、その限界を検出し、パッチを感情検出畳み込みニューラルネットワーク19に供給する。ネットワークから出力を取得します。これは 7 つの位置を持つベクトルであり、各位置は、顔が 7 つの基本的な感情 (中立、嬉しい、嫌悪感、怒り、怖い、驚き、悲しい) のいずれかを示す確率を示します。</li>
	<li>データフレームから加速度計、ジャイロスコープ、および心拍数のデータを取得して、注意レベルを測定します(図3)。</li>
	<li>代表的な結果に記載されているカスタムビルドでゼロからトレーニングされたディープラーニングベースのモデルに、加速度計とジャイロスコープのデータのストリームをフィードします。モデル ( 図 4 に示すように、手書き、キーボードでの入力、携帯電話の使用、休憩) のいずれかを表すデータの確率を示す 4 つの位置を持つベクトルであるモデルから出力を取得します。</li>
	<li>頭の方向、感情認識出力、体の姿勢、ジャイロスコープ、加速度計、心拍数のデータをマージして、前のシステムからのすべての結果を線形化して、最終的な注意分類器にフィードします。この最終分類子 (0 から 100 までのスコア) から結果を取得します。この連続値を、注意の 3 つの個別のカテゴリ (低レベルの注意 (0 から 40%)、中程度の注意 (40% から 75%)、および高レベルの注意 (75% から 100%) のいずれかに分類します。生成されたデータセットの構造を 表 1 に示します。</li>
	<li>通常のWebブラウザからアクセスできる教師のコンピューターからのグラフィカルユーザーインターフェイス(GUI)を使用して、注意レベルの結果を教師に表示します。</li>
</ol><img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/65931/65931fig03.jpg"> 図3:スマートウォッチによってキャプチャされたデータ。 スマートウォッチは、ジャイロスコープ、加速度計、心拍数、および光の状態をデータの流れとして提供します。 <a href="https://www.jove.com/files/ftp_upload/65931/65931fig03large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/65931/65931fig04.jpg"> 図4:アクティビティ認識モデルで考慮されるカテゴリの例。 アクティビティ認識モデルでは、手書き、キーボードでの入力、スマートフォンの使用、休息位置の 4 つの異なるアクションが認識されます。 <a href="https://www.jove.com/files/ftp_upload/65931/65931fig04large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>

教室でのエンゲージメントの向上:AIによる生徒の注意力レベルの分析

<ol><li>Hasnine, M. N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Students%27+emotion+extraction+and+visualization+for+engagement+detection+in+online+learning%5BTitle%5D)+AND+%22Procedia+Comp+Sci%22%5BJournal%5D)">Students' emotion extraction and visualization for engagement detection in online learning.</a> Procedia Comp Sci. 192, 3423-3431 (2021).</li>
<li>Khare, S. K., Blanes-Vidal, V., Nadimi, E. S., Acharya, U. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Emotion+recognition+and+artificial+intelligence%3A+A+systematic+review+%282014-2023%29+and+research+recommendations%5BTitle%5D)+AND+%22Info+Fusion%22%5BJournal%5D)">Emotion recognition and artificial intelligence: A systematic review (2014-2023) and research recommendations.</a> Info Fusion. 102, 102019(2024).</li>
<li>Bosch, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Detecting+student+engagement%3A+Human+versus+machine%5BTitle%5D)+AND+%22UMAP+%2716%3A+Proc+the+2016+Conf+User+Model+Adapt+Personal%22%5BJournal%5D)">Detecting student engagement: Human versus machine.</a> UMAP '16: Proc the 2016 Conf User Model Adapt Personal. , 317-320 (2016).</li>
<li>Araya, R., Sossa-Rivera, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+detection+of+gaze+and+body+orientation+in+elementary+school+classrooms%5BTitle%5D)+AND+%22Front+Robot+AI%22%5BJournal%5D)">Automatic detection of gaze and body orientation in elementary school classrooms.</a> Front Robot AI. 8, 729832(2021).</li>
<li>Lu, Y., Zhang, J., Li, B., Chen, P., Zhuang, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Harnessing+commodity+wearable+devices+for+capturing+learner+engagement%5BTitle%5D)+AND+%22IEEE+Access%22%5BJournal%5D)">Harnessing commodity wearable devices for capturing learner engagement.</a> IEEE Access. 7, 15749-15757 (2019).</li>
<li>Vanneste, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Computer+vision+and+human+behaviour%2C+emotion+and+cognition+detection%3A+A+use+case+on+student+engagement%5BTitle%5D)+AND+%22Mathematics%22%5BJournal%5D)">Computer vision and human behaviour, emotion and cognition detection: A use case on student engagement.</a> Mathematics. 9 (3), 287(2021).</li>
<li>Ma, X., Xu, M., Dong, Y., Sun, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+student+engagement+in+online+learning+environment+based+on+neural+Turing+machine%5BTitle%5D)+AND+%22Int+J+Info+Edu+Tech%22%5BJournal%5D)">Automatic student engagement in online learning environment based on neural Turing machine.</a> Int J Info Edu Tech. 11 (3), 107-111 (2021).</li>
<li>Wood, E., Bulling, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((EyeTab%3A+model-based+gaze+estimation+on+unmodified+tablet+computers%5BTitle%5D)+AND+%22ETRA+%2714%3A+Proc+Symp+Eye+Tracking+Res+Appl%22%5BJournal%5D)">EyeTab: model-based gaze estimation on unmodified tablet computers.</a> ETRA '14: Proc Symp Eye Tracking Res Appl. , 207-210 (2014).</li>
<li>Sanghvi, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+analysis+of+affective+postures+and+body+motion+to+detect+engagement+with+a+game+companion%5BTitle%5D)+AND+%22HRI+%2711%3A+Proc+6th+Int+Conf+Human-robot+Interact%22%5BJournal%5D)">Automatic analysis of affective postures and body motion to detect engagement with a game companion.</a> HRI '11: Proc 6th Int Conf Human-robot Interact. , 205-211 (2011).</li>
<li>Gupta, S., Kumar, P., Tekchandani, R. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Facial+emotion+recognition+based+real-time+learner+engagement+detection+system+in+online+learning+context+using+deep+learning+models%5BTitle%5D)+AND+%22Multimed+Tools+Appl%22%5BJournal%5D)">Facial emotion recognition based real-time learner engagement detection system in online learning context using deep learning models.</a> Multimed Tools Appl. 82 (8), 11365-11394 (2023).</li>
<li>Altuwairqi, K., Jarraya, S. K., Allinjawi, A., Hammami, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Student+behavior+analysis+to+measure+engagement+levels+in+online+learning+environments%5BTitle%5D)+AND+%22Signal+Image+Video+Process%22%5BJournal%5D)">Student behavior analysis to measure engagement levels in online learning environments.</a> Signal Image Video Process. 15 (7), 1387-1395 (2021).</li>
<li>Belle, A., Hargraves, R. H., Najarian, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+automated+optimal+engagement+and+attention+detection+system+using+electrocardiogram%5BTitle%5D)+AND+%22Comput+Math+Methods+Med%22%5BJournal%5D)">An automated optimal engagement and attention detection system using electrocardiogram.</a> Comput Math Methods Med. 2012, 528781(2012).</li>
<li>Alban, A. Q., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Heart+rate+as+a+predictor+of+challenging+behaviours+among+children+with+autism+from+wearable+sensors+in+social+robot+interactions%5BTitle%5D)+AND+%22Robotics%22%5BJournal%5D)">Heart rate as a predictor of challenging behaviours among children with autism from wearable sensors in social robot interactions.</a> Robotics. 12 (2), 55(2023).</li>
<li>Kajiwara, Y., Shimauchi, T., Kimura, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Predicting+emotion+and+engagement+of+workers+in+order+picking+based+on+behavior+and+pulse+waves+acquired+by+wearable+devices%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Predicting emotion and engagement of workers in order picking based on behavior and pulse waves acquired by wearable devices.</a> Sensors. 19 (1), 165(2019).</li>
<li>Personalizing a smartwatch-based gesture interface with transfer learning. Costante, G., Porzi, L., Lanz, O., Valigi, P., Ricci, E. 22nd European Signal Processing Conference (EUSIPCO), Lisbon, Portugal, , 2530-2534 (2014).</li>
<li>Mekruksavanich, S., Jitpattanakul, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+convolutional+neural+network+with+RNNs+for+complex+activity+recognition+using+wrist-worn+wearable+sensor+data%5BTitle%5D)+AND+%22Electronics%22%5BJournal%5D)">Deep convolutional neural network with RNNs for complex activity recognition using wrist-worn wearable sensor data.</a> Electronics. 10 (14), 1685(2021).</li>
<li>Bazarevsky, V., Kartynnik, Y., Vakunov, A., Raveendran, K., Grundmann, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((BlazeFace%3A+Sub-millisecond+Neural+Face+Detection+on+Mobile+GPUs%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">BlazeFace: Sub-millisecond Neural Face Detection on Mobile GPUs.</a> arXiv. , (2019).</li>
<li>Bazarevsky, V., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((BlazePose%3A+On-device+Real-time+Body+Pose+tracking%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">BlazePose: On-device Real-time Body Pose tracking.</a> arXiv. , (2020).</li>
<li>Mejia-Escobar, C., Cazorla, M., Martinez-Martin, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Towards+a+better+performance+in+facial+expression+recognition%3A+a+data-centric+approach%5BTitle%5D)+AND+%22Comput+Intelligence+Neurosci%22%5BJournal%5D)">Towards a better performance in facial expression recognition: a data-centric approach.</a> Comput Intelligence Neurosci. , In press (2023).</li>
<li>El-Garem, A., Adel, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Applying+systematic+literature+review+and+Delphi+methods+to+explore+digital+transformation+key+success+factors%5BTitle%5D)+AND+%22Int+J+Eco+Mgmt+Engi%22%5BJournal%5D)">Applying systematic literature review and Delphi methods to explore digital transformation key success factors.</a> Int J Eco Mgmt Engi. 16 (7), 383-389 (2022).</li>
<li>Using electroencephalography to determine student attention in the classroom. Indumathi, V., Kist, A. A. IEEE Global Engineering Education Conference (EDUCON, Kuwait, Kuwait, , 1-3 (2023).</li>
<li>Ma, X., Xie, Y., Wang, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+on+the+construction+and+application+of+teacher-student+interaction+evaluation+system+for+smart+classroom+in+the+post+COVID-19%5BTitle%5D)+AND+%22Studies+Edu+Eval%22%5BJournal%5D)">Research on the construction and application of teacher-student interaction evaluation system for smart classroom in the post COVID-19.</a> Studies Edu Eval. 78, 101286(2023).</li>
<li>Andersen, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Constructing+Delphi+statements+for+technology+foresight%5BTitle%5D)+AND+%22Futures+Foresight+Sci%22%5BJournal%5D)">Constructing Delphi statements for technology foresight.</a> Futures Foresight Sci. 5 (2), e144(2022).</li>
<li>Khodyakov, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Disciplinary+trends+in+the+use+of+the+Delphi+method%3A+A+bibliometric+analysis%5BTitle%5D)+AND+%22PLoS+One%22%5BJournal%5D)">Disciplinary trends in the use of the Delphi method: A bibliometric analysis.</a> PLoS One. 18 (8), e0289009(2023).</li>
<li>Martins, A. I., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Consensus+on+the+Terms+and+Procedures+for+Planning+and+Reporting+a+Usability+Evaluation+of+Health-Related+Digital+Solutions%3A+Delphi+Study+and+a+Resulting+Checklist%5BTitle%5D)+AND+%22J+Medical+Internet+Res%22%5BJournal%5D)">Consensus on the Terms and Procedures for Planning and Reporting a Usability Evaluation of Health-Related Digital Solutions: Delphi Study and a Resulting Checklist.</a> J Medical Internet Res. 25, e44326(2023).</li>
<li>Dalmaso, M., Castelli, L., Galfano, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Social+modulators+of+gaze-mediated+orienting+of+attention%3A+A+review%5BTitle%5D)+AND+%22Psychon+Bull+Rev%22%5BJournal%5D)">Social modulators of gaze-mediated orienting of attention: A review.</a> Psychon Bull Rev. 27 (5), 833-855 (2020).</li>
<li>Klein, R. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Thinking+about+attention%3A+Successive+approximations+to+a+productive+taxonomy%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Thinking about attention: Successive approximations to a productive taxonomy.</a> Cognition. 225, 105137(2022).</li>
<li>Schindler, S., Bublatzky, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Attention+and+emotion%3A+An+integrative+review+of+emotional+face+processing+as+a+function+of+attention%5BTitle%5D)+AND+%22Cortex%22%5BJournal%5D)">Attention and emotion: An integrative review of emotional face processing as a function of attention.</a> Cortex. 130, 362-386 (2020).</li>
<li>Zaletelj, J., Košir, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Predicting+students%27+attention+in+the+classroom+from+Kinect+facial+and+body+features%5BTitle%5D)+AND+%22J+Image+Video+Proc%22%5BJournal%5D)">Predicting students' attention in the classroom from Kinect facial and body features.</a> J Image Video Proc. 80, (2017).</li>
<li>Strauch, C., Wang, C. A., Einhäuser, W., Van der Stigchel, S., Naber, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Pupillometry+as+an+integrated+readout+of+distinct+attentional+networks%5BTitle%5D)+AND+%22Trends+Neurosci%22%5BJournal%5D)">Pupillometry as an integrated readout of distinct attentional networks.</a> Trends Neurosci. 45 (8), 635-647 (2022).</li>
</ol>

著者らは、この論文で報告された研究に影響を与えたと思われる可能性のある既知の競合する金銭的利益や個人的な関係がないことを宣言します。

この作品は、カメラ、スマートウォッチ、人工知能アルゴリズムを使用して、教室での生徒の注意力レベルを測定するシステムを示しています。この情報は、その後、教師に提示され、クラスの一般的な状態を把握することができます。
このプロトコルの主な重要なステップの1つは、スマートウォッチの情報をカラーカメラ画像と同期させることです。これは、これらの画像の周波数が異なるためです。これは、ラズベリーをサーバーとしてデプロイし、スマートウォッチとカメラからそれぞれのタイムスタンプで情報を受け取り、この情報の大まかな照合を実行することで解決されました。最後に、この情報は中央のサーバーに送信され、さらに処理されます。このプロトコルのもう1つの重要なステップは、さまざまなソースから取得したデータを使用して最終的な推論を生成するための最終分類器の定義です。この点を解決するには、生データをさまざまなサブシステムで前処理し、ユーザーの姿勢、感情、アクションなどの貴重な情報を生成する必要があります。この情報は、生体認証データとともに正規化され、組み合わされて、各学生の注意レベルを推定します。
<p clas...

現代の教育現場では、効果的な教育と学習のためには、生徒の注意を正確に評価し、維持することが重要です。しかし、自己報告や教師の主観的な観察など、エンゲージメントを測定する従来の方法は時間がかかり、バイアスがかかりやすい。この課題に対処するために、人工知能(AI)技術が自動アテンション検出の有望なソリューションとして浮上しています。学生のエンゲージメントレベルを理解する上で重要な側面の1つは、感情認識1です。AIシステムは、顔の表情を分析して、中立、嫌悪、驚き、悲しみ、恐怖、幸福、怒りなどの感情を特定できます2。
視線の向きと体の姿勢も、生徒の注意力の重要な指標です3。カメラと高度な機械学習アルゴリズムを活用することで、AIシステムは生徒がどこを見ているかを正確に追跡し、生徒の体の姿勢を分析して、興味のなさや疲労の兆候を検出することができます4。さらに、生体認証データを組み込むことで、注意検出の精度と信頼性が向上します5。生徒が着用するスマートウォッチを通じて、心拍数や血中酸素飽和度などの測定値を収集することにより、注意の客観的な指標を取得し、他の情報源を補完することができます。
本稿では、カラーカメラなどのセンサーを用いて個人の注意力を評価するシステムを提案します。感情認識、視線方向分析、身体姿勢評価、生体認証データを組み合わせて、教育学習プロセスを最適化し、学生のエンゲージメントを向上させるための包括的なツールセットを教育者に提供します。これらのツールを使用することで、教育者は教育と学習のプロセスを包括的に理解し、学生の関与を高めることで、全体的な教育体験を最適化することができます。AIの技術を応用することで、このデータを自動的に評価することも可能です。
この作業の主な目標は、すべての情報をキャプチャできるシステムについて説明し、キャプチャすると、クラス全体の注意をリアルタイムで取得できるAIモデルをトレーニングすることです。他の研究では、視覚的または感情的な情報を使用して注意を引くことをすでに提案していますが6、この研究では、これらの技術を組み合わせて使用することを提案しており、これにより、より複雑で効果的なAI技術の使用を可能にする全体的なアプローチが提供されます。また、これまで利用可能なデータセットは、動画のセットまたは生体認証データの1つに限定されていました。文献には、生徒の顔や体の画像、生体認証データ、教師の位置に関するデータなど、完全なデータを提供するデータセットは含まれていません。ここで紹介するシステムでは、このタイプのデータセットをキャプチャすることができます。
システムは、各時点で各学生に注意のレベルを関連付けます。この値は、0% から 100% の間の注意の確率値であり、注意のレベルが低い (0%-40%)、注意のレベルが中程度 (40%-75%)、注意のレベルが高い (75%-100%) と解釈できます。テキスト全体を通して、この注意力の確率は、注意力のレベル、生徒の注意力、または生徒が気を散らしているかどうかと呼ばれますが、これらはすべてシステムの同じ出力値に関連しています。
長年にわたり、自動エンゲージメント検出の分野は、教育に革命をもたらす可能性を秘めているため、大幅に成長してきました。研究者は、この研究分野に対してさまざまなアプローチを提案しています。
Ma et al.7 は、ニューラルチューリングマシンに基づく自動エンゲージメント認識のための新しい方法を導入しました。彼らは、視線入力、顔のアクション ユニット、頭のポーズ、体のポーズなどの特定の特徴を抽出して、エンゲージメント認識の包括的な表現を作成しました。
EyeTab8 も革新的なシステムであり、モデルを使用して、誰かが両目でどこを見ているかを推定しました。これは、標準のタブレットで問題なくスムーズに動作するように特別に作られました。このシステムは、画像の処理とコンピュータービジョンの分析によく知られているアルゴリズムを利用しています。彼らの視線推定パイプラインには、Haarのような特徴ベースのアイ検出器と、RANSACベースのリンバス楕円フィッティングアプローチが含まれています。
Sanghviら9 は、視覚ベースの技術に依存して、横方向から記録されたビデオから表現力豊かな姿勢の特徴を自動的に抽出し、子供たちの行動を捉えるアプローチを提案しています。初期評価が行われ、文脈に応じた感情的な姿勢表現を使用した複数の認識モデルのトレーニングが含まれます。得られた結果は、姿勢行動のパターンが、ロボットに対する子どもの関与を効果的に予測できることを示しています。
Guptaら10などの他の研究では、ディープラーニングベースの方法が採用されており、オンライン学習者の顔の表情を分析し、感情を分類することにより、オンライン学習者のリアルタイムのエンゲージメントを検出しています。このアプローチでは、顔の感情認識を利用して、エンゲージメントとエンゲージメント解除の 2 つのエンゲージメント状態を予測するエンゲージメント インデックス (EI) を計算します。Inception-V3、VGG19、ResNet-50 など、さまざまなディープラーニング モデルが評価され、比較され、リアルタイムのエンゲージメント検出に最も効果的な予測分類モデルが特定されます。
Altuwairqi et al.11 では、研究者は、学生のエンゲージメント レベルをリアルタイムで評価するための新しい自動マルチモーダル アプローチを提示しています。正確で信頼性の高い測定を確保するために、チームは、感情の表情、キーボードのキーストローク、マウスの動きという、生徒の行動を捉える3つの異なるモダリティを統合して分析しました。
Guillénら12 は、タスクを実行している間の個人の認知的注意の有無を分析および予測するための主要な生理学的信号として心電図(ECG)を使用するモニタリングシステムの開発を提案しています。
Alban et al.13 は、ニューラルネットワーク(NN)を利用して、時間領域と周波数領域の両方でさまざまな参加者の心拍数(HR)と皮膚電気活動(EDA)の値を分析することにより、感情を検出します。その結果、逐次差の二乗平均平方根(RMSDD)と標準偏差の正常から正常(SDNN)の間隔の増加は、平均HRの減少と相まって、交感神経系の活動が活発化していることを示しており、これは恐怖と関連していることが分かった。
梶原ら14 は、ウェアラブルセンサーとディープニューラルネットワークを用いて、労働者の感情とエンゲージメントのレベルを予測する革新的なシステムを提案しています。システムは3段階のプロセスに従います。当初、ウェアラブルセンサーは、行動と脈波に関するデータを取得して収集します。その後、取得した行動データや生理学的データに基づいて時系列特徴量が計算されます。最後に、ディープニューラルネットワークを使用して時系列の特徴を入力し、個人の感情とエンゲージメントレベルについて予測を行います。
Costante et al.15などの他の研究では、新しい転送メトリック学習アルゴリズムに基づくアプローチが提案されており、これは、事前定義されたジェスチャーのセットに関する事前知識を利用して、ユーザー定義のジェスチャーの認識を強化します。この改善は、追加のトレーニングサンプルへの依存を最小限に抑えることで達成されます。同様に、センサベースの人間活動認識フレームワーク16 は、複雑な人間活動の非人格的認識の目標に対処するために提示される。腕時計型センサーから収集した信号データは、4つのRNNベースのDLモデル(Long-Short Term Memories、Bidirectional Long-Short Term Memories、Gated Recurrent Units、Bidirectional Gated Recurrent Units)を用いて、ウェアラブルデバイスのユーザーが行った活動を調査し、ヒト活動認識フレームワークに活用されます。

<table><tbody><tr><td>4つのGPU&nbsp;Nvidia A40 Ampere</td><td>集中型モデル処理サーバー用</td><td>NVIDIA</td><td>TCSA40M-PB</td> GPU</tr><tr><td>FusionServer 2288H V5</td><td>X-Fusion</td><td>02311XBK</td><td>集中型モデル処理サーバー用の電源とマザーボードを含むプラットフォーム</td></tr><tr><td>メモリカード Evo Plus 128 GB</td><td>Samsung</td><td>MB-MC128KA/EU</td><td>ラズベリーパイ4b 2GBの操作用メモリカード。&nbsp;ラズベリー1個につき1個&nbsp;</td></tr><tr><td>NEMIX RAM - 512 GB キット DDR4-3200 PC4-25600 8Rx4 EC</td><td>NEMIX</td><td>M393AAG40M32-CAE</td><td>RAM 集中型モデル処理サーバー用</td></tr><tr><td>プロセッサ Intel Xeon Gold 6330</td><td>Intel</td><td>CD8068904572101</td><td>集中型モデル処理サーバー用</td></tr><tr><td>プロセッサ Raspberry PI 4B 2GB</td><td>Raspberry</td><td>1822095</td><td>クロックから要求を受信し、一般サーバーに送信するローカル サーバー。生徒の2人に1人です。</td></tr><tr><td>Samsung Galaxy Watch 5 (40mm)</td><td>各</td>生徒の活動を監視するSamsung <td>SM-R900NZAAPHE</td><td>クロック。各学生に&nbsp;</td></tr><tr><td>Samsung MZQL23T8HCLS-00B7C PM9A3 3.84Tb Nvme U.2 PCI-Express-4 x4 2.5inch SSDサムスン</td><td></td><td>MZQL23T8HCLS-00B7C</td><td>集中型モデル処理サーバー用内部ストレージ</td></tr><tr><td>WebCam HD Pro C920 Webcam FullHD</td><td>Logitech</td><td>960-001055</td><td>Webcam HD.各生徒に1つ、生徒のポーズに2つ。</td></tr></tbody></table>

人工知能を用いた学生の注意力検出システム

Artificial Intelligence-Based System for Detecting Attention Levels in Students

教室での生徒の注意力は、人工知能(AI)技術を使用することで向上させることができます。注意力のレベルを自動的に特定することで、教師は生徒の集中力を取り戻すための戦略を採用できます。これは、さまざまな情報源を通じて実現できます。
その一つが、生徒の顔に映る感情を分析することです。AIは、中立、嫌悪感、驚き、悲しみ、恐怖、幸福、怒りなどの感情を検出できます。さらに、生徒の視線の方向も、生徒の注意力のレベルを示している可能性があります。もう一つの情報源は、生徒の体の姿勢を観察することです。カメラやディープラーニングの手法を用いることで、姿勢を解析し、注意力の度合いを判断することができます。たとえば、前かがみになったり、机に頭を乗せたりしている学生は、注意力が低い可能性があります。学生に配布されるスマートウォッチは、心拍数や慣性測定などの生体認証やその他のデータを提供でき、注意の指標としても使用できます。これらの情報源を組み合わせることで、AIシステムを訓練して、教室での注意のレベルを特定できます。ただし、さまざまな種類のデータを統合するには、ラベル付きデータセットを作成する必要があるという課題があります。正確なラベリングのために、専門家の意見と既存の研究が参照されます。この論文では、そのような測定値の統合と、データセットと潜在的な注意分類器の作成を提案します。教師にフィードバックを提供するために、スマートウォッチやダイレクトコンピューターなど、さまざまな方法を検討します。教師が注意力の問題に気付いたら、生徒を再び関与させ、やる気を起こさせるために、教育アプローチを調整することができます。要約すると、AI技術は、学生の感情、視線方向、体の姿勢、および生体認証データを分析することにより、学生の注意レベルを自動的に識別できます。この情報は、教師が教育と学習のプロセスを最適化するのに役立ちます。

本研究の対象グループは学部生と修士課程の学生であり、18歳から25歳が主な年齢層です。この集団は、若い学生よりも気を散らすものが少なく電子機器を扱えるため、選ばれました。グループには合計25人が含まれていました。この年齢層は、プロポーザルをテストするための最も信頼性の高い結果を提供できます。
教師に示された注意力の結果は2つの部分から成ります。結果のパートAは、各生徒の現在の注意レベルに関する個々の情報を示しています。パートBは、クラス全体の平均的な注意と、レッスン全体を通してその時間的履歴を得ることを目的としています。これにより、教室での生徒の注意の一般的な傾向を捉え、教師が使用する方法論をライブで適応させることができます。毎秒、インターフェイスはサーバーから新しい情報を要求します。さらに、このビューにはブラウザ通知の使用が組み込まれているため、教師が通常どおり活動を行っている間、このGUIをフォアグラウンドに保持することなく、生徒の注意の大幅な変化を邪魔にならない方法で表示できます。この GUI の例を 図 5 に示し...

この論文では、学生がクラスに注意を払っているか、気を散らしているかを自動的に検出する人工知能ベースのシステムを提案しています。このシステムは、教師が生徒の注意を引き付け、授業を最適化し、生徒がより魅力的になるように動的に変更を導入できるように設計されています。

The attention level of students in a classroom can be improved through the use of Artificial Intelligence (AI) techniques. By automatically identifying ...

私たちの研究は、人工知能を使用して教室環境で生徒の注意力のレベルを測定および検出することの実現可能性を探ることに焦点を当てています。私たちは、カスタム開発されたアルゴリズムと方法論が、授業中の学生の関与を効果的に評価できるかどうかを調査しています。最新のアプローチは、人工知能に基づいています。具体的には、学習アルゴリズムは最先端です。この種のアルゴリズムは、膨大な量のデータを使用して内部モデルをトレーニングし、画像の分類、人物のポーズの推定、またはその他のさまざまな興味深いタスクの実行に使用できます。私たちの研究には、主に2つの重要な課題があります。まず、解決しなければならない技術的な問題があります。たとえば、デバイスのセットアップ方法、画像からの動きの推定方法、ポーズ、およびアプローチで考慮するその他のパラメーターなどです。そして、すべての個人が同じように注意のレベルを表現しているかどうかが不明であるため、主観的な分岐があります。私たちのシステムの最大のポイントは、マルチモーダルアプローチを使用していることです。顔の感情、体のポーズ、頭のポーズ、アクセルデータ、心拍数など、さまざまな入力を分析して、注意力のレベルを自動的に分類します。さらに、私たちの方法は人工知能に大きく依存しており、他の関連研究分野でも高い成功を収めていると言われています。

artificial-intelligence-based-system-for-detecting-attention-levels

Research

JoVE Journal

Engineering

工学

実験室の設定を再現するために、視覚タスクのためのオンラインデータ収集方法は、刺激の提示を厳密に制御する必要があります。Webアプリケーションを使用して、視覚的注意の2つのテストでパフォーマンスデータを収集する方法を概説します。...

オンライン視覚的注意をテストする方法

バルクシリコンの欠陥の再結合活性を調べるRT液体表面パッシベーション技術が記載されています。 1分間15％のフッ酸と、（iii）照明（I）において、化学洗浄及びシリコンのエッチング、シリコンの（ii）の浸漬：技術を成功させるには、3つの重要な手順が必要です。...

ライト強化フッ酸不動態化：バルクシリコン欠陥を検出するための高感度テクニック

平面試料中の磁性粒子を撮像するためのスキャナは、磁気検出技術を混合平坦な周波数を使用して開発されました。粒子の非線形nonhysteretic磁化からの磁気相互変調積応答は、2周波励磁に記録されています。薄い生体サンプルの2次元画像を撮影するために使用することができます。...

平面サンプル中の磁性粒子を撮像する磁気検出スキャナ周波数混合

高精度加工を使用した水溶性塩化物のプロファイルを取得するためのプロトコルが表示されます。...

セメント ペーストの水溶性塩化物の分布を高精度に検出

生応力を推定する商業オフ棚 (COTS) 手首ウェアラブルに基づいてソリューションを評価するためのプロトコルを提案する.プロトコルは 2...

学生へのストレスを推定する商業の棚を離れて手首ウェアラブルの評価

ここでは、LSMO ナノ粒子を成長するためのプロトコルを提案する、無線周波数 (RF) による単結晶基板 (001) チタン酸ストロンチウム3 (STO) (Gd) BCO...

高周波マグネトロンスパッタ リングによる GdBa2Cu3O7−δ/チタン酸ストロンチウム3 (STO) 単結晶基板上 La0.67Sr0.33MnO3準二層フィルム

ここでは、可変サイクルエンジンのコンポーネントレベルの数学モデルを構築するためのプロトコルを紹介します。...

可変サイクルエンジンのモデリングの迅速な方法

分散ロボットノードは、登山植物の成長軌道を操縦するために青色光刺激のシーケンスを提供します。自然光トロピズムを活性化することにより、ロボットは、ロボットが休眠しているときに対照的に不可能である事前定義されたパターンにそれらを成長させ、バイナリ左右の決定を通して植物を導きます。...

誘導植物成長のためのロボットセンシングと刺激供給

このプロトコルは、ヤモリにインスパイアされたソフトロボットのクライミング性能の製造、制御、評価のために実行されるステップの詳細なリストを提供します。...

ヤモリにインスパイアされたソフトロボットの製造・制御・性能評価

本研究では、シルクモスアンテナを用いたバイオハイブリッド臭気検出ドローンの実験プロトコルを紹介する。シルクモスアンテナを用いた実験的な電気アンテノーグラム装置の動作は、スパイラルサージアルゴリズムを用いて臭気源局在化用に設計されたバイオハイブリッドドローンの構造に加えて提示される。...

電気解析ベースのバイオハイブリッド臭気検出ドローンは、臭気源の局在化のためのシルクモスアンテナを用いた

学ぼう、人工知能を用いた学生の注意力検出システムの構築方法。画像分類と姿勢推定技術を組み合わせ、リアルタイムで教室での生徒の集中度を評価し、教師が授業を最適化できる革新的な教育技術を解説します。

人工知能を用いた学生の注意力検出システム

さらに動画を探す