Method Article

학생의 주의력 수준을 감지하기 위한 인공 지능 기반 시스템

DOI:

10.3791/65931

⸱

December 15th, 2023

 ,  ,  ,  ,  ,  , 
1University Institute for Computer Research, University of Alicante, 2Department of General and Specific Didactics, University of Alicante

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

이 논문은 학생들이 수업에 집중하고 있는지 또는 주의가 산만한지 자동으로 감지하는 인공 지능 기반 시스템을 제안합니다. 이 시스템은 교사가 학생들의 주의를 유지하고, 수업을 최적화하고, 학생들의 참여를 돕기 위해 동적으로 수정 사항을 도입할 수 있도록 설계되었습니다.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

교실에서 학생들의 주의력 수준은 인공 지능(AI) 기술을 사용하여 향상시킬 수 있습니다. 주의 수준을 자동으로 식별함으로써 교사는 학생들의 집중력을 되찾기 위한 전략을 사용할 수 있습니다. 이는 다양한 정보 소스를 통해 달성할 수 있습니다.

한 가지 원천은 학생들의 얼굴에 반영된 감정을 분석하는 것입니다. AI는 중립, 혐오, 놀람, 슬픔, 두려움, 행복, 분노와 같은 감정을 감지할 수 있습니다. 또한 학생들의 시선 방향은 잠재적으로 학생들의 관심 수준을 나타낼 수도 있습니다. 또 다른 출처는 학생들의 신체 자세를 관찰하는 것입니다. 카메라와 딥 러닝 기술을 사용하여 자세를 분석하여 주의 수준을 결정할 수 있습니다. 예를 들어, 구부정한 자세를 취하거나 책상에 머리를 기대고 있는 학생은 주의력이 떨어질 수 있습니다. 학생들에게 배포되는 스마트워치는 심박수 및 관성 측정을 포함한 생체 인식 및 기타 데이터를 제공할 수 있으며, 이는 주의의 지표로도 사용할 수 있습니다. 이러한 정보 소스를 결합함으로써 AI 시스템은 교실에서 주의 수준을 식별하도록 훈련할 수 있습니다. 그러나 다양한 유형의 데이터를 통합하려면 레이블이 지정된 데이터 세트를 만들어야 하는 문제가 발생합니다. 정확한 라벨링을 위해 전문가의 의견과 기존 연구를 참조합니다. 이 논문에서는 이러한 측정의 통합과 데이터 세트 및 잠재적인 주의 분류기의 생성을 제안합니다. 교사에게 피드백을 제공하기 위해 스마트 워치 또는 다이렉트 컴퓨터와 같은 다양한 방법을 탐색합니다. 교사가 주의력 문제를 인식하게 되면 학생들을 다시 참여시키고 동기를 부여하기 위해 교수 방식을 조정할 수 있습니다. 요약하면, AI 기술은 학생들의 감정, 시선 방향, 신체 자세 및 생체 인식 데이터를 분석하여 학생들의 주의 수준을 자동으로 식별할 수 있습니다. 이 정보는 교사가 교수-학습 과정을 최적화하는 데 도움이 될 수 있습니다.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

현대 교육 환경에서 학생들의 주의를 정확하게 평가하고 유지하는 것은 효과적인 교수 및 학습에 매우 중요합니다. 그러나 자기 보고 또는 주관적인 교사 관찰과 같은 참여도를 측정하는 전통적인 방법은 시간이 많이 걸리고 편향이 발생하기 쉽습니다. 이 문제를 해결하기 위해 인공 지능(AI) 기술이 자동화된 주의 감지를 위한 유망한 솔루션으로 부상했습니다. 학생들의 참여 수준을 이해하는 데 있어 한 가지 중요한 측면은 감정 인식이다1. AI 시스템은 얼굴 표정을 분석하여 중립, 혐오, 놀람, 슬픔, 두려움, 행복, 분노와 같은 감정을 식별할 수 있습니다2.

시선 방향과 몸의 자세도 학생들의 주의력을 나타내는 중요한 지표이다3. AI 시스템은 카메라와 고급 머신 러닝 알고리즘을 활용하여 학생들이 보는 곳을 정확하게 추적하고 신체 자세를 분석하여 무관심이나 피로의 징후를 감지할 수 있습니다4. 또한, 생체 인식 데이터를 통합하면 주의 감지의 정확성과 신뢰성이 향상된다5. 학생들이 착용하는 스마트워치를 통해 심박수 및 혈중 산소 포화도와 같은 측....

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

다음 프로토콜은 승인된 프로토콜 번호 UA-2022-11-12로 알리칸테 대학교의 인간 연구 윤리 위원회의 지침을 따릅니다. 이 실험 및 여기의 데이터 사용에 대해 모든 참가자로부터 정보에 입각한 동의를 얻었습니다.

1. 하드웨어, 소프트웨어 및 클래스 설정

  1. WiFi 기능이 있는 라우터(실험은 DLink DSR 1000AC를 사용하여 수행됨)를 원하는 위치에 설정하여 범위가 전체 방을 포함하도록 합니다. 여기에서는 30명의 학생이 있는 25m2 교실을 대상으로 했습니다.
  2. 각 학생 위치에 대해 하나의 스마트워치(여기에서 Samsung Galaxy Smartwatch 5)와 하나의 카메라(여기에서 Logitech C920 카메라)를 설정합니다. 학생 2명당 1개의 내장 장치를 설정합니다. 두 개의 삼각대에 두 대의 카메라를 고정하고 다른 내장 장치(이하 천정 카메라라고 함)에 연결합니다.
  3. USB 링크를 사용하여 카메라를 해당 내장 장치에 연결하고 전원을 켭니다. 스마트워치도 켭니다. 모든 임베디드 장치와 스마트워치를 1.1단계에서 설정한 라우터의 WiFi 네트워크에 연결합니다.
  4. 카메라를 각 학생의 책상 구석에 놓고 이미지에서 ....

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

이 연구의 대상 그룹은 학부생과 석사생이므로 주요 연령 그룹은 18세에서 25세 사이입니다. 이 모집단은 어린 학생들보다 산만함이 적은 전자 장치를 다룰 수 있기 때문에 선택되었습니다. 이 그룹에는 총 25명이 포함되었습니다. 이 연령대는 제안서를 테스트하기 위해 가장 신뢰할 수 있는 결과를 제공할 수 있습니다.

교사에게 보여지는 주의 수준의 결과는 2부분으로 나뉩니다. 결과의 파트 A는 각 학생의 현재 주의 수준에 대한 개별 정보를 보여줍니다. 그런 다음 파트 B는 수업 전반에 걸쳐 전체 반원의 평균적인 관심과 시간적 역사를 얻기 위한 것입니다. 이를 통해 교실에서 학생의 관심에 대한 일반적인 추세를 포착하고 교사가 사용하는 방법론을 실제 방식으로 조정할 수 있습니다. 인터페이스는 매초마다 서버에서 새로운 정보를 요청합니다. 또한 이 보기는 브라우저 알림 사용을 통합하여 교사가 이 GUI를 전경에 유지할 필요 없이 정상적으로 활동을 수행하는 동안 학생들의 주의에 대한 급격한 변.......

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

이 연구는 카메라, 스마트워치, 인공지능 알고리즘을 이용해 교실에서 학생의 주의력을 측정하는 시스템을 제시한다. 이 정보는 교사가 학급의 일반적인 상태에 대해 알 수 있도록 교사에게 제공됩니다.

프로토콜의 주요 중요한 단계 중 하나는 주파수가 다르기 때문에 스마트 워치 정보를 컬러 카메라 이미지와 동기화하는 것입니다. 이 문제는 라즈베리를 서버로 배포하여 스마트워치와 카메라에서 각각의 타임스탬프와 함께 정보를 수신하고 이 정보를 대략적으로 일치시킴으로써 해결되었습니다. 마지막으로 이 정보는 추가 처리를 위해 중앙 서버로 전송됩니다. 프로토콜의 또 다른 중요한 단계는 다양한 소스에서 얻은 데이터로 최종 추론을 생성하기 위한 최종 분류자를 정의하는 것입니다. 이 점을 해결하려면 원시 데이터를 여러 하위 시스템을 통해 전처리하여 사용자의 자세, 감정 또는 동작과 같은 중요한 정보를 생성해야 합니다. 이 정보는 생체 인식 데이터와 함께 정규화되고 결합되어 각 학생의 주의 수준을 추정합니.......

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

저자들은 이 논문에 보고된 연구에 영향을 미칠 수 있는 경쟁적인 재정적 이해관계나 개인적 관계를 알지 못한다고 선언합니다.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

이 작업은 Programa Prometeo(프로젝트 ID CIPROM/2021/017)의 자금 지원으로 개발되었습니다. Rosabel Roig 교수는 유네스코 "교육, 연구 및 디지털 포용"의 의장입니다.

....

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
GPU 4개  Nvidia A40 AmpereNVIDIATCSA40M-PBGPU 중앙 집중식 모델 처리 서버용
FusionServer 2288H V5X-Fusion02311XBK플랫폼에는 중앙 집중식 모델 처리 서버용 전원 공급 장치 및 마더보드가 포함되어 있습니다
메모리 카드 Evo Plus 128 GBSamsungMB-MC128KA/EU메모리 카드는 Raspberry Pi 4b 2GB의 작동을 위한 것입니다. 라즈베리 한 개당 하나씩. 
NEMIX RAM - 512 GB 키트 DDR4-3200 PC4-25600 8Rx4 ECNEMIXM393AAG40M32-CAERAM 중앙 집중식 모델 처리 서버용
프로세서 Intel Xeon Gold 6330IntelCD8068904572101프로세서 중앙 집중식 모델 처리 서버용
Raspberry PI 4B 2GBRaspberry1822095클럭에서 요청을 받아 일반 서버로 보내는 로컬 서버. 학생 2명당 1명.
삼성 갤럭시 워치 5 (40mm)삼성SM-R900NZAAPHE각 학생의 활동을 모니터링하는 시계. 각 학생을 위해. 
삼성 MZQL23T8HCLS-00B7C PM9A3 3.84Tb Nvme U.2 PCI-Express-4 x4 2.5인치 SSD삼성MZQL23T8HCLS-00B7C중앙 모델 처리 서버용 내부 저장소
웹캠 HD Pro C920 웹캠 FullHDLogitech960-001055웹캠 HD. 각 학생당 1개, 학생 포즈에 2개.
.

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Hasnine, M. N., et al. Students' emotion extraction and visualization for engagement detection in online learning. Procedia Comp Sci. 192, 3423-3431 (2021).
  2. Khare, S. K., Blanes-Vidal, V., Nadimi, E. S., Acharya, U. R.

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Artificial IntelligenceAttention DetectionStudent EngagementEmotion RecognitionBody Pose EstimationGaze DirectionBiometric Data AnalysisDeep LearningSmartwatch MonitoringClassroom Analytics

Related Articles