Derin Öğrenme tabanlı Video Nesne Algılama Yoluyla Üniversite Sınıflarında Davranışsal Katılım Değerlendirmesi

Özet

Bu çalışma, öğrencilerin davranışsal etkileşimini, derin öğrenme algoritması kullanarak üniversite sınıf videolarındaki davranışlarını tespit ederek değerlendirmektedir. Öğrenme katılımıyla pozitif ilişkili yedi davranış tanımlanır ve bireysel öğrencilerin ve sınıfın genel katılımını değerlendirmek için puanlama modeli kullanılır.

Özet

Bu çalışma, derin öğrenme tabanlı video nesne algılama kullanarak öğrencilerin üniversite sınıflarındaki öğrenme katılımını değerlendirmeyi amaçlamaktadır. Bunu yapmak için, korelasyon analizi yoluyla yapılan bu araştırma, öğrencilerin öğrenme katılımını ölçmek için göstergeler olarak öğrenme katılımıyla yüksek pozitif korelasyon sunan yedi sınıf davranışını ilk olarak belirledi; ardından Shandong Bilim ve Teknoloji Üniversitesi'nden (SDUST) 6 sınıftan gerçek sınıf öğretiminin 30 senkronize videosu toplandı ve bunları bir eğitim seti ve bir test seti olarak böldü. Yedi davranış eğitim verisine manuel olarak notlandıktan sonra, bu set üzerinde bir makine öğrenimi algoritması denetlenerek eğitildi. Eğitildikten sonra, model kalan etiketlenmemiş veriler için ilk açıklamalar üretti. Daha doğru ve verimli sınıf davranış tanıma sağlamak için, bu çalışma davranış algılama deneyleri için Faster R-CNN ve YOLOv5s olmak üzere iki temsilci algoritma seçti. Tespit performanslarının doğruluk ve zaman maliyeti açısından karşılaştırılmasına dayanarak, YOLOv5s bu çalışmada sınıf davranışı tespiti için seçilmiştir. Son olarak, bu çalışma odak grup yöntemini kullanarak her davranışa puan atandı ve üç seviyeli bir öğrenme katılımı puanlama modeli geliştirdi. Otomatik olarak ölçülen davranışsal verilere dayanan model, hem bireysel hem de sınıf düzeyinde öğrenme katılımının gerçek zamanlı, otomatik değerlendirilmesini sağlar.

Giriş

Öğrenme etkileşimi, öğrencilerin katılımı, konsantrasyonu ve öğrenme çabalarını ifade eder ve davranışsal katılım, duygusal katılım ve bilişsel katılımdan^{oluşur 1}. Öğrencilerin öğrenme katılımı, öğrenme durumlarını ortaya koyar ve öğretmenlerin öğretim stratejilerini ayarlamalarına yardımcı^{olur 2}. Ancak, sınıf içi öğrenme etkileşimi esas olarak öğrencilerin öz-raporları ve öğretmenlerin gözlemleriyle^{değerlendirilir 3}. Çin üniversitelerindeki yüksek öğretmen-öğrenci oranı, öğretmenlerin öğrenme katılımı değerlendirmesinde geleneksel manuel yöntemleri kullanmalarının büyük zaman ve çaba gerektirmesine neden oluyor.

Son yıllarda, Çin'de akıllı kayıt ve yayın sınıflarının artan popülaritesiyle, sınıf videolarına dayalı öğrenme katılımının otomatik ölçümü mümkün^{hale geldi 4}. Zeki teknolojiyle geliştirilmiş sınıf öğretimi perspektifinden, bu çalışma derin öğrenme yöntemlerini üniversite sınıf videolarında öğrencilerin davranışlarını tespit etmek için uyguladı ve öğrencilerin davranışsal katılımını otomatik ölçmek için bir puanlama modeli önerdi.

Davranışsal etkileşim çalışmalarına kısa bir inceleme
Davranışsal katılımın üç ana seviyesi vardır: (1) Okul düzeyinde, öğrencilerin ders dışı etkinliklere katılma hevesiyle^{ifade edilir 5}. (2) Sınıf düzeyinde, öğrencilerin sınıftaki olumlu davranışlarını (örneğin sınıf düzenine uyum sağlama) ve 6. sınıfta dersi atlatma veya konuşma gibi yıkıcı davranışları^{da içerir}. (3) Öğrenme süreci düzeyinde, öğrencilerin soru sormak ve ödevi tamamlamak gibi öğrenme görevlerine katılımı ve davranışlarını^{ifade eder 7}. Şu anda, davranışsal katılımın değerlendirilmesi için yöntemler genel olarak üç kategoriye ayrılabilir: manuel, yarı otomatik ve otomatik^{yöntemler 8}.

Manuel yöntemler, kendi rapor, mülakatlar, öğretmen gözlemi ve diğer geleneksel değerlendirme yöntemleri dahil olmak üzere emek yoğundur ve nesnellik ile doğruluğu sağlamak zordur. Log analizi, giriş sıklığı, çevrimiçi süre ve yanıt doğruluğu gibi göstergeler dahil olmak üzere, öğrencilerin öğrenme platformlarından toplanan öğrenme logu verilerini analiz eden temsilli yarı otomatik bir değerlendirme yöntemidir. Bu yöntem, öğrencilerin öğrenme katılımını daha objektif bir şekilde değerlendirebilir; Ancak, verinin büyük hacmi ve karmaşıklığı, sonraki işleme için zorluklar^{yaratır 4}. Otomatik yöntem, bilgisayar görüşüne dayanır ve kayıt ve yayın platformları gibi akıllı cihazlar kullanılarak öğrencilerin ifadelerini, jestlerini, davranışlarını ve diğer görsel ipuçlarını sınıfta yakalamak için kullanılır; esas olarak sınıf davranışlarını değerlendirmek için. Önceki iki yöntemle karşılaştırıldığında, bu yaklaşım bilgisayarlar ve algoritmalar aracılığıyla davranışsal etkileşimin hızlı ölçülmesini sağlar ve öznel müdahaleye karşı daha az^{hassastır 9}.

Nesne tespitine dayalı davranışsal etkileşim değerlendirmesinin kısa bir incelemesi
Derin öğrenmenin yükselişiyle birlikte, nesne algılama teknikleri giderek öğrenme katılımı analizine uygulanmaktadır. Nesne tespit algoritmaları, konvolüsyon sinir ağlarına dayalı görüntülerde nesne sınıflandırması ve yerelleştirme gerçekleştirir. Video kayıt sistemleriyle donatılmış akıllı sınıflarda, bu algoritmalar sınıf videolarından öğrencilerin duruşları, jestleri ve yüz ifadeleriyle ilgili görsel bilgileri tanıyabilir; böylece öğrencilerin davranışlarının otomatik olarak tanımlanmasını ve davranışsal etkileşimlerinin değerlendirilmesini sağlar. Sonuç olarak, öğrencilerin sözsüz davranışlarıyla yansıtılan sınıf öğrenme durumu etkili^{şekilde yorumlanabilir 9}.

Öğrencilerin videolardan çoklu sözsüz davranışlarını toplamak ve tanımlamak için çeşitli ekipman ve algoritmalar kullanılmıştır. Rahman ve ^ark.10 ile Zaletelj ve^{Košir 11} , öğrencilerin görüş hattı, yüz bilgileri, vücut duruşu özellikleri vb. toplamak için Kinect sensörleri kullanmış ve makine öğrenimi algoritmaları kullanarak öğrencilerin dikkat seviyesini analiz etmiştir. Whitehill ve ^ark.8 , bir tanıma modeli eğitmek için öğrencilerin yüz ifadelerini kaydetmek için iPad web kamerası kullanarak, makine öğrenimi tekniğinin öğrenme katılımı değerlendirmesinin doğruluğu açısından insan gözlemiyle eşit olduğunu kanıtladı. Sukumaran ve Manoharan¹² , öğrencinin etkileşimini EGG sinyalleriyle tespit etti. Ashwin ve^{Guddeti 13} , laboratuvar ortamında sınıf videolarını analiz etmek için konvolüsyon sinir ağları kullanarak yüz ifadeleri, el duruşları ve vücut duruşları gibi sözsüz davranışları tespit ederek öğrenme katılımını değerlendirdiler. Bai ve ^ark.14 , sınıf davranışlarının, örneğin çalışma, uyuma ve baş eğme gibi çoklu özellik füzyonuyla daha hızlı R-CNN kullanarak, transfer öğrenme yoluyla tespit edilmesini sağlamıştır. Deng ve ^ark.9 , Faster R-CNN derin öğrenme tekniklerini birleştirerek uzaktan sınıf videolarını analiz etti ve öğrencilerin baş, el ve vücut duruşlarına dayalı davranış tanıma ve sınıf katılımı ölçümü için bir yöntem önerdi.

İlk çalışmalar ağırlıklı olarak laboratuvar ortamlarında yapılmış, bunların çoğu tek bir senaryoda tek bir bireye^{odaklanmıştır} 10,11,12,13; daha yeni çalışmalar ise giderek gerçek sınıf ortamlarını ^{incelemiştir} 9,14,15,16,17,18,19 . Ayrıca, incelenen davranış yelpazesi giderek daha çeşitli hale gelmiştir. Örneğin, Bai ve ^ark.14 ve Ouyang ve ^ark.15, sadece iki davranışın—baş yukarı ve baş aşağı—tanımlandığı sınıf videolarını analiz etti. Deng ve ^ark.9, ilkokul sınıf videolarını incelemiş ve tespit edilen davranış kategorilerini baş hareketlerinden el ve vücut hareketlerine genişletmiştir. Zhang ve^{meslektaşları 16}, yukarı bakmak, aşağı bakmak, uyumak, etrafa bakmak ve esnemek gibi beş tür öğrenci davranışını topladı.

Ancak, veriler ilkokul sınıflarından toplandığı için, öğrencilerin genellikle sabit pozisyonlarda oturduğu için, gözlemlenebilir davranış yelpazesi nispeten sınırlı kaldı. Bu nedenle, sonraki çalışmalar giderek üniversite sınıflarına odaklanmıştır. Birçok üniversite sınıfı büyüktür; yaklaşık yüz öğrenci genellikle rastgele oturur, bu da öğrencilerin davranışlarını tespit etmeyi zorlaştırır. Ayrıca, gerçek üniversite sınıf ortamlarında öğrenciler öğretmenler, sınıf arkadaşları, kara tahtalar ve ders kitaplarıyla etkileşimler dahil olmak üzere daha fazla davranışsal çeşitlilik ve etkileşim sergiler. Yan ve ^ark.17 , kalabalık sınıf ortamlarında duruş tanıma doğruluğunu artırmak için tasarlanan derin öğrenme tabanlı duruş tanıma yöntemi olan BetaPose'u önermiştir. Tan ve ^ark.18 , YOLOv9 ağına bir koordinat dikkat (CA) modülü dahil etti ve ortaya çıkan CA-YOLOv9 modeli, büyük öğrenci nüfuslu karmaşık üniversite sınıf ortamlarında yedi sınıf davranışının tanınmasına uygulandı. Wang ve ^ark.19 , özellikle küçük ve kapalı hedefler için zeki sınıflarda öğrencilerin davranışlarını belirlemek için çift yönlü özellik artırma ağı (BATNet) önermiştir.

Geliştirilen algoritmalarla, davranış algılama hızı ve doğruluğu büyük ölçüde artırıldı; Ancak mevcut çalışmalar, tespit edilen sınıf davranışları ile öğrencilerin katılımı arasında bir ilişki olup olmadığı açıklamasını göz ardı etti ve belirli davranışların davranışsal katılımı ölçmek için parametre olarak kullanılıp kullanılamayacağı ve hangi davranışların öğrenme bağlılığını etkili şekilde yansıtabileceği gibi soruları yanıtsız bıraktı. Ayrıca, öğrencilerin davranışsal etkileşimini açıkça gösterecek bir yol da bulunmalıdır. Bu nedenle, bu çalışma, öğrencilerin öğrenme katılımıyla çok ilişkili sınıf davranışlarını korelasyon analiziyle belirledi; Bu arada, davranışsal katılımın değerlendirme modelini oluşturmak için bir puanlama sistemi geliştirildi. Sonuç olarak, hem bireysel öğrenciler hem de sınıf genelinde davranışsal katılımın otomatik ölçümü sağlanabilir.

Protokol

Tüm videolar, Shandong Bilim ve Teknoloji Üniversitesi tarafından önerilen insan araştırmalarının mevcut etik uygulamalarına uygun olarak alınmış ve kullanılmıştır. Verilerin kullanımı için onay alındı.

İlk olarak, öğrencilerin davranış göstergesi olabilecek davranışlarını belirlemek için korelasyon analizi yapıldı. Veri seti çerçeve çıkarımı ile oluşturulup eğitim seti ile test setine bölündükten sonra, eğitim setinde nesne algılama için iki temsilci algoritma çalıştırıldı ve doğruluk ve verimlilik açısından karşılaştırıldı. Son olarak, daha iyi performansa sahip algoritma (YOLO-v5s) test setinde çalışmak üzere seçildi ve davranış algılaması yapıldı. Şekil 1 , öğrencilerin davranışlarının tanımlanması ve tespit edilme sürecinin akış şemasını sunmaktadır.

Şekil 1. Öğrencilerin davranışlarının tanımlanması ve algılanması için akış şeması. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Göstergelerin tanımlanması
Nesne tespit deneyleri yapılmadan önce, öğrencilerin davranışsal katılımını gösteren sözsüz davranışların tanımlanması gerekiyordu. Bugüne kadar, nesne algılamaya dayalı davranışsal etkileşim çalışmaları, görüş hattı, yüz bilgisi ve vücut^duruşu 9,10,11,12,13,14 gibi çeşitli sözsüz davranışların tespit edilmesinde başarı sağlamıştır. Ancak, belirli davranışların öğrencilerin davranışsal bağlılığının göstergesi olarak haklı olup olmadığı henüz tartışılmamıştır. Bu nedenle, bu çalışmada, öğrencilerin davranışları ile davranışsal etkileşim seviyeleri arasında bir korelasyon analizi kullanılarak davranışsal katılıma işaret edilen davranışlar belirlendi.

(1) Davranışsal katılım testi
Bu çalışma, SDUST-Jinan'da İngilizce olmayan dört doğal sınıftan 122 lisans öğrencisini korelasyonel bir çalışma için örnek olarak seçti. İlk olarak, 122 öğrenciden davranışsal katılım verileri toplamak için kendi raporlama ölçekleri kullanıldı ve bu veriler, davranışsal katılım durumlarını iç deneyim açısından anlamayı amaçladı. Bu çalışmanın sınıf video verilerinin "Akademik İngilizce" derslerinden alındığı için, Ren^{Qingmei 20} tarafından geliştirilen üniversite İngilizce sınıflarında öğrenme katılımı için çok boyutlu değerlendirme aracı benimsenmiştir. Bu enstrüman, özellikle Çin yabancı dil öğretim ortamı için tasarlanmıştır ve bu çalışmanın klasik öğrenme katılımı kategorisini kullanır; üç boyutu kapsar: davranışsal, duygusal ve bilişsel katılım. Bunlar arasında, davranışsal katılım aracı dokuz maddeden oluşur; bunlar öğretmen-öğrenci etkileşimi (örneğin, "İngilizce dersinde öğretmenin sorularını aktif olarak yanıtlarım"), bireysel çaba (örneğin, "İngilizce dersi öğrenimi sırasında karşılaşılan zorlukları dikkatle değerlendiriyorum"), akran etkileşimi (örneğin, "İngilizce dersi öğrenme görevlerini tamamlamak için diğer öğrencilerle iş birliği yaparım") gibi unsurlara karşılık gelir. Her madde Likert 5 puanlık bir ölçek formatında sunulur; yanıt seçenekleri "neredeyse hiç nadir, bazen, sıklıkla, her zaman" olarak 1'den 5'e kadar puanlanır; bu da öğrencilerin öğrenme deneyimlerine en uygun seçeneği seçmelerini gerektirir. 15 puan veya daha düşük puan alan öğrenciler düşük katılımlı öğrenciler, 16-30 puan alanlar orta katılımlı öğrenciler ve 31-45 puan alanlar yüksek katılımlı öğrenciler olarak sınıflandırıldı. Son olarak, 120 geçerli ölçek toplandı; 17 öğrenci düşük katılım kategorisinde, 45 öğrenci orta katılım kategorisinde ve 58 öğrenci yüksek katılım kategorisinde yer aldı.

(2) Davranış tanımı
Bu arada, bu dört sınıftaki tam katılımlı "Akademik İngilizce" derslerinden toplam 50 dakika kaydedilen dört video toplandı. Her 15 saniyede bir çerçeve çizildiğinden, nihayet gözlem için 200 görüntü çıkarıldı. Üç öğrencinin video örneklerinin tekrar tekrar izlenmesine dayanarak, bu çalışma başlangıçta sınıfta etrafa bakma, cep telefonu kullanma, tartışma, dolaşma, dolaşma, yeme veya içme, not alma veya okuma, dikkatle dinleme, ayağa kalkma (soruyu yanıtlamak için), esneme, uyuma ve bilgisayar kullanma gibi 12 farklı davranış türünü tespit etti. 12 davranışın örnekleri Şekil 2'de gösterilmiştir.

Şekil 2. 12 davranış örneği. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Her tip, görsel özelliklerin ve mekansal bağlamın ayrıntılı açıklamalarıyla eşlik edilmiş, bu da Sınıf Davranışı Açıklaması için Standart Çalışma Prosedürünü oluşturuyordu ve bu da annotasyonlar arasında kavramsal tutarlılığı sağlıyordu. Tablo 1 , öğrencilerin davranışlarının 12 kategorisini ve her davranışın tanımını gösterir.

Etrafa bakmak başı sola, sağa ve geriye önemli ölçüde çevirmeyi içeriyordu. Öğrenciler başlarını çevirip ağızlarını açarlarsa tartışmada sayılırdı. Sınıf senaryosunda dikkatli dinlemek, doğrudan tahtaya ya da önlerinde duran öğretmene bakmakla ilişkilendirilirdi; Bakış başka yere yöneldiğinde, öğrencinin büyük ihtimalle dolaşıyor olması. Öğrenci başı aşağı pozisyon gösterdiğinde ve kitap veya defter gibi bir nesne olduğunda, bu davranış not almak veya kitap okumak olarak tanımlanabilir. Davranış ayakta durma durumunda ve öğrenci ağzı açık oturduğu yerde, soruyu ayakta cevaplıyor olarak kabul edilirdi; Öğrenci koltuğundan kalkmışsa, dolaşıyor sayılır, bu da öğrencinin derse geç kaldığını veya sınıftan çıktığını gösterebilir. Bir öğrenci başını masaya yatırdığında, uyuyor olarak tanımlanıyordu. Bir öğrenci elinde yiyecek veya içecek tuttuğunda, bu davranış yemek ya da içme olarak tanımlandı. Ağzı açık veya vücut esneme davranış duruşu, öğrencinin esnediğini gösteriyordu.

Davranış kategorisi	Davranış Tanımı
Etrafa bakınıyor	Başın sağa, sola veya geriye doğru belirgin hareketi
Cep telefonu kullanımı	Ellerle cep telefonuna dokunmak
Tartışma	Ağzı açık, başını hareketlendirerek
dolaşıyor	Alakasız yerlere sırlı bir bakış
Etrafta dolaşıyor	Koltuktan kalkmak
Yemek veya içmek	Ağzı açık ve yiyecek veya suyla temas halinde
Not Almak veya Okumak	Not almak ya da bir kitaba bakmak
Dikkatle dinliyor	Kara tahtaya ya da öğretmene bakmak
Ayağa kalkmak (soruları yanıtlamak için)	Ağzı açık koltukta ayağa kalkmak
Esneme	Ağzı açık veya vücut esnemesi
Uyumak	Kafa masanın üzerine
Bilgisayar kullanımı	Masada açık bir bilgisayar

Tablo 1: Öğrencilerin davranışlarının kategorileri ve tanımları.

(3) Korelasyon analizi
Yukarıdaki kriterler kullanılarak, 12 deneyimli öğretmen 120 öğrencinin videolarını izlemeye ve davranış tiplerini ve sıklıklarını kaydetmeye davet edildi. Davranışlar Tablo 1'e göre tanımlandı. Öğretmenler dört gruba ayrılmıştı; her grupta üç öğretmen vardı. Her grup 30 öğrenciyi kaydetmekten sorumluydu; üç öğretmenin her biri bağımsız olarak 30 öğrencinin davranışlarını kaydediyordu. Cronbach Alfası (α olarak adlandırılır), bir ölçeğin veya anketin iç tutarlılığını ölçmek için kullanılan bir göstergedir. Cronbach alfasının değer aralığı 0'dan 1'e kadar olup, α ≥ 0.8 genellikle iyi bir iç^{tutarlılık 21} olarak yorumlanır. Üç öğretmende belirli bir davranış türünün sıklığında yüksek bir tutarlılık (0.8, yani yüksek bir tutarlılık α >derecesi) varsa, bu davranış sıklığı üç frekansın ortalaması olarak kaydedildi. Daha sonra, veriler bir yanda her öğrencinin farklı davranış sıklıklarını, diğer yandan ise davranışsal etkileşim seviyelerini temsil ederek, iki faktör arasında bir korelasyon analizi yapıldı. Sonuç Tablo 2'de gösterilmiştir.

Davranışlar		Davranışsal etkileşim
Yemek veya içmek	Pearson Korelasyonu	.319**
	Sig. (2 kuyruklu)	0.004
	N	120
Esneme	Pearson Korelasyonu	-.335**
	Sig. (2 kuyruklu)	0
	N	120
Tartışma	Pearson Korelasyonu	.546**
	Sig. (2 kuyruklu)	0
	N	120
Etrafta dolaşıyor	Pearson Korelasyonu	-.774**
	Sig. (2 kuyruklu)	0
	N	120
Gezmek	Pearson Korelasyonu	.293**
	Sig. (2 kuyruklu)	0.008
	N	120
Etrafa bakınıyor	Pearson Korelasyonu	-.834**
	Sig. (2 kuyruklu)	0
	N	120
Okuma veya not alma	Pearson Korelasyonu	.912**
	Sig. (2 kuyruklu)	0
	N	120
Dikkatle dinliyor	Pearson Korelasyonu	.881**
	Sig. (2 kuyruklu)	0
	N	120
Ayağa kalkmak	Pearson Korelasyonu	.330**
(bir soruyu yanıtlamak için)	Sig. (2 kuyruklu)	0
	N	120
Uyumak	Pearson Korelasyonu	-.411**
	Sig. (2 kuyruklu)	0
	N	120
Kullanım	Pearson Korelasyonu	.591**
cep telefonu	Sig. (2 kuyruklu)	0
	N	120
Bilgisayar kullanımı	Pearson Korelasyonu	.362**
	Sig. (2 kuyruklu)	0.001
	N	120

Tablo 2: Korelasyon analizi sonuçları.

Korelasyon analizinde, r korelasyon katsayısıdır ve iki değişken arasındaki doğrusal korelasyon derecesini ifade eder; bu oran −1'den 1'e kadar değişir. İlişki derecesine göre, korelasyon aşağıdaki türlere ayrılabilir:
Yüksek korelasyon (│r│ ≥ 0.70)
Orta korelasyon (0.40 ≤ │r│ ≤ 0.70)
Düşük korelasyon (│r│ ≤ 0.40)

İlişkinin yönüne göre, aşağıdaki türlere ayrılabilir:
Pozitif korelasyon (r > 0)
Negatif korelasyon (r < 0)
Korelasyon yok (r = 0)

Tablo 1'den, etrafa bakmak (r = −0.834**, p < 0.05), cep telefonu kullanmak (r = 0.591**, p < 0.05), tartışma (r = 0.546, p < 0.05), etrafta dolaşmak (r = −0.774**, p < 0.05), not almak veya okumak (r = 0.912**, p < 0.05), dikkatli dinlemek (r = −0.881**, p < 0.05) ve uyumak (r = −0.411**) gibi yedi davranış görülebilir. p < 0.05), davranışsal etkileşimle yüksek veya orta korelasyona sahipken, yeme veya içme (r = 0.319**, p = 0.04), ayağa kalkmak (soruyu yanıtlamak için) (r = 0.330**, p = 0.00), esneme (r = −0.335**, p < 0.05), dolaşmak (r = 0.293, p > 0.05) ve bilgisayar kullanımı (r = 0.362, p < 0.05) gibi davranışlar davranışsal katılımla düşük veya hiç korelasyon göstermiyordu. Korelasyon analizine dayanarak, bu çalışma nihayetinde yedi davranışı öğrenme katılımının göstergesi olarak belirledi; yani etrafa bakmak, cep telefonu kullanmak, tartışmak, dolaşmak, not almak veya okumak, dikkatli dinlemek ve uyumak.

Veri setinin kurulması
Bu çalışmada kullanılan video verileri, SDUST'in doğrudan kayıt platformundan toplanmıştır; bu platform, "Akademik İngilizce" dersinin gerçek sınıf öğretiminin senkronize videolarını sağlamıştır. İngilizce olmayan dört sınıftan yaklaşık 50 dakika uzunluğunda on video toplanarak, öğrencilerin sınıf davranışlarına dair eğitilebilir bir veri seti oluşturuldu. Her 15 saniyede bir bir kare çizilirken, sonunda 1.920 × 1.080 çözünürlükte 2.000 görüntü çıkarıldı.

Veri setinin bölünmesi
Deney, öğrenci davranış veri setini tamamen bağımsız iki bölüme böldü: bir eğitim seti ve bir test seti; Tablo 3'te gösterildiği gibi, paylaşılan görüntü yok. Veri seti, yedi öğrenci davranışının tamamını kapsıyordu. Eğitim seti ve test seti, model parametrelerinin eğitimi ve doğruluğun değerlendirilmesi için kullanıldı. Eğitim parametreleri, Tablo 4'te gösterildiği gibi ayarlanmıştır.

Veri seti	Görüntü sayısı
Toplam	2830
Eğitim seti	2111
Test seti	719

Tablo 3: Öğrenci davranış veri setinin bölünmesi.

Parametre	Değer
Öğrenme hızı	0.01
Momentum	0.937
Ağırlık kaybı	0.0005
Dönem	100
Parti Büyüklüğü	16

Tablo 4: Deneysel parametrelerin ayarlanması.

Aynı öğrencinin farklı alt kümelerde ortaya çıkmasından kaynaklanan veri sızıntısını önlemek ve davranışların doğal zamansal sürekliliğini korumak için "Katmanlı Zaman Bölünmesi" yöntemi benimsendi.

Konu ayrımcılığı: Veri seti, eğitim, doğrulama ve test setlerindeki öğrencilerin birbirini dışlamasını sağlayan benzersiz öğrenci kimlikleriyle bölünmüştür.

Zamansal bölünme: Videolar kronolojik olarak sıralandı. Zamansal segmentlerin ilk %70'i eğitim için, sonraki %15'i doğrulama için, son %15'i ise test için kullanıldı. Bu yöntem, rastgele bölünmeye kıyasla gerçek dünya zamansal genellemesini daha iyi simüle ederdi.

Sınıf dengesi: "Uyuyan" ve "cep telefonu kullanan" gibi az temsil edilen kategoriler için, modelin tüm kategorilerden özellikleri öğrenmesi için eğitim setinde orta düzeyde aşırı örnekleme uygulanmıştır.

Eğitim veri setinin notasyonu
Eğitim verilerini manuel olarak açıklamak için açık kaynaklı bir açıklama aracı kullanıldı. Bu alet, kutu açıklamalarını sınırlamak için kullanıldı. Özel iş akışı şöyleydi: (1) Farklı okulları, zaman dilimlerini ve ders türlerini kapsayan gözetim videolarından sabit bir hızda (1 kare/s) anahtar kareler çıkarıldı, ardından yüz bulanıklaştırma gibi anonimleştirme işlemleri yapıldı; (2) Annotasyon SOP'tan sonra, annotatörler dikdörtgen kutular kullanarak belirli bir davranışı gerçekleştiren öğrenciyi kesin olarak tanımladılar ve ilgili kategori etiketini atandılar; (3) Açıklamalar, PASCAL VOC formatında XML dosyaları olarak dışa aktarıldı.

Etiket kalitesini sağlamak için, özellikle belirsiz davranışları ayırt etmedeki hataları önlemek için (örneğin, tartışma ve dolaşma) "Üç Aşamalı Açıklama-Hakem" işbirlikçi mekanizması uygulandı:

İlk açıklama: Her anahtar çerçeve, üç eğitimli annotör tarafından bağımsız olarak notlandırıldı. Her etiket, bir kategori etiketi ve bir sınırlayıcı kutudan oluşur.

Tutarlılık doğrulaması: Birleşikler üzerinde kesişme ve annotasyonlar arasındaki kategori tutarlılığı hesaplandı. IoU 0.8 ile başlangıç açıklamasının sonucu olan sınırlayıcı >kutular ve aynı kategori etiketleriyle yapılan "tutarlı açıklamalar" olarak kabul edildi. IoU ≤ 0.8 veya aynı olmayan kategori etiketlerine sahip sınırlayıcı kutular "tutarsız açıklamalar" olarak kabul edildi.

Uzman tahkim: Tutarsız açıklamalar için (örneğin, "etrafa bakmak" ve "tartışmak" gibi belirsiz durumlar), öğretim tecrübesine sahip bir uzman paneli video klibi, davranışsal bağlam ve pedagojik önceden bilgiye dayanarak nihai kararı verdi. Son karar, anahtar karedeki kaynak video segmentinin incelenmesiyle etiket doğruluğunun doğruluğu doğrulanarak yapılır.

Açıklama, öğrencilerin davranışlarının Şekil 3'te gösterildiği gibi çoklu, yoğun ve küçük hedeflerle karakterize edildiğini ortaya koydu.

Şekil 3. Sınıf görsel açıklamasına bir örnek. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Sınıftaki öğrenciler dikkatli dinleme, cep telefonu kullanma ve sık sık okuma veya not alma gibi davranışlar sergilerken, dolaşma, dolaşma gibi sıklıklar nispeten düşüktü. Şekil 4, eğitim veri setindeki sınıf davranışlarının dağılımını göstermektedir.

Şekil 4. Eğitim veri setindeki davranışların dağılımı Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Öğrencilerin davranışlarının tespiti
Derin öğrenme tabanlı nesne algılama çerçeveleri esas olarak iki^{kategoriye ayrıldı: 22}: Faster R-CNN serisi ile temsil edilen iki aşamalı yöntemler ve YOLO ile temsil edilen tek aşamalı yöntemler. İlk kategori için, iki aşamalı tespit yöntemleri, önce Bölge Teklif Ağı (RPN) kullanarak bölge önerileri üretti, ardından ayrıntılı sınıf olasılık hesaplamaları ve sınırlayıcı kutu regresyonunu gerçekleştirdi. İkinci kategori için, tek aşamalı yöntemler, nesne sınıflarını ve sınırlayıcı kutuları tek aşamada aynı anda tahmin ederek tespit sürecini kolaylaştırdı. İki aşamalı yöntemler alanın gelişiminin daha erken dönemlerinde ortaya çıkmış olsa da, tek aşamalı yaklaşımlar basitleştirilmiş mimarisi ve hesaplama verimliliği nedeniyle popülerlik kazanmıştır. Daha doğru ve verimli sınıf davranış tanıma sağlamak için, bu çalışma her iki kategoriden temsil edici algoritmaları seçti; yani Faster R-CNN ^23,24 ve YOLO-v5^25,26, sınıf davranış algılama deneyleri yapmak üzere ve iki algoritmanın tespit sonuçlarını karşılaştırdıktan sonra bu çalışmada davranış algılama için kullanılan algoritmaya karar verildi.

Deneysel sonuçların verimli değerlendirilmesi için, odak noktası her algoritmik modelin zaman maliyetine kıyasla genel tespit doğruluğuna verildi. İki modeli ölçmek için Ortalama Ortalama Hassasiyet (mAP) ve eğitim süresi (h) kullanıldı.

İki yöntemle tanıma için yedi davranış kategorisi tespit edildi ve ortalama tespit doğruluk değerleri (AP) Tablo 5'te kaydedildi. Bunlar arasında, YOLO-v5'ler, etrafta dolaşmak, dersleri dikkatle dinlemek ve cep telefonu kullanmak olmak üzere üç tür eylemin tespit edilmesinde Faster R-CNN'den daha iyi performans gösterdi ve AP değerleri sırasıyla %100, %62,7 ve %31,8 idi.

Ağ Modeli	Tartışma	Etrafta Dolanmak	Dikkatle dinlemek	Etrafa Bakışlar	Uyumak	Not Almak veya Okumak	Cep Telefonu Kullanımı
Daha Hızlı R-CNN	32.6	99.5	45.4	9.3	22	52.6	26.8
YOLO-v5s	17.8	100	62.7	3.8	19	51	31.8

Tablo 5: Tek bir sınıf için iki algoritmanın ortalama hassasiyeti.

Test setindeki iki klasik tespit ağının eğitim süresi ve ortalama tespit doğruluğu, 0.5 IoU'da gösterilmiştir . Faster R-CNN ağı daha yüksek doğruluğa sahip olsa da, çalışma süresi nispeten uzundu. Karşılaştırma yapmak gerekirse, YOLO-v5'lerin çalışma süresi %30 daha kısaldı ve doğruluk sadece %0,3 azaldı; bu da verimlilikte daha büyük bir iyileşme gösterdi. Bu çalışmada sınıfta öğrenci davranışlarının gerçek zamanlı tespit edilmesi ihtiyacı göz önüne alındığında, ağ için eğitim süresinin mümkün olduğunca kısa olması bekleniyordu. Eğitim setinde eğitilen modellerin hem tespit doğruluğunu hem de zaman maliyetini göz önünde bulundurarak, bu makale YOLO-v5s'in sınıf öğrenci davranış algısı için daha uygun olduğu sonucuna varmıştır.

Ağ Modeli	h	mAP@0,5 (%)
Daha Hızlı R-CNN	2.88	41.17
YOLO-v5s	2.016	40.87

Tablo 6: Tespit performansının karşılaştırılması.

Bu nedenle, bu çalışmada sınıf davranış algılaması için YOLO-v5s seçildi. YOLO-v5s tarafından üretilen tespit sonuçları, sürekli çoklu hedef davranış algılaması ve ilgili etiketleri gösteren Şekil 5'te gösterilmiştir.

Şekil 5. Test setinin tespit sonuçlarına örnekler. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

(1) Veri artırma ve ön işleme
Model sağlamlığını ve genelleştirmesini artırmak için, eğitim sırasında rastgele afin dönüşümler, renk titremesi ve rastgele tıkanma gibi bileşik veri artırma stratejisi kullanılmıştır. Tüm görüntüler eşit şekilde 640 × 640 piksel boyutlarına yenildi.

(2) Eğitim stratejisi
Eğitim süreci üç aşamaya ayrıldı:
Donmuş Omurga Aşaması (Dönemler 1-100): Omurga ağı donduruldu ve sadece tespit başı eğitildi, ısınma için düşük öğrenme oranı kullanıldı.
Tam Ağ İnce Ayar Aşaması (Epochs 101-250): Tüm ağ katmanları dondurulmadan çıkarıldı. Bir kosinüs tavlama zamanlayıcısı öğrenme hızını ayarladı.
Geliştirme Aşaması (251-300 Dönemler): Eğitimi stabilize etmek için Üstel Hareketli Ortalama uygulandı ve model iyileştirmesi için veri artırma yoğunluğu azaltıldı.

Sınıf dengesizliğini gidermek için, eğitim setindeki sıklıklarına ters orantılı sınıf özelleri ağırlıklar kayıp fonksiyonuna uygulanmıştır.

(3) Sonradan işleme ve zamansal optimizasyon
Sınıf davranışlarında zamansal tutarlılığı korumak için, model çıkarımından sonra bir zamansal tutarlılık filtresi uygulanmıştır. Özellikle, bir video dizisinde tespit edilen bir hedef için, davranış kategorisinin en az üç ardışık karede tanımlanması ve doğrulaması gerekiyordu; böylece geçici yanlış pozitifler etkili şekilde filtrelendi.

Davranışsal katılım puanlama yönteminin oluşturulması
Bu çalışma, her davranışa puan vermek için odak grup yöntemini kullandı. Yirmi birinci hat üniversite öğretmeni, sınıf yönetimi deneyimlerine dayanarak yedi davranış kategorisinin katılımını değerlendirmeleri için davet edildi. Tüm 20 öğretmen 10 yıldan fazla süredir ders veriyor ve birden fazla disiplinde çok çeşitli dersler vermişti. Çatışma puanları 0'dan 3'e kadar değişiyordu; 0-1 düşük çatışma, 1-2 orta çatışmayı ve 2-3 yüksek çatışmayı gösteriyordu. Belirli bir davranış türü için birden fazla değerlendirme yapanların derecelerinde yüksek bir tutarlılık (α > 0.8) varsa, bu davranışın katılımı bireysel öğretmenlerin puanlarının ortalamasıyla ölçülürdü. Her davranış türü için nihai derecelendirmeler Tablo 7'de gösterilmiştir.

Davranış tipi	etrafa bakmak	cep telefonu kullanmak	tartışma	etrafta dolaşmak	Not alma veya okuma	dikkatle dinlemekte	uyuyor
Çatışma puanı	0.9	1.2	1.9	0.6	2.7	2.8	0.2

Tablo 7: Davranış puanları.

Her öğrencinin davranışsal katılımının formülü şudur:

E_Si= öğrencinin davranışsal katılımı, S_j = davranış puanı, f_j = davranış sıklığı j.

Bir sınıfta bir öğrencinin tespit edilen davranış sayısının 100 olduğu varsayıldığında, bunların 4'ü "tartışma", 68'i "dikkatle dinleme", 25'i "okuma/not alma" ve 3'ü "etrafa bakma" varsayımında, öğrencinin genel kişisel katılım puanı (1,9 × 4 + 2,8 × 68 + 2,7 × 25 + 0,9 × 3) / 100 = 2,68 idi. Tüm ders ölçüt olarak alındığında, davranışsal katılım 0-3 ölçekli eşit aralıklı bölünmeye göre dört seviyeye ayrıldı: 0.75'in altında puan "katılmıyor", 0.76-1.5 "hafif ilgili", 1.6-2.25 "ilgili" ve 2.26-3 "çok ilgili" olarak tanımlandı; Bu nedenle, öğrenci sınıfa "çok ilgili" olarak değerlendirildi.

Tüm sınıf için davranışsal katılım, tüm öğrencilerin ortalama puanını ifade ediyordu. Sınıfın davranışsal katılımının formülü şudur:

E_c =sınıfın davranışsal katılımı, E_S =belirli bir öğrencinin davranışsal katılımı, n=öğrenci sayısı

Sonuçlar

Davranışların tespit edilmesi ve puanlama modeli kullanılarak öğrencilerin davranışsal katılımının otomatik ölçümü sağlandı. Videodaki bir dersi örnek olarak alarak, her öğrencinin gerçek zamanlı davranışsal katılımı, davranışsal tespit sonuçları ve puanlama modeline dayanarak hesaplanabilir. Şekil 6, bu sınıftaki iki öğrencinin davranışsal katılımını göstermekte olup, farklı zaman noktalarında onların katılım seviyelerini göstermektedir. Or...

Tartışma

Bu çalışma, davranışsal etkileşimin otomatik olarak tanınması ve ölçülmesini gerçekleştirdi. Önceki çalışmalara kıyasla, tanımlanan davranışlar üniversite sınıflarını (örneğin cep telefonu kullanma) daha temsilciydi ve davranışsal etkileşim değerlendirmesi şekiller şeklinde sunuldu, bu da görmeyi sezgisel hale getirdi. Bu otomatik ölçüm yaklaşımı, öğretmenlerin bireysel öğrencilerin ve sınıfın tamamının katılımını verimli ve net bir şekilde değerlendirmesini sağladı, böylece kişiselleşti...

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
Sınıf videoları			Bu çalışmada kullanılan video verileri, Shandong Bilim ve Teknoloji Üniversitesi'nin (SDUST) doğrudan kayıt platformundan toplanmıştır; bu platform, Akademik İngilizce dersinin gerçek sınıf öğretiminin senkronize videolarıdır. İngilizce olmayan 6 sınıftan 30 video toplandı, her biri yaklaşık 50 dakikalık bir eğitim verisi oluşturuldu ve öğrencilerin eğitilebilir bir veri seti oluşturuldu. sınıf davranışı.
IBM SPSS İstatistikleri 26	IBM		SPSS for Windows, veri girişi, organizasyon ve analiz fonksiyonlarını entegre eden modüler bir yazılım paketidir. Temel işlevleri arasında veri yönetimi, istatistiksel analiz, grafik analizi, çıktı yönetimi ve benzeri yer alır. SPSS bu makalede esas olarak tutarlılık analizi ve korelasyon analizi için kullanılmaktadır.
Etiketleme 1.8.6			Etiketleme, görsel görsel bir notasyon aracıdır. Python dilinde yazılmış olup grafik arayüzü olarak Qt kullanır. Açıklamalar, ImageNet tarafından kullanılan PASCAL VOC formatında XML dosyaları olarak kaydedilir. Ayrıca, YOLO formatını da destekler. Faster R-CNN, YOLO ve SSD gibi nesne tespit ağları için resimlerdeki nesneleri notlamak için gereken veri setleri için kullanılır.
MMDetection 2.22.0			MMDetection, 2.22.0, MMDetection, zengin nesne algılama, örnek segmentasyonu ve panoramik segmentasyon yöntemleri ile ilgili bileşenler ve modüller içeren bir nesne algılama araç kutusudur.