Davranışsal Gözlem ve Öğrenme Analitiği Kullanarak Üniversite Öğrencilerinin Sınıf içi Katılımının, Yansıtıcı İfade ve Prososyal Niyetinin Değerlendirilmesi

Özet

Bu protokol; üniversite öğrencilerinin davranışsal katılımını, yansıtıcı ifadelerini ve sosyal odaklı öğrenme çıktılarını 4 haftalık bir öğretim sürecinde değerlendirmek için sınıf gözlemi, yansıtıcı yazım, prososyal niyet ölçümü ve öğrenme analitiklerini entegre eder. Protokol; etik onay sürecini, araç içeriklerini, yazılım iş akışını, eksik verilerin yönetimini, sorun giderme prosedürlerini ve gözlemlenen uygulama kısıtlamaları dahil olmak üzere temsili sonuçların yorumlanmasını detaylandırır.

Özet

Geleneksel metriklerin ötesinde, öğrenci katılımının çok boyutlu değerlendirilmesi ihtiyacını karşılamak amacıyla bu protokol; lisans derslerinde sınıf içi etkileşimin, yansıtıcı ifadenin, öğrenme analitiği aktivitesinin ve prososyal niyetin değerlendirilmesine yönelik yapılandırılmış bir yaklaşım tanımlamaktadır. Protokol; aralık tabanlı davranışsal gözlem, haftalık yapılandırılmış yansıtıcı yazım, kimliksizleştirilmiş öğrenme yönetim sistemi kayıtları ve bir ön/son prososyal niyet anketini birleştirmektedir. Revize edilmiş prosedürler; yeniden üretilebilir bir davranışsal kodlama modeli, puan örneklerini içeren bir yansıtıcı ifade rubriği, yazılım ve veri yönetimi adımları ile gözlemci uyuşmazlığı, eksik platform kayıtları, düşük yansıtıcı yazı gönderim oranları, yetersiz kamera görünürlüğü, katılımcı kaybı ve tutarsız ön bilgi durumları için açık sorun giderme kılavuzu sunmaktadır. Bu protokol, araştırmacıların lisans eğitimi sırasında canlı sınıf içi davranışı, öğrenci öz-yorumlamasını ve rutin öğrenme yönetim sistemi (LMS) aktivitesini birleştiren, düşük müdahaleli ve yeniden üretilebilir bir yönteme ihtiyaç duyduğu durumlarda kullanılmalıdır. Gözlemlenebilir etkileşimin olmadığı tamamen asenkron dersler, bağımsız gözlemi veya kayıt bağlantılandırmayı yasaklayan ortamlar ya da biyometrik veya duygu tanıma çıkarımı gerektiren çalışmalar için uygun değildir. Temsili sonuçlar; onaylanmış etik onay, ders kayıtlarının kimliksizleştirilmesi ve veri deposu hazırlığının ardından uygulanan ampirik uygulamadan raporlanmıştır.

Giriş

Yükseköğretimde öğrenci katılımının değerlendirilmesi kapsamlı ve çok kaynaklı bir yaklaşım gerektirir. Öğrenci etkileşimi; gözlemlenebilir davranış, bilişsel çaba ve çevresel etkileşimi kapsayan çok boyutlu bir yapı olarak yaygın şekilde kavramsallaştırılsa da mevcut analitik yaklaşımlar ağırlıklı olarak giriş sıklıkları ve sistem tarafından kaydedilen eylemler gibi yüzeysel günlük verilerine dayanmaktadır¹. Bu aşırı bağımlılık, uygulama tabanlı sınıf araştırmaları için önemli bir zorluk teşkil etmektedir. Öğretimsel katılımın en kritik biçimleri olan doğrudan akran etkileşimleri, bilişsel yansıma ve sosyal katkılar, genellikle platform görünürlüğünün sınırlı kapsamının tamamen dışında gerçekleşmektedir².

Modern üniversite sınıflarının karmaşıklığı, dijital platformları geleneksel yüz yüze eğitimle harmanlayan hibrit pedagojik modellerin benimsenmesiyle artmıştır. Öğrenme analitiklerine yönelik sistematik incelemeler, dijital izlerin zaman tahsisi, erişim modelleri ve uzun süreli kalıcılık oranları hakkında değerli bilgiler sunduğunu doğrulasa da, bu metrikler tek başına bir öğrencinin dikkatinin gerçekten verimli veya anlamlı olup olmadığını belirleyemez³. Sonuç olarak, güncel akademik çalışmalar; dijital izleri, sınıf içi davranışlar ve yansıtıcı etkinlikler gibi daha zengin, bağlama bağımlı katılım ölçümleriyle uyumlu hale getirerek öğrenme analitiklerinin daha güçlü teorik çerçevelere dayandırılmasını savunmaktadır⁴.

Yansıtıcı yazım, bu değerlendirmeye hayati bir nitel boyut kazandırır. Yapılandırılmış ders sonrası yansıtmalar ve günlükler, öğrencilerin öğrenme etkinliklerine dair yorumlarını yakalar, öğretimsel zorlukları netleştirir ve teorik içeriği sonraki pratik eylemlerle ilişkilendirir. Güncel ampirik kanıtlar, yansıtıcı ifadeyi; betimsel hatırlama, analitik çıkarım, öz-referanslı temsil ve anlam genellemesinden oluşan bütünleşik, çok bileşenli bir yapı olarak kavramsallaştırmaktadır⁵. Ayrıca araştırmalar, öğrencilere tekrarlanan yansıtıcı rehberlik sağlanmasının, onların içgörü kapasitelerini kademeli olarak güçlendirdiğini göstermektedir; ders süreci boyunca yapılandırılmış yansıtma sıklığı arttıkça, öğrencilerin bağımsız keşif becerileri de eş zamanlı olarak gelişmektedir⁶.

Güncel katılım araştırmalarındaki ikinci büyük boşluk, sınıf içi sosyalleşmenin sıklıkla göz ardı edilmesidir. Mevcut çalışmalar ağırlıklı olarak bireysel davranışa veya bilişe vurgu yapsa da, üniversite sınıfları, öğrencilerin iş birliği ve karşılıklı etkileşimler yoluyla birbirlerini etkilediği, doğası gereği sosyal öğrenme ortamları olarak işlev görür. Yeni kanıtlar, sınıf ikliminin ve katılım yapılarının; akademik performans veya öğrenci memnuniyetine ilişkin geleneksel ölçütlere kıyasla daha az araştırılmış sonuçlar olan prososyal davranışlar ve katkı odaklı bir zihniyetle güçlü bir şekilde ilişkili olduğunu göstermektedir. Akademik ortamlardaki prososyal davranış, yalnızca duygusal durumların veya stresin bir yan ürünü değildir; aksine, temel olarak öğrencilerin kolektif öğrenme faaliyetleri içinde kendilerini nasıl konumlandırdıklarıyla ilgilidir⁷. Bu nedenle, prososyal niyetin ölçülmesi, sınıf katılımının izole edilmiş görev tamamlamanın ötesine geçip geçmediğini ve doğrudan öğretim ortamının ötesinde iş birlikçi ve teşvik edici davranışları destekleyip desteklemediğini belirlemek için uygun bir bakış açısı sağlar⁸.

Bu kavramsal gelişmeler, tek bir öğretim penceresi içinde uygulanan entegre bir kanıt toplama çerçevesinin gerekliliğini vurgulamaktadır. Çok kaynaklı bir tasarım, tek bir metriğe güvenmenin sınırlılıklarını azaltarak farklı katılım modları arasında çapraz doğrulamaya olanak tanır ve öğrencilerin bağımsız öğrenmeyi teşvik etmek için ders sonrası etkinliklerini nasıl yorumladıklarını ortaya çıkarır⁹. Reflektif değerlendirmeler öğrencinin içsel bilişsel durumunu yakalarken, bu öz raporların nesnel davranışsal izlerle desteklenmesi öğrenme verilerinin yorumlanabilirliğini önemli ölçüde artırır. Günümüzde, sistematik davranışsal gözlemi, yapılandırılmış reflektif raporlamayı ve öğrenme analitiklerini rutin üniversite uygulamaları için sorunsuz bir şekilde sentezleyen, pratik ve sınıfa hazır protokollerin belirgin bir eksikliği bulunmaktadır.

Bu metodolojik eksiklikleri gidermek amacıyla bu makale, üniversite öğrencilerinin sınıf içi katılımını, yansıtıcı ifadesini ve prososyal niyetini eş zamanlı olarak ölçmek için tasarlanmış bir değerlendirme protokolü sunmaktadır. Özellikle lisans düzeyindeki ortamlar için geliştirilen bu protokol, bilimsel tekrarlanabilirlikten ödün vermeden minimum idari yük gerektiren kolaylaştırılmış bir metodoloji sağlamaktadır. Gözlemlenebilir davranışlar, ifade edilen öz-deneyim ve sosyal odaklı öğrenme çıktıları arasındaki analitik boşluğu dolduran bu çerçeve, eğitim ortamlarındaki insan-teknoloji etkileşimi araştırmalarında daha fazla kavramsal netlik yönündeki artan talebe yanıt vermektedir¹⁰.

Protokol

İnsan katılımcıların yer aldığı tüm yöntemler, Helsinki Deklarasyonu ve ilgili kurumsal yönergelerle uyumlu olarak yürütülmüştür. Uygulanan çalışma için protokol, katılımcı alımı başlamadan önce Nanchang Institute of Technology Etik Kurulu tarafından onaylanmıştır (onay no.: NITE778291). Katılan her öğrenciden yazılı bilgilendirilmiş onam alınmıştır. Analizler için yalnızca kimliksizleştirilmiş toplam sınıf gözlemi, yansıtma puanı, öğrenme analitiği ve anket verileri kullanılmıştır; kimlik belirleyici sınıf videoları, isimler, kurumsal kimlik numaraları ve düzenlenmemiş yansıtma metinleri kamuya açık paylaşımdan hariç tutulmuştur.

1. Çalışma tasarımı ve katılımcı seçimi

1. Protokolü, seçilen her sınıf şubesi için birbirini takip eden dört öğretim dönemi boyunca uygulayın. Kimliksizleştirilmiş ders etiketlerini, öğretim formatını, sınıf mevcudunu, eğitmenin dersle ilgili deneyimini ve her sınıfın tüm sınıfa yönelik öğretim, grup çalışması veya bireysel uygulama içerip içermediğini kaydedin. Başlangıçta 18 yaş ve üzeri yaklaşık 180 ila 210 lisans öğrencisinin kayıt olmasını hedefleyin veya örneklem büyüklüğü hedefini ders bağlamına göre uyarlayın.
2. Tüm katılımcıların ders platformu için aktif bir kurumsal hesabı olduğundan, gözlemlenen derslere katılacaklarından ve sınıfa normalde sağlanan ön koşul ders rehberliğini aldıklarından emin olun. Ön koşul bilgileri önemli ölçüde farklılık gösterdiğinde, gözlem penceresinden önce kısa bir köprüleyici el kitapçığı, ders öncesi kaynak listesi veya eğitmen liderliğinde bir tekrar sağlayın ve sağlanan desteği bağlamsal meta veri olarak kaydedin.
3. Kapsamlı bir yazılı bilgi formu sunduktan sonra tüm öğrencilerden yazılı bilgilendirilmiş onam alın. Onam formunda, çalışmanın sınıf içi davranışsal gözlemi, haftalık yansıtıcı yazımı ve kimliksizleştirilmiş öğrenme platformu kayıtlarını ilişkilendirdiğini açıkça belirtin.
4. Araştırma veri setine yalnızca onam veren öğrencileri dahil edin. Katılımı reddetmenin devam durumunu, notları, ders erişimini veya eğitmen iletişimini etkilemeyeceğini garanti edin.
   1. İlk yansıtma görevi öncesinde, yapay zeka (AI) araçlarının izin verilen ve yasaklanan kullanımını açıklayın.
      NOT: AI araçları yalnızca ders politikası tarafından izin verildiğinde ve sadece genel çalışma desteği için kullanılabilir; yansıtıcı gönderiler ve prososyal niyet yanıtları öğrencinin kendi deneyimini tanımlamalı ve her türlü AI desteğini beyan etmelidir.
   2. Eğitmen, ön koşul bilgilerinin AI destekli köprülendirilmesine izin verirse, onaylanmış aynı istemleri veya kaynakları tüm öğrencilere sağlayın ve bu desteği bir protokol uyarlaması olarak kaydedin. Doğrulama çalışması AI destekli yanıtları açıkça değerlendirmediği sürece, AI tarafından oluşturulan özetleri öğrenci yansıtmasının birincil kanıtı olarak kullanmayın.
5. Onamı reddeden, protokol penceresi sırasında dersten ayrılan veya gözlem, yansıtma ve analiz kayıtları arasında eşleşen verisi bulunmayan öğrencileri analizden önce hariç tutun. 4 haftalık bir süre boyunca üç farklı kaynaktan tutarlı veriler toplamak için tekrarlı ölçümler tasarımını uygulayın².

2. Temel veri toplama ve kimlik yönetimi

1. Yarı rastgele bir süreç aracılığıyla her bir gönüllü katılımcıya sekiz karakterli alfanümerik bir çalışma kimliği (ID) atamak üzere tek bir veri yöneticisi belirleyin.
2. Öğrenci isimlerini, kurumsal kimlik numaralarını, ders şubelerini ve çalışma numaralarını içeren bir kimlik-çalışma kimliği ilişkilendirme dosyası oluşturun. Bu dosyayı analiz dosyalarından ayrı ve güvenli bir şekilde saklayarak; gözlemcilerin, yansıtma kodlayıcıların ve araştırmacıların bu dosyaya erişiminin tamamen engellendiğinden emin olun.
3. Kısıtlı ilişkilendirme ve kimliksizleştirme ile ilgili mevcut yükseköğretim öğrenme analitiği uygulamalarına uygunluğu koruyarak¹, onaylanmış kurumsal veri saklama politikasına göre nihai veri doğrulamasından sonra bu ilişkilendirme dosyasını imha edin veya arşivleyin.
4. Gözlemlenen ilk dersten önceki başlangıç haftasında katılımcıların yaşı, cinsiyeti, akademik yılı ve bölümü hakkında temel demografik verileri toplayın.
5. Gözlemlenen ilk dersten önce yapılandırılmış temel araç olarak Ek Dosya 1'deki altı maddelik prososyal niyet anketini kullanın. Anketi LMS üzerinden elektronik olarak veya sadece atanan Çalışma Kimliğini kullanarak kağıt üzerinde uygulayın. Öğrenciler her bir maddeyi 1 = kesinlikle katılmıyorum ile 5 = kesinlikle katılıyorum arasında 5'li bir ölçekle değerlendirir; altı maddeden en az beşi yanıtlandığında, temel puanı tamamlanan maddelerin ortalaması olarak hesaplayın.
6. Nitel kodlama süreci başlamadan önce tam anonimliği sağlamak amacıyla, daha sonra toplanan tüm yansıtıcı metinleri isimler, e-posta adresleri veya diğer kişisel tanımlayıcılar olmadan dışa aktarın.

3. Sınıf gözlemi hazırlığı

1. Her sınıf şubesi için 4 hafta üst üste, haftada bir kez gözlem planlayın. Standart 90 dakikalık bir ders için, ilk 10 dakikayı ve son 10 dakikayı kodlamanın dışında tutarak 70 dakikalık bir gözlem penceresi belirleyin⁵.
2. Standart 90 dakikalık bir dersin 10^. dakikasında kodlamaya başlayın ve 80^. dakikasında durun. Bu ara dönemler 70 dakikalık gözlem penceresinin bir parçası değildir; dolayısıyla standart bir ders, 30 dakikalık bir oturum yerine 70 dakikalık kodlanmış gözlem sağlar.
3. Alarmlar, oda değişiklikleri veya platform kesintileri nedeniyle dersin 5 dakikadan fazla süren bir aksama yaşaması durumunda, kesintiye uğrayan eğitim bloğunu nihai değerlendirmenin dışında tutun.
4. Her ölçüm noktasında birkaç davranışsal göstergeyi eş zamanlı olarak kaydederek, sınıf katılımını birden fazla davranışın gözlemlenebilir bir bileşimi olarak değerlendirin¹¹. Göstergeler arasında göreve odaklanma, sözlü katılım, akran iş birliği, göreve yönelik not alma veya cihaz kullanımı, görev dışı dikkat dağınıklığı ve yardım arama davranışı yer alır.
5. İlk gözlemden önce sınıf oturma düzenini grup şeklinde ayarlayın ve bu oturma düzenini 4 haftalık sürenin tamamı boyunca kesinlikle koruyun.
6. Bağımsız kodlama yapabilmeleri için eğitimli iki gözlemciyi, odanın tamamını görebilecekleri sabit konumlara yerleştirin. Kurumsal film çekimine izin verilirse ve katılımcılar onay verirse, arka-orta ve arka-yan bölgelere iki sabit kamera kurun ve bunları oturumdan önce senkronize edin.
7. Kamera kayıtlarını yalnızca gözlemci eğitimi, güvenilirlik doğrulaması ve görünürlük sorunlarının çözümü için kullanın; video kayıtlarını birincil kodlama kaynağı olarak kullanmayın ve yüz duygusu, ses duygusu, biyometrik veya kimlik tanıma analizi yapmayın.

4. Aralık tabanlı davranışsal kodlama

1. 70 dakikalık gözlem penceresini, 20 saniyelik bir görsel taramanın ardından gelen 10 saniyelik bir kayıt döneminden oluşan ardışık aralıklara bölün. Büyük bir ders, laboratuvar veya çevrimiçi sınıf farklı bir aralık süresi gerektiriyorsa, veri toplama işlemi başlamadan önce uyarlanan aralık yapısını raporlayın ve gerekçelendirin.
   NOT: Bu 20 s/10 s yapısı, ekolojik sınıf gözlemi ile kodlayıcı iş yükü arasında denge kurar: tarama süresi; sürdürülebilir dikkati, iş birliğini ve görev dışı davranışı tespit etmek için yeterince uzunken, kayıt süresi bellek yükünü azaltır ve tutarlı ikili kararları destekler.
2. Oturma düzenine dayalı olarak, her aralıkta on öğrenciye kadar olan net bir şekilde tanımlanmış grubu sürekli bir döngü halinde tarayın.
3. Gevşek operasyonel tanımların neden olduğu kodlayıcı tutarsızlıklarını önlemek için spesifik tarama kriterleri kullanın⁴. Her tarama sırasında öğrenci düzeyinde altı ikili göstergeyi kodlayın. Bunlar; göreve odaklı dikkat, sözel katılım, akran iş birliği, göreve odaklı not alma veya cihaz kullanımı, görev dışı dikkat dağınıklığı ve yardım isteme davranışıdır.
4. Belirlenen davranış 20 saniyelik taramanın herhangi bir anında gerçekleşirse, göstergeyi "1" olarak işaretleyin. Aksi takdirde, "0" olarak işaretleyin. Bir öğrenci taramanın en az 10 s boyunca görünür değilse, aralığı eksik olarak kodlayın.
5. Bir öğrenci; eğitmene, atanan görevlere, sunulan bilgilere veya görev tartışmasına katılan akranlarına en az 5 ardışık saniye boyunca görsel olarak yöneldiğinde göreve odaklı dikkati kaydedin. Duyulabilir ve görevle ilgili her türlü katkı için sözel katılımı kodlayın.
6. Öğrenciler görünür görev tabanlı etkileşimlerde, ortak problem çözmede veya akran açıklamalarında bulunduklarında akran iş birliğini kodlayın. Aktif yazma, klavye kullanımı veya ders materyalleriyle dijital etkileşim için göreve odaklı not alma veya cihaz kullanımını kaydedin.
7. Bir öğrenci ilgili olmayan konuşmalara, akademik olmayan cihaz kullanımına veya en az 5 ardışık saniye boyunca sürekli kopukluğa yönelirse görev dışı dikkat dağınıklığını işaretleyin. Bir öğrenci eğitmenden veya akranlarından açıkça açıklama veya yardım istediğinde yardım istemeyi kaydedin.
8. Her öğrenci için haftalık davranış puanını, pozitif değerlendirmelerin toplam sayısının tüm geçerli değerlendirmelere bölünmesi şeklinde hesaplayın. Ardından altı göstergenin tamamı için 4 haftalık ortalamaları türetin.
9. Önceden belirlenmiş matematiksel modeli kullanarak w haftasındaki i öğrencisi için birleşik Gözlemlenen Sınıf Katılım Endeksi'ni (OCEI) hesaplayın: OCEI_iw = [Göreve odaklı dikkat_iw + Sözel katılım_iw + Akran iş birliği_iw + Göreve odaklı not alma/cihaz kullanımı_iw + (1 - Görev dışı dikkat dağınıklığı_iw)]/5.
10. Bağlama bağlı olarak ya yapıcı bir açıklama isteğini ya da öğretim içeriğiyle ilgili bir zorluğu temsil edebileceği için yardım istemeyi bağımsız bir analitik değişken olarak tutun¹². Çalışma iş akışı için Şekil 1'e, gözlem indeksleri ve kodlama kuralları için Tablo 1'e başvurun.

5. Gözlemci eğitimi ve güvenilirlik değerlendirmesi

1. 60 dakikalık bir kılavuz eğitim oturumu ile gözlemci eğitimini gerçekleştirin ve resmi program öncesinde üç kalibrasyon turu uygulayın.
2. İlk kalibrasyon turunu, çalışma dışı bir sınıf videosunun yönlendirmeli kodlamasıyla gerçekleştirin. Sonraki iki turu, farklı çalışma dışı videoların bağımsız kodlamaları olarak tamamlayın ve ardından kıdemli kodlayıcı ile doğrudan istatistiksel karşılaştırmalar yapın.
3. Resmi veri toplamaya ancak Cohen's Kappa değeri 0.75'e ulaştığında veya bu değeri geçtiğinde ve toplam değerlendiriciler arası uyum %85'i aştığında başlayın.
4. 4 haftalık protokol boyunca, tüm oturumların %10'u üzerinde ve kalan oturumlardan rastgele seçilen 10 dakikalık bir segment üzerinde çift kör sapma doğrulaması uygulayın.
5. Herhangi bir gösterge için Kappa değeri 0.70'in altına düşerse, veri kilitlemeden önce 72 saat içinde kodlama ekibini yeniden kalibre edin ve etkilenen oturumları yeniden doğrulayın. Değerlendirme stabilitesini zaman içinde korumak için sürekli geri bildirim sağlayın ve kalibrasyon egzersizleri düzenleyin¹³.

6. Yansıtıcı ifade toplama ve değerlendirme

1. Öğrencilere gözlemlenen her ders için bir yapılandırılmış yansıtıcı metin (100-350 kelime) sunmalarını söyleyerek, 4 haftalık protokol boyunca katılımcı başına 4 giriş oluşturulmasını sağlayın.
2. Yansıtma istemlerini, gözlemlenen dersten sonraki 2 saat içinde LMS üzerinden veya basılı bir form aracılığıyla yayınlayın ve gönderim penceresini 72 saat sonra kapatın. Form, her öğrenci için Çalışma ID alanını ve aşağıdaki üç istemi aynı sırayla göstermelidir:
   1. Derste kendilerini en çok ve en az dahil hissettikleri noktaları belirlemeleri.
   2. Görev zorluğu, ön bilgi, grup etkileşimi, eğitmen açıklaması veya platform kullanımı dahil olmak üzere bağlamsal nedenleri açıklamaları.
   3. Katılımlarının sınıf atmosferini nasıl etkilediğini ve gelecekte hangi eylemi gerçekleştirmeyi planladıklarını tanımlamaları.
      NOT: 100 kelimenin altındaki girişleri saklayın ancak bunları veri tabanında düşük bilgi içerikli olarak işaretleyin. Ayrıca dahil olma, bağlamsal neden veya gelecek eylem/sosyal etki istemlerini atlayan girişleri de işaretleyin; çünkü bu eksiklikler yansıtma kalitesi puanlamasını ve fizibilite raporlamasını etkiler.
3. Gönderileri tanımlayıcı özgünlük, analitik derinlik, öz düzenleme yönelimi ve sosyal-prososyal anlam açısından değerlendirmek üzere iki kör kodlayıcı atayın.
   1. Her boyutu, 0'ın yokluğu, 1'in zayıf veya belirsiz kanıtı, 2'nin net ancak sınırlı kanıtı ve 3'ün güçlü ve ayrıntılı kanıtı belirttiği 4 puanlı bir ölçek kullanarak puanlayın. Örneğin analitik derinlik; hiçbir neden sunulmadığında 0, öğrenci yalnızca etkinliğin zor olduğunu belirttiğinde 1, öğrenci zorluğu belirli bir kavramla veya sınıf koşuluyla ilişkilendirdiğinde 2 ve öğrenci ön bilgi, akran tartışması, eğitmen geri bildirimi ve planlanmış bir öğrenme stratejisi arasındaki etkileşimi açıkladığında 3 olarak puanlanır. Tablo 2 ve Ek Dosya 1, dört yansıtıcı boyutun tamamı için puan düzeyi örnekleri sunmaktadır.
4. Resmi değerlendirmeye, ancak pilot metinlerde her boyut için 0.80 veya daha yüksek bir sınıf içi korelasyon katsayısı elde ettikten sonra başlayın¹⁴.
5. Puanlayıcı kaymasını kontrol etmek için protokol sırasında çalışma yansıtmalarının %15'ini rastgele çift puanlayın. Yansıtıcı yazıları, yalnızca metin uzunluğuna veya kelime sıklığına güvenmek yerine bu çok boyutlu nitel metriklere göre değerlendirin.
6. Yansıtıcı ifade rubriğini, en az iki eğitim araştırmacısı ve bir ders eğitmeninin uzman incelemesi yoluyla geliştirin veya uyarlayın. Rubriği çalışma dışı 20 ila 30 yansıtma üzerinde pilot uygulama ile test edin, belirsiz tanımlayıcıları revize edin ve resmi kodlama başlamadan önce rubriğin nihai versiyonunu belgeleyin.
7. Ek Dosya 1'de gösterilen prososyal niyet anketini uygulayın. Öğrencilerden; zorluk yaşayan sınıf arkadaşlarına yardım etme, öğrenme kaynaklarını paylaşma, tartışmalara yapıcı katkıda bulunma, akranlarını teşvik etme, grup görevleri sırasında adil davranma ve sınıf öğrenme ortamını iyileştirme isteklerini puanlamalarını isteyin. 1 (kesinlikle katılmıyorum) ile 5 (kesinlikle katılıyorum) arasında değişen 5 puanlı bir ölçek kullanın. Altı maddeden en az beşi tamamlandığında ortalama puanı hesaplayın ve başlangıç ile protokol sonrası uygulamalar için Cronbach alfa değerini raporlayın.

7. Öğrenme analitiklerinin çıkarılması

1. Gözlem ve yansıtma süreçlerinin herhangi bir şekilde etkilenmesini önlemek için 4. haftadan sonra öğrenme analitiği verilerini çıkarmak üzere harici bir yönetici görevlendirin.
2. Veri çıkarma penceresini, gözlemlenen ilk dersin günündeki 00:00'dan, son yansıtma penceresinin kapanış günündeki 23:59'a kadar olarak ayarlayın.
3. Yalnızca protokol için gerekli olan önceden belirlenmiş değişkenleri çıkarın. Platformdaki aktif gün sayısını, farklı kaynak görüntülemelerini, açılan atanmış kaynakların oranını, paylaşılan tartışma yanıtlarının miktarını, ortalama video tamamlama oranını ve ödev dakikliğini kaydedin.
4. Eğitmenlere ve öğretim asistanlarına ait hesapları, yinelenen kayıtları, test olaylarını ve belirlenen zaman dilimi dışındaki veri noktalarını kaldırarak ham dışa aktarımları temizleyin.
5. Aktif günü, en az bir kimliği doğrulanmış kurs erişiminin ardından dosya açma, video izleme veya yanıt paylaşma gibi anlamlı bir etkileşimin gerçekleştiği herhangi bir takvim günü olarak hesaplayın.
6. 60 saniyelik süre içinde gerçekleşen yinelenen yenileme olaylarını göz ardı ederek benzersiz kaynak açılışlarını sayın. Görüntülenen kesri, planlanan süreye göre 01:00'da kırparak ve ardından tüm atanmış medya öğeleri üzerinden ortalamasını alarak video tamamlama oranını belirleyin.
7. Ödev dakikliğini, planlanan son tarihlerden önce teslim edilen görevlerin oranına göre hesaplayın. Gece geç saat erişim oranını, 00:00 ile 06:00 arasında gerçekleşen anlamlı olayların, gözlem süresi içindeki toplam anlamlı aktivitelere oranına göre hesaplayın. Basit log birikiminden daha zengin bilgi sağlamak için bu zaman sınırlı ve katkı odaklı metriklere dayanın¹⁵.
8. Ham öğrenme yönetim sistemi dışa aktarımı için önceden belirlenmiş bir veri yönetimi iş akışı kullanın. Orijinal dışa aktarımı salt okunur bir dosya olarak kaydedin, kimliksizleştirilmiş bir çalışma kopyası oluşturun, eğitmen ve öğretim asistanı hesaplarını kaldırın, yinelenen veya test olaylarını silin ve her temizleme adımından sonraki satır sayılarını içeren bir işlem günlüğü tutun.
9. Veri temizleme işlemini bir hesap tablosunda veya daha güncel bir sürümünde ve istatistiksel analizi R sürüm 4.4.0 veya daha güncel bir sürümünde ya da eşdeğer bir yazılımda gerçekleştirin.
   1. Bir hesap tablosunda, 7.9.1.1–7.9.1.2'de açıklanan adımları izleyin.
      1. Kimliksizleştirilmiş CSV dosyalarını Veri > Veri Al > Metinden/CSV'den seçeneğini kullanarak içe aktarın ve yinelenen Çalışma Kimliği/zaman damgası/olay satırlarını kaldırmak için Veri > Yinelenenleri Kaldır seçeneğini kullanın.
      2. Eğitmen veya öğretim asistanı hesaplarını ve pencere dışı kayıtları hariç tutmak için Filtre uygulayın ve her adımdan sonra satır sayılarını içeren bir işlem günlüğü kaydedin.
   2. R'da, 7.9.2.1–7.9.2.3'te açıklanan adımları izleyin.
      1. Dosyaları readr::read_csv() ile içe aktarın; haftalık kayıtları dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer() ve tidyr::pivot_wider() ile yeniden şekillendirin.
      2. Cohen's kappa'yı irr::kappa2() ile, ICC'leri psych::ICC() ile ve Cronbach's alpha'yı psych::alpha() ile hesaplayın.
      3. Seksiyon ayarlı doğrusal modelleri stats::lm() ile kurun; önceden belirlenmiş bir sınıf-seksiyon rastgele kesişimi gerektiğinde lme4::lmer() kullanın ve lme4::glmer(family = binomial) fonksiyonunu yalnızca ikili sonuçlar için kullanın. Tam betiği ve paket sürümlerini gönderi materyalleriyle birlikte arşivleyin.
10. Aşağıdaki tekrarlanabilir analiz dizisini kullanın.
    1. Öğrenci-hafta gözlem oranlarını hesaplayın, 4.9. adımdaki formülü kullanarak OCEI'yi hesaplayın ve haftalık yansıtma puanlarını Çalışma Kimliği ve haftaya göre birleştirin.
    2. Öğrenme analitiği değişkenlerini aynı 4 haftalık pencere boyunca toplulaştırın, veri kaynağına göre eksiklikleri inceleyin, tanımlayıcı istatistikleri ve güvenilirlik tahminlerini hesaplayın ve önceden belirlenmiş ilişki modellerini kurun.
    3. Sonuçları inceledikten sonra, keşifsel olarak etiketlenmedikleri sürece planlanmamış öngörücüler eklemeyin.
11. (Opsiyonel) Şeffaflık adına, kimliksizleştirilmiş bir analiz betiğini, kod kitabını, boş kodlama formlarını, yansıtma istemlerini, yansıtma rubriğini ve prososyal anketi kamuya açık depoya veya ek materyallere yerleştirin. Kimlik tespit edilebilen ham sınıf videolarını, isimleri, kurumsal kimlikleri veya sansürlenmemiş yansıtma metinlerini yerleştirmeyin.

8. Protokol sonrası ölçüm ve veri seti entegrasyonu

1. Prososyal niyet ölçüm aracını, son yansıtma penceresinin sona ermesinin hemen ardından ikinci kez uygulayın.
2. Öğrencilerden; sınıf arkadaşlarına yardım etme, kaynakları paylaşma, tartışmalara yapıcı katkıda bulunma, akranlarını teşvik etme, adil davranma ve öğrenme ortamını iyileştirme konusundaki istekliliklerini 1 (kesinlikle katılmıyorum) ile 5 (kesinlikle katılıyorum) arasında değişen bir ölçekte değerlendirmelerini isteyin. Altı maddenin en az beşini yanıtlamış olmaları koşuluyla, yanıtların ortalamasını alarak her bireyin toplam protokol sonrası puanını hesaplayın.
3. Gözlem dosyalarını, yansıtma puanlarını ve öğrenme analitiği kayıtlarını anonimleştirilmiş Çalışma Kimliği (Study ID) kullanarak birleştirin. Bu birleştirmeden, katılımcı düzeyinde bir ana dosya ve hafta düzeyinde uzun formatlı bir dosya oluşturmak üzere iki nihai veri seti oluşturun.
4. Öğrencinin görünür olmamasından kaynaklanan eksik gözlem aralıklarını veya teslim edilmemesinden kaynaklanan eksik haftalık yansıtmaları impute etmeyin. Analizden önce kısmen tamamlanmış yansıtmaları, eksik öğrenme analitiği değişkenlerini, düşük bilgi içeren yansıtmaları ve eşleşmeyen Çalışma Kimliklerini işaretleyin.
5. Önceden belirlenmiş ilişki modelleri için tam vaka analizini (complete-case analysis) kullanın, her model için hariç tutulan vaka sayısını raporlayın ve dahil edilen ile hariç tutulan öğrencileri mevcut temel değişkenler üzerinden karşılaştıran bir duyarlılık kontrolü gerçekleştirin.
6. Üniversite öğrencilerinin katılımındaki yapısal değişikliklerin temelini oluşturan destekleyici ve iş birlikçi tutumları yansıtmak amacıyla, prososyal niyeti birincil sonuç ölçütü olarak tutun.

9. Sorun giderme ve protokol uyarlamaları

1. İki gözlemci aynı öğrenci kümesi genelinde birden fazla ikili kategori kalıbı konusunda fikir ayrılığına düşerse veya herhangi bir gösterge için Cohen's kappa 0,70'in altına düşerse, etkilenen oturum için resmi puanlamayı durdurun, operasyonel tanımları gözden geçirin, 10 dakikalık bir yeniden kalibrasyon bölümünü tamamlayın ve veriler kilitlenmeden önce etkilenen aralığı yeniden kodlayın.
2. Platform çıktıları eksikse, eksik alanı belgeleyin, harici yöneticiden ikinci bir çıktı talep edin ve öğrenciyi gözlem/yansıma özetlerinde tutun, ancak bu alanı gerektiren modellerden mevcut olmayan analitik değişkeni hariç tutun.
3. Görev açıldıktan sonraki 48 saat içinde beklenen yansımaların %80'inden azı gönderilmişse, tüm sınıfa nötr bir hatırlatma gönderin, erişim sorunları için teknik desteği genişletin ve zamanında, geç ve eksik sayılarını ayrı ayrı raporlayın.
4. Bir kümedeki öğrencilerin %10'undan fazlası tarama penceresinin en az yarısı boyunca görünür değilse, etkilenen aralıkları "eksik" olarak kodlayın ve engellenmiş videodan davranış çıkarmaya çalışmak yerine canlı gözlemci kayıtlarına güvenin.
5. Bir öğrenci çekilirse, daha fazla katılımı reddederse veya kaynaklar arasında ilişkilendirilebilir verisi yoksa, o öğrenciyi bağlantılı ilişkilendirme modellerinden çıkarın, ancak etik onayın izin verdiği durumlarda toplam protokol uygulanabilirlik sayılarını koruyun.
6. Birden fazla öğrenci bir bölümün anlaşılmasının zor olduğunu belirtirse, eğitmen kısa bir yeniden açıklama, çözümlü örnek, akran tartışması veya takip kaynağı gibi normal pedagojik yanıtı vermelidir. Bunu, yardım arama, yansıma derinliği ve platform aktivitesini etkileyebileceği için bağlamsal bir olay olarak kaydedin.
7. Öğrenci kümesi boyutunu, aralık uzunluğunu, yansıma istemlerini ve analitik değişkenleri öğretim formatına uyarlayın; ancak önceden tanımlanmış davranışsal göstergeler, kimlikten arındırılmış kayıtlar, bağımsız kodlama ve şeffaf eksik veri kurallarının aynı mantığını koruyun.
8. Düşük güvenilirliği, yüksek eksikliği, sınırlı yansıma derinliğini, zayıf prososyal değişimi ve veri akışları arasındaki zayıf uyumu, protokol hatalarından ziyade bilgilendirici uygulama sonuçları olarak değerlendirin. Bu sonuçları raporlayın ve bunların sınıf bağlamını mı, araç sınırlamalarını mı yoksa veri yakalama sorunlarını mı yansıttığını açıklayın.

Sonuçlar

Katılımcı dahil etme, veri bütünlüğü ve puan güvenilirliği
Tüm sınıf bölümlerinden oluşan 204 öğrenciden oluşan ilk kohort katılım için davet edilmiş ve 198 kişi onay vermiştir. Protokol penceresi sırasında dersten ayrılma veya gözlem, yansıma ve platform kayıtları arasındaki veri bağlantısının eksik olması nedeniyle on dört vaka daha sonra hariç tutulmuştur. Sonuç olarak, nihai analitik örneklem 184 öğrenciden oluşmuştur. Katılımcı özellikleri, haftalık tamamlama oranları ve genel veri bütünlüğü

Tartışma

Bu çalışma; üniversite öğrencilerinin katılımını, kendilerini ifade etme biçimlerini ve prososyal farkındalıklarını tek bir öğretim penceresi içerisinde kapsamlı bir şekilde incelemek için davranışsal gözlemi, yansıtıcı yazımı ve öğrenme analitiklerini entegre eden pratik bir protokol önermektedir. Katılımın farklı boyutlarını yakalayan bu üç modlu yaklaşım, yükseköğretim araştırmalarındaki güncel eleştirilere yanıt vermektedir; söz konusu eleştiriler, kullanım süresi metriklerinin ve sensör tabanlı izlemenin tek başları...

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
Sınıf gözlem kodlama formu	Kurum içi	Altı ikili davranışsal gösterge	Görev odaklı dikkat, sözlü katılım, akran iş birliği, göreve yönelik not alma/cihaz kullanımı, görev dışı dikkat dağınıklığı ve yardım arayışının aralık tabanlı kodlanması.
GraphPad Prism	Graphpad	Sürüm 10.2.3	İş akış şemalarının, haftalık trend grafiklerinin, dağılım grafiklerinin ve ilişki şekillerinin oluşturulması.
Kurumsal öğrenme yönetim sistemi / ders platformu	Ev sahibi üniversite	Mevcut kurumsal LMS hesap sistemi	Kimlikten arındırılmış öğrenme analitiklerinin toplanması.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	İş akış şemalarının, haftalık trend grafiklerinin, dağılım grafiklerinin ve ilişki şekillerinin oluşturulması.
R	R Foundation		ggplot2 3.5.1
Hesap tablosu yazılımı	Microsoft Corporation	Microsoft Excel 365 v2402	Veri girişi, temizleme, kimlikten arındırma kontrolleri ve gözlem/yansıtma/analitik veri setlerinin birleştirilmesi.
SPSS Statistics	IBM Corp	Sürüm 26.0	İstatistiksel analiz yazılımı; Betimsel istatistikler, tekrarlanan ölçümler karşılaştırmaları, Cohen's kappa, ICC, Cronbach's alpha, korelasyonlar ve regresyon modelleri.