Üretken Yapay Zeka Destekli Öğrenmede Kendi Bildirilen Yüksek Dereceli Düşünceyi Sınıflandırmak İçin Tekrarlanabilir Anket-Puanlama ve C5.0 Karar Ağacı İş Akışı

Özet

Bu protokol, kendi raporlama anket verilerini toplamak, öğrenenle ilgili değişkenleri puanlamak, üst düzey düşünme puanlarını ikleştirmek ve üretken yapay zeka destekli akademik öğrenmede yorumlanabilir öğrenici sınıflandırmasını göstermek için C5.0 karar ağacı uygulamak için tekrarlanabilir bir iş akışı sunar.

Özet

Üretken yapay zeka yükseköğretimde giderek daha fazla kullanılıyor, ancak araştırmacılar hâlâ bu hızla değişen bağlamda öğrenci düzeyinde anket verilerini toplamak, puanlamak ve organize etmek için şeffaf prosedürlere ihtiyaç duyuyor. Bu makale, akademik öğrenme için üretken yapay zeka araçları kullanan üniversite öğrencileri arasında kendi bildirdiği üst düzey düşünceyi sınıflandırmak için tekrarlanabilir bir anket-puanlama ve C5.0 karar ağacı iş akışını sunmaktadır. Protokol, katılımcı işe alımı, anket yönetimi, yanıt kalitesi taraması, kompozit puan hesaplaması, ikili kodlama, eğitim-test bölümleme, C5.0 ağacı oluşturma, budama, model-çıktı dışına aktarma ve düğüm tabanlı sınıflandırma yollarının yorumlanmasını kapsar. İş akışı, 7 Mart - 15 Mart 2023 tarihleri arasında Çin'de toplanan 776 lisans öğrencisinden oluşan tek üniversite anket veri seti kullanılarak gösterilmiştir. Daha yüksek dereceli düşünme, doğrudan gözlemlenen bilişsel performans olarak değil, kendi rapor edilen bir anket puanı olarak uygulanır. Gösteri veri setinde, budanan ağaç sekiz öğrenciyle ilgili değişkeni korudu: üretken yapay zeka kaygısı, üretken yapay zekaya güven, sorunlu akıllı telefon kullanımı, akademik erteleme, akademik performans, ebeveyn yetiştirilme, olumsuz duygular ve üretken yapay zekaya karşı tutumlar. Tutulan model, eğitim alt kümesinde %89,52 doğruluk ve test alt kümesinde %86,21 doğruluk sağlamıştır. Ancak, sınıfa özgü değerlendirme düzensiz performans gösterdi ve Low-HOT sınıfı için geri çağırma High-HOT sınıfına göre çok daha zayıftı. Bu nedenle, ağaç doğrulanmış bir tarama aracı olarak değil, yardımcı ve yorumlanabilir bir iş akışı gösterimi olarak yorumlanmalıdır. Bu protokol, üretken yapay zeka destekli öğrenme ortamlarında anket tabanlı öğrenici profili için belgelenmiş ve tekrarlanabilir bir prosedüre ihtiyaç duyan araştırmacıları destekleyebilir.

Giriş

Yüksek dereceli düşünme, yükseköğretimde merkezi bir endişedir çünkü üniversite öğreniminin olgun bilginin hatırlanmasının ötesine geçip analiz, değerlendirme, yansıtma, problem çözme ve bilgi yaratımına doğru^{ilerlemesi beklenmektedir.} Bloom'un taksonomisinin sonraki revizyonları, ileri öğrenmenin sadece hatırlamak ve anlamayı değil, aynı zamanda giderek karmaşıklaşan bağlamlarda bilgiyi uygulamak, analiz etmek, değerlendirmek ve yaratmayı da içerdiğini daha da^{netleştirmiştir 2}. Bu ayrım, mevcut protokol için önemlidir çünkü üst düzey düşünme basit bir başarı puanı olarak değil, analiz edilemeden önce dikkatli operasyonel bir yapı gerektiren öğrenici düzeyinde bir yapı olarak ele alınır. Eğitim araştırmalarında, üst düzey düşünme aynı zamanda eleştirel akıl yürütme, metabiliştif izleme ve öğrenmenin problem bağlamları arasında aktarılması ile^{de ilişkilendirilmiştir 3}. Teknoloji destekli öğrenme için bu konu özellikle önemlidir çünkü öğrenciler genellikle sadece öğretim^{içeriği almak} yerine kavramları birbirine bağlamaları, üretilen bilgileri değerlendirmeleri ve karar vermeleri gerekir.

Üretken yapay zekanın hızlı yayılması, üst düzey düşüncenin ölçülmesini daha karmaşık hale getirdi. Üretken yapay zeka araçları, büyük ölçekli veri setlerinden öğrenilen kalıplardan metin, kod, görseller, açıklamalar, özetler ve diğer akademik destek biçimleri^{üretebilir 5}. ChatGPT dahil büyük dil modelleri, özellikle 2022 sonu ve 2023 başındaki kamu benimseme döneminde yükseköğretimde görünür^{hale geldi 6}. Akademik ortamlarda, öğrenciler bu araçları bilgi arama, kavram açıklaması, taslak geliştirme, fikir üretimi, ödev revizyonu, çeviri desteği ve diğer derse bağlı etkinlikler için kullanabilirler. Bu kullanımlar rutin iş yükünü azaltabilir, ancak aynı zamanda öğrencilerin dikkatini nasıl dağıttıklarını, bilgi kalitesini değerlendirmelerini ve kendi bilişsel çabalarını düzenlemelerini de değiştirebilirler. Bu nedenle, üretken yapay zeka destekli öğrenme üzerine araştırmalar, öğrenen düzeyindeki değişkenlerin nasıl toplandığını, puanlandığını, kodlandığını ve yorumlandığını net bir şekilde belgeleyen prosedürler gerektirir.

Dijital ve karma öğrenme üzerine önceki çalışmalar, teknolojinin öğrencilerin ortamı pasif olarak kullanmak yerine öğrenme görevlerine aktif olarak dahil olduklarında daha üst düzey düşünceyi^{destekleyebildiğini göstermiştir.} Mobil ve teknolojiyle desteklenen öğrenme çalışmaları, benzer şekilde, akran etkileşimi, öğrenme algısı ve aktif katılımın öğrencilerin üst düzey düşünme eğilimleriyle ilgili^{olduğunu öne sürmüştür 8}. Veri madenciliği yaklaşımları, çevrimiçi öğrenme davranışlarının daha üst düzey düşünme becerileriyle nasıl ilişkili olduğunu incelemek için de kullanılmıştır; bu, eğitim verilerini yorumlanabilir öğrenen kalıplarına düzenlemenin değerini^{göstermiştir 9}. Teknoloji kullanımı araştırmalarının önemli bir kısmı, kullanım davranışını algılanan faydalılık ve algılanan kullanım kolaylığı yoluyla açıklayan Teknoloji Kabulü^{Modeli tarafından bilgilendirilmiştir.} Ancak, üretken yapay zeka destekli öğrenme, önceki dijital öğrenme bağlamlarından farklıdır çünkü öğrenciler, açık uçlu yanıtlar üreten, özgüveni şekillendiren ve eleştirel katılımı ya uyaran ya da azaltabilen sistemlerle etkileşime girer. Bu nedenle, bu konu için bir protokol sadece öğrencilerin teknolojiyi kabul edip etmediğini kaydetmekle kalmayıp, aynı zamanda duygusal, davranışsal, akademik ve bağlamsal göstergelerin analiz için nasıl hazırlandığını da belgelemelidir.

Bu ortamda özellikle birkaç öğrenenle ilgili değişken önemlidir. Yapay zekaya güven, öğrencilerin üretilen çıktıya nasıl dayanıp dayanmadığını, sorgulamasa da akademik çalışmaya tedbirle entegre edeceğini etkileyebilir^{. 11}. Teknolojiye veya yapay zekaya yönelik kaygı da önemli olabilir, ancak ampirik bir uyarı olmadan tek bir yönde yorumlanmamalıdır¹². Sorunlu akıllı telefon kullanımı, başka bir ilgili davranışsal göstergedir çünkü parçalı dikkat ve cihazla ilgili dikkat dağınıklığı, çalışma¹³ sırasında sürekli bilişsel etkileşimi engelleyebilir. Daha genel öğrenme araştırmaları, kendi kendini düzenlemeli öğrenme stratejilerinin çevrimiçi ve teknoloji destekli ortamlarda akademik başarıyla ilişkili olduğunu^{öne sürmektedir 14}. Sorgulama temelli ve işbirlikçi öğrenme araştırmaları, anlamlı öğrenmenin öğrencilerin öğrenme görevlerine nasıl katıldığına, kanıtları nasıl organize ettiğine ve açıklamalar nasıl oluşturduğuna bağlı^{olduğunu da göstermektedir.} Bu hususlar, yalnızca üretken yapay zeka maruziyetinin dar bir ölçüsü yerine çok değişkenli bir anket iş akışının kullanılmasını destekler.

Bilişsel Yük Teorisi, aynı iş akışında duygusal ve davranışsal göstergelerin belgelenmesi için ek bir gerekçe sunar. Çalışma hafızası sınırlı olduğundan, aşırı veya kötü organize edilmiş bilgi öğrenme ve problem çözme süreçlerini engelleyebilir¹⁶. Üretken yapay zeka destekli öğrenmede, bu sorun öğrenciler bol üretilmiş çıktı, tutarsız açıklamalar, alakasız öneriler veya rekabet eden bilgi kaynaklarıyla karşılaştığında görünür hale gelir. Duygusal aktivitenin multimedya öğrenimi sırasında bilişsel yükle de ilişkili olduğu gösterilmiştir; bu da duygusal durumların öğrenenlerin teknoloji açısından zengin ortamlarda bilgiyi nasıl işlediğini şekillendirebileceğini^{öne sürmektedir 17}. Aynı zamanda, yapay genel zeka ve geleceğin eğitimi üzerine güncel tartışmalar, yapay zekanın öğrenme uygulamalarını geleneksel öğretim sistemlerinin uyum sağlayabildiğinden daha hızlı yeniden şekillendirebileceğini^vurguladı. Bu koşullar, sadece teknoloji tutumlarını değil, aynı zamanda duygusal durumu, özdenetimi, akademik geçmişi ve bağlamsal değişkenleri de kaydeden bir yöntem kullanmayı zorunlu kılar. Mevcut iş akışında, bu değişkenler doğrudan gözlemlenen davranışsal izler veya nedensel mekanizmalar olarak değil, kendi kendini bildiren anket göstergeleri olarak ele alınmaktadır.

Metodolojik bir zorluk, öğrenen profillerinin nadiren tek bir değişkenle oluşturulmasıdır. Eğitim anket verileri genellikle duygusal, davranışsal, akademik, bağlamsal ve teknolojiyle ilgili göstergelerin katmanlı kombinasyonlarını içerir. Geleneksel regresyon modelleri net ilişkileri tahmin etmek için faydalıdır, ancak koşullu dallanma, alt grup farklılaşması ve kural tabanlı sınıflandırma göstermek olduğunda daha az sezgisel olurlar. Karar ağacı analizi, vakaları yorumlanabilir dallara ayırarak sınıflandırma dizisini düğüm yapıları¹⁹ üzerinden görünür kıldığı için tamamlayıcı bir yaklaşım sunar. Daha karmaşık makine öğrenimi modelleriyle karşılaştırıldığında, tek bir karar ağacı tekrar edilebilir bir iş akışının parçası olarak incelemek, açıklamak ve dışa aktarmak daha kolaydır. Standart doğrusal modelleme ile karşılaştırıldığında, öğrenici göstergelerinin kombinasyonlarının eğitim verilerinde pratik sınıflandırma yolları oluşturduğunu^{gösterebilir 20}. Ancak, tek bir ağaç sınıf dengesizliğine, bölme kararlarına, budama ayarlarına ve örnek özelliklerine de duyarlıdır. Bu nedenle, bu protokolteki karar ağacı evrensel bir tahmin motoru veya nedensel model²¹ olarak değil, yardımcı yorumlanabilir sınıflandırma adımı olarak kullanılır.

Bu makale, üretken yapay zeka destekli akademik öğrenmede kendi bildirimi verilen üst düzey düşünceyi sınıflandırmak için tekrarlanabilir bir anket-puanlama ve C5.0 karar ağacı iş akışını sunmaktadır. İş akışı, 7 Mart - 15 Mart 2023 tarihleri arasında Çin'de toplanan 776 lisans öğrencisinin tek bir üniversite anket veri setiyle gösterilmektedir. Sonuç, yardımcı sınıflandırma için ikilileştirilmiş kendi kendini bildiren daha yüksek dereceli düşünme anketi puanıdır; Bu, gösterilmiş bilişsel performansın doğrudan bir ölçütü değildir. Bu gösterimdeki üretken yapay zeka maruziyeti, öğrencilerin önceki dört hafta içinde derse bağlı akademik faaliyetler için üretken yapay zeka araçlarını kendi bildirimleri olarak ifade etmiştir; bunlar arasında bilgi arama, kavram açıklaması, fikir üretimi, taslak taslağı ve ödev revizyonu dahildir. Araç kullanımı platform kayıtları, prompt geçmişleri veya gerçek zamanlı etkinlik izleriyle doğrulanmadı.

Protokolün amacı, tutulan ağacın tüm kurumlara, gruplara veya mevcut üretken yapay zeka ortamlarına genelleştirildiğini iddia etmek değildir. Bu tedbir gerekli, çünkü gösteri verileri, öğrencilerin üretken yapay zekaya maruz kalmasının hâlâ hızla geliştiği kısa bir 2023 erken döneminde bir üniversitede toplanmıştır. Bunun yerine, makalenin katkısı tüm prosedürün tekrarlanabilir olmasını sağlamakta yatıyor: anket bağlamını tanımlamak, anketi yönetmek, yanıtları taramak, puanlama yapılarını belirlemek, güvenilirliği belgelemek, sabit bir kodlama kuralı uygulamak, veri setini bölümlendirmek, C5.0 ağacını eğitmek ve budamak, model çıktılarını dışa aktarmak ve düğüm tabanlı sınıflandırma yollarını sınıfa özgü performansa dikkat ederek yorumlamak. Bu yöntem odaklı iş akışı, eğitim araştırmacılarına, sınıf odaklı araştırmacılara ve öğretim analistlerine üretken yapay zeka destekli öğrenmede anket tabanlı öğrenici profilleme konusunda şeffaf bir yaklaşım üretmelerine veya uyarlamalarına yardımcı olabilir.

Protokol

İnsan katılımcıları içeren bu çalışma, Yili Normal Üniversitesi Eğitim Bilimleri Fakültesi Etik Komitesi tarafından incelenip onaylandı (Referans No. LZEDU2023003). Çalışma 7 Mart - 15 Mart 2023 tarihleri arasında gerçekleştirildi. Komite, çalışmanın yalnızca anonim, gönüllü anket prosedürlerini içerdiği için etik istisna için uygun olduğunu belirledi çünkü katılımcılara fiziksel, psikolojik veya sosyal zarar vermiyordu. Tüm katılımcılar, anketi doldurmadan önce elektronik bilgilendirilmiş onay sundu.

Analizden önce, katılımcı kayıtlarını geri dönüştürülemez vaka numaralarıyla değiştirin ve tüm doğrudan tanımlayıcıları çıkarın. İsimleri, öğrenci kimlik numaralarını, telefon numaralarını, hesap isimlerini, sınıf tanımlayıcılarını, İnternet Protokol adreslerini, cihaz tanımlayıcılarını veya ham platform hesap işaretleyicilerini analitik dosyada saklamayın. Yanıt taraması için yalnızca tekrarlanan kontrol bilgisini kullanın, ardından analitik veri setini kilitlemeden önce çıkarın.

1. Anket ortamı ve örnekleme prosedürünü belirleyin

1. Çalışma ortamını ve uygunluk kriterlerini tanımlayın
   1. Anketi, 7 Mart - 15 Mart 2023 tarihleri arasında Çin'in Guangxi Zhuang Özerk Bölgesi'ndeki Liuzhou Politeknik Üniversitesi'nde yürütün.
   2. Hedef nüfusu, katılımcı üniversitede şu anda kayıtlı lisans öğrencileri olarak tanımlayın.
   3. Son 4 hafta içinde derse bağlı akademik öğrenme için en az bir üretken yapay zeka aracı kullandığını bildiren öğrencileri dahil edin.
   4. Uygun akademik kullanımı bilgi arama, kavram açıklaması, fikir üretimi, taslak taslağı, ödev revizyonu, çeviri desteği, kodla ilgili yardım veya diğer derse bağlı görevler olarak tanımlayın.
   5. Yalnızca eğlence kullanımı, gündelik sohbet, çalışma dışı deneme veya dersle ilgili olmayan diğer kullanım bildiren öğrencileri hariç tutun.
   6. Mevcut öğrenci olmayan, akademik olarak üretken yapay zeka kullanımını bildirmeyen, elektronik bilgilendirilmiş onayı reddeden veya geçersiz anketler sunan katılımcıları aşağıdaki tarama kurallarına göre hariç tutun.
   7. Üretken yapay zeka maruziyetini, araç kategorisi veya araç adı, önceki 4 hafta boyunca yaklaşık kullanım sıklığı ve aracın desteklediği akademik görevleri kapsayan kendi rapor öğeleriyle kaydedin. Bu maruziyet verilerini doğrulanmış platform kullanım kayıtları olarak kabul etmeyin.
2. Örnekleme çerçevesini oluştur ve katılımcıları işe al.
   1. Katılımcı üniversiteden kurumsal lisans örnekleme çerçevesini alın. Çerçeve, 46 bölümde 15.000'den fazla öğrenciyi kapsar.
   2. Davetli listeyi oluşturmak için ana kategori ve yıl seviyelerine göre katmanlı rastgele seçme uygulanarak farklı disiplinler ve çalışma aşamalarından öğrenciler davetli örneklemde temsil edilir.
   3. Davet listesini oluşturmak için ana kategori ve yıl düzeyine göre katmanlı rastgele örnekleme uygulayın.
   4. Standart bir işe alım bildirimi kullanarak seçilmiş 800 öğrenciyi davet edin.
   5. Çevrimiçi anket platformu hızlı yanıt kodunu yalnızca ders molaları veya öğrenci danışmanlığı oturumları gibi öğretim dışı dönemlerde davet edilen öğrencilere dağıtın.
   6. Tam katılım ve tarama akışını kaydedin. Bu iş akışında 800 öğrenci davet edildi ve 792 anket geri gönderildi. On altı anket hariç tutuldu: 4 anket uygun olmayan üretken yapay zeka kullanımı için, 3 tekrarlı gönderim için, 5 minimum eşik altında tamamlanma süresi ve 4 geçerli düz çizgi yanıt kalıpları için. Son analiz örneği 776 geçerli anket içeriyordu.

2. Anket yönetimi ve veri gizliliği prosedürlerini yapılandırmak

1. Çevrimiçi anketi yapılandırma
   1. Anketi çevrimiçi anket platformu olan Questionnaire Star olarak da bilinen kullanarak oluşturup dağıtın.
   2. Hızlı yanıt kodu dağıtımı, zorunlu ölçek öğesi yanıtları, gönderim süresi ihracatı, çoğaltma kontrol kontrolü ve elektronik tablo dışa aktarımı etkinleştirin.
   3. İlk geçerli yanıtı toplamadan önce yanıtlamanın yüzünü kilitleyin. Anket süresi boyunca ürün ifadesi, ürün sırası, yanıt çapları, talimatlar, ölçek etiketleri, onay ifadeleri ve erişim yolu değişikliklerini koruyun.
   4. Tüm ölçek öğelerini gerekli öğeler olarak ayarlayın. Ölçek yanıtları için sonradan ödünç verme kullanmayın.
   5. En az tanımlanabilir platform seçeneğiyle tek gönderim kontrolünü etkinleştirin. Sadece hesap seviyesinde, cihaz seviyesinde veya platform tarafından oluşturulan işaretleyicileri yalnızca tekrarlayan taramalar için kullanın.
2. Tamamlama koşullarını standartlaştırın
   1. Katılımcılardan anketi bireysel olarak, tek oturuşta ve akran tartışması olmadan doldurmalarını iste.
   2. Katılımcılara, son 4 hafta içinde üretken yapay zekayı akademik olarak kullandıklarına göre cevap vermelerini öğretin.
   3. Katılımcılardan anketi sessiz bir ortamda doldurmalarını ve cihaz değiştirmeden, uzun duraklamalardan veya gönderme sonrası tekrar erişimden kaçınmalarını iste.
   4. Beklenen tamamlanma süresini 530 dakika olarak ayarlayın. Sadece tamamlanma süresini yanıt kalitesi göstergesi olarak kullanın.

3. Yanıtları tarayın ve analitik veri setini kilitleyin

1. Ham yanıt dosyasını dışa aktarın
   1. Anket penceresi kapandıktan sonra çevrimiçi anket platformundan ham anket dosyasını dışa aktarın.
   2. Ham ihracatı hariç tutmadan, puanlama, kodlama veya model oluşturmadan önce koruyun.
   3. Taramadan önce tüm iade edilen kayıtlara tanımlanamayan vaka numaraları atayın. Bu iş akışında, 792 geri dönen ankete dosya numaraları atayın.
2. Yanıt kalitesi hariç tutma kurallarını uygula
   1. Elektronik bilgilendirilmiş onay olmadan kayıtları hariç tutun.
   2. Mevcut öğrenci statüsü veya akademik uygunluğu karşılamayan kayıtları hariç tutun.
   3. İhracat sonrası demografik ölçek dışı yanıtları eksik olan kayıtları hariç tutun. Bu iş akışında, zorunlu yanıt ayarları ölçek yanıtlarının eksikliğini önledi.
   4. Ürün düzeyinde okuma ve yanıt işleme olasılığı düşük olan kayıtları belirlemek için kapalı uçlu öğe başına ortalama 2 saniyelik tamamlanma süresi eşiği kullanın. Bu eşik altındaki kayıtları hariç tutun.
   5. 5 dakikadan kısa veya 30 dakikadan fazla sürede tamamlanan kayıtları düşük kaliteli veya kesintiye uğramış yanıtlar olarak inceleyin. Bu zaman aralığı dışındaki kayıtları yalnızca tekrarlanan kontrol ve yanıt deseni incelemesi geçersiz tamamlanmayı göstermediğinde sakla.
   6. Düz çizgi yanıtlamayı ek bir yanıt kalitesi göstergesi olarak kullanın. Aynı yanıt seçeneğinin en az %90'ı için seçildiği kayıtları hariç tutun, çünkü bu desen öğe içeriğiyle sınırlı etkileşim olduğunu gösterir.
   7. Platform tekrarlayıcı işaretlerine dayalı tekrarlanan gönderimleri hariç tutun ve en erken tam geçerli kaydı koruyun.
   8. Davalıya yönelik anketi Ek Dosya 1 olarak korun.
   9. Tarama günlüğünü Ek Dosya 2 olarak koruyun. Tarama günlüğü, davet edilen öğrencileri, geri gönderilen anketleri, hariç tutulan anketleri, hariç tutma nedenlerini ve nihai tutulan vakaları rapor etmelidir.
3. Kilitli analitik veri seti oluşturun
   1. Taramadan sonra 776 geçerli anketi aklınızda tutun. Veri toplandıktan sonra madde ifadesi, uygunluk kriterleri, hariç kararları ve değişken tanımlarının değişmediğinden emin olmak için puanlamadan önce katılımcıya yönelik anketi ve analitik veri setini kilitleyin.
   2. Analizden önce doğrudan tanımlayıcıları, ham zaman damgalarını, hesap düzeyindeki işaretleyicileri, cihaz düzeyindeki izleri ve çoğaltılmış kontrol işaretlerini kaldırın. Bu kimlik çıkarma adımını katılımcıların anonimliğini korumak ve analitik veri setinin bireysel öğrencilere bağlanmasını önlemek için kullanın.
   3. Kimliksizleştirilmiş 776 vaka veri setini kilitli analitik veri seti olarak kaydedin.
   4. Puanlama, kodlama ve sınıflandırma için tek kaynak olarak kilitli analitik veri setini kullanın.

4. Öğrenenle ilgili değişkenleri ölçmek

1. Anketi düzenle
   1. Anketi dört bölüme ayırın: bilgilendirilmiş onay, demografik ve akademik geçmiş, üretken yapay zeka maruziyeti ve öğrenenle ilgili ölçekler.
   2. Cinsiyet, yaş, bölüm, yıl seviyesi ve kendi bildirdiğim akademik performansı kaydedin.
   3. Üretken yapay zekaya maruz kalma oranını araç kategorilerine, yaklaşık kullanım sıklığına ve desteklenen akademik göreve göre kaydedin.
   4. Kendi bildirdiği üst düzey düşünmeyi, üretken yapay zeka kaygısını, üretken yapay zekaya güveni, olumsuz duyguları, üretken yapay zekaya karşı tutumları, sorunlu akıllı telefon kullanımı, akademik erteleme ve ebeveyn yetiştirilişini ölç.
   5. Tüm ölçek tabanlı değişkenleri doğrudan davranışsal gözlemler veya doğrudan gözlemlenen bilişsel performans olarak değil, kendi raporlama anket göstergeleri olarak ele alın.
2. Saklanan ölçütleri tanımlayın
   1. Sorun çözme, eleştirel düşünme, takım çalışması, iletişim ve inovasyonu kapsayan 23 maddelik bir araçla kendinize bildirilen yüksek dereceli düşünceyi^{ölçmek 22}.
   2. Üretken yapay zeka kaygısını 11 maddelik uyarlanmış teknoloji kaygı^{ölçmek için 23}.
   3. Üretken yapay zekaya güveni 12 maddelik otomasyona uyarlanmış bir güvenle^{ölçmek 24}.
   4. Olumsuz duyguları, genel bir negatif duygu göstergesi olarak kullanılan uyarlanmış bir Depresyon Anksiyete Stres Ölçekleri 21 madde^{setiyle ölçün 25}. Bu puanı klinik bir tanı olarak yorumlamayın.
   5. Üretken yapay zekaya yönelik tutumları, 18 maddelik uyarlanmış teknoloji-tutum ölçeğiyle^{ölçün 26}.
   6. Sorunlu akıllı telefon kullanımını, öğrenci anket bağlamına uyarlanmış Akıllı Telefon Bağımlılığı Ölçeği Kısa^{Versiyonu ile ölçmek 27}.
   7. Akademik ertelemeyi 16 maddelik akademik erteleme^{ölçeği ile ölçün 28}.
   8. Akademik performansı 5 puanlık bir öz-raporlama maddesiyle ölçin: 1 = ortalamanın çok altında, 2 = ortalamanın altında, 3 = ortalama, 4 = ortalamanın üstünde ve 5 = mükemmel.
   9. Ebeveyn yetiştirilme tarzını 5 puanlık bir bağlamsal bildirim maddesiyle ölçin: 1 = çok destekleyici, 2 = desteksiz, 3 = nötr veya karışık, 4 = destekleyici ve 5 = çok destekleyici.
3. Yanıt çapaklarını ve uyarlama prosedürlerini belirtin
   1. Korunan ölçek değişkenleri için 1–5 Likert tipi yanıt formatı kullanın.
   2. Genel çapaları kullanın: 1 = kesinlikle katılmıyorum, 2 = katılmıyorum, 3 = nötr veya belirsiz, 4 = katılım ve 5 = kesinlikle katılıyorum.
   3. Katılımcıların katılımcı üniversitede kullanılan öğretim ve dil bağlamında tüm ölçek maddelerini tamamlamalarını sağlamak için anketi Çince olarak yönetin.
   4. Kaynak öğeleri, öne çevirme, uzman incelemesi, üretken yapay zeka destekli öğrenme için kelime değişikliği ve pilot okunabilirlik kontrolü yoluyla uyarlayarak amaçlanan yapı anlamını koruyarak Çinli lisans katılımcıları için bağlamsal netliği artırın.
   5. Uyarlanan öğelerin orijinal yapılar, yanıt çapları, puanlama yönü ve çalışma bağlamıyla tutarlı kalıp kalmadığını kontrol etmek için uzman incelemesini kullanın. Yalnızca üretken yapay zeka destekli öğrenme ortamında belirsizlik, bağlam uyumsuzluğu veya yanlış anlama yaratabilecek ifadeleri gözden geçirin.
   6. Ek Dosya 1'de öğe ifadesi, yanıt çaplayıcıları, eşya sırası, puanlama yönü ve nihai değişken etiketlerini ekleyin.

5. Ölçüm kalitesini puanlayın ve doğrulayın

1. Puanlanmış çalışma dosyasını hazırla
   1. IBM SPSS Statistics 26.0'da kilitli analitik veri setini açın.
   2. Her satır için bir yanıt veren ve her sütun başına bir öğe veya değişken korun.
   3. Eksik değerleri, yanıt aralıklarını, öğe etiketlerini ve değişken isimlerini kontrol edin.
   4. Bileşik puanları hesaplamadan önce taranmış bir eşya seviyesindeki veri setini kaydedin.
2. Bileşik skorları hesaplayın
   1. Her çoklu öğe yapısı için bir yanıtlayıcı seviyesinde ortalama bileşik puan hesaplayın.
   2. Sadece tersine puan alan öğeler, bileşik puan hesaplamasından önce puanlama anahtarında ters anahtarlı olarak tanımlanır.
   3. Bu iş akışında DASS21'den türetilen negatif duygu öğelerini ters puanlamayın çünkü tutulan tüm öğeler aynı yönde puanlanır ve daha yüksek değerler daha güçlü olumsuz duygu deneyimini gösterir.
   4. Kısmen dönüştürülmüş ölçeklerden bileşik puanlar hesaplamayın.
   5. Bileşik skor hesaplamasından sonra sürekli bir skor dosyası kaydedin.
3. İç ölçüm kalitesini doğrulayın
   1. IBM SPSS Statistics 26.0'da her tutulan çok maddeli ölçek için Cronbach alfasını hesaplayın. Cronbach alfasını, aynı ölçekteki öğelerin kompozit puan hesaplaması için yeterli tutarlılık gösterip göstermediğini gösteren bir iç tutarlılık indeksi olarak kullanın.
   2. Her korunan ölçek için düzeltilmiş eşya-toplam korelasyonları ve alfa-if-item-silinen değerleri inceleyin. Düzeltilmiş eşya toplamı korelasyonlarını kullanarak her öğenin kendi ölçeğindeki toplam puanla yeterince uyumlu olup olmadığını kontrol edin; bu madde toplam hesaplamadan çıkarıldıktan sonra.
   3. Alpha-if-item-deleted değerlerini, korunursa iç tutarlılığı azaltabilecek öğeleri belirlemek için kullanın. Sadece istatistiksel gerekçelerle öğeleri otomatik olarak kaldırmayın; Bir öğeyi yalnızca yapılandırma anlamını, puanlama yönünü ve uyarlanmış anketle tutarlılığını kontrol ettikten sonra elde tutmak veya çıkarmak.
   4. Kaiser-Meyer-Olkin ve Bartlett'in uyarlanmış ölçek seti için test kontrollerini yapın.
   5. Ana metinde anahtar Cronbach'ın alfa değerlerini bildir.
   6. Tam puanlama ve ölçüm kaydını Ek Tablo 1 olarak sunun. Öğe sayısı, yanıt aralığı, yanıt çapları, puanlama yönü, ters anahtarlı öğeler, bileşik puan kuralı, Cronbach alfası, düzeltilmiş toplam eşya korelasyon kontrol sonucu, alfa-if-item-silinen kontrol sonucu ve nihai değişken etiketi dahil edin.

6. Sürekli puanları yardımcı sınıflandırma girdilerine dönüştürün

1. İkili kodlamayı uygulayın
   1. Sürekli nota çalışma dosyasını kaynak dosya olarak kullanın.
   2. Kendi bildirdiği yüksek dereceden düşünceyi ikili hedef değişken olarak yeniden kodlayın.
   3. Code, ≤3'ü 0, >3'ü ise 1 puanı alır.
   4. Bileşik skor hesaplamasından sonra tutulan tüm tahmin edicilere aynı eşik uygulanır.
   5. 1–5 yanıt ölçeğinin ortası olarak 3 eşiğini kullanarak şeffaf ve tekrarlanabilir bir kodlama kuralı oluşturun.
   6. C5.0 karar ağacı gösterimi için ikili girdiler oluşturmak amacıyla sadece ikilik girişler gerçekleştirin.
   7. İkotomizasyondan sonra sınıf sayılarını kontrol et.
   8. Sürekli nota çalışma dosyasını koruyun.
2. Kodlanmış analiz dosyasını oluştur
   1. Yeni bir ikili kodlu analiz dosyası oluşturun.
   2. Üretken yapay zeka kaygısı, üretken yapay zekaya güven, sorunlu akıllı telefon kullanımı, akademik erteleme, akademik performans, ebeveyn yetiştirilme, olumsuz duygular ve üretken yapay zekaya karşı tutumları aynı eşik kullanarak yeniden kodlayın.
   3. Her ikili değişken için sınıf sayılarını doğrulayın.
   4. Kodlama kuralı ve sınıf sayılarını Tablo 1'de bildirin.
   5. İkili kodlu analiz dosyasını koruyun.
   6. Kodlanmış analiz dosya yapısını Ek Dosya 3 olarak sağla.

7. Yardımcı C5.0 karar ağacı sınıflandırıcısını oluşturun

1. Modelleme ortamını yapılandırma
   1. Windows 10 64bit işletim sisteminde IBM SPSS Modeler 18.4'ü açın.
   2. İkili kodlu analiz dosyasını içe aktarın.
   3. Hedef alan olarak ikili, kendini bildiren üst düzey düşünceyi atayın.
   4. Diğer tüm tutulan ikili değişkenleri giriş alanı olarak atanın.
   5. Alan adlarını, değer etiketlerini ve hedef/giriş rollerini doğrulayın.
   6. Yazılım adı, sürüm, işletim sistemi, C5.0 uygulaması, proje dosyası adı ve analiz tarihini Ek Tablo 2'ye kaydedin.
2. Veri setini bölüme ayırın
   1. 776 vakayı 70:30 eğitim-test bölünmesine ayırın.
   2. Sabit rastgele tohum 20230307 kullanın.
   3. İkili üst dereceden düşünme hedefi tarafından katmanlı bölünme uygulanır.
   4. 544 vakayı eğitim alt kümesine, 232 vakayı ise test alt kümesine atayın.
   5. Tam veri setinde, eğitim alt setinde ve test alt setinde düşük HOT ve yüksek HOT sayılarını doğrulayın.
   6. Bölüm kaydını Ek Tablo 2'de korun.
3. C5.0 ağacını eğitin ve budanın.
   1. Eğitim alt kümesinde bir C5.0 sınıflayıcısı eğitin.
   2. Kazanç oranını bölünme seçim^{kuralı olarak kullanın 29}.
   3. Entropiyi şöyle tanımlayın:
      Entropi(D) = −Σp_ilog₂(p_i)
      burada p_i , veri seti D içindeki sınıf i vakalarının oranıdır.
   4. Kazanç oranını şöyle tanımlayın:
      Kazanç oranı (D, C) = [Entropi(D) − Entropi(D|C)]/SplitInfo (D, C)
      burada C, aday bölme değişkenidir.
   5. Budama etkinleştirin, eğitim alt kümesine uyabilecek aşırı spesifik dalları azaltın.
   6. Aşağıdaki C5.0 ayarlarını kullanın: budama = etkin; boosting = devre dışı bırakıldı; deneme sayısı = 1; yanlış sınıflandırma maliyetleri = uygulanmaz; sınıf ağırlıkları = uygulanmamıştır; çocuk dalı başına minimum kayıt = 2; küresel budama = etkin; alt ağaç yükseltme = etkin; güven faktörü = 0.25; durdurma kuralları = IBM SPSS Modeler C5.0 varsayılan ayarları, aksi belirtilmedikçe.
   7. Ana iş akışında sentetik aşırı örnekleme, sınıf ağırlıklandırma veya maliyet duyarlı öğrenme uygulamayın.
   8. İlk ağacı ve saklanan budanmış ağacı ihraç edin.
   9. Son düğüm yapısını, terminal düğüm özetlerini, değişken önem çıktısını, sınıflandırma kurallarını ve model ayarlarını kaydedin.
4. Belge sınıf dengesizliği
   1. Model eğitiminden önce düşük HOT ve yüksek HOT dağılımını hesaplayın.
   2. Bilgi vermeme oranını, tam veri seti ve test alt kümesinde çoğunluk sınıf oranı olarak kaydedin.
   3. Ağacı, optimize edilmiş bir tarama modeli olarak değil, yardımcı yorumlanabilir bir sınıflandırma çıktısı olarak yorumlayın.
   4. Gelecekteki tarama odaklı uygulamalar için sınıf ağırlıkları, maliyet duyarlı öğrenme, yeniden örnekleme, tekrarlanan tren testi bölümleri, k-kat çapraz doğrulama veya eşik ayarlaması göz önünde bulundurun.

8. Sınıflandırma çıktısını değerlendirin ve korunun

1. İhracat performans çıktıları
   1. Tutulan budama ağacını eğitim alt kümesine uygulayın.
   2. Eğitim karışıklığı matrisi, doğruluk, sınıfa özgü geri çağırma, sınıfa özgü hassasiyet ve terminal düğüm çıktısını dışa aktarın.
   3. Aynı ağacı test alt kümesine uygulayın.
   4. Test karışıklığı matrisi, doğruluk, sınıf özgüslü geri çağırma, sınıf özgüs hassasiyet ve terminal düğüm çıktısını dışa aktarın.
   5. Geri çağırmayı TP/(TP + FN) olarak hesaplayın.
   6. Hassasiyeti TP/(TP + FP) olarak hesaplayın.
   7. Doğru sınıflandırılmış vakaların toplam vakalara bölünmesi olarak genel doğruluğu hesaplayın.
   8. Bilgi vermeme oranını hesaplayın ve test doğruluğunu çoğunluk sınıf temel çizgisiyle karşılaştırın.
   9. Sınıfa özgü metrikleri genel doğrulukla birlikte raporlayın.
2. İhracat yorumlanabilirlik çıktıları
   1. Değişken önemliliği tablosunu sayısal değerlerle dışa aktarın.
   2. Düğüm örneklem büyüklüğü, tahmin edilen sınıf, sınıf dağılımı ve sınıf olasılığıyla nihai ağaç diyagramını dışa aktarın.
   3. Tam ağaç diyagramı görsel olarak kalabalıksa, basitleştirilmiş bir ana şekil verin ve tam düğüm tablosunu Ek Dosya 4'e yerleştirin.
   4. Kural yolu, düğüm örneklem büyüklüğü, tahmini sınıf, düşük HOT sayısı, yüksek HOT sayısı ve sınıflandırma güvenilirliği dahil olmak üzere terminal-düğüm özetlerini dışa aktarın.
   5. Temsilci Sonuçlarda bir veya iki temsilci sınıflandırma yolunu tanımlayın.
3. Tekrarlanabilirlik paketini koruyun
   1. Ham yanıt dosyası, kimlik çıkarma kaydı, tarama günlüğü, taranan eşya düzeyinde veri seti, sürekli skor çalışma dosyası, ikili kodlu analiz dosyası, örnekleme akış tablosu, puanlama anahtarı, güvenilirlik tablosu, C5.0 proje dosyası, başlangıç ağaç dosyası, budama ağaç dosyası, değişken önem çıktısı, terminal düğüm tablosu, karışıklık matrisleri ve dışa aktarılan model özetleri korun.
   2. Puanlama ve ölçüm kaydı olarak Ek Tablo 1'i sağla.
   3. Model ayarı ve çıktı kaydı olarak Ek Tablo 2'yi sağla.
   4. Davalıya yönelik anket olarak Ek Dosya 1'i sunun.
   5. Örnek tarama günlüğü olarak Ek Dosya 2'yi sağla.
   6. Kodlanmış analiz dosyası yapısı olarak Ek Dosya 3'ü sağla.
   7. Terminal düğümü ve değişken önemli çıktı olarak Ek Dosya 4'ü sağla.
   8. İş akışı yolunu şu şekilde koruyun: ham anket ihracat > kimlik çıkarma ve tarama günlüğü > taranmış öğe düzeyinde veri seti > sürekli puan çalışma dosyası >ikili kodlu analiz dosyası > eğitim/test bölümü > başlangıç C5.0 ağacı > budlanmış C5.0 ağacı > sınıflandırma çıktılarını ek olarak tekrarlanabilirlik paketi > dışa aktarıl.

Sonuçlar

Tutulan değişkenlerin tanımlayıcı istatistiği

Tablo 2 , ikili yeniden kodlamadan önce sürekli puan veri setinde saklanan kendi kendini raporlama anket değişkenlerinin tanımlayıcı istatistiklerini sunar. Ortalama kendi bildirimi yüksek dereceden düşünme puanı 3.71 (SD = 0.68) idi, bu da 1–5 yanıt ölçeğinde sabit orta nokta eşiği olan 3'ün üzerindeydi. Üretken yapay zekaya olan güven de bu eşiği aştı; ortalama 3,54 (SD = 0,60) o...

Tartışma

Bu protokol, üretken yapay zeka destekli akademik öğrenmede kendi raporlama öğrenen öğrenici verilerini düzenlemek için tekrarlanabilir anket-puanlama ve C5.0 karar ağacı iş akışı sunar. Ana katkısı öngörücü değil, metodolojiktir. İş akışı, anket bağlamının nasıl tanımlanacağını, ekran yanıtlarını, çoklu öğe yapılarını puanlamayı, sabit bir orta nokta kodlama kuralı uygulamayı, veri setini bölmeyi, C5.0 ağacını eğitmeyi ve budamasını, düğüm düzeyinde çıktıları dışa aktarmayı ve sınıfa öz...

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
IBM SPSS Modelleyici	IBM Corp.	Sürüm 18.4	70:30 katmanlı veri bölme, C5.0 karar ağacı oluşturma, budama, sınıflandırma değerlendirmesi ve ağaç çıktısı dışa aktarma için kullanılır.
IBM SPSS İstatistikleri	IBM Corp.	Sürüm 26.0	Veri kontrolü, kompozit skor hesaplaması, güvenilirlik analizi, frekans kontrolü ve ikili yeniden kodlama için kullanılır.
İnternete bağlı yanıt cihazı	Dayanıtıcıya ait cihaz	Tarayıcı erişimi olan akıllı telefon, tablet veya dizüstü bilgisayar	Katılımcılar tarafından çevrimiçi anketi doldurmak için kullanılmıştır. Çalışmaya özel bir cihaz sağlanmadı.
Microsoft Excel	Microsoft Şirketi.	Microsoft 365 veya Excel 2019 veya daha yeni	Tarama günlüğü incelemesi, kodlama doğrulama, tablo biçimlendirme ve dışa aktarılan çıktı kontrolü için kullanılır.
QR-kod dağıtım fonksiyonu	Wenjuanxing / Anket Yıldızı	Yerleşik anket bağlantısı QR-kod fonksiyonu	Anket döneminde davetli öğrencilere standart anket erişimi sağlamak için kullanıldı.
Sessiz ölçüm tamamlama ortamı	Katılımcı üniversite	Öğretim dışı sınıf molası veya öğrenci danışmanlığı ortamı	Tek oturumluk anket tamamlama sırasında yanıt-bağlam varyasyonunu azaltmak için kullanılır.
Güvenli veri depolama dizini	Yazarlar / katılımcı kurumlar	Erişim kontrollü kurumsal depolama	Ham dışa aktarma, ekranlı veri seti, puanlanmış veri seti, kodlanmış veri seti, model dosyaları, günlükler ve sürüm kontrolüyle dışa aktarılan çıktıları korumak için kullanılır.
Wenjuanxing / Questionnaire Star çevrimiçi anket platformu	Changsha Ranxing Bilgi Teknolojileri Şirketi, Ltd.	Web tabanlı platform; resmi Wenjuanxing web sitesi üzerinden erişim	Anket oluşturma, QR kod dağıtımı, zorunlu yanıt ayarları, tekrarlanmış kontrol kontrolü, zaman damgası ihracatı ve elektronik tablo ihracatı için kullanılır.
Windows işletim sistemi	Microsoft Şirketi.	Windows 10, 64-bit	IBM SPSS Statistics 26.0 ve IBM SPSS Modeler 18.4 için çalışma ortamı.