Çok Yönlü Rasch Modeli Kullanılarak Bestecilik Çalışmaları Üzerinden Müzik Bölümü Öğrencilerinde Yaratıcı Davranışın Değerlendirilmesi

Özet

Bu çalışma, orijinal müzik eserlerine yapılandırılmış bir kompozisyon değerlendirme rubriği ve çok boyutlu Rasch ölçümü uygulayarak müzik bölümü öğrencilerindeki yaratıcı davranışı değerlendirmektedir.

Özet

Müzik eğitiminde yaratıcılığın değerlendirilmesi; orijinal müzikal çalışmalar üzerindeki yargıların öznel tercihlerden, kriterlerin tutarsız yorumlanmasından ve değerlendirici katılığı arasındaki farklardan etkilenmesi nedeniyle zorlu olmaya devam etmektedir. Kompozisyon eğitiminde, tamamlanan eserler; öğrencilerin müzikal fikirleri nasıl ürettiklerini, geliştirdiklerini, dönüştürdüklerini, rafine ettiklerini ve gerçekleştirdiklerini gösteren gözlemlenebilir ürünler olarak ele alınabilir. Bu çalışma, yapılandırılmış bir kompozisyon değerlendirme rubriğinin, çok yüzeyli Rasch ölçümü ile birleştirildiğinde, lisans düzeyindeki müzik bölümü öğrencileri arasında yaratıcı davranışın tekrarlanabilir bir değerlendirmesini destekleyip destekleyemeyeceğini incelemiştir. 80 müzik öğrencisine ait orijinal kompozisyonlar, eğitim almış dokuz değerlendirici tarafından beş puanlı bir rubrik kullanılarak bağımsız olarak puanlanmıştır. Rubrik; yenilik, akıcılık, esneklik, kesinlik ve uygulanabilirlik olmak üzere kompozisyonel yaratıcı davranışın birbiriyle ilişkili beş boyutunu içermiştir. Puanlama verileri, öğrencilerin, kriterlerin ve değerlendiricilerin ortak bir logit ölçüm yapısı içinde ayrı yüzeyler olarak belirlendiği FACETS yazılımı (versiyon 3.83.6) kullanılarak analiz edilmiştir. Puanlama tasarımı 3.600 beklenen puanlama fırsatını içermiş; ikisi eksik olmak üzere 3.598 geçerli gözlemlenen puanlama analiz edilmiştir. Genel model uyumu, puanlama tasarımının yorumlanmasını desteklemiş ve sıralı kategori yapısı, beş puanlı ölçeğin beklenen yönde çalıştığını göstermiştir. Kriter tahminleri, tamamlanan kompozisyonlar içinde yeniliğin kanıtlanmasının nispeten daha kolay, uygulanabilirlik ve esnekliğin ise daha zor olduğunu göstermiştir. Değerlendiricilerin puan kullanımı konumlarında da farklılıklar gözlemlenmiş, bu durum sadece ham puanlara güvenmek yerine değerlendirici etkilerinin modellenmesi gerekliliğini desteklemiştir. Öğrenci ayrımı orta düzeyde çıkmış, bu da aracın hassas bireysel sıralamadan ziyade geniş performans tabakalaşmasına daha uygun olduğunu göstermiştir. Bu bulgular, kompozisyon tabanlı bir rubriğin çok yüzeyli Rasch ölçümü ile birleştirilmesinin, yüksek müzik eğitiminde yaratıcı davranışın değerlendirilmesi için şeffaf bir çerçeve sağlayabileceğini göstermektedir.

Giriş

Öğrencilerin yalnızca yerleşik teknikleri yeniden üretmelerinin değil, aynı zamanda disipliner bir bağlamda orijinal, anlamlı ve iletilebilir eserler yaratmalarının da beklenmesi nedeniyle yaratıcılık, sanat eğitiminin merkezi bir çıktısı haline gelmiştir¹. Müzik eğitiminde bu beklenti, öğrencilerin tema, melodi, ritim, form, geliştirme ve gerçekleştirme hakkındaki kararlar aracılığıyla müzikal bilgiyi tamamlanmış eserlere dönüştürmeleri gereken kompozisyon eğitiminde özellikle önemlidir. Müzikal yaratıcılığın yalnızca kişisel beğeni veya genel sanatsal izlenim temelinde değerlendirilememesi nedeniyle, bu bağlamda değerlendirme yapmak zordur. Tamamlanmış bir kompozisyon, yaratıcı davranışa dair gözlemlenebilir kanıtlar sunar; ancak puanlamanın şeffaf ve tekrarlanabilir olması için bu kanıtların açık kriterlere dönüştürülmesi gerekir². Net kriterler olmadığında, puanlar sunulan eserin spesifik niteliklerinden ziyade, değerlendiricinin tercihlerini, üslup aşinalığını veya kaliteye dair genel bir izlenimi yansıtabilir.

Mevcut çalışma, kompozisyonel yaratıcı davranışı, tamamlanmış bir kompozisyondaki yaratıcı müzikal çalışmanın gözlemlenebilir ifadesi olarak tanımlamaktadır. Rubrik beş boyut kullanır: özgünlük, akıcılık, esneklik, hassasiyet ve uygulanabilirlik. Bu boyutlar özdeş alt özellikler veya ayrı teorik yapılar olarak ele alınmamıştır. Bunun yerine, geniş kapsamlı bir ürün tabanlı performans yapısının ölçüt düzeyindeki tezahürleri olarak kullanılırlar: bir öğrencinin tamamlanmış bir çalışmada müzikal fikirleri ne ölçüde üretebildiği, geliştirebildiği, dönüştürebildiği, rafine edebildiği ve gerçekleştirebildiği. Özgünlük, müzikal fikrin veya işlemenin ayırt ediciliğini; akıcılık, fikir geliştirmenin sürekliliğini ve üretkenliğini; esneklik, müzikal işlemedeki çeşitli yaklaşımları, dönüşümleri veya adaptif kaymaları; hassasiyet, müzikal detayların rafine edilmesini, iç organizasyonunu ve somutluğunu; uygulanabilirlik ise tamamlanmış kompozisyonun sanatsal ve pratik olarak gerçekleştirilebilirliğini temsil eder³. Bu yapı; fikir üretimini, fikir geliştirmeyi, adaptif dönüşümü, teknik rafine etmeyi ve gerçekleşmiş uygulanabilirliği tek bir tamamlanmış müzikal üründe birleştirir.

Bu yapı argümanı aynı zamanda kriter örtüşmesini ve yapı kirlenmesini de azaltır. Hassasiyet; rafinasyon, iç organizasyon ve somut müzikal detaylarla sınırlandırılmışken, fizibilite, eserin gerçekleştirilmiş bir kompozisyon olarak sanatsal ve pratik uygulanabilirliği olarak tanımlanmıştır. Benzer şekilde, akıcılık, sürdürülebilir ve üretken gelişimle sınırlandırılmış; esneklik ise varyasyon, transformasyon ve adaptif müzikal işleyiş olarak tanımlanmıştır. Bir eser orijinal bir fikir barındırabilir ancak gelişimi sınırlı olabilir veya teknik olarak kararlı ve tutarlı olmasına rağmen çok az transformasyon gösterebilir. Bu nedenle, toplam ham puan aynı kompozisyon üzerindeki dengesiz yaratıcı profilleri gizleyebileceği için kriter tabanlı bir rubrik gereklidir⁴.

Değerlendirici aracılığıyla yapılan müzik değerlendirmesi, hem puanlayıcı davranışına hem de öğrenci performansına dikkat edilmesini gerektirir. Değerlendiriciler aynı rubriği kullansalar bile; sertlik, kategori kullanımı ve kriterlerin yorumlanması konusunda farklılıklar gösterebilirler. Bu farklılıklar sadece prosedürel sorunlar değildir; ölçüm durumunun bir parçasıdırlar ve gözlemlenen puanların anlamını etkileyebilirler⁵. Çok yönlü (many-facet) Rasch ölçümü, öğrencileri, değerlendiricileri, kriterleri ve puanlama ölçeği kategorilerini ortak bir logit çerçevesinde tahmin ettiği için bu ortam için uygundur. Öğrenci ölçümleri, kriter zorluğu ve değerlendirici sertliği düzeltmeleri yapıldıktan sonra tahmin edilen yaratıcı performansı temsil eder; kriter ölçümleri, her bir boyutun sergilenmesinin ne kadar zor olduğunu gösterir; değerlendirici ölçümleri, göreceli puan kullanım konumunu belirtir ve kategori istatistikleri, puanlama ölçeğinin hedeflenen sırada çalışıp çalışmadığını gösterir⁶. Bu yaklaşım, yalnızca ham toplamlara veya ortalama puanlara güvenmekten daha güçlüdür; çünkü gözlemlenen puanlamada aksi takdirde birleştirilen çok sayıda puan varyasyonu kaynağını birbirinden ayırır.

Tek boyutlu çok yüzeyli Rasch modelinin kullanımı, net bir yapı argümanı gerektirir. Bu çalışmada, tek boyutlu spesifikasyon, beş rubrik boyutunun özdeş olduğu varsayılarak değil, genel kompozisyonel yaratıcı davranış düzeyi üzerinden gerekçelendirilmiştir. Beş kriterin, tamamlanmış müzik eserlerinde ifade edilen geniş bir performans yapısının farklı gözlemlenebilir yönlerini temsil etmesi beklenmektedir. Bu varsayım, ampirik bir ölçüm varsayımı olarak ele alınmış ve kriter uyumu, derecelendirme ölçeği işlevselliği, kriterler arasındaki artık ilişkiler ile değerlendirici-kriter ve öğrenci-kriter etkileşim tanılamaları aracılığıyla incelenmiştir⁷. Çok yüzeyli Rasch yaklaşımları performans temelli değerlendirmelerde uygulanmış olsa da, yüksek müzik eğitimi kapsamındaki tam kompozisyon değerlendirmelerinde sistematik kullanımı sınırlı kalmıştır⁸. Mevcut müzik değerlendirme araştırmaları, açık uçlu sanatsal ürünleri yargılamanın zorluğunu ve açık puanlama kriterlerine olan ihtiyacı vurgularken⁹, ölçüm araştırmaları rubrik temelli performans değerlendirmesinin, değerlendirici ve kriter etkilerinin doğrudan modellenmesinden faydalanabileceğini göstermiştir¹⁰. Bu arka plan ışığında, mevcut çalışma, lisans müzik bölümü öğrencilerinin ürettiği orijinal kompozisyonlara çok yüzeyli Rasch çerçevesini uygulamaktadır. Çalışma üç soruyu ele almaktadır: önerilen kompozisyon derecelendirme çerçevesinin bir ölçüm tasarımı olarak yeterli şekilde işlev görüp görmediği; kriter zorluğunun ve değerlendiricinin puan kullanım varyasyonunun gözlemlenen puan varyasyonuna nasıl katkıda bulunduğu ve kriter ve değerlendirici etkileri modellendikten sonra öğrencilerin yaratıcı performans ölçümlerinin nasıl dağıldığı.

Protokol

Bu çalışma, Çin'in Nanchang 330098, Jiangxi şehrindeki Jiangxi Teknoloji Enstitüsü Müzik ve Dans Fakültesi Kurumsal Gözden Geçirme Kurulu tarafından YG2020158 onay numarası ile onaylanmıştır. Görev uygulaması ve veri toplama aşamalarından önce tüm katılımcılardan yazılı bilgilendirilmiş onam alınmıştır. Katılımcılara, gönderdikleri bestelerin kimliksizleştirme işleminden sonra yalnızca araştırma tabanlı değerlendirme için kullanılacağı bildirilmiştir. Puanlama öncesinde öğrenci isimleri, sınıf belirleyicileri, yazarlık bilgilerini içeren dosya meta verileri ve diğer doğrudan tanımlayıcılar kaldırılmıştır. Bu tanımlayıcılar değerlendiricilere verilmemiştir. Gönderilen tüm çalışmalar puanlama ve analizden önce kimliksizleştirilmiş ve tüm analiz dosyaları yalnızca kodlanmış tanımlayıcılar kullanılarak işlenmiştir.

Çalışma ortamı, katılımcı alımı ve görev ataması

Çalışma, Eylül 2025 ile Ocak 2026 tarihleri arasında Çin'in Jiangxi eyaletinin Nanchang şehrindeki Jiangxi Teknoloji Enstitüsü Müzik ve Dans Okulu'nda yürütülmüştür. Katılımcılar, üçüncü yıl Müzikoloji kohortundan seçilmiştir; çünkü bu aşamadaki öğrenciler, çalışma döneminden önce müzik teorisi, performans pratiği, elektronik müzik kompozisyonu ve kompozisyonla ilgili temel müfredat derslerini tamamlamışlardır.

Kaynak kohort, üçüncü sınıf Müzikoloji bölümünden 96 öğrenciyi kapsamaktaydı. 96 öğrencinin tamamına ulaşılmıştır. Dört öğrenci yazılı onay vermemiş ve bu nedenle taramaya dahil edilmemiştir. Geriye kalan 92 öğrenci yazılı bilgilendirilmiş onam vermiş ve taranmıştır. Final analizinden önce on iki öğrenci çalışma dışı bırakılmıştır. Hariç tutma nedenleri; beş öğrencide eksik kompozisyon teslimleri, üç öğrencide bir veya daha fazla zorunlu yapısal öğenin eksik olması, iki öğrencide son teslim tarihinden sonra gönderim yapılması, bir öğrencide okunamaz veya bozuk dosyalar ve bir öğrencide puanlama öncesi çalışmadan çekilmedir. Final analitik örneklem, 32 erkek ve 48 kadın olmak üzere toplam 80 lisans öğrencisini içermektedir.

Nihai analitik örnek, onay, tarama ve hariç tutma kuralları uygulandıktan sonra, seçilen kohorttan elde edilen anonimleştirilmiş ve puanlanabilir kompozisyonların tamamından oluşan uygun küme ile temsil edilmiştir. Bu örneklem büyüklüğü, 3.600 değerlendirme fırsatı bağımsız öğrenci düzeyinde gözlemler olarak ele alınarak gerekçelendirilmemiştir. Bunun yerine, çok yüzeyli (many-facet) Rasch tasarımı, kriter zorluğunu, değerlendirici puanlama varyasyonunu ve puanlama ölçeği kategori işlevselliğini modellerken aynı zamanda öğrenci yaratıcı performans ölçümlerini tahmin etmek için 80 kompozisyonun tekrarlanan değerlendirmelerini kullanmıştır. Dokuz değerlendiricinin dahil edilmesi, değerlendiriciyle ilgili puanlama varyasyonunun tahmin edilmesini desteklemek ve açık uçlu kompozisyon kalitesine ilişkin tek bir değerlendiricinin yorumuna olan bağımlılığı azaltmak amacıyla planlanmıştır. Müzikoloji programının üçüncü yılında tam zamanlı olarak kayıtlı olan, çalışma döneminden önce gerekli temel dersleri tamamlamış olan, yazılı bilgilendirilmiş onam vermiş olan ve belirlenen teslim süresi içinde bir adet tam orijinal kompozisyon teslim eden öğrenciler uygun görülmüştür. Çalışmayı eksik teslim eden, teslimatın önceden tanımlanmış görev gerekliliklerini karşılamadığı, dosyanın açılamadığı veya puanlanamadığı, teslimatın son tarihten sonra alındığı veya puanlamadan önce onamın geri çekildiği öğrenciler çalışma dışı bırakılmıştır.

Her katılımcı, aynı yazılı talimatlar altında bir adet bireysel orijinal beste görevi tamamlamıştır. Öğrencilerin kendi temalarını ve tarzlarını seçmelerine izin verilmiş, ancak her teslimatın sözler, melodi, ritim ve biçimsel organizasyon içermesi şart koşulmuştur. Grup çalışmaları, yeniden sunulan ödevler, uyarlanmış yayınlanmış materyaller, yalnızca taslak aşamasındaki dosyalar ve geç revizyonlar resmi puanlama veri setinden hariç tutulmuştur. Her katılımcıdan yalnızca bir adet final versiyonu kabul edilmiştir. Detaylı görev gereksinimleri ve teslimat spesifikasyonları Ek Tablo 1'de sunulmuştur. Eksiksiz katılımcı alım ve analiz iş akışı   Şekil 1'de gösterilmiştir.

Kompozisyon eserlerin toplanması, taranması ve anonimleştirilmesi

Tüm besteler, planlanan ödev haftasının son gününde saat 23:59'a kadar kurumsal öğrenme yönetim sistemi üzerinden gönderilmiştir. Her gönderi, bir Taşınabilir Belge Formatı (PDF) nota dosyası ve buna eşlik eden bir MP3 ses kaydı içermekteydi. Son teslim tarihinden sonra araştırma ekibi, gönderilen tüm dosyaları aynı gönderim kanalı üzerinden indirmiş ve her çalışmayı değerlendiricilere sunmadan önce önceden tanımlanmış görev gereksinimlerine göre taramıştır. Yalnızca söz, melodi, ritim ve formel organizasyon içeren ve tamamlanmış bir nihai ürünü temsil eden besteler kabul edilmiştir. Sadece taslak halindeki dosyalar, tamamlanmamış çalışmalar, temel yapısal bileşenleri eksik olan dosyalar, geç teslimler ile okunmayan veya bozulmuş dosyalar puanlama öncesinde kapsam dışı bırakılmıştır.

Uygun olan her çalışmaya S1'den S80'e kadar anonimleştirilmiş bir öğrenci kodu atandı. Dosyalar puanlama için yayınlanmadan önce öğrenci isimleri, sınıf tanımlayıcıları, yazarlık bilgilerini içeren dosya meta verileri ve diğer tüm doğrudan tanımlayıcılar kaldırıldı. Katılımcı kimliğini anonimleştirilmiş çalışma koduyla ilişkilendiren bağlantı dosyası, sorumlu araştırmacı tarafından parola korumalı bir dosyada ayrı olarak saklandı. Bu bağlantı dosyasına, model tahmini sırasında değerlendirmeciler veya analist tarafından erişilemedi. Nihai puanlama külliyatı, her biri bir PDF nota dosyası ve bir MP3 ses kaydı ile temsil edilen, anonimleştirilmiş ve puanlanabilir 80 kompozisyondan oluşmaktaydı.

Puanlama rubriği

Puanlama rubriği, bestelenmiş eserlerdeki yaratıcı davranışın beş boyutunu değerlendirmiştir: özgünlük, akıcılık, esneklik, kesinlik ve uygulanabilirlik. Rubrik, kompozisyon eğitimi, müzik teorisi ve müzik eğitimi değerlendirme konularında deneyimli üç öğretim üyesinin danışmanlığında araştırma ekibi tarafından geliştirilmiştir. İlk versiyon, önceki akademik yıla ait çalışma dışı beş uygulama bestesi kullanılarak gözden geçirilmiştir. Pilot incelemenin ardından, uygulanabilirlik ile kesinlik arasındaki örtüşmeyi azaltmak ve akıcılığı esneklikten ayırt etmek amacıyla kriterlerin ifade biçimi ve beş puanlama dayanağı revize edilmiştir. Nihai rubrik, puanlayıcı eğitimi ve resmi puanlamadan önce 20 Eylül 2025 tarihinde kesinleştirilmiştir. Resmi puanlama başladıktan sonra hiçbir kriter ifadesinde veya puanlama dayanağında değişiklik yapılmamıştır.

Final değerlendirme ölçeğinde yenilik, müzikal fikrin veya yaklaşımın özgünlüğü ve farklılığına atıfta bulunmuştur. Akıcılık, eser içindeki fikir gelişiminin sürekliliğini ve üretkenliğini ifade eder. Esneklik, müzikal işleyişteki çeşitli yaklaşımlara, dönüşümlere veya uyarlanabilir değişimlere atıfta bulunmuştur. Hassasiyet, müzikal detayların inceliğine, iç organizasyonuna ve somutluğuna atıfta bulunmuştur. Uygulanabilirlik, tamamlanan eserin gerçekleştirilmiş bir kompozisyon olarak sanatsal ve pratik sürdürülebilirliğine atıfta bulunmuştur. Beş boyutun tamamı aynı beş puanlı yanıt formatı kullanılarak puanlanmıştır. 1 puan, hedef boyutun çok zayıf bir şekilde sergilendiğini; 5 puan ise çok güçlü bir şekilde sergilendiğini göstermiştir. Yarım puanlara izin verilmemiştir. Tüm değerlendiriciler aynı kriter sırasını, puan çapa noktalarını ve standartlaştırılmış puanlama çizelgesini kullanmıştır. Beş boyutun tamamı için operasyonel tanımlar ve puan çapa noktaları Tablo 1'de sunulmuştur.

Değerlendirici alımı, körleme ve eğitimi

Jiangxi Teknoloji Enstitüsü'nden müzik veya sanatla ilgili değerlendirme konularında önceden deneyimi olan dokuz değerlendirici seçilmiştir. Değerlendirici panelinde müzik odaklı derslerden beş öğretim üyesi, müzik eğitiminden iki öğretim üyesi ve sanat değerlendirmesi konusunda deneyimli iki kıdemli lisansüstü eğitmen yer almıştır. Her bir değerlendiricinin en az üç yıllık öğretim, puanlama, jüri üyeliği veya sanat değerlendirme deneyimi bulunmaktadır. Her bir değerlendiriciye J1'den J9'a kadar anonimleştirilmiş bir kod atanmıştır. Tüm değerlendiriciler, 80 bestimden oluşan aynı anonimleştirilmiş derlemi puanlamıştır. Resmi puanlama aşaması boyunca değerlendiriciler; öğrenci kimliğine, demografik bilgilere, sınıf üyeliğine ve diğer tüm değerlendiricilerin puanlarına karşı körleme yöntemiyle tutulmuştur.

Resmi puanlama öncesinde, tüm puanlayıcılar yaklaşık 120 dk süren standart bir eğitim ve kalibrasyon oturumu tamamlamıştır. Oturum sırasında araştırma ekibi; yazılı rubriği, puan çıpalarını, standart puanlama çizelgesini ve puanlama talimatlarını dağıtmıştır. Beş kriter ve beş yanıt kategorisi, resmi puanlama sırasında kullanılan sabit sıranın aynısıyla açıklanmıştır. Ardından, uygulama puanlaması için anonimleştirilmiş üç kalibrasyon kompozisyonu kullanılmıştır. Bu üç kalibrasyon kompozisyonu, 80 resmi çalışma kompozisyonundan bağımsızdır ve analitik veri setine dahil edilmemiştir. Her puanlayıcı, tartışma öncesinde üç kalibrasyon çalışmasını bağımsız olarak puanlamıştır. Her bir boyutun anlamını, komşu puan kategorileri arasındaki ayrımı ve beş puanlık ölçeğin tamamının kullanımını netleştirmek için uyumsuzluklar kriter bazında gözden geçirilmiştir. Kalibrasyon oturumunun amacı, özdeş puanlara zorlamak değil, rubriğin yorumlanmasını standartlaştırmaktı. Eğitim iş akışı ve kalibrasyon prosedürü Ek Tablo 2'de sunulmuştur.

Resmi puanlama prosedürü

Resmi puanlama sırasında, her değerlendirici anonimleştirilmiş her bir kompozisyonu beş kriterin tamamı üzerinden bağımsız olarak değerlendirdi. Değerlendiriciler, her çalışma için hem PDF nota dosyasını hem de beraberindeki MP3 ses kaydını incelediler. PDF dosyaları bir PDF okuyucu yazılımla açıldı ve ses dosyaları, puanlama yönetimi için kullanılan aynı iş istasyonu tipinde Sennheiser HD 280 Pro kulaklıklar kullanılarak Audacity programında incelendi. Değerlendiricilere önce nota dosyasını incelemeleri, ardından ses kaydını bir kez tam olarak dinlemeleri ve gerektiğinde ikinci bir odaklanmış incelemeden sonra kriter düzeyinde puanlamayı tamamlamaları talimatı verildi. Ritim, melodi, yapı veya gerçekleştirme detaylarının doğrulanması gerektiğinde, herhangi bir kompozisyon için iki ek sefer daha dinleme yapılmasına izin verildi. Resmi puanlama sırasında değerlendiricilerin bireysel başvurular hakkında tartışmalarına izin verilmedi ve hiçbir değerlendirici diğer değerlendiriciler tarafından verilen puanlara erişemedi.

Anonimleştirilmiş 80 kompozisyon, puanlama öncesinde oluşturulmuş randomize bir sırayla her bir değerlendiriciye sunuldu. Her değerlendirici aynı anonimleştirilmiş dosya setini, rubriği, puanlama çizelgesini ve puanlama talimatlarını kullandı. Resmi puanlama, her değerlendirici için bir ila üç oturumda bireysel olarak tamamlandı ve hiçbir puanlama oturumu 3 saati aşmadı. Puanlama birden fazla oturuma yayıldığında, aynı puanlama ortamı, dosya seti ve yanıt çizelgesi kullanıldı. Her kompozisyon için, dokuz değerlendiricinin beş kriterle çarpımıyla elde edilen 45 beklenen değerlendirme fırsatı vardı. Final korpusuna dahil edilen 80 kompozisyon ile değerlendirme tasarımı, eksik puan kontrollerinden önce 3.600 beklenen değerlendirme fırsatı oluşturdu.

Veri girişi, kodlama yapısı ve kalite kontrol

Resmi puanlama sonrasında, gözlemlenen tüm değerlendirmeler Microsoft Excel kullanılarak uzun formatlı bir analitik veri setine girildi. Çok boyutlu Rasch tasarımı üç boyut içeriyordu: öğrenciler, puanlayıcılar ve kriterler. Öğrenciler S1'den S80'e, puanlayıcılar J1'den J9'a ve kriterler C1'den C5'e kadar kodlandı. Kriterler; özgünlük için C1, akıcılık için C2, esneklik için C3, kesinlik için C4 ve uygulanabilirlik için C5 olarak kodlandı. Her bir geçerli puanlama kaydı, tek bir gözlemlenen öğrenci-puanlayıcı-kriter değerlendirmesini temsil ediyordu ve student_id, rater_id, criterion_id, criterion_name ve score bilgilerini içeriyordu. Geçerli puan kategorileri yalnızca 1 ile 5 arasındaki tam sayılar olarak kaydedildi.

Model uyumu öncesinde veri seti; yinelenen kayıtlar, eksik tanımlayıcılar, eksik puanlar, geçersiz öğrenci kodları, geçersiz değerlendirici kodları, geçersiz kriter kodları, criterion_id ile criterion_name arasındaki uyumsuzluklar ve izin verilen aralığın dışındaki puanlar açısından kontrol edilmiştir. Tam tasarım, 3.600 beklenen değerlendirme fırsatı oluşturmuştur. Nihai analitik dosya, 3.598 geçerli gözlemlenen değerlendirme ve iki eksik değerlendirme fırsatı içermekteydi. Eksik olan iki değerlendirme "kayıp" olarak belgelenmiş, atama (imputation) yapılmamış ve herhangi bir geçerli puan kategorisine yeniden kodlanmamıştır. Model tahmini öncesinde, yinelenen kayıtlar ve kodlama tutarsızlıkları orijinal puanlama çizelgeleriyle karşılaştırılarak kontrol edilmiştir. Gerekli değişken yapısı ve kodlama formatı Ek Tablo 3'te sunulmuştur.

Çok yüzeyli Rasch model spesifikasyonu

Temizlenmiş derecelendirme verileri, FACETS sürüm 3.83.6 kullanılarak analiz edilmiştir. Model; öğrenci yaratıcı performansını, kriter zorluğunu, değerlendirici puan kullanım konumunu ve derecelendirme ölçeği kategori eşiklerini ortak bir logit ölçeğinde eş zamanlı olarak tahmin etmiştir. Öğrenciler hedef ölçüm fasetlemesi, kriterler zorluk fasetlemesi ve değerlendiriciler ise değerlendirici fasetlemesi olarak belirlenmiştir. FACETS kontrol dosyası; S1–S80 öğrenci etiketleri, C1–C5 kriter etiketleri ve J1–J9 değerlendirici etiketleri ile üç faset belirtmiştir. Tüm kriterler aynı sıralı 1–5 yanıt yapısını kullandığı için beş kriterin tamamına ortak bir beş kategorili derecelendirme ölçeği modeli uygulanmıştır. Model, ortak maksimum olabilirlik tahmini kullanılarak hesaplanmıştır. Herhangi bir dış çapa değeri uygulanmamıştır. Öğrenci ve kriter fasetleri, ortak logit ölçeğinde raporlama için merkezlenmiş; değerlendirici faseti ise değerlendiriciler arasındaki puan kullanım varyasyonunu temsil etmek üzere serbestçe tahmin edilmiştir. FACETS kontrol dosyası yapısı, faset kodlaması, derecelendirme ölçeği ayarları, tahmin yöntemi, merkezleme kuralı, yakınsama kuralı, çıktı istekleri ve tanısal eşikler Ek Tablo 4'te özetlenmiştir.

Model şu şekilde belirlenmiştir:

Nerede P_nijk öğrenci n'in kategoriye sahip olma olasılığını ifade eder Lütfen çevirmemi istediğiniz metni giriniz. değerlendiriciden j kriter üzerine i kategori yerine k − 1, B_n n öğrencisinin tahmini yaratıcı performans ölçümünü ifade eder, D_i kriterin zorluğunu belirtir i, R_j değerlendirici puanını ifade eder-değerlendiricinin bulunduğu konumun kullanımı jve F_k bitişik puan kategorileri arasındaki eşiği ifade eder. Puan kategorileri 1'den 5'e kadar sıralanmıştır. Bu parametrizasyonda, daha yüksek değerlendirici konumları, FACETS çıktısındaki puanların daha fazla kullanımına karşılık gelir. Başlangıç modeli, kategoriler birleştirilmeden mevcut geçerli değerlendirmelere göre uydurulmuştur. Eksik değerlendirmeler, atama yapılmadan veya puan kategorilerine yeniden kodlanmadan eksik veri olarak ele alınmıştır.

FACETS analizi, maksimum 100 iterasyonla ve ardışık iterasyonlar arasındaki parametrelerdeki maksimum değişim için 0,01 logit'ten küçük bir yakınsama kriteri ile çalıştırılmıştır. Çıktı spesifikasyonları; faset özet istatistiklerini, bireysel faset ölçümlerini, model standart hatalarını, infit ve outfit ortalama kare istatistiklerini, gözlemlenen ortalamaları, adil ortalamaları, ayrışma ve güvenilirlik indekslerini, ki-kare testlerini, kategori istatistiklerini, Rasch-Andrich eşiklerini, eşik standart hatalarını, kategori olasılığı çıktısını, standartlaştırılmış artıklar ile değerlendirici-kriter yanlılığı ve öğrenci-kriter yanlılığı çıktılarını içermekteydi. FACETS kontrol dosyası, kimliksizleştirilmiş uzun formatlı değerlendirme veri seti, temel model çıktısı ve duyarlılık analizi çıktısı, yeniden üretilebilir analiz dosyaları olarak saklanmıştır.

Değerlendirme ve tanı kuralları

Öğrenciler, kriterler ve değerlendiriciler için model uyumunu değerlendirmek amacıyla infit ortalama kare ve outfit ortalama kare istatistikleri kullanılmıştır. 0,60 ile 1,30 arasındaki değerler, rutin yorumlama için temel kabul edilebilir aralık olarak değerlendirilmiştir. 1,50'nin üzerindeki değerler inceleme için işaretlenmiş ve 2,00'nin üzerindeki değerler ciddi uyumsuzluk olarak kabul edilmiştir. Infit veya outfit ortalama kare değerleri 2,00'nin üzerinde olan her öğrenci için orijinal puanlama kayıtları temizlenmiş veri setiyle karşılaştırılmış ve bir duyarlılık analizi olarak söz konusu öğrenci hariç tutulduktan sonra model yeniden tahmin edilmiştir. Vakalar sadece uyumsuzluk nedeniyle ana modelden çıkarılmamıştır; ana kriter, değerlendirici ve değerlendirme ölçeği sonuçlarının istikrarlı kalıp kalmadığını belirlemek için duyarlılık analizi kullanılmıştır. Bu uyum inceleme ve duyarlılık analizi kuralları Ek Tablo 4'te listelenmiştir.

Anlamlı bir iç farklılaşmanın mevcut olup olmadığını ve elde edilen ölçümlerin yorumlama için yeterince kararlı olup olmadığını belirlemek amacıyla her bir boyut için ayrışma ve güvenirlik indeksleri incelenmiştir. 2,00'den büyük ayrışma değerleri, boyut içinde önemli bir farklılaşmayı desteklediği şeklinde yorumlanmıştır. 2,00'nin altındaki öğrenci ayrışması, kesin bireysel sıralamadan ziyade geniş bir tabakalaşmayı desteklediği şeklinde yorumlanmıştır. 1,00'e daha yakın olan güvenirlik değerleri, daha güçlü bir ölçüm kararlılığına işaret ettiği şeklinde yorumlanmıştır. Derecelendirme ölçeğinin işleyişi; kategori istatistikleri, gözlemlenen ortalamalar, outfit ortalama kare değerleri, Rasch-Andrich eşikleri, eşik standart hataları ve kategori olasılık eğrileri kullanılarak incelenmiştir. Gözlemlenen ortalamaların puan kategorileri boyunca monotonik olarak arttığı, komşu eşiklerin sıralı bir dizide ilerlediği ve beş kategorinin gizil süreklilik boyunca yorumlanabilir olasılık bölgeleri oluşturduğu durumlarda kategori performansı kabul edilebilir olarak değerlendirilmiştir.

Yanlılık ve etkileşim çıktıları, değerlendirici-kriter ve öğrenci-kriter kombinasyonları açısından incelendi. Mutlak standartlaştırılmış bias t değeri 2,00 veya daha fazla olan tüm etkileşimler gözden geçirilmek üzere işaretlendi. Bu tanısal kontroller, puanlamaları otomatik olarak çıkarmak için değil, kriter yorumlamadaki olası tutarsızlıkları veya beklenmedik yanıt modellerini belirlemek için kullanıldı. Yerel bağımlılık ve yapı örtüşmesi, tüm 10 olası kriter çifti arasındaki kriter uyumu ve artık ilişkiler incelenerek değerlendirildi. İki kriter arasındaki 0,30 veya daha büyük herhangi bir artık ilişki, olası yerel bağımlılık olarak işaretlendi ve rubric tanımlarına göre gözden geçirildi. Bu tanısal kriterler ayrıca Ek Tablo 4'te bildirilmiştir. Bu nedenle, tek boyutlu Rasch belirlemesi, otomatik olarak varsayılmak yerine bir ölçüm varsayımı olarak değerlendirildi. Öğrenci ölçümleri yorumlanırken, bireysel logit farkları, ilgili ölçüm belirsizliğini aşmadığı sürece anlamlı olarak kabul edilmedi. Öğrenci yönü, bireysel öğrencilerin kesin bir sıralamasından ziyade, öncelikle kompozisyonel yaratıcı performansın genel bir dağılımı olarak yorumlandı.

Sonuçlar

Genel yönet özet

Çok yönlü Rasch analizi; 80 anonimleştirilmiş kompozisyon, dokuz değerlendirici ve beş puanlama kriterini içeren tam bir derecelendirme tasarımına dayandırılmıştır. Bu tasarım, 3.600 beklenen derecelendirme fırsatı oluşturmuştur. Bunların 3.598 geçerli gözlemlenen derecelendirmesi analiz edilmiş ve iki derecelendirme fırsatı eksik olarak kaydedilmiştir. Eksik derecelendirmeler ne atama yoluyla doldurulmuş ne de herhangi bir geçerli puan kategorisine yeniden kodlanmıştır. Genel yön istatistikleri Tablo 2'de sunulmuştur. Modellenen üç yön genelinde, ortalama infit ve outfit ortalama kare değerleri 1,00'e yakın çıkmış ve bu durum kabul edilebilir bir genel model-veri uyumunu desteklemiştir. Güvenilirlik tahminleri kriterler için 0,87, değerlendiriciler için 1,00 ve öğrenciler için 0,78 olarak belirlenmiştir. Ayrım değerleri kriterler için 2,56, değerlendiriciler için 16,36 ve öğrenciler için 1,86'dır. Ki-kare testleri her üç yön için de anlamlı bulunmuştur. Raporlama için kriter yönü ve öğrenci yönü 0,00 logit değerine merkezlenmiş, değerlendirici yönü ise 0,62 logit ortalama ölçüme sahip olmuştur. Öğrenci ölçümleri -0,80 ile 1,12 logit arasında değişerek 1,92 logitlik tahmini bir aralık vermiştir.

Değerlendirici-ölçüm varyasyonu

Değerlendirici tahminleri Tablo 2'de gösterilmiştir. Infit ortalama kare değerleri 0,73 ile 1,26 arasında, outfit ortalama kare değerleri ise 0,74 ile 1,27 arasında değişmiştir. Dokuz değerlendiricinin tamamı, 0,60 ile 1,30 arasındaki kabul edilebilir uyum aralığının içindeydi. Değerlendirici faseti, modellenen fasetler arasında en geniş dağılımı göstermiştir; bu durum, tüm değerlendiriciler aynı rubriği, puanlama formunu ve puanlama prosedürünü kullanmış olsa bile, değerlendirici puan kullanımı arasında belirgin bir varyasyon olduğunu göstermektedir. J9, 3,37 logit ile en yüksek değerlendirici-ölçüm konumuna sahipken, J8 -0,34 logit ile en düşük değerlendirici-ölçüm konumuna sahipti. Bu yönelim, gözlemlenen ve hakkaniyetli ortalamalarla tutarlıdır: J9, 4,74 ve 4,75 ile en yüksek gözlemlenen ve hakkaniyetli ortalamalara sahipken, J8 her ikisi de 2,77 olan en düşük gözlemlenen ve hakkaniyetli ortalamalara sahipti. Bu nedenle değerlendirici faseti, basit bir sertlik sıralamasından ziyade, ortak logit ölçeğindeki puan kullanımı konumundaki varyasyon olarak yorumlanmıştır. J1 ve J5'in 0,86 logit ile özdeş tahminleri, J3 ve J6'nın -0,13 logit ile özdeş tahminleri vardı; J2 ve J4 ise sırasıyla 0,03 ve -0,15 logit ile değerlendirici ölçeğinin merkezine yakın konumlanmıştı. Toplam değerlendirici-ölçüm yayılımı 3,71 logitti. Değerlendirici ayrım değeri, 1487,8 ki-kare değeri (df = 8), p < 0,001 ile 16,36 idi. Hiçbir değerlendirici uyum inceleme eşiğini aşmamış ve hiçbir değerlendirici birincil modelden hariç tutulmamıştır.

Kriter zorluğu ve kriter uyumu

Kriter zorluk tahminleri Tablo 2'de sunulmuştur. Uygulanabilirlik, 0,20 logit ile en yüksek zorluk tahminine sahipti; bu da öğrencilerin tamamlanan kompozisyonlar içerisinde kanıtlaması en zor kriter olduğunu göstermektedir. Esneklik ve kesinlik, sırasıyla 0,07 ve 0,02 logit tahminlerle orta sırada yer almıştır. Akıcılığın zorluk tahmini -0,13 logit iken, özgünlük -0,16 logit ile en düşük zorluk tahminine sahipti; bu durum, bu korpus içerisinde kanıtlanması en kolay kriterin özgünlük olduğunu göstermektedir. Toplam kriter-zorluk aralığı 0,36 logit idi. Beş kriterin tamamı kabul edilebilir uyum değerleri göstermiştir. Infit ortalama kare değerleri 0,89 ile 1,11 arasında, outfit ortalama kare değerleri ise 0,90 ile 1,12 arasında değişmiştir. Kriter ayrıştırma değeri 2,56 ve ki-kare değeri 37,8, df = 4, p < 0,001 olarak belirlenmiştir. Hiçbir kriter uyum-inceleme eşiğini aşmamıştır ve modelden herhangi bir kriter çıkarılmamıştır.

Öğrenci yaratıcı performans dağılımı ve uyum incelemesi

Öğrenci ölçümleri, bireysel sıralamalar yerine genel bir dağılım olarak Tablo 2'de özetlenmiştir. Öğrenci boyutu 1,86'lık bir ayrışma değeri ve 0,78'lik bir güvenilirlik tahmini göstermiştir. Ki-kare değeri 354,4 (df = 79), p < 0,001 olarak bulunmuştur. Tahmin edilen öğrenci ölçümleri, yaklaşık 0,19 ila 0,20 logitlik model standart hataları ile -0,80 ile 1,12 logit arasında değişmiştir. Öğrenci ayrışma değeri 2,00'nin altında olduğu için, öğrenci sonuçları kesin bireysel sıralamadan ziyade geniş bir performans tabakalaşmasını desteklediği şeklinde yorumlanmıştır.

Öğrenci uyum istatistikleri, tanımlanan uyum eşik değerleri kullanılarak incelenmiştir. S3'ün infit ortalama karesi 2,10 ve outfit ortalama karesi 2,05 olarak belirlenmiş ve bu değerler önemli uyumsuzluk (substantial-misfit) eşiğini aşmıştır. S3'e ait orijinal puanlama kayıtları; öğrenci kodu, değerlendirici kodu, kriter kodu, kriter adı, puan kategorisi, yinelenen kayıt durumu ve eksik puanlama durumu dahil olmak üzere temizlenmiş analitik veri setiyle karşılaştırılmıştır. Herhangi bir veri giriş hatasına, yinelenen kayda, geçersiz puana, eksik puanlama uyumsuzluğuna veya kodlama tutarsızlığına rastlanmamıştır. Bu nedenle S3, temel modelde tutulmuştur. Ardından, ana modelin sonuçlarının istikrarlı kalıp kalmadığını belirlemek amacıyla S3 hariç tutularak bir hassasiyet modeli tahmin edilmiştir. Bu hassasiyet modeli 79 kompozisyon ve 3.555 beklenen puanlama fırsatını içermektedir. Hassasiyet modelindeki geçerli analiz edilen puanlama sayısı 3.553'tür. Hassasiyet modelinde, uygulanabilirlik 0,19 logit ile en zor kriter, özgünlük ise -0,15 logit ile en kolay kriter olarak kalmaya devam etmiştir. Kriter ayrımı 2,56'dan 2,48'e, kriter güvenilirliği 0,87'den 0,86'ya, değerlendirici ayrımı 16,36'dan 16,02'ye değişmiş; değerlendirici güvenilirliği 1,00 olarak kalmış, öğrenci ayrımı 1,86'dan 1,82'ye ve öğrenci güvenilirliği 0,78'den 0,77'ye değişmiştir. Puanlama ölçeği eşikleri sıralı kalmış; temel modeldeki -2,10, -0,71, 0,69 ve 2,12 logit değerleri, hassasiyet modelinde -2,08, -0,70, 0,68 ve 2,10 logit olarak değişmiştir. Bu değişiklikler ana kriter, değerlendirici, öğrenci veya puanlama ölçeği sonuçlarını değiştirmemiştir. Hassasiyet analizi sonuçları Tablo 3'te sunulmuştur.

Yerel bağımlılık ve yanlılık tanıları

Beş puanlama kriteri arasındaki tüm 10 olası kriter çifti için yerel bağımlılık tanıları incelenmiştir. Tüm artık ilişkiler 0,30 inceleme eşiğinin altında kalmıştır. En büyük artık ilişki, kesinlik ve uygulanabilirlik arasında 0,24 olarak belirlenmiştir. Bir sonraki en büyük ilişkiler ise akıcılık ile esneklik arasında 0,21, özgünlük ile akıcılık arasında 0,18 ve özgünlük ile esneklik arasında 0,17 şeklinde gerçekleşmiştir. Geriye kalan altı kriter çifti artık ilişkisi de 0,30'un altında olup Tablo 4'te rapor edilmiştir. Bu sonuçlar, beş rubrik kriteri arasında sorunlu bir yerel bağımlılık olduğuna dair bir belirti göstermemiştir.

Değerlendirici-ölçüt yanlılığı çıktısı, 2,00'lık mutlak standartlaştırılmış yanlılık t-değeri eşiği kullanılarak incelenmiştir. En büyük değerlendirici-ölçüt standartlaştırılmış yanlılık t-değeri, uygulanabilirlik konusunda J9 için 1,84 olarak belirlenmiş olup inceleme eşiğinin altında kalmıştır. Öğrenci-ölçüt çıktısı, S3 için beklenmedik bir yanıt örüntüsü saptamıştır. En büyük öğrenci-ölçüt standartlaştırılmış yanlılık t-değeri, uygulanabilirlik konusunda S3 için 2,31 olarak bulunmuş ve inceleme eşiğini aşmıştır. Bu nedenle S3 vakası, orijinal puanlama kayıtlarına göre kontrol edilmiş ve duyarlılık analizi ile incelenmiştir. Doğrulama sonucunda herhangi bir kodlama veya giriş hatasına rastlanmamış ve duyarlılık modeli esas sonuçları değiştirmemiştir. Yerel bağımlılık ve yanlılık tanıları   Tablo 4'te özetlenmiştir.

Derecelendirme ölçeği işlevselliği

Kategori yapı sonuçları Tablo 5'te gösterilmektedir. Ortalama ölçümler kategori 1'deki -0.56 logit'ten kategori 5'teki 2.23 logit'e yükselmiş olup, bu durum daha yüksek puanlı kategorilerin daha yüksek tahmini yaratıcı performans konumlarına karşılık geldiğini göstermektedir. Puanlanan kategoriler için outfit ortalama kare değerleri 0.90 ile 1.10 arasında değişmiştir. Rasch-Andrich eşikleri -2.10, -0.71, 0.69 ve 2.12 logit sırasıyla ilerlemiştir. Kategori 1'den kategori 2'ye geçiş yaklaşık -2.10 logit'te, kategori 2'den kategori 3'e geçiş -0.71 logit civarında, kategori 3'ten kategori 4'e geçiş 0.69 logit civarında ve kategori 4'ten kategori 5'e geçiş 2.12 logit civarında gerçekleşmiştir. Sıralı eşikler ve kabul edilebilir outfit değerleri, orijinal beşli kategori yapısının korunmasını desteklemiştir. Herhangi bir kategori birleştirilmemiştir.

Fasetlerin dağılımı ve kategori olasılık yapısı

Değerlendiricilerin, öğrencilerin, kriterlerin ve yanıt kategorilerinin ortak logit ölçeğindeki ortak dağılımı Şekil 2'de gösterilmiştir. Değerlendirici yönü, değerlendirici puan kullanımının konumundaki belirgin varyasyonu yansıtacak şekilde en geniş yayılımı göstermiştir. Kriter yönü, özgünlüğü en düşük zorluk seviyesine ve uygulanabilirliği en yüksek zorluk seviyesine yerleştirmiştir. Öğrenci ölçümleri ölçeğin merkezi etrafında yoğunlaşmış olup, üst ve alt uçlarda daha az vaka görülmüştür. Cetvel haritası, yön ölçümlerinin dağılımını göstermek için kullanılmış olup kesin bireysel öğrenci sıralamalarını desteklemek amacıyla kullanılmamıştır.

Kategori olasılık eğrileri Şekil 3'te sunulmuştur. Kategori 1, yaklaşık -2.10 logit'in altında en yüksek olasılığını göstermiş, kategori 2 yaklaşık -2.10 ile -0.71 logit arasında zirveye ulaşmış, kategori 3 yaklaşık -0.71 ile 0.69 logit arasında zirve yapmış, kategori 4 yaklaşık 0.69 ile 2.12 logit arasında en yüksek olasılığını göstermiş ve kategori 5 yaklaşık 2.12 logit'in üzerinde baskın hale gelmiştir. Şekil 3'teki dikey eşik belirteçleri, komşu kategoriler arasındaki Rasch-Andrich geçiş noktalarını göstermektedir. Komşu kategoriler sıralı bir dizide geçiş yapmış olup, bu durum beşli ölçeğin amaçlandığı şekilde işlediği yorumunu desteklemektedir.

Veri Kullanılabilirliği:

Kimliksizleştirilmiş uzun formatlı değerlendirme veri seti, veri kod defteri ve FACETS birincil çıktısı DOI: https://doi.org/10.5281/zenodo.21873801 adresi altında Zenodo'ya kaydedilmiştir. Veri seti; kodlanmış öğrenci tanımlayıcılarını, değerlendirici tanımlayıcılarını, kriter tanımlayıcılarını, kriter adlarını, geçerli tam sayı puan kategorilerini ve eksik değerlendirme göstergelerini içermektedir. Tam değerlendirme tasarımı 3.600 beklenen değerlendirme fırsatını kapsıyordu. Bunların 3.598 geçerli gözlemlenen değerlendirmesi analiz edildi; ikisi eksik olarak belgelendi ve atama yapılmadı. Kaydedilen FACETS birincil çıktısı; rapor edilen faset ölçümlerini, uyum istatistiklerini, ayrışma ve güvenilirlik indekslerini, değerlendirme ölçeği eşiklerini, kategori işlevselliğini ve tanısal özetleri desteklemektedir. Katılımcı onamı ve kurumsal gizlilik kısıtlamaları, bireysel öğrenci kompozisyonlarının veya yazarlık bilgileri içerebilecek dosyaların yeniden dağıtımına izin vermediğinden, orijinal yaratıcı çalışmalar ve tanımlanabilir dosyalar kamuya açık değildir. Çoklu faset Rasch analizi, FACETS sürüm 3.83.6 kullanılarak gerçekleştirilmiştir.

Şekil 1: Katılımcı alımı, görev yönetimi, anonimleştirme, puanlama, veri kontrolü ve çok yönlü (many-facet) Rasch analizinin iş akışı.Bu şekil, kaynak kohortun belirlenmesinden nihai model analizine kadar olan tüm çalışma iş akışını göstermektedir. Kaynak kohort, Müzikoloji bölümü üçüncü sınıf öğrencilerinden oluşan 96 kişiyi kapsamaktaydı. 96 öğrencinin tamamıyla iletişime geçilmiş; dördü yazılı onay vermemiş, 92'si taranmış ve final analizinden önce 12'si kapsam dışı bırakılmıştır. Nihai analiz örneği, anonimleştirilmiş ve puanlanabilir 80 kompozisyondan oluşmuştur. Şekil ayrıca görev ataması, dosya gönderimi, tarama, anonimleştirme, değerlendirici eğitimi, resmi puanlama, uzun formatta veri birleştirme, kalite kontrol ve FACETS analizini özetlemektedir. Puanlama tasarımı 3.600 beklenen puanlama fırsatı oluşturmuş; bunlardan 3.598 geçerli gözlemlenen puanlama analiz edilmiş ve ikisi eksik veri olarak kaydedilmiştir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 2: Ortak logit metriği üzerinde değerlendiricilerin, öğrencilerin, kriterlerin ve derecelendirme ölçeği kategorilerinin dikey cetvel haritası. Bu şekil, değerlendirici puan kullanım konumlarını, öğrenci ölçüm dağılımını, kriter zorluk tahminlerini ve yanıt kategorisi konumlarını ortak bir logit ölçeği üzerinde göstermektedir. Bu çıktıdaki daha yüksek değerlendirici konumları, daha yüksek puan kullanımına karşılık gelir, daha yüksek katılığı değil. Cetvel haritası, faktörlerin dağılımını görüntülemek için kullanılır ve bireysel öğrencilerin kesin sıralamalarını desteklemek için kullanılmaz. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 3: Beşli derecelendirme ölçeği için kategori olasılık eğrileri. Dikey kesikli çizgiler, komşu yanıt kategorileri arasındaki tahmini geçiş noktalarını belirleyen Rasch-Andrich kategori eşiklerini göstermektedir. Komşu kategorilerin sıralı kesişimleri, beşli yanıt ölçeğinin beklenen yönde çalıştığını ve kategorilerin birleştirilmesine gerek kalmadan orijinal kategori yapısının korunmasını desteklediğini göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Kriter	Operasyonel tanım	Puan 1	Puan 2	Puan 3	Puan 4	Puan 5
Yenilik	Müzikal fikrin veya işlemenin özgünlüğü ve orijinalliği	Konvansiyonel veya imitatif	Sınırlı özgünlük	Kısmen özgün ancak tutarsız	Çeşitli bölümlerde belirgin özgünlük	Son derece ayırt edici ve tutarlı bir şekilde özgün
Akıcılık	Çalışma kapsamında fikir geliştirmenin sürekliliği ve verimliliği	Çok sınırlı gelişim	Seyrek gelişim	Yeterli gelişim	Zengin ve sürdürülebilir gelişim	Yüksek verimli ve sürekli geliştirilen
Esneklik	Müzikal işlemede çeşitli yaklaşımların, dönüşümlerin veya adaptif kaymaların kullanımı	Tek rigid yaklaşım	Minimum varyasyon	Bazı varyasyonlar	Kesitler veya cihazlar arasında belirgin varyasyon	Güçlü şekilde çeşitlenmiş ve adaptif olarak geliştirilmiş
Hassasiyet	Müzikal detayların rafinasyonu, iç organizasyonu ve somutluğu	Zayıf kontrol ve belirsiz detaylar	Sınırlı rafine etme	Orta düzeyde organizasyon ve detay	İyi rafinasyon ve iç organizasyon	Net ve somut ayrıntılarla yüksek düzeyde rafinasyon
Uygulanabilirlik	Tamamlanan kompozisyonun gerçekleştirilmiş bir eser olarak sanatsal ve pratik uygulanabilirliği	Bitmiş bir çalışma olarak uygulanabilir değil	Düşük canlılık	Temel olarak canlı	Canlı ve müzikal olarak işlenebilir	Güçlü bir şekilde uygulanabilir ve ikna edici şekilde gerçekleştirilmiş

Tablo 1: Kompozisyon çalışmalarındaki yaratıcı davranışın beş boyutu için operasyonel tanımlar ve puanlama kriterleri. Bu tablo, resmi puanlama için kullanılan nihai rubriği sunmaktadır. Tablo; özgünlük, akıcılık, esneklik, kesinlik ve uygulanabilirliği tanımlamakta ve her bir kriter için 1'den 5'e kadar puanlama kriterleri sağlamaktadır. Tanımlar, sürdürülebilir fikir geliştirmeyi uyarlanabilir varyasyondan ve yapısal iyileştirmeyi gerçekleşmiş sanatsal ve pratik uygulanabilirlikten ayırmaktadır.

Yön / Birim	Ölçüm (logitler)	Model SE	Infit MnSq	Outfit MnSq	Gözlemlenen ortalama	Adil ortalama	Ayrıştırma	Güvenirlik	Ki-kare (df)
Kriterler, genel	0	0.05	0.99	0.99	3.36	3.43	2.56	0.87	37.8 (4)***
Özgünlük	-0.16	0.05	1.01	1.07	3.46	3.54	—	—	—
Akıcılık	-0.13	0.05	1	0.95	3.44	3.52	—	—	—
Esneklik	0.07	0.05	0.89	0.93	3.32	3.39	—	—	—
Hassasiyet	0.02	0.05	0.95	0.9	3.35	3.42	—	—	—
Uygulanabilirlik	0.2	0.05	1.11	1.12	3.23	3.3	—	—	—
Değerlendiriciler, genel	0.62	0.07	0.98	0.99	3.36	3.36	16.36	1	1487.8 (8)***
J1	0.86	0.06	1.26	1.27	3.59	3.59	—	—	—
J2	0.03	0.06	1.1	1.1	3.02	3.02	—	—	—
J3	-0.13	0.06	0.73	0.74	2.91	2.91	—	—	—
J4	-0.15	0.06	1.07	1.07	2.9	2.9	—	—	—
J5	0.86	0.06	1.26	1.27	3.59	3.59	—	—	—
J6	-0.13	0.06	0.73	0.74	2.91	2.91	—	—	—
J7	1.19	0.06	0.77	0.77	3.8	3.81	—	—	—
J8	-0.34	0.06	1.06	1.06	2.77	2.77	—	—	—
J9	3.37	0.11	0.87	0.93	4.74	4.75	—	—	—
Öğrenciler, genel	0	0.19	0.99	0.99	3.36	3.43	1.86	0.78	354.4 (79)***
Öğrenci ölçüm aralığı	-0.80 ile 1.12 arası	0.19–0.20	—	—	—	—	—	—	—
NOT: Puanlama tasarımı, 80 kompozisyon x 9 değerlendirici x 5 kriter olarak hesaplanan 3.600 beklenen puanlama fırsatı oluşturmuştur. Birincil model, 3.598 geçerli gözlemlenen puanı analiz etmiştir; iki puanlama fırsatı eksiktir ve bunlar için değer ataması yapılmamış veya puan kategorilerine yeniden kodlanmamıştır. Değerlendirici yönü için değerlendirici ölçümleri, burada ortak logit ölçeği üzerindeki değerlendirici puan kullanım konumları olarak yorumlanmıştır. Bu çıktıda, daha yüksek değerlendirici ölçümleri, daha yüksek gözlemlenen ve adil ortalamalarla ilişkilendirilmiş olup, bu durum daha yüksek katılıkla değil, yüksek puanların daha fazla kullanılması eğilimiyle ilişkilidir. ***= p < 0.001.

Tablo 2: Kriterler, değerlendiriciler ve öğrenciler için çok yönlü Rasch analizinin özet istatistikleri. Bu tablo; logit ölçümleri, model standart hataları, infit ve outfit ortalama kare değerleri, gözlemlenen ortalamalar, adil ortalamalar, ayrım indeksleri, güvenilirlik tahminleri ve ki-kare testleri dahil olmak üzere, modellenen üç yön için temel FACETS çıktılarını rapor etmektedir. Değerlendirme tasarımı 3.600 beklenen değerlendirme fırsatı oluşturmuştur; 3.598 geçerli gözlemlenen değerlendirme analiz edilmiş ve iki değerlendirme fırsatı eksik olarak kaydedilmiştir. Kriter zorluğu, değerlendirici puan kullanım konumu ve genel öğrenci ölçüm dağılımı aynı logit metriği üzerinden raporlanmıştır. Daha yüksek değerlendirici ölçümleri, daha yüksek gözlemlenen ve adil ortalamalarla birlikte seyrettiği için, değerlendirici ölçümleri basit bir katılık sıralamasından ziyade puan kullanım konumları olarak yorumlanmıştır. Öğrenci sonuçları bir dağılım olarak özetlenmiş olup kesin bireysel sıralamalar şeklinde sunulmamıştır.

Metrik	Birincil model	S3 hariç tutulan hassasiyet modeli
Kompozisyon sayısı	80	79
Beklenen derecelendirme fırsatları	3,600	3,555
Analiz edilen geçerli değerlendirme kayıtları	3,598	3,553
Kaçırılan derecelendirme fırsatları	2	2
En yüksek zorluk derecesine sahip kriter	Yapılabilirlik, 0,20 logit	Uygulanabilirlik, 0,19 logit
En düşük zorluk derecesine sahip kriter	Yenilik, -0,16 logit	Yenilik, -0,15 logit
Kriter ayırımı	2.56	2.48
Kriter güvenilirliği	0.87	0.86
Değerlendirici ayrımı	16.36	16.02
Değerlendirici güvenilirliği	1	1
Öğrenci ayrımı	1.86	1.82
Öğrenci güvenilirliği	0.78	0.77
Derecelendirme ölçeği eşikleri	-2.10, -0.71, 0.69, 2.12	-2.08, -0.70, 0.68, 2.10
Birincil model kararı	Birincil model korundu	Esaslı bir değişiklik yoktur
NOT: Birincil model, 3.600 beklenen derecelendirme fırsatının 3.598 geçerli gözlemlenmiş derecelendirmesini kullanmıştır. Duyarlılık modeli S3'ü hariç tutmuş ve 3.555 beklenen derecelendirme fırsatının 3.553 geçerli gözlemlenmiş derecelendirmesini kullanmıştır. Kayıp olan aynı iki derecelendirme fırsatı S3'ün dışındaydı ve bu nedenle duyarlılık modelinde de kayıp kalmaya devam etti. S3'ün hariç tutulması; kriter sıralamasını, ayrıştırma indekslerini, güvenilirlik tahminlerini veya derecelendirme ölçeği eşik yapısını önemli ölçüde değiştirmemiştir.

Tablo 3: Uyumsuz öğrenci vakası hariç tutulduktan sonra yapılan hassasiyet analizi.Bu tablo, S3 hariç tutulduktan sonra tahmin edilen hassasiyet modelini birincil model ile karşılaştırmaktadır. Birincil model 80 kompozisyon, 3.600 beklenen değerlendirme fırsatı ve 3.598 geçerli gözlemlenen değerlendirme kullanmıştır. Hassasiyet modeli ise 79 kompozisyon, 3.555 beklenen değerlendirme fırsatı ve 3.553 geçerli gözlemlenen değerlendirme kullanmıştır. Tablo; kriter zorluğu, kriter ayrımı, kriter güvenilirliği, değerlendirici ayrımı, değerlendirici güvenilirliği, öğrenci ayrımı, öğrenci güvenilirliği ve değerlendirme ölçeği eşiklerindeki değişiklikleri rapor etmektedir. Hassasiyet analizi, ana model sonuçlarında esaslı bir değişiklik olmadığını göstermiştir.

Tanısal öge	İnceleme eşiği	Gözlemlenen en büyük değer / gözlemlenen değer	İnceleme sonucu
Kalıntı ilişki: yenilik–akıcılık	≥0.30	0.18	Eşik değerinin altında
Kalıntı ilişki: yenilik–esneklik	≥0.30	0.17	Eşik değerinin altında
Artık ilişki: yenilik-hassasiyet	≥0.30	0.12	Eşik değerinin altında
Kalıntı ilişki: yenilik–fizibilite	≥0.30	0.09	Eşik değerinin altında
Kalıntı ilişki: akıcılık–esneklik	≥0.30	0.21	Eşik değerin altında
Kalıntı ilişki: akıcılık–hassasiyet	≥0.30	0.16	Eşik değerin altında
Kalıntı ilişki: akıcılık-uygulanabilirlik	≥0.30	0.14	Eşik değerin altında
Artık ilişki: esneklik–hassasiyet	≥0.30	0.15	Eşik değerinin altında
Kalıntı ilişki: esneklik–uygulanabilirlik	≥0.30	0.11	Eşik değerin altında
Kalıntı ilişkisi: kesinlik–uygulanabilirlik	≥0.30	0.24	Eşik değerin altında
Kriter bazlı değerlendirici standartlaştırılmış yanlılık t değeri	≥2,00 mutlak değer	fizibilite üzerine J9 için 1,84	Eşik değerinin altında
Kriter bazlı öğrenci standartlaştırılmış yanlılık t değeri	≥2,00 mutlak değer	S3 için fizibilite konusunda 2,31	Orijinal kayıt doğrulaması ve duyarlılık analizi yoluyla gözden geçirilmiş
S3 için veri giriş doğrulaması	Herhangi bir kodlama veya giriş hatası	Bulunamadı	S3 birincil modelde tutuldu
S3'ün hariç tutulduğu hassasiyet analizi	Ana model sonuçlarındaki değişim	Esaslı bir değişiklik yok	Birincil model korundu
NOT: On kriter-çifti artık ilişkisinin tamamı incelenmiştir. 0,30'un altındaki değerler, beş rubrik kriteri arasında sorunlu bir yerel bağımlılığa işaret etmediği şeklinde yorumlanmıştır. Puanlayıcı-kriter ve öğrenci-kriter etkileşimleri, 2,00'lik mutlak standartlaştırılmış yanlılık t-değeri eşiği kullanılarak gözden geçirilmiştir.

Tablo 4: Yerel bağımlılık ve yanlılık tanısal kontrolleri.Bu tablo; kriter örtüşmesi, değerlendirici-kriter yanlılığı, öğrenci-kriter beklenmedik yanıt kalıpları ve uyumsuz öğrenci vakasının doğrulanmasına yönelik tanısal kontrolleri özetlemektedir. Olası tüm 10 kriter çifti artık ilişkisi incelenmiştir. Kriterler arasındaki artık ilişkiler 0,30'lık inceleme eşiğinin altında kalmıştır. En yüksek değerlendirici-kriter standartlaştırılmış yanlılık t değeri |t| ≥ 2,00 inceleme eşiğinin altında kalırken, öğrenci-kriter çıktısı S3 ile ilişkili, orijinal kayıt doğrulaması ve duyarlılık analizi yoluyla incelenen beklenmedik bir yanıt kalıbı belirlemiştir. Duyarlılık analizi, ana model sonuçlarında anlamlı bir değişiklik olmadığını göstermiştir.

Derecelendirme kategorisi	Kategori etiketi	Ortalama ölçüm (logitler)	Outfit MnSq	Rasch-Andrich eşiği	Eşik SE	-0,5'teki ölçüm
1	Kötü	-0.56	1	—	—	—
2	Minimal	-0.21	0.9	-2.1	0.1	-2.51
3	Yeterli	0.25	0.9	-0.71	0.05	-0.73
4	Ortalamanın üzeri	0.8	1.1	0.69	0.04	0.72
5	Mükemmel	2.23	1.1	2.12	0.06	2.53
NOT: Rasch-Andrich eşikleri, bitişik derecelendirme kategorileri arasındaki tahmini geçiş noktalarını belirtir. Kategori 1 en düşük kategori olduğu için herhangi bir eşik bildirilmemiştir. “-0,5'teki ölçüm”, FACETS programında çıktı olarak verilen kategori sınırıyla ilişkili logit konumunu bildirir ve ayrı bir öğrenci performans tahmini olarak değil, bir kategori işlev tanılaması olarak eklenmiştir. Herhangi bir kategori birleştirilmemiştir.

Tablo 5: Beşli derecelendirme ölçeğinin kategori işlevselliği.Bu tablo; ortalama ölçümler, outfit ortalama kare değerleri, Rasch-Andrich eşikleri, eşik standart hataları ve FACETS “Measure at -0.5” kategori işlevselliği çıktısı dahil olmak üzere, beşli yanıt ölçeği için kategori düzeyindeki istatistikleri raporlamaktadır. Rasch-Andrich eşikleri, komşu derecelendirme kategorileri arasındaki tahmini geçiş noktalarını belirtir. Sıralı eşikler, beş yanıt kategorisinin beklenen yönde ilerlediğini ve hiçbir kategorinin birleştirilmediğini göstermektedir.

Ek Tablo 1: Kompozisyon görevi gereklilikleri, katılımcı alım akışı ve gönderim özellikleri. Bu tablo çalışma ortamını, alım akışını, katılımcı uygunluk kriterlerini, görev formatını, gerekli yapısal unsurları, özgünlük kurallarını, gönderim gerekliliklerini, tarama kurallarını, hariç tutma nedenlerini ve nihai analiz birimini sunmaktadır. Tablo, anonimleştirilmiş ve puanlanabilir 80 kompozisyondan oluşan nihai korpusun nasıl elde edildiğini belgelemektedir. Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Tablo 2: Puanlayıcı eğitimi, kalibrasyonu ve standartlaştırılmış puanlama prosedürü. Bu tablo; puanlayıcı alımı, puanlayıcı nitelikleri, anonimleştirilmiş puanlayıcı kodlaması, eğitim materyalleri, rubrik bilgilendirmesi, kategori bilgilendirmesi, kalibrasyon puanlaması, tutarsızlık incelemesi, körleme prosedürleri, puanlama kısıtlamaları, inceleme materyalleri, oynatma prosedürü, tekrarlı dinleme kuralı, randomize sunum sırası ve puanlama süresi kontrolünü özetlemektedir. Lütfen bu dosyayı indirmek için buraya tıklayınız.

Ek Tablo 3: Uzun formatlı veri seti yapısı ve kodlama kuralları.Bu tablo; uzun formatlı analitik veri seti için değişken yapısını, kodlama kurallarını, veri seti kısıtlamalarını, kriter kodlarını ve örnek satırları sunmaktadır. Her geçerli satır; öğrenci tanımlayıcısı, değerlendirici tanımlayıcısı, kriter tanımlayıcısı, kriter adı ve puan kategorisi ile tanımlanan tek bir gözlemlenmiş puanlama olayını temsil eder. Değerlendirme tasarımı 3.600 beklenen değerlendirme fırsatı oluşturmuştur; bunların 3.598 geçerli gözlemlenmiş değerlendirmesi analiz edilmiş ve iki değerlendirme fırsatı eksik olarak kaydedilmiştir. Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Tablo 4: FACETS kontrol dosyası ve tanısal spesifikasyonlar.Bu tablo; yazılım sürümü, model tipi, modellenen fasetler, puan kategorileri, eksik derecelendirme yönetimi, kestirim yöntemi, maksimum iterasyon sayısı, yakınsama kriteri, çıktı talepleri, uyum eşikleri, yanlılık inceleme eşiği, yerel bağımlılık eşiği ve öğrenci ölçüm yorumlama kuralı dahil olmak üzere FACETS model yapısını ve tekrarlanabilirlik ayarlarını rapor etmektedir. Eksik derecelendirmeler eksik olarak kabul edilmiş, atama (imputation) yapılmamış ve geçerli puan kategorilerine yeniden kodlanmamıştır. Bu dosyayı indirmek için lütfen buraya tıklayın.

Tartışma

Bu çalışma, müzik bölümü lisans öğrencilerinin yaratıcı davranışlarını orijinal beste çalışmaları üzerinden değerlendirmek için çok yüzeyli Rasch çerçevesini uygulamıştır. Sonuçlar; öğrenci performansının, kriter zorluğunun, değerlendirici-ölçüm varyasyonunun ve derecelendirme ölçeği kategori işlevselliğinin ortak bir ölçüm yapısı içerisinde tahmin edilebileceğini göstermiştir. Bu bulgu, puanların tamamen objektif yanıtlar yerine uzman değerlendirmesi yoluyla üretildiği rubrik tabanlı müzik değerlendirmelerinde çok yüzeyli modellemenin kullanımını desteklemektedir¹¹. Model, uzman müzikal değerlendirme ihtiyacını ortadan kaldırmamış; aksine öğrenci, kriter ve değerlendirici yüzeylerinin gözlemlenen derecelendirmelere nasıl katkıda bulunduğunu incelemek için yapılandırılmış bir yol sağlamıştır. Tamamlanan çalışmalar nitel yargı gerektirdiği için bu durum beste değerlendirmesi açısından önemlidir; zira ham puanlar tek başına puanlardaki varyasyonun öğrenciyi mi, kriteri mi, değerlendiriciyi mi yoksa derecelendirme ölçeğini mi yansıttığını gösteremez¹².

Kriter sonuçları, tamamlanan besteler içinde özgünlüğün en az zorlayıcı kriter olduğunu, uygulanabilirlik ve esnekliğin ise daha zorlayıcı olduğunu göstermiştir. Bu örüntü, nedensel bir öğretim etkisinin kanıtı olarak değil, tanımlayıcı bir ölçüm sonucu olarak yorumlanmalıdır. Bu bulgu, söz konusu korpus içerisinde öğrencilerin, tamamlanan çalışma boyunca tam anlamıyla gerçekleştirilmiş bir uygulanabilirliği veya adaptif dönüşümü sergilemekten ziyade, ayırt edici müzikal fikirleri daha kolay ortaya koyduklarını göstermektedir. Bu ayrım, besteyi yalnızca orijinallikten ibaret değil; fikir üretimi, geliştirme, seçme, yeniden yapılandırma, rafine etme ve gerçekleştirme süreçlerini içeren bir süreç olarak ele alan müzik-yaratıcılık araştırmalarıyla uyumludur¹³. Ayrıca, yaratıcı performansı tek bir genel yargıya indirgemek yerine, rubrik boyutlarının ayrılmasının değerini desteklemektedir¹⁴. Bununla birlikte, mevcut çalışma, gözlemlenen zorluk örüntüsünün öğretim uygulamalarından, görev tasarımından, öğrencilerin gelişimsel aşamasından, kriter ifadelerinden veya değerlendirici yorumlarından kaynaklanıp kaynaklanmadığını belirleyemez. Gelecekteki çalışmalar, öğrencilerin ilk fikirlerden gerçekleştirilmiş müzikal ürünlere nasıl ulaştıklarını incelemek için ürün değerlendirmelerini; taslaklar, revizyon geçmişleri, yansıtıcı günlükler veya beste mülakatları gibi süreç kanıtlarıyla birleştirmelidir.

Değerlendirici sonuçları, ciddi düzeyde değerlendirici-ölçüm varyasyonu gösterirken, tüm değerlendirici uyum değerleri tanımlanan kabul edilebilir aralıkta kalmıştır. Bu örüntü, yalnızca değerlendirici eğitiminin başarısızlığı olarak yorumlanmamalıdır. Uzman aracılı sanatsal değerlendirmelerde, değerlendiricilerin puan kullanımındaki farklılıklar beklenen bir durumdur ve çok yüzeyli Rasch modelinin kullanılmasının temel nedenlerinden biridir¹⁵. Mevcut sonuçlar, değerlendiricilerin puan kategorilerini nispi olarak farklı kullansalar da ölçeği genel olarak kabul edilebilir bir şekilde kullandıklarını göstermektedir. Bu nedenle model, kriter ve öğrenci ölçümleri yorumlanmadan önce puanlardaki değerlendirici kaynaklı varyasyonun düzeltilmesine yardımcı olmuştur. Gelecekteki uygulamalarda, değerlendiriciler arasındaki tüm farklılıkları gidermek için yalnızca eğitime güvenmek yerine, değerlendirici eğitimi; puan kullanım varyasyonunun, uyumun, kategori kullanımının ve değerlendirici-kriter etkileşimlerinin post hoc izlemi ilele birleştirilmelidir¹⁶.

Öğrenci faseti ölçülebilir varyasyon ancak sadece orta düzeyde ayrışma göstermiştir. Öğrenci güvenirlik tahmini 0,78 ve ayrışma değeri 1,86 olarak belirlenmiştir. Bu nedenle, öğrenci ölçümleri kesin bireysel sıralamadan ziyade geniş performans tabakalaşmasını desteklediği şeklinde yorumlanmalıdır. Bireysel öğrenci logitleri arasındaki küçük farklar, karşılık gelen ölçüm standart hatalarından daha küçük olabileceğinden bu nokta önem taşımaktadır. Uyumsuz S3 vakası, bireysel düzeyde ihtiyatlı yorumlama yapılması gerektiğini daha da desteklemektedir. Orijinal kayıt doğrulaması ve duyarlılık analizi sonrasında; ana kriter sırası, değerlendirici-ölçüm örüntüsü ve derecelendirme ölçeği eşik yapısı sabit kalmıştır. Bu nedenle S3 birincil modelde tutulmuş ancak çalışma, bu bireysel vakadan esaslı sonuçlar çıkarmamıştır. Bu yorum, Rasch uyum analizinin desteklenmeyen bireysel iddialar için bir temel olmaktan ziyade, ölçüm stabilitesini değerlendirmek için bir tanı aracı olarak kullanılmasıyla tutarlıdır¹⁷.

Çalışmanın birkaç sınırlılığı bulunmaktadır. İlk olarak, örneklem tek bir kurumdan ve akademik aşamadan seçilmiştir, bu nedenle bulgular, daha fazla doğrulama yapılmadan benzer lisans Müzikoloji gruplarının ötesine genellenmemelidir. İkinci olarak, çalışma nihai besteleme ürünlerini değerlendirmiş olup taslaklar, revizyon geçmişleri, yansıtıcı günlükler veya sesli düşünme verileri gibi süreç materyallerini içermemiştir. Üçüncü olarak, beş rubrik kriteri, genel besteleme yaratıcı davranışının ilişkili tezahürleri olarak ele alınmış ve tanısal sonuçlar mevcut veri setinde bu belirlemeyi desteklemiştir; ancak gelecek araştırmalar, aynı yapının daha büyük örneklemlerde, farklı kurumlarda ve farklı besteleme görevlerinde geçerli olup olmadığını incelemelidir. Dördüncü olarak, değerlendirici geçmişi yalnızca değerlendirici faktörü üzerinden modellenmiş olup çalışma; disipliner geçmişin, öğretim deneyiminin, estetik tercihin veya besteleme uzmanlığının değerlendirici-ölçüm varyasyonuna nasıl katkıda bulunduğunu doğrudan test etmemiştir. Son olarak, çalışma kesitsel ve müdahalesiz olduğu için, kriter-zorluk örüntüsü öğretim etkinliğini veya öğretimsel nedenselliği çıkarımlamak için kullanılmamalıdır.

Sonuç olarak bu çalışma, yapılandırılmış bir rubrik ve çok yönlü Rasch ölçümü kullanarak, özgün beste çalışmaları aracılığıyla müzik bölümü öğrencilerinin yaratıcı davranışlarını değerlendirmek için tekrarlanabilir bir prosedür sunmaktadır. Bulgular; kriter zorluğunun, değerlendirici ölçüm varyasyonunun, öğrenci performans dağılımının ve derecelendirme ölçeğinin işleyişinin tek bir ölçüm çerçevesinde incelenebileceğini göstermektedir. Tamamlanan bestelerde yenilikçiliğin kanıtlanmasının nispeten daha kolay olduğu, uygulanabilirliğin ve esnekliğin ise daha zor olduğu görülmüştür. Değerlendirici ölçüm varyasyonunun önemli düzeyde olması, müzik değerlendirmelerinde değerlendirici etkilerinin modellenmesi gerekliliğini desteklemektedir. Öğrenci ölçümleri, kesin bireysel sıralamadan ziyade geniş bir tabakalaşmayı desteklemiştir. Genel olarak bu çerçeve, kompozisyon temelli yaratıcı davranışların değerlendirilmesi ve yüksek müzik eğitiminde rubrik tasarımının geliştirilmesi, değerlendirici izlemi ve gelecek doğrulama çalışmaları için şeffaf bir temel sağlamaktadır.

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
Adobe Acrobat Reader	Adobe	26.001.21346	Gönderim taraması ve resmi puanlama sırasında PDF nota dosyalarını açmak ve incelemek için kullanılır.
Audacity	Audacity	3.7.7	Gönderilen bestelere eşlik eden MP3 ses kayıtlarını açmak ve incelemek için kullanılır.
FACETS	Winsteps	3.83.6	Çok yüzeyli Rasch analizi için kullanılır.
HD 280 Pro headphones	Sennheiser	506845	Gönderilen ses dosyalarının incelenmesi sırasında standartlaştırılmış dinleme için kullanılan kapalı arka yüzlü izleme kulaklıkları.
Microsoft 365 Apps for business, including Excel	Microsoft	O365BusinessRetail	Puan girişi, uzun formatlı veri seti oluşturma ve Rasch analizi öncesi veri kontrolü için kullanılır.
Moodle LMS	Moodle	MOODLE_5013	Ödev gönderimi ve dosya toplama için kurumsal öğrenme yönetim sistemi olarak kullanılır.
MuseScore Studio	MuseScore	4.6.5	Orijinal beste dosyalarının nota tabanlı formatlarda hazırlanması, notasyonu ve dışa aktarılması için kullanılır.
OptiPlex Tower Plus 7020 Desktop	Dell	QBS1250	Dosya yönetimi, puanlama yönetimi ve istatistiksel analiz için iş istasyonu olarak kullanılır.