تقيم هذه الدراسة السلوك الإبداعي لدى المتخصصين في الموسيقى من خلال تطبيق نموذج تصحيح مهيكل لتقييم التأليف الموسيقي وقياس راش متعدد الأوجه (many-facet Rasch measurement) على أعمال موسيقية أصلية.
مقالة بحثية
تقييم السلوك الإبداعي لدى تخصصات الموسيقى من خلال الأعمال التأليفية باستخدام نموذج راش متعدد الأوجه
في هذه المقالة
ملخص
الملخص
لا يزال تقييم الإبداع في التربية الموسيقية يمثل تحدياً لأن الأحكام على الأعمال الموسيقية الأصلية تتأثر بالتفضيلات الشخصية، والتفسيرات المتباينة للمعايير، والاختلافات في صرامة المقيمين. وفي تدريب التأليف الموسيقي، يمكن التعامل مع الأعمال المكتملة كمنتجات ملموسة توضح كيفية توليد الطلاب للأفكار الموسيقية وتطويرها وتحويلها وتنقيحها وتجسيدها. بحثت هذه الدراسة فيما إذا كان استخدام نموذج تقييم (rubric) مهيكل للتأليف، مقترناً بقياس راش متعدد الأوجه (many-facet Rasch measurement)، يمكن أن يدعم تقييماً قابلاً للتكرار للسلوك الإبداعي لدى طلاب تخصص الموسيقى في مرحلة البكالوريوس. قام تسعة مقيمين مدربين بتقييم مؤلفات أصلية لـ 80 طالباً من تخصص الموسيقى بشكل مستقل باستخدام نموذج تقييم خماسي النقاط. تضمن نموذج التقييم خمسة أبعاد مترابطة للسلوك الإبداعي في التأليف: الجدة، والطلاقة، والمرونة، والدقة، والقابلية للتنفيذ. حُللت بيانات التقييم باستخدام برنامج FACETS، الإصدار 3.83.6، مع تحديد الطلاب والمعايير والمقيمين كأوجه منفصلة ضمن بنية قياس لوجيت (logit) مشتركة. تضمن تصميم التقييم 3,600 فرصة تقييم متوقعة؛ وحُللت 3,598 عملية تقييم مرصودة صالحة، مع وجود قيمتين مفقودتين. ودعم ملاءمة النموذج العامة تفسير تصميم التقييم، كما أشار هيكل الفئات المرتبة إلى أن المقياس خماسي النقاط قد عمل في الاتجاه المتوقع. وأظهرت تقديرات المعايير أن الجدة كانت أسهل نسبياً في الإثبات، بينما كانت القابلية للتنفيذ والمرونة أكثر صعوبة ضمن المؤلفات المكتملة. كما لوحظت اختلافات في مواقع استخدام درجات المقيمين، مما يدعم الحاجة إلى نمذجة تأثيرات المقيمين بدلاً من الاعتماد فقط على الدرجات الخام. وكان مستوى الفصل بين الطلاب متوسطاً، مما يشير إلى أن الأداة كانت أكثر ملاءمة للتصنيف العام للأداء منها للترتيب الفردي الدقيق. وتشير هذه النتائج إلى أن نموذج التقييم القائم على التأليف والمقترن بقياس راش متعدد الأوجه يمكن أن يوفر إطاراً شفافاً لتقييم السلوك الإبداعي في التعليم الموسيقي العالي.
المقدمة
لقد أصبحت الإبداعية مخرجاً مركزياً من مخرجات التربية الفنية، حيث لا يُتوقع من الطلاب مجرد إعادة إنتاج التقنيات الراسخة فحسب، بل يُتوقع منهم أيضاً ابتكار أعمال أصيلة وذات مغزى وقابلة للتوصيل ضمن سياق تخصصي1. وفي التربية الموسيقية، تكتسب هذه التوقعات أهمية خاصة في التدريب على التأليف الموسيقي، حيث يجب على الطلاب تحويل المعرفة الموسيقية إلى أعمال مكتملة من خلال اتخاذ قرارات تتعلق باللحن الأساسي، والميلوديا، والإيقاع، والقالب، والتطوير، والتنفيذ. ويعد التقييم أمراً صعباً في هذا السياق لأن الإبداع الموسيقي لا يمكن تقييمه فقط كمسألة ذوق شخصي أو انطباع فني عام. وبالرغم من أن المؤلفة الموسيقية المكتملة توفر دليلاً ملموساً على السلوك الإبداعي، إلا أنه يجب ترجمة هذا الدليل إلى معايير صريحة لضمان شفافية وقابلية تكرار عملية الرصد2. فبدون معايير واضحة، قد تعكس الدرجات تفضيلات المقيم، أو إلفه بأسلوب معين، أو انطباعاً عاماً عن الجودة بدلاً من عكس الخصائص المحددة للعمل المقدم.
تحدد الدراسة الحالية سلوك التأليف الإبداعي على أنه التعبير الملحوظ عن العمل الموسيقي الإبداعي في مؤلف مكتمل. يستخدم نموذج التقييم خمسة أبعاد: الجدة، والطلاقة، والمرونة، والدقة، والقابلية للتنفيذ. ولا يتم التعامل مع هذه الأبعاد كسمات فرعية متطابقة أو كبنى نظرية منفصلة، بل تُستخدم كتمظهرات على مستوى المعايير لبنية أداء واحدة واسعة قائمة على المنتج: وهي مدى قدرة الطالب على توليد الأفكار الموسيقية وتطويرها وتحويلها وتنقيحها وتحقيقها في عمل مكتمل. وتمثل الجدة تميز الفكرة الموسيقية أو طريقة معالجتها؛ وتمثل الطلاقة استمرارية وإنتاجية تطوير الفكرة؛ وتمثل المرونة تنوع النهج أو التحويلات أو التحولات التكيفية في التعامل الموسيقي؛ وتمثل الدقة التنقيح والتنظيم الداخلي ووضوح التفاصيل الموسيقية؛ بينما تمثل القابلية للتنفيذ الجدوى الفنية والعملية للمؤلف المكتمل3. ويربط هذا الهيكل بين توليد الفكرة وتطويرها والتحويل التكيفي والتنقيح التقني والجدوى المحققة في منتج موسيقي واحد مكتمل.
تؤدي حجة البناء هذه أيضًا إلى تقليل التداخل بين المعايير وتلوث البناء. وقد اقتصرت الدقة على التهذيب والتنظيم الداخلي والتفاصيل الموسيقية الملموسة، بينما عُرِّفت القابلية للتنفيذ على أنها الجدوى الفنية والعملية للعمل كقطعة موسيقية مُنجزة. وبالمثل، اقتصرت الطلاقة على التطوير المستمر والمنتج، بينما عُرِّفت المرونة بأنها التنوع والتحويل والتعامل الموسيقي التكيفي. قد يحتوي العمل على فكرة أصيلة ولكن بتطوير محدود، أو قد يكون متماسكًا ومستقرًا تقنيًا بينما يظهر تحولاً طفيفًا. وبناءً على ذلك، فإن وجود مقياس تقدير قائم على المعايير يعد أمرًا ضروريًا لأن الدرجة الخام الإجمالية قد تحجب التباينات في السمات الإبداعية ضمن القطعة الموسيقية الواحدة4.
يتطلب تقييم الموسيقى الذي يتم بواسطة المقيمين الاهتمام بكل من سلوك المصحح وأداء الطالب. فحتى عندما يستخدم المقيمون ذات المعايير (rubric)، قد يختلفون في درجة الصرامة، واستخدام الفئات، وتفسير المعايير. ولا تعد هذه الاختلافات مجرد مشكلات إجرائية، بل هي جزء من حالة القياس ويمكن أن تؤثر على معنى الدرجات المرصودة5. ويُعد قياس راش متعدد الأوجه (Many-facet Rasch measurement) مناسباً لهذا السياق لأنه يقدّر مستويات الطلاب والمقيمين والمعايير وفئات مقياس التقييم ضمن إطار لوجيت (logit) مشترك. وتمثل مقاييس الطلاب الأداء الإبداعي التقديري بعد التعديل وفقاً لصعوبة المعيار وصرامة المقيم، بينما تشير مقاييس المعايير إلى مدى صعوبة إثبات كل بُعد، وتشير مقاييس المقيمين إلى الموقع النسبي لاستخدام الدرجات، وتوضح إحصاءات الفئات ما إذا كان مقياس التقييم يعمل وفق الترتيب المقصود6. ويعد هذا النهج أقوى من الاعتماد فقط على المجاميع الخام أو متوسطات الدرجات لأنه يفصل بين المصادر المتعددة لتباين الدرجات التي تندمج بخلاف ذلك في التقييم المرصود.
يتطلب استخدام نموذج راش أحادي البعد متعدد الأوجه (unidimensional many-facet Rasch model) حجة بناء واضحة. وفي هذه الدراسة، يتم تبرير التحديد أحادي البعد على مستوى السلوك الإبداعي التكويني العام، وليس من خلال افتراض أن أبعاد المقياس الخمسة متطابقة. ومن المتوقع أن تمثل المعايير الخمسة جوانب ملحوظة متميزة لبناء أداء واسع كما هو معبر عنه في الأعمال الموسيقية المكتملة. وقد عومل هذا الافتراض كافتراض قياس تجريبي وتم فحصه من خلال ملاءمة المعايير، وأداء مقياس التقييم، والارتباطات المتبقية بين المعايير، وتشخيصات التفاعل بين المقيم والمعيار، وبين الطالب والمعيار7. وعلى الرغم من تطبيق مناهج راش متعددة الأوجه في التقييم القائم على الأداء، إلا أن استخدامها المنهجي في تقييم التكوين الكامل ضمن التعليم الموسيقي العالي لا يزال محدوداً8. وقد ركزت أبحاث تقييم الموسيقى الحالية على صعوبة الحكم على المنتجات الفنية المفتوحة والحاجة إلى معايير تسجيل صريحة9، بينما أظهرت أبحاث القياس أن التقييم القائم على الأداء المستند إلى المقاييس يمكن أن يستفيد من نمذجة تأثيرات المقيم والمعايير بشكل مباشر10. وفي ظل هذه الخلفية، تطبق الدراسة الحالية إطار عمل راش متعدد الأوجه على مؤلفات أصلية أنتجها طلاب تخصص الموسيقى في المرحلة الجامعية. وتجيب الدراسة على ثلاثة أسئلة: ما إذا كان إطار تقييم التكوين المقترح يعمل بشكل كافٍ كتصميم قياس؛ وكيف يساهم تباين صعوبة المعيار وتباين استخدام المقيم للدرجات في تباين الدرجات الملحوظة؛ وكيف تتوزع مقاييس الأداء الإبداعي للطلاب بعد نمذجة تأثيرات المعايير والمقيمين.
البروتوكول
تمت الموافقة على هذه الدراسة من قبل مجلس المراجعة المؤسسية في كلية الموسيقى والرقص بمعهد جيانغشي للتكنولوجيا، نانتشانغ 330098، جيانغشي، الصين، بموجب رقم الموافقة YG2020158. تم الحصول على موافقة مستنيرة مكتوبة من جميع المشاركين قبل تنفيذ المهام وجمع البيانات. وأُحيط المشاركون علمًا بأن المؤلفات التي قدموها ستُستخدم فقط للتقييم القائم على البحث بعد إزالة البيانات التعريفية. كما تم حذف أسماء الطلاب، ومعرفات الفصول الدراسية، والبيانات الوصفية للملفات التي تحتوي على معلومات التأليف، وغيرها من المعرفات المباشرة قبل عملية التقييم. ولم يتم الكشف عن هذه المعرفات للمقيمين. وقد خضعت جميع الأعمال المقدمة لإزالة البيانات التعريفية قبل التقييم والتحليل، وتمت معالجة جميع الملفات التحليلية باستخدام معرفات مرمزة فقط.
إعداد الدراسة، واستقطاب المشاركين، وتكليف المهام
أُجريت الدراسة في مدرسة الموسيقى والرقص بمعهد جيانغشي للتكنولوجيا في نانتشانغ بمقاطعة جيانغشي بالصين، في الفترة من سبتمبر 2025 إلى يناير 2026. تم استقطاب المشاركين من طلاب السنة الثالثة في تخصص علم الموسيقى، وذلك لأن الطلاب في هذه المرحلة كانوا قد أتموا المناهج الأساسية في نظرية الموسيقى، وممارسات الأداء، وتأليف الموسيقى الإلكترونية، والمساقات الدراسية المتعلقة بالتأليف قبل الفصل الدراسي الذي أُجريت فيه الدراسة.
شملت المجموعة المصدرية 96 طالباً من طلاب السنة الثالثة في تخصص علم الموسيقى. تم التواصل مع جميع الطلاب البالغ عددهم 96 طالباً. لم يقدم أربعة طلاب موافقة خطية، وبالتالي لم يخضعوا للفحص. قدم الطلاب الـ 92 المتبقون موافقة مستنيرة خطية وتم فحصهم. تم استبعاد اثني عشر طالباً قبل التحليل النهائي. وتمثلت أسباب الاستبعاد في تقديم مؤلفات غير مكتملة لخمسة طلاب، وفقدان عنصر هيكلي واحد أو أكثر من العناصر المطلوبة لدى ثلاثة طلاب، وتقديم المشاركات بعد الموعد النهائي لطالبين، ووجود ملفات غير قابلة للقراءة أو تالفة لطالب واحد، والانسحاب قبل عملية التقييم لطالب واحد. شملت عينة التحليل النهائية 80 طالباً من مرحلة البكالوريوس، منهم 32 ذكراً و 48 أنثى.
تمثلت العينة التحليلية النهائية في كامل مجموعة النصوص المؤهلة من المؤلفات مجهولة المصدر والقابلة للتقييم والمتاحة من المجموعة التي تم استقطابها بعد تطبيق قواعد الموافقة والفحص والاستبعاد. لم يتم تبرير حجم هذه العينة من خلال التعامل مع فرص التقييم البالغ عددها 3,600 فرصة كملاحظات مستقلة على مستوى الطالب؛ وبدلاً من ذلك، استخدم تصميم "راش" متعدد الأوجه (many-facet Rasch design) تقييمات متكررة للمؤلفات الثمانين لتقدير مقاييس الأداء الإبداعي للطلاب، مع نمذجة صعوبة المعيار، والتباين في استخدام الدرجات من قبل المقيمين، ووظيفة فئات مقياس التقييم. وكان الهدف من إشراك تسعة مقيمين هو دعم تقدير التباين المرتبط بالمقيمين في استخدام الدرجات، وتقليل الاعتماد على تفسير مقيم واحد لجودة التأليف المفتوحة. وكان الطلاب مؤهلين للمشاركة إذا كانوا مسجلين بدوام كامل في السنة الثالثة من برنامج علم الموسيقى (Musicology)، وأتموا المقررات الأساسية المطلوبة قبل الفصل الدراسي الذي أجريت فيه الدراسة، وقدموا موافقة مستنيرة مكتوبة، وسلموا مؤلفاً أصلياً واحداً كاملاً خلال فترة التسليم المحددة. وقد استُبعد الطلاب في حال عدم تسليم عمل كامل، أو إذا كان التسليم لا يستوفي متطلبات المهمة المحددة مسبقاً، أو إذا تعذر فتح الملف أو تقييمه، أو إذا تم استلام التسليم بعد الموعد النهائي، أو في حال سحب الموافقة قبل عملية التقييم.
أكمل كل مشارك مهمة تأليف فردية واحدة بناءً على نفس التعليمات المكتوبة. سُمح للطلاب باختيار الموضوع والأسلوب الخاص بهم، ولكن اشترط في كل عمل مُقدم أن يتضمن كلمات، ولحناً، وإيقاعاً، وتنظيماً شكلياً. استُبعدت الأعمال الجماعية، والتكليفات الدراسية المعاد تقديمها، والمواد المنشورة المعدلة، وملفات المسودات فقط، والمراجعات المتأخرة من مجموعة بيانات التقييم الرسمي. تم قبول نسخة نهائية واحدة فقط من كل مشارك. تتوفر متطلبات المهمة التفصيلية ومواصفات التقديم في الجدول التكميلي 1. يظهر سير عمل التوظيف والتحليل الكامل في الشكل 1.
جمع الأعمال التأليفية وفحصها وإخفاء هويتها
تم تقديم جميع المؤلفات الموسيقية من خلال نظام إدارة التعلم المؤسسي بحلول الساعة 23:59 من اليوم الأخير من أسبوع التكليف المقرر. تضمنت كل عملية تقديم ملف نوتة موسيقية بتنسيق PDF وملفاً صوتياً مصاحباً بصيغة MP3. وبعد الموعد النهائي، قام فريق البحث بتنزيل جميع الملفات المقدمة عبر قناة التقديم نفسها، وفحص كل عمل وفقاً لمتطلبات المهمة المحددة مسبقاً قبل إرساله إلى المقيمين. تم الاحتفاظ فقط بالمؤلفات التي تضمنت كلمات وألحاناً وإيقاعاً وتنظيماً هيكلياً، والتي مثلت منتجاً نهائياً مكتملاً. أما الملفات التي كانت مجرد مسودات، أو الأعمال غير المكتملة، أو الملفات التي تفتقر إلى مكونات هيكلية رئيسية، أو التقديمات المتأخرة، أو الملفات غير القابلة للقراءة أو التالفة، فقد تم استبعادها قبل مرحلة التقييم.
تم تعيين رمز طالب مجهول الهوية لكل عمل مؤهل، من S1 إلى S80. وقد تمت إزالة أسماء الطلاب، ومعرفات الفصول الدراسية، والبيانات الوصفية للملفات التي تحتوي على معلومات التأليف، وكافة المعرفات المباشرة الأخرى قبل إرسال الملفات للتقييم. واحتفظ الباحث الرئيسي بملف الربط الذي يربط هوية المشارك بالرمز المجهول للدراسة بشكل منفصل في ملف محمي بكلمة مرور. ولم يكن ملف الربط هذا متاحاً للمقيمين أو للمحلل أثناء تقدير النموذج. وتكونت مجموعة التقييم النهائية من 80 مؤلفاً مجهول الهوية وقابلة للتقييم، يمثل كل منها ملف نوتة موسيقية بصيغة PDF وتسجيل صوتي واحد بصيغة MP3.
نموذج تقييم الدرجات
قام نموذج التقييم بقياس خمسة أبعاد للسلوك الإبداعي في الأعمال التأليفية، وهي: الجدة، والطلاقة، والمرونة، والدقة، والقابلية للتنفيذ. وقد طور الفريق البحثي هذا النموذج بالتشاور مع ثلاثة من أعضاء هيئة التدريس ذوي الخبرة في تدريس التأليف الموسيقي، والنظرية الموسيقية، وتقييم التربية الموسيقية. وتمت مراجعة نسخة أولية باستخدام خمس مؤلفات تدريبية من العام الدراسي السابق لم تكن جزءاً من الدراسة. وعقب المراجعة التجريبية، جرى تعديل صياغة المعايير ومرتكزات الدرجات الخمس لتقليل التداخل بين القابلية للتنفيذ والدقة، وللتمييز بين الطلاقة والمرونة. وقد تم اعتماد النموذج النهائي في 20 سبتمبر 2025، وذلك قبل تدريب المقيمين وبدء عملية التقييم الرسمية. ولم يتم تغيير أي من صياغات المعايير أو مرتكزات الدرجات بعد بدء التقييم الرسمي.
في المقياس النهائي، أشارت الحداثة إلى تميز وأصالة الفكرة الموسيقية أو طريقة معالجتها. وتشير الطلاقة إلى استمرارية وإنتاجية تطوير الفكرة ضمن العمل. أما المرونة فقد أشارت إلى التنوع في المقاربات، أو التحولات، أو التغييرات التكيفية في التعامل الموسيقي. وأشارت الدقة إلى الصقل، والتنظيم الداخلي، ووضوح التفاصيل الموسيقية. بينما أشارت القابلية للتطبيق إلى الجدوى الفنية والعملية للعمل المكتمل كقطعة موسيقية مُنفذة. تم تسجيل جميع الأبعاد الخمسة باستخدام نفس نظام الاستجابة المكون من خمس نقاط؛ حيث أشارت الدرجة 1 إلى إظهار ضعيف جداً للبعد المستهدف، وأشارت الدرجة 5 إلى إظهار قوي جداً. ولم تُسمح بنصف النقاط. استخدم جميع المقيمين نفس ترتيب المعايير، ومحددات الدرجات، ورقة التسجيل الموحدة. تظهر التعريفات التشغيلية ومحددات الدرجات لجميع الأبعاد الخمسة في الجدول 1.
توظيف المقيمين وتعميتهم وتدريبهم
تم استقطاب تسعة مقيمين من معهد جيانغشي للتكنولوجيا ممن لديهم خبرة سابقة في التقييمات المتعلقة بالموسيقى أو الفنون. وضمت لجنة التقييم خمسة أعضاء من هيئة التدريس في المساقات المتعلقة بالموسيقى، وعضوين من هيئة التدريس في التربية الموسيقية، ومحاضرين اثنين من مرحلة الدراسات العليا لديهما خبرة في تقييم الفنون. وكان لدى كل مقيم خبرة لا تقل عن ثلاث سنوات في التدريس أو وضع الدرجات أو التحكيم أو تقييم الفنون. وتم تخصيص رمز مجهول لكل مقيم من J1 إلى J9. قام جميع المقيمين بوضع درجات لمجموعة مجهولة موحدة مكونة من 80 مؤلفاً موسيقياً. كما تم حجب هوية الطلاب، والمعلومات الديموغرافية، والانتماء للفصول الدراسية، ودرجات جميع المقيمين الآخرين عن المقيمين طوال مرحلة التقييم الرسمية.
قبل البدء في عملية التقييم الرسمي، أتم جميع المقيمين جلسة تدريب ومعايرة موحدة استغرقت حوالي 120 min. وخلال الجلسة، قام الفريق البحثي بتوزيع نموذج التقييم المكتوب، ومعايير تحديد الدرجات، وورقة التقييم الموحدة، وتعليمات التقييم. تم شرح المعايير الخمسة وفئات الاستجابة الخمس بنفس الترتيب الثابت المستخدم أثناء التقييم الرسمي. ثم استُخدمت ثلاث مؤلفات معايرة مجهولة الهوية لأغراض التدريب على التقييم. وكانت هذه المؤلفات الثلاث الخاصة بالمعايرة مستقلة عن المؤلفات الثمانين المستخدمة في الدراسة الرسمية، ولم تُدرج في مجموعة البيانات التحليلية. قام كل مقيم بتقييم الأعمال الثلاثة الخاصة بالمعايرة بشكل مستقل قبل بدء النقاش. روجعت أوجه الاختلاف معياراً تلو الآخر لتوضيح معنى كل بُعد، والفرق بين فئات الدرجات المتجاورة، وكيفية استخدام مقياس النقاط الخمس كاملاً. كان الغرض من جلسة المعايرة هو توحيد تفسير نموذج التقييم، وليس فرض درجات متطابقة. تم عرض سير عمل التدريب وإجراءات المعايرة في Supplementary Table 2.
إجراء التقييم الرسمي
خلال مرحلة التقييم الرسمي، قام كل مقيم بتقييم كل مؤلفة مجهولة الهوية بشكل مستقل بناءً على جميع المعايير الخمسة. راجع المقيمون كلاً من ملف النوتة بصيغة PDF والتسجيل الصوتي المرافق بصيغة MP3 لكل عمل. فُتحت ملفات PDF باستخدام برنامج قارئ PDF، ورُوجعت الملفات الصوتية في برنامج Audacity باستخدام سماعات Sennheiser HD 280 Pro على نفس نوع محطة العمل المستخدمة في إدارة التقييم. وُجهت التعليمات للمقيمين بمراجعة ملف النوتة أولاً، والاستماع إلى التسجيل الصوتي الكامل لمرة واحدة، ثم إكمال التقييم على مستوى المعايير بعد مراجعة مركزة ثانية عند الحاجة. سُمح بتكرار الاستماع حتى مرتين إضافيتين لأي مؤلفة عندما يحتاج المقيم إلى التحقق من تفاصيل الإيقاع، أو اللحن، أو البنية، أو التنفيذ. لم يُسمح للمقيمين بمناقشة الطلبات الفردية أثناء التقييم الرسمي، ولم يتمكن أي مقيم من الوصول إلى الدرجات التي وضعها المقيمون الآخرون.
عُرضت التركيبات الثمانون مجهولة الهوية على كل مُقيم بترتيب عشوائي تم توليده قبل عملية التقييم. واستخدم كل مُقيم المجموعة ذاتها من الملفات مجهولة الهوية، ونموذج التقييم، وورقة رصد الدرجات، وتعليمات التقييم. أُنجز التقييم الرسمي بشكل فردي في جلسة واحدة إلى ثلاث جلسات لكل مُقيم، ولم تتجاوز أي جلسة تقييم واحدة مدة 3 hr. وفي الحالات التي تم فيها التقييم عبر جلسات متعددة، استُخدمت بيئة التقييم ذاتها، ومجموعة الملفات ذاتها، وورقة الاستجابة ذاتها. كان لكل تركيب 45 فرصة تقييم متوقعة، وهو ما يعادل تسعة مُقيمين مضروبين في خمسة معايير. ومع إدراج 80 تركيباً في المتن النهائي، ولّد تصميم التقييم 3,600 فرصة تقييم متوقعة قبل إجراء فحص التقييمات المفقودة.
إدخال البيانات، وهيكل الترميز، ومراقبة الجودة
بعد عملية التقييم الرسمية، أُدخلت جميع التقييمات المرصودة في مجموعة بيانات تحليلية بتنسيق طولي باستخدام برنامج Microsoft Excel. تضمن تصميم Rasch متعدد الأوجه ثلاثة جوانب: الطلاب، والمقيمين، والمعايير. تم ترميز الطلاب من S1 إلى S80، والمقيمين من J1 إلى J9، والمعايير من C1 إلى C5. وقد رُمزت المعايير كالتالي: C1 للأصالة، وC2 للطلاقة، وC3 للمرونة، وC4 للدقة، وC5 للقابلية للتنفيذ. مثّل كل سجل تقييم صالح تقييماً واحداً مرصوداً (طالب × مقيم × معيار)، واحتوى على معرف الطالب (student_id)، ومعرف المقيم (rater_id)، ومعرف المعيار (criterion_id)، واسم المعيار (criterion_name)، والدرجة (score). وسُجلت فئات الدرجات الصحيحة كأعداد صحيحة من 1 إلى 5 فقط.
قبل ملاءمة النموذج، تم فحص مجموعة البيانات للتأكد من عدم وجود سجلات مكررة، أو معرفات مفقودة، أو درجات مفقودة، أو أكواد طلاب غير صالحة، أو أكواد مقيمين غير صالحة، أو أكواد معايير غير صالحة، أو عدم تطابق بين criterion_id وcriterion_name، بالإضافة إلى الدرجات التي تقع خارج النطاق المسموح به. وقد ولّد التصميم الكامل 3,600 فرصة تقييم متوقعة. واحتوى الملف التحليلي النهائي على 3,598 تقييماً مرصوداً صالحاً وفرصتي تقييم مفقودتين. وقد تم توثيق التقييمين المفقودين على أنهما مفقودان، ولم يتم تقديرهما إحصائياً، ولم يتم إعادة ترميزهما في أي فئة درجات صالحة. كما تم فحص السجلات المكررة والتضاربات في الترميز بمقارنتها مع أوراق تسجيل الدرجات الأصلية قبل تقدير النموذج. ويرد هيكل المتغيرات وتنسيق الترميز المطلوب في Supplementary Table 3.
توصيف نموذج راش متعدد الأوجه
تم تحليل بيانات التقييم المنقحة باستخدام برنامج FACETS، الإصدار 3.83.6. وقد قدّر النموذج في آن واحد الأداء الإبداعي للطلاب، وصعوبة المعايير، وموقع استخدام المقيمين للدرجات، وعتبات فئات مقياس التقييم على مقياس لوجيت (logit) موحد. تم تحديد الطلاب كوجه قياس مستهدف، والمعايير كوجه للصعوبة، والمقيمين كوجه للتقييم. وحدد ملف تحكم FACETS ثلاثة أوجه، حيث كانت تسميات الطلاب من S1 إلى S80، وتسميات المعايير من C1 إلى C5، وتسميات المقيمين من J1 إلى J9. تم تطبيق نموذج مقياس تقييم موحد مكون من خمس فئات عبر جميع المعايير الخمسة لأن جميع المعايير استخدمت نفس بنية الاستجابة المرتبة من 1 إلى 5. وقد تم تقدير النموذج باستخدام تقدير الاحتمال الأقصى المشترك. لم يتم تطبيق أي قيم إرساء خارجية. وتم توسيط وجهي الطلاب والمعايير لغرض إعداد التقارير على مقياس لوجيت الموحد، بينما تم تقدير وجه المقيمين بحرية لتمثيل التباين في استخدام المقيمين للدرجات بين مختلف المقيمين. كما تم تلخيص بنية ملف تحكم FACETS، وترميز الأوجه، وإعدادات مقياس التقييم، وطريقة التقدير، وقاعدة التوسيط، وقاعدة التقارب، وطلبات المخرجات، وعتبات التشخيص في الجدول التكميلي 4.
تم تحديد النموذج على النحو التالي:
حيث يشير Pnijk إلى احتمالية حصول الطالب n على الفئة k من المقيم j بناءً على المعيار i بدلاً من الفئة k − 1، ويشير Bn إلى مقياس الأداء الإبداعي التقديري للطالب n، ويشير Di إلى صعوبة المعيار i، ويشير Rj إلى موقع استخدام درجات المقيم j، بينما يشير Fk إلى العتبة بين فئات الدرجات المتجاورة. تم ترتيب فئات الدرجات من 1 إلى 5. وفي هذا التوصيف للمعالم، ترتبط مواقع المقيمين الأعلى باستخدامهما لدرجات أكبر في مخرجات برنامج FACETS. تم تطبيق النموذج الأولي على التقييمات الصحيحة المتاحة دون دمج الفئات. كما عوملت التقييمات المفقودة كقيم مفقودة، ولم يتم تعويضها أو إعادة ترميزها إلى فئات درجات.
أُجري تحليل FACETS بحد أقصى 100 تكرار ومعيار تقارب يقل عن 0.01 logits لأقصى تغيير في المعلمات بين التكرارات المتتالية. تضمنت مواصفات المخرجات إحصائيات ملخصة للأوجه، ومقاييس الأوجه الفردية، والأخطاء المعيارية للنموذج، وإحصائيات متوسط المربعات للملاءمة الداخلية (infit) والملاءمة الخارجية (outfit)، والمتوسطات الملحوظة، والمتوسطات العادلة، ومؤشرات الفصل والموثوقية، واختبارات مربع كاي، وإحصائيات الفئات، وعتبات Rasch-Andrich، والأخطاء المعيارية للعتبات، ومخرجات احتمالية الفئة، والبواقي المعيارية، ومخرجات انحياز المقيم وفقاً للمعيار، ومخرجات انحياز الطالب وفقاً للمعيار. وقد تم الاحتفاظ بملف التحكم الخاص بـ FACETS، ومجموعة بيانات التقييم ذات التنسيق الطويل المجهولة، ومخرجات النموذج الأساسي، ومخرجات تحليل الحساسية كملفات تحليل قابلة لإعادة الإنتاج.
قواعد التقييم والتشخيص
تم استخدام إحصائيات متوسط المربعات للملاءمة الداخلية (Infit mean-square) والملاءمة الخارجية (Outfit mean-square) لتقييم ملاءمة النموذج بالنسبة للطلاب والمعايير والمقيمين. واعتُبرت القيم التي تتراوح من 0.60 إلى 1.30 النطاق الأساسي المقبول للتفسير الروتيني. أما القيم التي تزيد عن 1.50 فقد وُضعت كعلامة للمراجعة، بينما عُوملت القيم التي تزيد عن 2.00 على أنها عدم ملاءمة جوهرية. وبالنسبة لأي طالب كانت قيم متوسط المربعات للملاءمة الداخلية أو الخارجية لديه تتجاوز 2.00، فقد تم فحص سجلات الدرجات الأصلية مقابل مجموعة البيانات المنقحة، وأُعيد تقدير النموذج بعد استبعاد ذلك الطالب كتحليل للحساسية. ولم يتم حذف الحالات من النموذج الأساسي لمجرد عدم الملاءمة؛ بل استُخدم تحليل الحساسية لتحديد ما إذا كانت الاستنتاجات الرئيسية المتعلقة بالمعايير والمقيمين ومقياس التقدير ظلت مستقرة. وترد قواعد مراجعة الملاءمة وتحليل الحساسية هذه في الجدول التكميلي 4.
تم فحص مؤشرات الفصل والموثوقية لكل جانب لتحديد ما إذا كان هناك تمايز داخلي ذو دلالة، وما إذا كانت المقاييس الناتجة مستقرة بما يكفي للتفسير. فُسِّرت قيم الفصل التي تزيد عن 2.00 على أنها تدعم وجود تمايز جوهري داخل الجانب الواحد. أما فصل الطلاب الذي يقل عن 2.00 فقد فُسِّر على أنه يدعم التصنيف العريض بدلاً من الترتيب الفردي الدقيق. وفُسِّرت قيم الموثوقية الأقرب إلى 1.00 على أنها تشير إلى استقرار قياس أقوى. كما تم فحص أداء مقياس التقييم باستخدام إحصائيات الفئات، والمتوسطات الملحوظة، وقيم متوسط مربعات الملاءمة (outfit mean-square)، وعتبات راش-أندريش (Rasch-Andrich thresholds)، والأخطاء المعيارية للعتبات، ومنحنيات احتمالية الفئة. واعتُبر أداء الفئة مقبولاً عندما تزداد المتوسطات الملحوظة بشكل مطرد عبر فئات الدرجات، وتتقدم العتبات المتجاورة في تسلسل مرتب، وتُشكل الفئات الخمس مناطق احتمالية قابلة للتفسير عبر المتصل الكامن.
تم فحص مخرجات الانحياز والتفاعل لمجموعات (المُقيِّم حسب المعيار) و(الطالب حسب المعيار). وتم تمييز أي تفاعل تبلغ قيمة t المعيارية المطلقة له 2.00 أو أكثر للمراجعة. استخدمت هذه الفحوصات التشخيصية لتحديد التناقضات المحتملة في تفسير المعيار أو أنماط الاستجابة غير المتوقعة، وليس لحذف التقييمات تلقائيًا. كما تم فحص الاعتماد المحلي وتداخل البناء من خلال مراجعة ملاءمة المعيار والارتباطات المتبقية بين جميع أزواج المعايير العشرة الممكنة. وتم تمييز أي ارتباط متبقٍ بقيمة 0.30 أو أكثر بين معيارين على أنه اعتماد محلي محتمل وتمت مراجعته مقابل تعريفات نموذج التقييم (rubric). هذه المعايير التشخيصية واردة أيضًا في الجدول التكميلي 4. وبناءً على ذلك، تم تقييم مواصفات نموذج Rasch أحادي البعد كفرضية قياس بدلاً من افتراضها تلقائيًا. وعند تفسير مقاييس الطلاب، لم يتم التعامل مع فروق الـ logit الفردية على أنها ذات دلالة ما لم تتجاوز عدم اليقين في القياس المقابل. وقد تم تفسير جانب الطالب بشكل أساسي على أنه توزيع عام للأداء الإبداعي التأليفي بدلاً من كونه ترتيبًا دقيقًا للطلاب فرادى.
النتائج
ملخص شامل للجوانب
استند تحليل راش متعدد الأوجه إلى تصميم تقييم كامل شمل 80 تكويناً مجهول الهوية، وتسعة مقيمين، وخمسة معايير للتسجيل. وقد ولّد هذا التصميم 3,600 فرصة تقييم متوقعة. ومن بين هذه الفرص، تم تحليل 3,598 تقييماً ملحوظاً صالحاً، وتم توثيق فرصتي تقييم كقيم مفقودة. ولم يتم تعويض التقييمات المفقودة أو إعادة ترميزها في أي فئة درجات صالحة. وتظهر إحصائيات الأوجه العامة في الجدول 2. وعبر الأوجه الثلاثة التي تمت نمذجتها، كانت قيم متوسط مربعات ملاءمة الداخل (infit) وملاءمة الخارج (outfit) قريبة من 1.00، مما يدعم ملاءمة عامة مقبولة بين النموذج والبيانات. وكانت تقديرات الموثوقية 0.87 للمعايير، و1.00 للمقيمين، و0.78 للطلاب. أما قيم الفصل فكانت 2.56 للمعايير، و16.36 للمقيمين، و1.86 للطلاب. وكانت اختبارات كاى تربيع (Chi-square) دالة إحصائياً لجميع الأوجه الثلاثة. وقد تم تركيز وجه المعايير ووجه الطلاب عند 0.00 لوجيت (logits) لأغراض التقارير، بينما بلغ متوسط قياس وجه المقيم 0.62 لوجيت. وتراوحت قياسات الطلاب من -0.80 إلى 1.12 لوجيت، مما يعطي نطاقاً تقديرياً قدره 1.92 لوجيت.
التباين في قياسات المقيم
تظهر تقديرات المقيمين في الجدول 2. تراوحت قيم متوسط مربعات الملاءمة الداخلية (Infit mean-square) من 0.73 إلى 1.26، وتراوحت قيم متوسط مربعات الملاءمة الخارجية (outfit mean-square) من 0.74 إلى 1.27. وكان جميع المقيمين التسعة ضمن نطاق الملاءمة المقبول من 0.60 إلى 1.30. أظهر وجه المقيم (rater facet) أوسع انتشار بين الأوجه المنمذجة، مما يشير إلى تباين واضح في استخدام درجات المقيمين على الرغم من أن جميع المقيمين استخدموا ذات المقياس (rubric)، وورقة رصد الدرجات، وإجراءات التقييم. سجل المقيم J9 أعلى موقع لقياس المقيم عند 3.37 logits، بينما سجل المقيم J8 أدنى موقع لقياس المقيم عند -0.34 logits. واتفق هذا الاتجاه مع المتوسطات الملحوظة والعادلة: حيث سجل J9 أعلى متوسطات ملحوظة وعادلة، 4.74 و4.75، بينما سجل J8 أدنى متوسطات ملحوظة وعادلة، وكلاهما 2.77. وبناءً على ذلك، فُسِّر وجه المقيم على أنه تباين في موقع استخدام الدرجات على مقياس logit المشترك بدلاً من كونه مجرد ترتيب لشدة التقييم. حصل المقيمان J1 وJ5 على تقديرات متطابقة بلغت 0.86 logits، وحصل J3 وJ6 على تقديرات متطابقة بلغت -0.13 logits، بينما وقع J2 وJ4 بالقرب من مركز مقياس المقيم عند 0.03 و-0.15 logits، على التوالي. بلغ إجمالي انتشار قياس المقيم 3.71 logits. وكانت قيمة فصل المقيمين 16.36، مع قيمة مربع كاي (chi-square) بلغت 1487.8 (df = 8)، و p < 0.001. لم يتجاوز أي مقيم عتبة مراجعة الملاءمة، ولم يتم استبعاد أي مقيم من النموذج الأساسي.
صعوبة المعيار وملاءمة المعيار
تظهر تقديرات صعوبة المعايير في الجدول 2. سجل معيار الجدوى أعلى تقدير للصعوبة بقيمة 0.20 logits، مما يشير إلى أنه كان أصعب معيار استطاع الطلاب إظهاره في المؤلفات المنجزة. ووقع معيارا المرونة والدقة في النطاق المتوسط، بتقديرات بلغت 0.07 و 0.02 logits، على التوالي. أما الطلاقة فقد سجلت تقدير صعوبة قدره -0.13 logits، بينما سجل التجديد أدنى تقدير للصعوبة بقيمة -0.16 logits، مما يشير إلى أن التجديد كان أسهل معيار يمكن إظهاره في هذه المجموعة من النصوص. وبلغ إجمالي نطاق صعوبة المعايير 0.36 logits. وأظهرت جميع المعايير الخمسة قيم ملاءمة مقبولة؛ حيث تراوحت قيم متوسط المربعات للملاءمة الداخلية (Infit mean-square) من 0.89 إلى 1.11، وتراوحت قيم متوسط المربعات للملاءمة الخارجية (outfit mean-square) من 0.90 إلى 1.12. وبلغت قيمة فصل المعايير 2.56، وقيمة كا-تربيع 37.8، df = 4، p < 0.001. لم يتجاوز أي معيار عتبة مراجعة الملاءمة، ولم يتم استبعاد أي معيار من النموذج.
مراجعة توزيع الأداء الإبداعي للطلاب ومدى ملاءمته
تم تلخيص مقاييس الطلاب في الجدول 2 كتوزيع عام بدلاً من تصنيفات فردية. وأظهر جانب الطالب قيمة فصل بلغت 1.86 وتقدير موثوقية قدره 0.78. وكانت قيمة كا-تربيع 354.4 (df = 79)، وبقيمة p < 0.001. وتراوحت مقاييس الطلاب المقدرة من -0.80 إلى 1.12 logits، مع أخطاء معيارية للنموذج تتراوح تقريبًا من 0.19 إلى 0.20 logits. ونظرًا لأن قيمة فصل الطلاب كانت أقل من 2.00، فقد تم تفسير نتائج الطلاب على أنها تدعم تقسيمًا عامًا للأداء بدلاً من تصنيف فردي دقيق.
تمت مراجعة إحصائيات ملاءمة الطلاب باستخدام عتبات الملاءمة المحددة. سجل الطالب S3 متوسط مربعات ملاءمة داخلية (infit mean-square) قدره 2.10 ومتوسط مربعات ملاءمة خارجية (outfit mean-square) قدره 2.05، مما يتجاوز عتبة عدم الملاءمة الجوهرية. تم فحص سجلات الدرجات الأصلية للطالب S3 ومقارنتها بمجموعة البيانات التحليلية المنقحة، بما في ذلك رمز الطالب، ورمز المقيم، ورمز المعيار، واسم المعيار، وفئة الدرجة، وحالة السجل المكرر، وحالة التقييم المفقود. لم يتم العثور على أي خطأ في إدخال البيانات، أو سجل مكرر، أو درجة غير صالحة، أو عدم تطابق في التقييمات المفقودة، أو تضارب في الترميز. وبناءً على ذلك، تم الإبقاء على S3 في النموذج الأساسي. بعد ذلك، تم تقدير نموذج حساسية مع استبعاد S3 لتحديد ما إذا كانت استنتاجات النموذج الرئيسي ستظل مستقرة. تضمن نموذج الحساسية هذا 79 تكويناً و 3,555 فرصة تقييم متوقعة. وكان عدد التقييمات الصالحة التي تم تحليلها في نموذج الحساسية 3,553 تقييماً. وفي نموذج الحساسية، ظلت الجدوى هي المعيار الأكثر صعوبة بقيمة 0.19 logits، وظل الابتكار هو المعيار الأقل صعوبة بقيمة -0.15 logits. وتغير فصل المعايير من 2.56 إلى 2.48، وموثوقية المعايير من 0.87 إلى 0.86، وفصل المقيمين من 16.36 إلى 16.02، بينما ظلت موثوقية المقيمين 1.00، وتغير فصل الطلاب من 1.86 إلى 1.82، وموثوقية الطلاب من 0.78 إلى 0.77. وظلت عتبات مقياس التقييم مرتبة، حيث تغيرت من -2.10 و -0.71 و 0.69 و 2.12 logits في النموذج الأساسي إلى -2.08 و -0.70 و 0.68 و 2.10 logits في نموذج الحساسية. ولم تؤدِ هذه التغييرات إلى تعديل الاستنتاجات الرئيسية المتعلقة بالمعايير أو المقيمين أو الطلاب أو مقياس التقييم. تظهر نتائج تحليل الحساسية في الجدول 3.
تشخيصات التبعية المحلية والانحياز
تمت مراجعة تشخيصات الاعتماد المحلي لجميع أزواج المعايير العشرة الممكنة من بين معايير التقييم الخمسة. وكانت جميع الارتباطات المتبقية أقل من عتبة المراجعة البالغة 0.30. وكان أكبر ارتباط متبقي هو 0.24 بين الدقة والجدوى. أما الارتباطات التالية في الحجم فكانت 0.21 بين الطلاقة والمرونة، و0.18 بين الحداثة والطلاقة، و0.17 بين الحداثة والمرونة. كما كانت الارتباطات المتبقية لأزواج المعايير الستة الأخرى أقل من 0.30، وهي موضحة في الجدول 4. ولم تشير هذه النتائج إلى وجود اعتماد محلي إشكالي بين معايير نموذج التقييم الخمسة.
تم فحص مخرجات تحيز المقيم حسب المعيار باستخدام عتبة قيمة t للتحيز المعياري المطلق البالغة 2.00. وكانت أكبر قيمة t للتحيز المعياري للمقيم حسب المعيار هي 1.84 للمقيم J9 فيما يتعلق بالجدوى، وهي قيمة كانت أقل من عتبة المراجعة. وحددت مخرجات الطالب حسب المعيار نمط استجابة غير متوقع للطالب S3. وكانت أكبر قيمة t للتحيز المعياري للطالب حسب المعيار هي 2.31 للطالب S3 فيما يتعلق بالجدوى، مما تجاوز عتبة المراجعة. وبناءً على ذلك، تم التحقق من حالة S3 مقابل سجلات الدرجات الأصلية وفحصها من خلال تحليل الحساسية. ولم يجد التحقق من ذلك أي خطأ في الترميز أو الإدخال، ولم يغير نموذج الحساسية الاستنتاجات الجوهرية. والتشخيصات الخاصة بالاعتماد المحلي والتحيز ملخصة في الجدول 4.
آلية عمل مقياس التقييم
تظهر نتائج هيكل الفئات في الجدول 5. زادت المقاييس المتوسطة من -0.56 logits في الفئة 1 إلى 2.23 logits في الفئة 5، مما يشير إلى أن الفئات ذات الدرجات الأعلى تقابل مواقع أعلى من الأداء الإبداعي المقدر. وتراوحت قيم متوسط المربعات للملاءمة (Outfit mean-square) للفئات المسجلة من 0.90 إلى 1.10. وقد تقدمت عتبات Rasch-Andrich بالترتيب التالي: -2.10 و-0.71 و0.69 و2.12 logits. حدث الانتقال من الفئة 1 إلى الفئة 2 عند -2.10 logits تقريباً، وحدث الانتقال من الفئة 2 إلى الفئة 3 بالقرب من -0.71 logits، وحدث الانتقال من الفئة 3 إلى الفئة 4 بالقرب من 0.69 logits، بينما حدث الانتقال من الفئة 4 إلى الفئة 5 بالقرب من 2.12 logits. وقد دعمت العتبات المرتبة وقيم الملاءمة المقبولة الإبقاء على هيكل الفئات الخمس الأصلي، ولم يتم دمج أي فئة.
توزيع الأوجه وبنية احتمالية الفئة
يظهر التوزيع المشترك للمقيمين والطلاب والمعايير وفئات الاستجابة على مقياس اللوغيت المشترك في الشكل 2. وقد أظهر جانب المقيم أوسع نطاق تشتت، مما يعكس تباينًا واضحًا في موقع استخدام درجات المقيمين. ووضع جانب المعيار "الابتكار" في أدنى مستوى من الصعوبة و"القابلية للتطبيق" في أعلى مستوى من الصعوبة. وتركزت مقاييس الطلاب حول مركز المقياس، مع وجود حالات أقل عند الطرفين العلوي والسفلي. وقد استُخدمت خريطة المسطرة لتوضيح توزيع مقاييس الجوانب وليس لدعم تصنيفات دقيقة لكل طالب على حدة.
تظهر منحنيات احتمالية الفئات في الشكل 3. أظهرت الفئة 1 أعلى احتمالية لها تحت -2.10 logits تقريبًا، ووصلت الفئة 2 إلى ذروتها بين -2.10 و -0.71 logits تقريبًا، بينما بلغت الفئة 3 ذروتها بين -0.71 و 0.69 logits تقريبًا، وأظهرت الفئة 4 أعلى احتمالية لها بين 0.69 و 2.12 logits تقريبًا، وأصبحت الفئة 5 هي السائدة فوق 2.12 logits تقريبًا. تشير علامات العتبة الرأسية في الشكل 3 إلى نقاط انتقال Rasch-Andrich بين الفئات المتجاورة. وقد انتقلت الفئات المتجاورة في تسلسل منظم، مما يدعم التفسير بأن المقياس الخماسي قد عمل وفقًا للمقصود منه.
توافر البيانات:
تم إيداع مجموعة بيانات التقييم طويلة التنسيق المجهولة الهوية، ودليل رموز البيانات، والمخرجات الأولية لبرنامج FACETS في Zenodo تحت معرف الكائن الرقمي DOI: https://doi.org/10.5281/zenodo.21873801. تحتوي مجموعة البيانات على معرفات الطلاب المرمزة، ومعرفات المقيمين، ومعرفات المعايير، وأسماء المعايير، وفئات درجات صحيحة، ومؤشرات التقييمات المفقودة. تضمن تصميم التقييم الكامل 3,600 فرصة تقييم متوقعة؛ تم تحليل 3,598 تقييماً ملحوظاً وصحيحاً منها، بينما تم توثيق تقييمين كبيانات مفقودة ولم يتم تعويضهما. وتدعم المخرجات الأولية لبرنامج FACETS المودعة مقاييس الأوجه الواردة في التقرير، وإحصائيات الملاءمة، ومؤشرات الفصل والموثوقية، وعتبات مقياس التقييم، وأداء الفئات، والملخصات التشخيصية. إن الأعمال الإبداعية الأصلية والملفات التي يمكن تحديد الهوية من خلالها غير متاحة للعموم لأن موافقة المشاركين وقيود الخصوصية المؤسسية لا تسمح بإعادة توزيع المؤلفات الفردية للطلاب أو الملفات التي قد تحتوي على معلومات حول التأليف. وقد أجري تحليل Rasch متعدد الأوجه باستخدام برنامج FACETS، الإصدار 3.83.6.
الشكل 1: سير عمل استقطاب المشاركين، وإدارة المهام، وإخفاء الهوية، والتصحيح، وتدقيق البيانات، وتحليل راسش متعدد الأوجه (many-facet Rasch analysis). يوضح هذا الشكل سير العمل الكامل للدراسة بدءاً من تحديد المجموعة المصدرية وصولاً إلى تحليل النموذج النهائي. شملت المجموعة المصدرية 96 طالباً في السنة الثالثة من تخصص علم الموسيقى. تم التواصل مع جميع الطلاب الـ 96؛ حيث لم يقدم أربعة منهم موافقة كتابية، وخضع 92 للفحص، واستُبعد 12 قبل التحليل النهائي. تكونت عينة التحليل النهائية من 80 مؤلفة موسيقية مجهولة الهوية وقابلة للتصحيح. كما يلخص الشكل عملية تعيين المهام، وتسليم الملفات، والفحص، وإخفاء الهوية، وتدريب المقيمين، والتصحيح الرسمي، وتجميع البيانات في تنسيق طويل، ومراقبة الجودة، وتحليل FACETS. وقد أنتج تصميم التقييم 3,600 فرصة تقييم متوقعة؛ تم تحليل 3,598 تقييماً ملحوظاً صالحاً منها، بينما تم توثيق اثنين كقيم مفقودة. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.
الشكل 2: خريطة مسطرة عمودية للمقيمين والطلاب والمعايير وفئات مقياس التقييم وفق مقياس logit المشترك. يوضح هذا الشكل مواقع استخدام درجات المقيمين، وتوزيع قياسات الطلاب، وتقديرات صعوبة المعايير، ومواقع فئات الاستجابة على مقياس logit موحد. تشير مواقع المقيمين الأعلى في هذه المخرجات إلى استخدام أكبر للدرجات، وليس إلى زيادة في الصرامة. تُستخدم خريطة المسطرة لعرض توزيع الأوجه ولا تُستخدم لدعم التصنيفات الدقيقة للطلاب الأفراد. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.
الشكل 3: منحنيات احتمالية الفئات لمقياس التقييم الخماسي. تشير الخطوط الرأسية المتقطعة إلى عتبات فئات Rasch-Andrich، والتي تحدد نقاط الانتقال المقدرة بين فئات الاستجابة المتجاورة. وتظهر التقاطعات المرتبة للفئات المتجاورة أن مقياس الاستجابة الخماسي عمل في الاتجاه المتوقع، مما يدعم الإبقاء على هيكل الفئات الأصلي دون دمج الفئات. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.
| المعيار | التعريف الإجرائي | الدرجة 1 | الدرجة 2 | الدرجة 3 | الدرجة 4 | الدرجة 5 |
| الحداثة | تميز وأصالة الفكرة الموسيقية أو المعالجة | تقليدية أو محاكية | أصالة محدودة | بعض الأصالة ولكن بشكل غير متكافئ | أصالة واضحة في عدة أجزاء | متميزة للغاية وأصيلة باستمرار |
| الطلاقة | استمرارية وإنتاجية تطوير الفكرة داخل العمل | تطوير محدود جداً | تطوير متفرق | تطوير كافٍ | تطوير ثري ومستدام | إنتاجية عالية وتطوير مستمر |
| المرونة | استخدام مقاربات متنوعة، أو تحويلات، أو تحولات تكيفية في المعالجة الموسيقية | مقاربة واحدة جامدة | تباين أدنى | بعض التباين | تباين واضح عبر المقاطع أو الأساليب | متنوع بقوة ومطور بشكل تكيفي |
| الدقة | الصقل، والتنظيم الداخلي، ووضوح التفاصيل الموسيقية | تحكم ضعيف وتفاصيل غير واضحة | صقل محدود | تنظيم وتفاصيل متوسطة | صقل وتنظيم داخلي جيد | صقل عالٍ مع تفاصيل واضحة وملموسة |
| القابلية للتنفيذ | الجدوى الفنية والعملية للتأليف المكتمل كعمل مُنفذ | غير قابل للتنفيذ كعمل نهائي | جدوى ضعيفة | قابل للتنفيذ بشكل أساسي | قابل للتنفيذ وصالح موسيقياً | جدوى قوية ومنفذ بشكل مقنع |
الجدول 1: التعريفات التشغيلية ومحددات الدرجات للأبعاد الخمسة للسلوك الإبداعي في الأعمال التأليفية. يعرض هذا الجدول نموذج التقييم النهائي المستخدم في التسجيل الرسمي؛ حيث يحدد مفاهيم الجدة، والطلاقة، والمرونة، والدقة، والقابلية للتنفيذ، ويوفر محددات للدرجات من 1 إلى 5 لكل معيار. وتميز هذه التعريفات بين التطوير المستمر للفكرة وبين التباين التكيفي، كما تميز بين الصقل الهيكلي وبين الجدوى الفنية والعملية المحققة.
| وجه / وحدة | قياس (اللوجيتات) | نموذج SE | Infit MnSq | تجهيز MnSq | المتوسط الملحوظ | متوسط مقبول | الفصل | الموثوقية | مربع كاي (درجات الحرية) |
| المعايير، العامة | 0 | 0.05 | 0.99 | 0.99 | 3.36 | 3.43 | 2.56 | 0.87 | 37.8 (4)*** |
| الحداثة | -0.16 | 0.05 | 1.01 | 1.07 | 3.46 | 3.54 | — | — | — |
| الطلاقة | -0.13 | 0.05 | 1 | 0.95 | 3.44 | 3.52 | — | — | — |
| المرونة | 0.07 | 0.05 | 0.89 | 0.93 | 3.32 | 3.39 | — | — | — |
| الدقة | 0.02 | 0.05 | 0.95 | 0.9 | 3.35 | 3.42 | — | — | — |
| الجدوى | 0.2 | 0.05 | 1.11 | 1.12 | 3.23 | 3.3 | — | — | — |
| المقيمون، بشكل عام | 0.62 | 0.07 | 0.98 | 0.99 | 3.36 | 3.36 | 16.36 | 1 | 1487.8 (8)*** |
| J1 | 0.86 | 0.06 | 1.26 | 1.27 | 3.59 | 3.59 | — | — | — |
| J2 | 0.03 | 0.06 | 1.1 | 1.1 | 3.02 | 3.02 | — | — | — |
| J3 | -0.13 | 0.06 | 0.73 | 0.74 | 2.91 | 2.91 | — | — | — |
| J4 | -0.15 | 0.06 | 1.07 | 1.07 | 2.9 | 2.9 | — | — | — |
| جي 5 | 0.86 | 0.06 | 1.26 | 1.27 | 3.59 | 3.59 | — | — | — |
| J6 | -0.13 | 0.06 | 0.73 | 0.74 | 2.91 | 2.91 | — | — | — |
| J7 | 1.19 | 0.06 | 0.77 | 0.77 | 3.8 | 3.81 | — | — | — |
| J8 | -0.34 | 0.06 | 1.06 | 1.06 | 2.77 | 2.77 | — | — | — |
| J9 | 3.37 | 0.11 | 0.87 | 0.93 | 4.74 | 4.75 | — | — | — |
| الطلاب، بشكل عام | 0 | 0.19 | 0.99 | 0.99 | 3.36 | 3.43 | 1.86 | 0.78 | 354.4 (79)*** |
| نطاق القياس للطالب | -0.80 إلى 1.12 | 0.19–0.20 | — | — | — | — | — | — | — |
| ملاحظة: أدى تصميم التقييم إلى توليد 3,600 فرصة تقييم متوقعة، حُسبت على أساس 80 تكويناً × 9 مقيمين × 5 معايير. وحلل النموذج الأساسي 3,598 تقييماً ملحوظاً صالحاً؛ حيث كانت هناك فرصتا تقييم مفقودتان ولم يتم تعويضهما أو إعادة ترميزهما إلى فئات درجات. وبالنسبة لوجه المقيم، تُفسر مقاييس المقيمين هنا كمواقع استخدام المقيم للدرجة على مقياس لوجيت المشترك. وفي هذه المخرجات، ارتبطت مقاييس المقيمين الأعلى بمتوسطات ملحوظة وعادلة أعلى، مما يشير إلى ميل نحو استخدام أكبر للدرجات المرتفعة بدلاً من زيادة الصرامة. ***= p < 0.001. | |||||||||
الجدول 2: الإحصاءات الملخصة لتحليل راسك متعدد الأوجه (many-facet Rasch analysis) للمعايير والمقيمين والطلاب. يوضح هذا الجدول مخرجات برنامج FACETS الرئيسية للأوجه الثلاثة التي تمت نمذجتها، بما في ذلك مقاييس اللوجيت (logit measures)، والأخطاء المعيارية للنموذج، وقيم متوسط المربعات للملاءمة الداخلية (infit) والملاءمة الخارجية (outfit)، والمتوسطات المرصودة، والمتوسطات العادلة، ومؤشرات الفصل، وتقديرات الموثوقية، واختبارات مربع كاي (chi-square). وقد نتج عن تصميم التقييم 3,600 فرصة تقييم متوقعة؛ حيث تم تحليل 3,598 تقييماً مرصوداً صالحاً، وتم توثيق فرصتي تقييم كبيانات مفقودة. يتم تقديم صعوبة المعيار، وموقع استخدام درجات المقيم، وتوزيع قياس الطلاب العام بناءً على مقياس اللوجيت نفسه. وتُفسر مقاييس المقيمين على أنها مواقع لاستخدام الدرجات بدلاً من كونها مجرد تصنيف بسيط للصرامة، وذلك لأن مقاييس المقيمين الأعلى كانت مصحوبة بمتوسطات مرصودة وعادلة أعلى. تم تلخيص نتائج الطلاب في شكل توزيع ولم تُعرض كترتيبات فردية دقيقة.
| المقياس | النموذج الأساسي | نموذج الحساسية باستثناء S3 |
| عدد التركيبات | 80 | 79 |
| فرص التقييم المتوقعة | 3,600 | 3,555 |
| سجلات التقييم الصالحة التي تم تحليلها | 3,598 | 3,553 |
| فرص التقييم المفقودة | 2 | 2 |
| المعيار ذو الصعوبة الأعلى | الجدوى، 0.20 logits | الجدوى، 0.19 logits |
| المعيار ذو الصعوبة الأدنى | الحداثة، -0.16 logits | الحداثة، -0.15 logits |
| فصل المعايير | 2.56 | 2.48 |
| موثوقية المعايير | 0.87 | 0.86 |
| فصل المقيمين | 16.36 | 16.02 |
| موثوقية المقيمين | 1 | 1 |
| فصل الطلاب | 1.86 | 1.82 |
| موثوقية الطلاب | 0.78 | 0.77 |
| عتبات مقياس التقييم | -2.10, -0.71, 0.69, 2.12 | -2.08, -0.70, 0.68, 2.10 |
| قرار النموذج الأساسي | الاحتفاظ بالنموذج الأساسي | لا يوجد تغيير جوهري |
| ملاحظة: استخدم النموذج الأساسي 3,598 تقييماً ملحوظاً صالحاً من أصل 3,600 فرصة تقييم متوقعة. أما نموذج الحساسية فقد استثنى S3 واستخدم 3,553 تقييماً ملحوظاً صالحاً من أصل 3,555 فرصة تقييم متوقعة. وكانت فرصتا التقييم المفقودتان ذاتهما خارج نطاق S3، وبالتالي ظلتا مفقودتين في نموذج الحساسية. ولم يؤدِ استثناء S3 إلى تغيير جوهري في ترتيب المعايير، أو مؤشرات الفصل، أو تقديرات الموثوقية، أو بنية عتبات مقياس التقييم. | ||
الجدول 3: تحليل الحساسية بعد استبعاد حالة الطالب غير المتوافقة. يقارن هذا الجدول بين النموذج الأساسي ونموذج الحساسية الذي تم تقديره بعد استبعاد S3. استخدم النموذج الأساسي 80 تكويناً، و3,600 فرصة تقييم متوقعة، و3,598 تقييماً ملحوظاً صالحاً. بينما استخدم نموذج الحساسية 79 تكويناً، و3,555 فرصة تقييم متوقعة، و3,553 تقييماً ملحوظاً صالحاً. ويوضح الجدول التغيرات في صعوبة المعيار، وفصل المعيار، وموثوقية المعيار، وفصل المقيم، وموثوقية المقيم، وفصل الطالب، وموثوقية الطالب، وعتبات مقياس التقييم. وقد أظهر تحليل الحساسية عدم وجود تغيير جوهري في استنتاجات النموذج الرئيسي.
| عنصر تشخيصي | حد المراجعة | أكبر قيمة مرصودة / القيمة المرصودة | نتيجة المراجعة |
| الارتباط المتبقي: الجدة–الطلاقة | ≥0.30 | 0.18 | أقل من الحد الأدنى |
| الارتباط المتبقي: الحداثة–المرونة | ≥0.30 | 0.17 | أدنى من العتبة |
| الارتباط المتبقي: الجدة–الدقة | ≥0.30 | 0.12 | أدنى من العتبة |
| الارتباط المتبقي: الجدة–الجدوى | ≥0.30 | 0.09 | أقل من الحد الأدنى |
| الارتباط المتبقي: الطلاقة–المرونة | ≥0.30 | 0.21 | أقل من الحد الأدنى |
| الارتباط المتبقي: الطلاقة–الدقة | ≥0.30 | 0.16 | أدنى من العتبة |
| الارتباط المتبقي: الطلاقة–الجدوى | ≥0.30 | 0.14 | أقل من الحد الأدنى |
| الارتباط المتبقي: المرونة–الدقة | ≥0.30 | 0.15 | أقل من العتبة |
| الارتباط المتبقي: المرونة–القابلية للتطبيق | ≥0.30 | 0.11 | أقل من الحد الأدنى |
| الارتباط المتبقي: الدقة - الجدوى | ≥0.30 | 0.24 | أقل من الحد الأدنى |
| قيمة t للانحياز المعياري للمقيم حسب المعيار | قيمة مطلقة ≥ 2.00 | 1.84 لـ J9 بشأن الجدوى | أدنى من العتبة |
| قيمة t للانحياز المعياري للطالب بناءً على المعيار | قيمة مطلقة ≥ 2.00 | 2.31 بالنسبة لـ S3 حول الجدوى | تمت المراجعة من خلال التحقق من السجلات الأصلية وتحليل الحساسية |
| التحقق من إدخال البيانات لـ S3 | أي خطأ في الترميز أو الإدخال | لم يتم العثور على نتائج | تم الإبقاء على S3 في النموذج الأولي |
| تحليل الحساسية باستبعاد S3 | تغيير في الاستنتاجات الرئيسية للنموذج | لا يوجد تغيير جوهري | تم الاحتفاظ بالنموذج الأساسي |
| ملاحظة: تمت مراجعة جميع الارتباطات المتبقية لـ 10 أزواج من المعايير. وفُسرت القيم التي تقل عن 0.30 على أنها لا تشير إلى وجود اعتماد محلي إشكالي بين معايير التقييم الخمسة. كما تمت مراجعة التفاعلات بين المقيم والمعيار، وبين الطالب والمعيار، باستخدام عتبة قيمة t للانحياز المعياري المطلق تبلغ 2.00. | |||
الجدول 4: فحوصات تشخيصية للاعتماد المحلي والتحيز. يلخص هذا الجدول الفحوصات التشخيصية لتداخل المعايير، والتحيز المرتبط بالمُقيّم حسب المعيار، وأنماط الاستجابة غير المتوقعة للطالب حسب المعيار، والتحقق من حالة الطالب غير المتوافق. تمت مراجعة جميع الارتباطات المتبقية الممكنة لـ 10 أزواج من المعايير. وكانت الارتباطات المتبقية بين المعايير أقل من عتبة المراجعة البالغة 0.30. كما كانت أكبر قيمة t للتحيز الموحد للمُقيّم حسب المعيار أقل من عتبة المراجعة |t| ≥ 2.00، بينما حددت مخرجات الطالب حسب المعيار نمط استجابة غير متوقع مرتبط بـ S3، تمت مراجعته من خلال التحقق من السجلات الأصلية وتحليل الحساسية. وأظهر تحليل الحساسية عدم وجود تغيير جوهري في استنتاجات النموذج الرئيسي.
| فئة التقييم | تسمية الفئة | مقياس المتوسط (اللوجيت) | تجهيز MnSq | عتبة راش-أندريتش | الخطأ المعياري للعتبة | قِس عند -0.5 |
| 1 | ضعيف | -0.56 | 1 | — | — | — |
| 2 | الحد الأدنى | -0.21 | 0.9 | -2.1 | 0.1 | -2.51 |
| 3 | مرضٍ | 0.25 | 0.9 | -0.71 | 0.05 | -0.73 |
| 4 | أعلى من المتوسط | 0.8 | 1.1 | 0.69 | 0.04 | 0.72 |
| 5 | ممتاز | 2.23 | 1.1 | 2.12 | 0.06 | 2.53 |
| ملاحظة: تشير عتبات راش-أندريش (Rasch-Andrich thresholds) إلى نقاط الانتقال المقدرة بين فئات التقييم المتجاورة. لم يتم تسجيل أي عتبة للفئة 1 لأنها الفئة الأدنى. يشير "القياس عند -0.5" إلى موقع اللوجيت (logit location) المرتبط بحدود الفئة المخرجة في برنامج FACETS، وقد أُدرج كتشخيص لأداء الفئة وليس كتقدير منفصل لأداء الطالب. لم يتم دمج أي فئة. | ||||||
الجدول 5: أداء الفئات لمقياس التقييم الخماسي. يعرض هذا الجدول الإحصائيات على مستوى الفئات لمقياس الاستجابة الخماسي، بما في ذلك مقاييس المتوسط، وقيم متوسط المربعات للملاءمة الخارجية (outfit mean-square)، وعتبات راش-أندريش (Rasch-Andrich thresholds)، والأخطاء المعيارية للعتبات، ومخرجات أداء الفئات "المقياس عند -0.5" من برنامج FACETS. وتشير عتبات راش-أندريش إلى نقاط الانتقال المقدرة بين فئات التقييم المتجاورة. وتظهر العتبات المرتبة أن فئات الاستجابة الخمس قد تقدمت في الاتجاه المتوقع، ولم يتم دمج أي فئة.
الجدول التكميلي 1: متطلبات مهمة التعبير، ومسار الاستقطاب، ومواصفات التسليم. يعرض هذا الجدول سياق الدراسة، ومسار استقطاب المشاركين، ومعايير الأهلية، وتنسيق المهمة، والعناصر الهيكلية المطلوبة، وقواعد الأصالة، ومتطلبات التسليم، وقواعد الفرز، وأسباب الاستبعاد، ووحدة التحليل النهائية. كما يوثق كيفية الحصول على المجموعة النهائية المكونة من 80 موضوع تعبير مجهولة الهوية وقابلة للتنقيط. يرجى النقر هنا لتحميل هذا الملف.
الجدول التكميلي 2: تدريب المقيمين، والمعايرة، وإجراءات تسجيل الدرجات الموحدة. يلخص هذا الجدول عمليات استقطاب المقيمين، ومؤهلاتهم، وترميز المقيمين المجهول، والمواد التدريبية، والتوجيه بشأن نموذج التقييم، والتوجيه بشأن الفئات، وتسجيل درجات المعايرة، ومراجعة التباينات، وإجراءات التعمية، وقيود تسجيل الدرجات، ومواد المراجعة، وإجراءات إعادة التشغيل، وقاعدة تكرار الاستماع، والترتيب العشوائي للعرض، والتحكم في مدة تسجيل الدرجات. يرجى النقر هنا لتنزيل هذا الملف.
الجدول التكميلي 3: هيكل مجموعة البيانات ذات التنسيق الطولي وقواعد الترميز. يعرض هذا الجدول هيكل المتغيرات، وقواعد الترميز، وقيود مجموعة البيانات، ورموز المعايير، وصفوطاً توضيحية لمجموعة البيانات التحليلية ذات التنسيق الطولي. يمثل كل صف صالح حدث تقييم واحد مرصود يتم تحديده من خلال معرف الطالب، ومعرف المقيم، ومعرف المعيار، واسم المعيار، وفئة الدرجة. وقد أنتج تصميم التقييم 3,600 فرصة تقييم متوقعة، تم تحليل 3,598 تقييماً مرصوداً صالحاً منها، بينما تم توثيق فرصتي تقييم على أنها مفقودة. يرجى النقر هنا لتنزيل هذا الملف.
الجدول التكميلي 4: مواصفات ملف التحكم والتشخيص في برنامج FACETS. يوضح هذا الجدول هيكل نموذج FACETS وإعدادات إمكانية التكرار، بما في ذلك إصدار البرنامج، ونوع النموذج، والأوجه التي تمت نمذجتها، وفئات الدرجات، وكيفية التعامل مع التقييمات المفقودة، وطريقة التقدير، والحد الأقصى للتكرارات، ومعيار التقارب، وطلبات المخرجات، وعتبات الملاءمة، وعتبة مراجعة التحيز، وعتبة الاعتماد المحلي، وقاعدة تفسير مقياس الطالب. تم التعامل مع التقييمات المفقودة على أنها مفقودة، ولم يتم استكمالها، ولم يتم إعادة ترميزها إلى فئات درجات صالحة. يرجى النقر هنا لتنزيل هذا الملف.
المناقشة
طبقت الدراسة الحالية إطار "راش" متعدد الأوجه (many-facet Rasch framework) لتقييم السلوك الإبداعي لدى طلاب تخصص الموسيقى في مرحلة البكالوريوس من خلال أعمال تأليفية أصلية. وأظهرت النتائج أنه يمكن تقدير أداء الطلاب، وصعوبة المعايير، والتباين في قياسات المقيمين، وأداء فئات مقياس التقييم ضمن هيكل قياس موحد. وتدعم هذه النتيجة استخدام النمذجة متعددة الأوجه في التقييم الموسيقي القائم على نماذج التقييم (rubrics) عندما يتم استخراج الدرجات من خلال حكم الخبراء بدلاً من الاستجابات الموضوعية البحتة11. ولم يلغِ هذا النموذج الحاجة إلى التقييم الموسيقي المتخصص؛ بل قدم طريقة منظمة لفحص كيفية مساهمة أوجه الطالب والمعيار والمقيم في التقييمات الملحوظة. ويكتسب هذا الأمر أهمية في تقييم التأليف الموسيقي لأن الأعمال المكتملة تتطلب حكماً نوعياً، كما أن الدرجات الخام وحدها لا يمكنها تحديد ما إذا كان التباين في الدرجات يعكس مستوى الطالب، أو المعيار، أو المقيم، أو مقياس التقييم12.
أظهرت نتائج المعايير أن الحداثة كانت المعيار الأقل صعوبة، بينما كانت الجدوى والمرونة أكثر صعوبة ضمن المؤلفات المكتملة. ويجب تفسير هذا النمط كنتيجة قياس وصفية، وليس كدليل على تأثير تعليمي سببي. وتشير هذه النتيجة إلى أن الطلاب في هذه المجموعة من الأعمال الموسيقية قد أظهروا أفكاراً موسيقية مميزة بسهولة أكبر مما أظهروا قابلية للتنفيذ الكامل أو تحولاً تكيفياً عبر العمل المكتمل. ويتسق هذا التمييز مع أبحاث الإبداع الموسيقي التي تتعامل مع التأليف كعملية تتضمن توليد الأفكار، وتطويرها، واختيارها، وإعادة هيكلتها، وتنقيحها، وتحقيقها، بدلاً من الاقتصار على الأصالة وحدها13. كما يدعم ذلك قيمة فصل أبعاد نموذج التقييم بدلاً من دمج الأداء الإبداعي في حكم عالمي واحد14. ومع ذلك، لا يمكن للدراسة الحالية تحديد ما إذا كان نمط الصعوبة الملحوظ ناتجاً عن ممارسات التدريس، أو تصميم المهام، أو المرحلة النمائية للطلاب، أو صياغة المعايير، أو تفسير المقيمين. وينبغي أن تجمع الدراسات المستقبلية بين تقييمات المنتج وأدلة العملية مثل المسودات، وسجلات المراجعة، أو السجلات التأملية، أو مقابلات التأليف لفحص كيفية انتقال الطلاب من الأفكار الأولية إلى المنتجات الموسيقية المكتملة.
أظهرت نتائج المُقَيِّمين تباينًا ملحوظًا في قياسات المُقَيِّمين، بينما ظلت جميع قيم ملاءمة المُقَيِّمين ضمن النطاق المقبول المحدد. لا ينبغي تفسير هذا النمط ببساطة على أنه فشل في تدريب المُقَيِّمين؛ إذ إن الاختلافات في استخدام درجات التقييم متوقعة في التقييمات الفنية التي تتم بوساطة خبراء، وهي أحد الأسباب الرئيسية لاستخدام نموذج راش متعدد الأوجه15. وتُظهر النتائج الحالية أن المُقَيِّمين استخدموا المقياس بطريقة مقبولة بشكل عام، رغم اختلافهم في استخدامهم النسبي لفئات الدرجات. وبناءً على ذلك، ساعد النموذج في تعديل التباين المرتبط بالمُقَيِّمين في الدرجات قبل تفسير قياسات المعايير والطلاب. وبالنسبة للتطبيقات المستقبلية، يجب دمج تدريب المُقَيِّمين مع مراقبة لاحقة لتباين استخدام الدرجات، والملاءمة، واستخدام الفئات، والتفاعلات بين المُقَيِّم والمعيار، بدلاً من الاعتماد على التدريب وحده للقضاء على جميع الاختلافات بين المُقَيِّمين16.
أظهر جانب الطلاب تباينًا ملموسًا ولكن بفصل متوسط فقط. وكانت تقديرات موثوقية الطلاب 0.78، وقيمة الفصل 1.86. وبناءً على ذلك، يجب تفسير مقاييس الطلاب على أنها تدعم تصنيفًا عامًا للأداء بدلاً من ترتيب فردي دقيق. وتكتسب هذه النقطة أهمية لأن الاختلافات الطفيفة بين لوغيتات (logits) الطلاب الفرديين قد تكون أصغر من أخطاء القياس المعيارية المقابلة. كما تعزز حالة S3 غير المتطابقة ضرورة التفسير الحذر على المستوى الفردي. وبعد التحقق من السجلات الأصلية وإجراء تحليل الحساسية، ظل ترتيب المعايير الرئيسية، ونمط مقياس المقيم، وهيكل عتبة مقياس التقييم مستقرة. لذا تم الإبقاء على S3 في النموذج الأساسي، إلا أن الدراسة لا تستخلص استنتاجات جوهرية من هذه الحالة الفردية. ويتفق هذا التفسير مع استخدام تحليل ملاءمة راش (Rasch fit analysis) كأداة تشخيصية لتقييم استقرار القياس بدلاً من استخدامه كأساس لادعاءات فردية غير مدعومة17.
تنطوي هذه الدراسة على عدة محددات؛ أولاً، تم سحب العينة من مؤسسة واحدة ومرحلة أكاديمية واحدة، لذا لا ينبغي تعميم النتائج خارج مجموعات طلبة مرحلة البكالوريوس في علم الموسيقى المماثلة دون مزيد من التحقق. ثانياً، قيمت الدراسة المنتجات التأليفية النهائية ولم تشمل مواد العملية مثل المسودات، أو سجلات المراجعة، أو سجلات التأمل، أو بيانات التفكير بصوت عالٍ. ثالثاً، تم التعامل مع معايير التقييم الخمسة كتمظهرات مترابطة للسلوك الإبداعي التأليفي العام، وقد دعمت النتائج التشخيصية هذا التوصيف في مجموعة البيانات الحالية؛ ومع ذلك، يجب أن تبحث الأبحاث المستقبلية ما إذا كان هذا الهيكل نفسه ينطبق على عينات أكبر، ومؤسسات مختلفة، ومهام تأليفية متنوعة. رابعاً، تمت نمذجة خلفية المقيمين من خلال وجه المقيم فقط، ولم تختبر الدراسة بشكل مباشر كيف ساهمت الخلفية التخصصية، أو الخبرة التدريسية، أو التفضيل الجمالي، أو الخبرة في التأليف في التباين في قياسات المقيمين. وأخيراً، كانت الدراسة مستعرضة وغير تدخلية، لذا لا ينبغي استخدام نمط صعوبة المعايير لاستنتاج فعالية التدريس أو السببية التعليمية.
في الختام، تبرهن هذه الدراسة على وجود إجراء قابل للتكرار لتقييم السلوك الإبداعي لدى تخصصات الموسيقى من خلال أعمال تأليفية أصلية باستخدام نموذج تقييم هيكلي وقياس راش متعدد الأوجه. وتظهر النتائج أنه يمكن فحص صعوبة المعايير، والتباين في قياسات المقيمين، وتوزيع أداء الطلاب، وعمل مقياس التقييم ضمن إطار قياس واحد. وقد تبين أن إثبات الحداثة كان أسهل نسبياً، بينما كان تحقيق الجدوى والمرونة أكثر صعوبة في المؤلفات المكتملة. كما كان التباين في قياسات المقيمين كبيراً، مما يدعم الحاجة إلى نمذجة تأثيرات المقيمين في التقييم الموسيقي. ودعمت قياسات الطلاب التصنيف الطبقي الواسع بدلاً من الترتيب الفردي الدقيق. وبشكل عام، يوفر هذا الإطار أساساً شفافاً لتقييم السلوك الإبداعي القائم على التأليف، ولتحسين تصميم نماذج التقييم، ومراقبة المقيمين، ودراسات التحقق المستقبلية في التعليم الموسيقي العالي.
الإفصاحات
يصرح المؤلفون بعدم وجود أي تضارب في المصالح. استُخدمت أدوات تحرير اللغة المدعومة بالذكاء الاصطناعي فقط لتحسين القراءة والقواعد النحوية أثناء إعداد المخطوطة. ولم تُستخدم أي أدوات ذكاء اصطناعي في تحليل البيانات، أو نمذجة راش متعددة الأوجه، أو إنشاء الأشكال، أو تفسير النتائج، أو اتخاذ القرارات العلمية. وقد راجع المؤلفون وتحققوا من جميع محتويات المخطوطة ويتحملون المسؤولية الكاملة عن النسخة النهائية.
شكر وتقدير
يتوجه المؤلفون بالشكر إلى الطلاب والمقيمين والموظفين الإداريين المشاركين من كلية الموسيقى والرقص في معهد جيانغشي للتكنولوجيا على دعمهم خلال إدارة المهام وجمع الملفات وإخفاء الهوية وتنسيق عملية التصحيح. تم دعم هذا العمل من قبل مشروع تخطيط العلوم الثقافية والفنية بمقاطعة جيانغشي، "دراسة حول الحفظ والتطوير المتنوع لأغاني جبل هاكا في جينغغانغ" (مشروع رقم YG2020158).
المواد
| الاسم | الشركة | رقم فهرسي | التعليقات |
|---|---|---|---|
| Adobe Acrobat Reader | Adobe | 26.001.21346 | يُستخدم لفتح ومراجعة ملفات النوتات الموسيقية بصيغة PDF أثناء فحص تقديم الطلبات والتقييم الرسمي. |
| Audacity | Audacity | 3.7.7 | يُستخدم لفتح ومراجعة التسجيلات الصوتية بصيغة MP3 المرفقة مع المؤلفات المقدمة. |
| FACETS | Winsteps | 3.83.6 | يُستخدم لتحليل Rasch متعدد الأوجه. |
| HD 280 Pro headphones | Sennheiser | 506845 | سماعات مراقبة مغلقة من الخلف تُستخدم للاستماع الموحد أثناء مراجعة الملفات الصوتية المقدمة. |
| Microsoft 365 Apps for business, including Excel | Microsoft | O365BusinessRetail | تُستخدم لإدخال الدرجات، وتجميع مجموعات البيانات ذات التنسيق الطولي، والتدقيق في البيانات قبل تحليل Rasch. |
| Moodle LMS | Moodle | MOODLE_5013 | يُستخدم كنظام إدارة تعلم مؤسسي لتسليم التكليفات وجمع الملفات. |
| MuseScore Studio | MuseScore | 4.6.5 | يُستخدم لإعداد وتدوين وتصدير ملفات المؤلفات الأصلية بتنسيقات تعتمد على النوتة الموسيقية. |
| OptiPlex Tower Plus 7020 Desktop | Dell | QBS1250 | يُستخدم كمحطة عمل لإدارة الملفات، وإدارة التقييم، والتحليل الإحصائي. |
المراجع
- UNESCO. Road Map for Arts Education: Building Creative Capacities for the 21st Century. Paris: UNESCO; 2006.
- Teaching Guidance Committee for Higher Education Institutions, Ministry of Education of the People’s Republic of China. National Standards for Teaching Quality of Undergraduate Major Programs in Regular Higher Education Institutions, Volume II. Beijing: Higher Education Press; 2018.
- Bolden B, DeLuca C. Nurturing student creativity through assessment for learning in music classrooms. Res Stud Music Educ. 2022;44(1):273-289. doi:10.1177/1321103X211054793.
- Escorihuela G, Martínez-Bayona T, Marzal L. Competence-based assessment in higher music education: faculty perceptions in the Valencian Community. Front Educ. 2025;10:1697717. doi:10.3389/feduc.2025.1697717.
- Moura N, Dias P, Veríssimo L, Oliveira-Silva P, Serra S. Solo music performance assessment criteria: a systematic review. Front Psychol. 2024;15:1467434. doi:10.3389/fpsyg.2024.1467434.
- Said-Metwaly S, Van den Noortgate W, Kyndt E. Approaches to measuring creativity: a systematic literature review. Creat Theor Res Appl. 2017;4(2):238-275. doi:10.1515/ctra-2017-0013.
- Uto M. A multidimensional generalized many-facet Rasch model for rubric-based performance assessment. Behaviormetrika. 2021;48:425-457. doi:10.1007/s41237-021-00144-w.
- Tavakol M, Pinner G. Using the many-facet Rasch model to analyse and evaluate the quality of an objective structured clinical examination: a non-experimental cross-sectional design. BMJ Open. 2019;9(9):e029208. doi:10.1136/bmjopen-2019-029208.
- Hung SP, Chen PH, Chen HC. Improving creativity performance assessment: a rater effect examination with many-facet Rasch model. Creat Res J. 2012;24(4):345-357. doi:10.1080/10400419.2012.730331.
- Huang HY. Understanding rater cognition in performance assessment: a mixed IRTree approach. Appl Psychol Meas. 2025;49(7):331-349. doi:10.1177/01466216251333578.
- Ooi PS, Engelhard G Jr. Examining rater judgements in music performance assessment using many-facets Rasch rating scale measurement model. J Appl Meas. 2019;20(1):79-99.
- Eckes T. Introduction to Many-Facet Rasch Measurement: Analyzing and Evaluating Rater-Mediated Assessments. Berlin: Peter Lang; 2015.
- Engelhard G Jr, Wind SA. Invariant Measurement with Raters and Rating Scales: Rasch Models for Rater-Mediated Assessments. New York: Routledge; 2018.
- Hickey M. An application of Amabile’s consensual assessment technique for rating the creativity of children’s musical compositions. J Res Music Educ. 2001;49(3):234-244. doi:10.2307/3345709.
- Schiavio A, Moran N, van der Schyff D, Biasutti M, Parncutt R. Processes and experiences of creative cognition in seven Western classical composers. Music Sci. 2022;26(2):303-325. doi:10.1177/1029864920943931.
- Nijs L, Grinspun N, Fortuna S. Developing musical creativity through movement: navigating the musical affordance landscape. Creat Res J. 2025;37(3):427-451. doi:10.1080/10400419.2023.2299159.
- Zhan Z, He J, Zhong Y. How does problem-solving pedagogy affect creativity? A meta-analysis of empirical studies. Front Psychol. 2024;15:1287082. doi:10.3389/fpsyg.2024.1287082.