Beurteilung des kreativen Verhaltens von Musikstudierenden anhand von Kompositionsarbeiten unter Verwendung eines Many-Facet Rasch-Modells

Zusammenfassung

Diese Studie bewertet kreatives Verhalten bei Musikstudierenden, indem ein strukturiertes Bewertungsraster für Kompositionen und die Rasch-Messung mit vielen Facetten auf originale musikalische Werke angewendet werden.

Zusammenfassung

Die Beurteilung von Kreativität im Musikunterricht bleibt herausfordernd, da Urteile über originelle musikalische Werke von subjektiven Vorlieben, uneinheitlichen Interpretationen der Kriterien und Unterschieden in der Strenge der Bewertenden beeinflusst werden. In der Kompositionsausbildung können fertige Werke als beobachtbare Produkte betrachtet werden, die zeigen, wie Studierende musikalische Ideen generieren, entwickeln, transformieren, verfeinern und umsetzen. Diese Studie untersuchte, ob ein strukturierter Bewertungs-Raster für Kompositionen, kombiniert mit der Rasch-Messung mit mehreren Facetten, eine reproduzierbare Bewertung kreativen Verhaltens bei Studierenden der Musik im Grundstudium ermöglichen könnte. Originale Kompositionen von 80 Musikstudierenden wurden unabhängig voneinander von neun geschulten Bewertenden anhand eines fünfstufigen Rasters bewertet. Das Raster umfasste fünf miteinander verbundene Dimensionen kreativen kompositorischen Verhaltens: Originalität, Fluency, Flexibilität, Präzision und Durchführbarkeit. Die Bewertungsdaten wurden mit der Software FACETS, Version 3.83.6, analysiert, wobei Studierende, Kriterien und Bewertende als separate Facetten innerhalb einer gemeinsamen Logit-Messstruktur definiert wurden. Das Bewertungsdesign sah 3.600 erwartete Bewertungsmöglichkeiten vor; 3.598 gültige beobachtete Bewertungen wurden analysiert, zwei fehlten. Die Gesamtgüte der Modellanpassung stützte die Interpretation des Bewertungsdesigns, und die geordnete Kategoriestruktur zeigte, dass die fünfstufige Skala in der erwarteten Richtung funktionierte. Die Kriterienschätzungen ergaben, dass Originalität relativ leichter zu demonstrieren war, während Durchführbarkeit und Flexibilität in fertigen Kompositionen schwieriger zu erreichen waren. Unterschiede in der Nutzung der Bewertungsskala durch die Bewertenden wurden ebenfalls beobachtet, was die Notwendigkeit unterstreicht, Effekte der Bewertenden zu modellieren, anstatt sich nur auf rohe Punktzahlen zu verlassen. Die Trennschärfe zwischen den Studierenden war moderat, was darauf hindeutet, dass das Instrument besser für eine grobe Leistungsstratifizierung geeignet ist als für eine präzise individuelle Rangfolge. Diese Ergebnisse legen nahe, dass ein kompositionsbezogenes Bewertungsraster in Kombination mit der Rasch-Messung mit mehreren Facetten einen transparenten Rahmen für die Beurteilung kreativen Verhaltens in der musikalischen Hochschulausbildung bieten kann.

Einleitung

Kreativität ist zu einem zentralen Ziel der Kunstpädagogik geworden, da von Studierenden erwartet wird, dass sie nicht nur etablierte Techniken reproduzieren, sondern auch originelle, aussagekräftige und innerhalb eines fachlichen Kontexts kommunizierbare Werke hervorbringen¹. In der Musikpädagogik ist diese Erwartung besonders im Kompositionsunterricht von Bedeutung, wo Studierende musikalisches Wissen durch Entscheidungen bezüglich Thema, Melodie, Rhythmus, Form, Durchführung und Realisierung in vollendete Werke umsetzen müssen. Die Bewertung ist in diesem Kontext schwierig, da musikalische Kreativität nicht allein nach persönlichem Geschmack oder allgemeinem künstlerischem Eindruck beurteilt werden kann. Eine vollendete Komposition liefert sichtbare Belege kreativen Handelns, doch diese Belege müssen in explizite Kriterien übersetzt werden, damit die Bewertung transparent und reproduzierbar ist². Ohne klare Kriterien könnten die Bewertungen eher die Präferenzen der Prüfer, stilistische Vertrautheit oder einen allgemeinen Qualitäts­eindruck widerspiegeln statt der spezifischen Eigenschaften des eingereichten Werks.

Die vorliegende Studie definiert kompositorisches kreatives Verhalten als die beobachtbare Äußerung kreativer musikalischer Arbeit in einer vollendeten Komposition. Der Bewertungsbogen verwendet fünf Dimensionen: Originalität, Fluoreszenz, Flexibilität, Präzision und Durchführbarkeit. Diese Dimensionen werden nicht als identische Teilmerkmale oder als getrennte theoretische Konstrukte behandelt. Stattdessen dienen sie als kriterienbasierte Erscheinungsformen eines umfassenden, produktbezogenen Leistungskonstrukts: dem Ausmaß, in dem ein Schüler musikalische Ideen generieren, entwickeln, transformieren, verfeinern und in einem vollendeten Werk verwirklichen kann. Originalität steht für die Besonderheit der musikalischen Idee oder deren Behandlung; Fluoreszenz für die Kontinuität und Produktivität der Ideenentwicklung; Flexibilität für unterschiedliche Herangehensweisen, Transformationen oder adaptive Veränderungen im musikalischen Umgang; Präzision für die Verfeinerung, innere Organisation und Konkretheit musikalischer Details; und Durchführbarkeit für die künstlerische und praktische Umsetzbarkeit der vollendeten Komposition³. Diese Struktur verbindet Ideenfindung, Ideenentwicklung, adaptive Transformation, technische Verfeinerung und realisierte Umsetzbarkeit zu einem einzigen vollendeten musikalischen Produkt.

Dieses Konstruktargument verringert zudem Kriterienüberlappung und Konstruktverunreinigung. Präzision war auf Verfeinerung, innere Organisation und konkrete musikalische Details beschränkt, während Machbarkeit als künstlerische und praktische Durchführbarkeit des Werkes als realisierte Komposition definiert wurde. Ebenso war Flüssigkeit auf anhaltende und produktive Entwicklung begrenzt, während Flexibilität als Variation, Transformation und adaptive musikalische Gestaltung definiert war. Ein Werk kann eine originelle Idee enthalten, aber nur begrenzte Entwicklung aufweisen, oder es kann kohärent und technisch stabil sein, während es wenig Transformation zeigt. Eine kriteriumsbasierte Bewertungsrubrik ist daher notwendig, da eine Gesamtpunktzahl ungleichmäßige kreative Profile innerhalb derselben Komposition verschleiern kann⁴.

Die beurteilergestützte musikalische Bewertung erfordert Aufmerksamkeit sowohl für das Verhalten der Bewertenden als auch für die Leistung der Studierenden. Selbst wenn Beurteiler denselben Bewertungsbogen verwenden, können sie sich hinsichtlich Strenge, Kategorienverwendung und Interpretation der Kriterien unterscheiden. Diese Unterschiede sind nicht bloß verfahrenstechnische Probleme; sie sind Teil der Messsituation und können die Bedeutung der beobachteten Bewertungen beeinflussen⁵. Die Mehrfachfacetten-Rasch-Messung eignet sich für diesen Kontext, da sie Studierende, Beurteiler, Kriterien und Bewertungsskalen-Kategorien innerhalb eines gemeinsamen Logit-Rahmens schätzt. Die Maße für Studierende repräsentieren die geschätzte kreative Leistung nach Anpassung an die Schwierigkeit der Kriterien und die Strenge der Beurteiler, die Maße für Kriterien zeigen an, wie schwierig jede Dimension zu demonstrieren ist, die Maße für Beurteiler geben die relative Position der vergebenen Punktzahlen an, und die Kategoriestatistiken zeigen, ob die Bewertungsskala in der beabsichtigten Reihenfolge funktioniert⁶. Dieser Ansatz ist aussagekräftiger als die alleinige Verwendung von Rohsummen oder Mittelwerten, da er mehrere Quellen der Bewertungsvarianz voneinander trennt, die andernfalls in der beobachteten Bewertung zusammengefasst wären.

Die Anwendung eines eindimensionalen Mehrfach-Facetten-Rasch-Modells erfordert ein klares Konstruktargument. In dieser Studie wird die eindimensionale Spezifikation auf der Ebene des gesamten kompositorischen kreativen Verhaltens begründet, nicht dadurch, dass angenommen wird, die fünf Rubrikdimensionen seien identisch. Die fünf Kriterien sollen unterschiedliche beobachtbare Aspekte eines breiten Leistungskonstrukts darstellen, wie sie in fertigen musikalischen Werken zum Ausdruck kommen. Diese Annahme wurde als empirische Messannahme behandelt und anhand von Kriteriumsanpassung, Funktionieren der Bewertungsskala, Residualzusammenhängen zwischen den Kriterien sowie Diagnosen zu Wechselwirkungen zwischen Bewertenden und Kriterien und zwischen Studierenden und Kriterien überprüft⁷. Obwohl Mehrfach-Facetten-Rasch-Methoden bereits in leistungsbezogenen Bewertungen eingesetzt wurden, bleibt ihre systematische Anwendung bei der Bewertung kompletter Kompositionen im Rahmen der Hochschulmusikbildung begrenzt⁸. Bestehende Forschung zur musikalischen Bewertung hat die Schwierigkeit hervorgehoben, offene künstlerische Produkte zu beurteilen, sowie die Notwendigkeit expliziter Bewertungskriterien⁹, während die messtheoretische Forschung gezeigt hat, dass die rubrikbasierte Leistungsbewertung davon profitieren kann, Effekte der Bewertenden und der Kriterien direkt zu modellieren¹⁰. Vor diesem Hintergrund wendet die vorliegende Studie einen Mehrfach-Facetten-Rasch-Ansatz auf originale Kompositionen an, die von Studierenden der Musik im Bachelorstudium erstellt wurden. Die Studie befasst sich mit drei Fragen: Ob das vorgeschlagene Bewertungsrahmenwerk für Kompositionen als Messdesign ausreichend funktioniert; inwieweit die Schwierigkeit der Kriterien und die Variation in der Punktevergabe durch die Bewertenden zur beobachteten Punktevariation beitragen; und wie die Maße für die kreative Leistung der Studierenden verteilt sind, nachdem Kriterien- und Bewertenden-Effekte modelliert wurden.

Protokoll

Diese Studie wurde von der Institutional Review Board der School of Music and Dance, Jiangxi Institute of Technology, Nanchang 330098, Jiangxi, China, unter der Genehmigungsnummer YG2020158 genehmigt. Von allen Teilnehmenden wurde vor der Durchführung der Aufgabe und der Datenerhebung schriftlich informierte Einwilligung eingeholt. Den Teilnehmenden wurde mitgeteilt, dass ihre eingereichten Kompositionen nur für forschungsbasierte Bewertungen nach einer Entfernung der Identifikatoren verwendet würden. Schülername, Klassenkennungen, Dateimetadaten mit Autorenschaftsinformationen und andere direkte Identifikatoren wurden vor der Bewertung entfernt. Diese Identifikatoren wurden nicht an die Bewertenden weitergegeben. Alle eingereichten Arbeiten wurden vor der Bewertung und Analyse anonymisiert, und alle Analyse-Dateien wurden ausschließlich mit codierten Identifikatoren verarbeitet.

Studienumfeld, Rekrutierung der Teilnehmer und Aufgabenverteilung

Die Studie wurde von September 2025 bis Januar 2026 an der Hochschule für Musik und Tanz, Jiangxi-Institut für Technologie, Nanchang, Jiangxi, China, durchgeführt. Die Teilnehmer wurden aus dem dritten Studienjahr der Musikwissenschaft rekrutiert, da die Studierenden zu diesem Zeitpunkt bereits den Kernlehrplan in Musiktheorie, Aufführungspraxis, elektronischer Musikkomposition und kompositionsbezogenen Kursen vor dem Studiensemester abgeschlossen hatten.

Die Quellkohorte umfasste 96 Studierende des dritten Jahres im Fach Musikwissenschaft. Alle 96 Studierenden wurden angesprochen. Vier Studierende gaben keine schriftliche Einwilligung ab und nahmen daher nicht an der Screening-Phase teil. Die verbleibenden 92 Studierenden gaben schriftlich informierte Einwilligung und wurden gescreent. Zwölf Studierende wurden vor der endgültigen Analyse ausgeschlossen. Die Ausschlussgründe waren unvollständige Kompositionseinreichungen bei fünf Studierenden, fehlende ein oder mehrere erforderliche strukturelle Elemente bei drei Studierenden, verspätete Einreichungen bei zwei Studierenden, nicht les- oder beschädigte Dateien bei einem Studierenden sowie Rückzüge vor der Bewertung bei einem Studierenden. Die endgültige analytische Stichprobe umfasste 80 Studierende, darunter 32 männliche und 48 weibliche Personen.

Die endgültige analytische Stichprobe umfasste das vollständige, berechtigte Korpus an anonymisierten und bewertbaren Kompositionen, die von der rekrutierten Kohorte nach Anwendung der Einwilligungs-, Screening- und Ausschlusskriterien verfügbar waren. Diese Stichprobengröße wurde nicht damit begründet, die 3.600 Bewertungsmöglichkeiten als voneinander unabhängige, auf Schüler-Ebene liegende Beobachtungen zu behandeln. Stattdessen wurde ein Mehrfachfacetten-Rasch-Modell verwendet, das wiederholte Bewertungen der 80 Kompositionen nutzte, um Leistungsmessungen der kreativen Schülerleistungen zu schätzen, und gleichzeitig die Schwierigkeit der Bewertungskriterien, die Variation im Punktegebrauch der Bewertenden sowie die Funktionsweise der Bewertungsskala modellierte. Die Einbindung von neun Bewertenden diente dazu, die Schätzung von bewerterbezogenen Unterschieden im Punktegebrauch zu unterstützen und die Abhängigkeit von der Interpretation einzelner Bewertender bezüglich der qualitativen Kompositionsqualität zu verringern. Teilnahmeberechtigt waren Studierende, wenn sie im dritten Jahr des Musikwissenschaftsprogramms vollzeitlich eingeschrieben waren, die erforderlichen Pflichtkurse vor dem Studiensemester abgeschlossen hatten, schriftlich informierte Einwilligung erteilt und innerhalb des festgelegten Einreichungszeitraums eine vollständige, originäre Komposition eingereicht hatten. Studierende wurden ausgeschlossen, wenn sie keine vollständige Arbeit eingereicht hatten, die Einreichung nicht den vorab festgelegten Aufgabenanforderungen entsprach, die Datei nicht geöffnet oder bewertet werden konnte, die Einreichung nach Fristende einging oder die Einwilligung vor der Bewertung zurückgezogen wurde.

Jeder Teilnehmer absolvierte eine individuelle Originalkompositionsaufgabe gemäß denselben schriftlichen Anweisungen. Die Studierenden durften Thema und Stil selbst wählen, aber jede Einreichung musste Text, Melodie, Rhythmus und formale Struktur enthalten. Gruppenarbeiten, erneut eingereichte Kursarbeiten, angepasstes veröffentlichtes Material, lediglich Entwürfe enthaltende Dateien sowie verspätete Überarbeitungen wurden von der formalen Bewertung ausgeschlossen. Von jedem Teilnehmer wurde nur eine endgültige Version akzeptiert. Die detaillierten Aufgabenanforderungen und Einreichungsbestimmungen sind in Zusätzliche Tabelle 1 dargestellt. Der vollständige Ablauf von Rekrutierung und Analyse ist in  Abbildung 1 dargestellt.

Sammlung, Screening und Anonymisierung von Kompositionsarbeiten

Alle Kompositionen wurden bis 23:59 Uhr am letzten Tag der festgelegten Abgabewoche über das institutionelle Lernmanagementsystem eingereicht. Jede Einreichung enthielt eine PDF-Partitur-Datei sowie eine dazugehörige MP3-Audiodatei. Nach Ablauf der Frist lud das Forschungsteam alle eingereichten Dateien über denselben Abgabeweg herunter und prüfte jede Arbeit hinsichtlich der vorab definierten Aufgabenanforderungen, bevor sie zur Bewertung freigegeben wurde. Es wurden nur Kompositionen berücksichtigt, die Texte, Melodie, Rhythmus und eine formale Struktur enthielten und ein vollständiges Endprodukt darstellten. Dateien, die lediglich Entwürfe enthielten, unvollständige Arbeiten waren, wesentliche strukturelle Elemente fehlten, verspätet eingereicht wurden oder nicht lesbar beziehungsweise beschädigt waren, wurden vor der Bewertung ausgeschlossen.

Jeder berechtigte Text erhielt einen anonymisierten Studentencode von S1 bis S80. Die Namen der Studierenden, Klassenkennungen, Datei-Metadaten mit Autorenschaftsangaben sowie alle anderen direkten Identifikatoren wurden entfernt, bevor die Dateien zur Bewertung freigegeben wurden. Die Verknüpfungsdatei, die die Identität der Teilnehmenden mit dem anonymisierten Studiencode verband, wurde separat durch den leitenden Forscher in einer passwortgeschützten Datei gespeichert. Diese Verknüpfungsdatei war während der Modellschätzung weder den Bewertenden noch dem Analysten zugänglich. Der endgültige Bewertungskorpus bestand aus 80 anonymisierten und bewertbaren Texten, jeweils repräsentiert durch eine PDF-Bewertungsdatei und eine MP3-Tonaufnahme.

Bewertungsraster

Die Bewertungsskala bewertete fünf Dimensionen kreativen Verhaltens in kompositorischen Arbeiten: Neuheit, Flüssigkeit, Flexibilität, Genauigkeit und Durchführbarkeit. Die Skala wurde vom Forschungsteam in Abstimmung mit drei Dozenten entwickelt, die Erfahrung in Kompositionsunterricht, Musiktheorie und Bewertung musikpädagogischer Leistungen besitzen. Eine erste Version wurde anhand von fünf nicht zum Studienumfang gehörenden Probekompositionen aus dem vorherigen akademischen Jahr überprüft. Nach der Pilotüberprüfung wurden die Formulierungen der Kriterien und die fünf Bewertungsstufen überarbeitet, um Überschneidungen zwischen Durchführbarkeit und Genauigkeit zu verringern sowie Flüssigkeit von Flexibilität abzugrenzen. Die endgültige Version der Bewertungsskala wurde am 20. September 2025 festgelegt, vor Beginn der Rater-Schulung und der offiziellen Bewertung. Nach Beginn der formalen Bewertung wurde keine Formulierung eines Kriteriums oder einer Bewertungsstufe mehr geändert.

In der endgültigen Bewertungsskala bezog sich Originalität auf die Besonderheit und Eigenständigkeit der musikalischen Idee oder deren Behandlung. Flüssigkeit bezog sich auf die Kontinuität und Produktivität der Ideenentwicklung innerhalb des Werkes. Flexibilität bezog sich auf vielfältige Ansätze, Transformationen oder adaptive Veränderungen im musikalischen Umgang. Präzision bezog sich auf die Feinabstimmung, innere Organisation und Konkretheit der musikalischen Details. Machbarkeit bezog sich auf die künstlerische und praktische Durchführbarkeit des vollendeten Werkes als realisierte Komposition. Alle fünf Dimensionen wurden anhand derselben Fünf-Punkte-Bewertungsskala bewertet. Eine Punktzahl von 1 bedeutete eine sehr schwache Ausprägung der betreffenden Dimension, während eine Punktzahl von 5 eine sehr starke Ausprägung anzeigte. Halbpunkte waren nicht zulässig. Alle Bewertenden verwendeten dieselbe Reihenfolge der Kriterien, dieselben Bewertungsanker und ein standardisiertes Bewertungsblatt. Die operationalen Definitionen und Bewertungsanker für alle fünf Dimensionen sind in Tabelle 1 dargestellt.

Rekrutierung, Verblindung und Schulung der Beurteiler

Neun Bewertende mit Vorerfahrung in musik- oder kunstbezogenen Bewertungen wurden vom Jiangxi Institute of Technology rekrutiert. Das Bewertungsgremium bestand aus fünf Fakultätsmitgliedern aus musikbezogenen Kursen, zwei Fakultätsmitgliedern aus der Musikpädagogik und zwei erfahrenen postgradualen Dozenten mit Erfahrung in der künstlerischen Beurteilung. Jede Bewertungsperson verfügte über mindestens drei Jahre Unterrichts-, Bewertungs-, Jurierungserfahrung oder Erfahrung in der künstlerischen Beurteilung. Jeder Bewertenden wurde ein anonymisierter Code von J1 bis J9 zugewiesen. Alle Bewertenden bewerteten denselben anonymisierten Korpus aus 80 Kompositionen. Während der gesamten formalen Bewertungsphase waren die Bewertenden hinsichtlich der Identität der Studierenden, demografischer Informationen, Zugehörigkeit zu Kursen und den Bewertungen aller anderen Bewertenden geblendet.

Vor der offiziellen Bewertung absolvierten alle Bewerter eine standardisierte Schulungs- und Kalibrierungssitzung von etwa 120 Minuten Dauer. Während dieser Sitzung verteilte das Forschungsteam den schriftlichen Bewertungsleitfaden, die Bewertungsanker, das standardisierte Bewertungsformular sowie die Bewertungsanweisungen. Die fünf Kriterien und die fünf Antwortkategorien wurden in derselben festgelegten Reihenfolge erläutert, die auch bei der offiziellen Bewertung verwendet wurde. Anschließend dienten drei anonymisierte Kalibrierungstexte zur Übung der Bewertung. Diese drei Kalibrierungstexte waren unabhängig von den 80 Texten der eigentlichen Studie und wurden nicht in den analytischen Datensatz einbezogen. Jeder Bewerter bewertete die drei Kalibrierungstexte zunächst unabhängig voneinander, bevor eine Diskussion stattfand. Abweichungen wurden kriteriumsweise überprüft, um die Bedeutung jeder Dimension, den Unterschied zwischen benachbarten Bewertungskategorien sowie die korrekte Anwendung der gesamten Fünf-Punkte-Skala zu klären. Ziel der Kalibrierungssitzung war es, die Interpretation des Bewertungsleitfadens zu standardisieren, nicht jedoch, identische Bewertungen vorzuschreiben. Der Schulungsablauf und das Kalibrierungsverfahren sind in Supplementary Table 2 dargestellt.

Formales Bewertungsverfahren

Während der offiziellen Bewertung bewertete jeder Prüfer unabhängig voneinander jede anonymisierte Komposition hinsichtlich aller fünf Kriterien. Die Prüfer sahen sowohl die PDF-Bewertungsdatei als auch die zugehörige MP3-Audiodatei für jedes Werk ein. Die PDF-Dateien wurden in einer PDF-Reader-Software geöffnet, und die Audiodateien wurden mit Audacity unter Verwendung von Sennheiser HD 280 Pro-Kopfhörern auf demselben Workstation-Typ wie bei der Bewertungsdurchführung überprüft. Die Prüfer erhielten die Anweisung, zunächst die Notendatei zu prüfen, die vollständige Audiodarstellung einmal abzuspielen und anschließend die bewertungsrelevanten Kriterien nach einer zweiten gezielten Überprüfung gegebenenfalls zu bewerten. Wiederholtes Anhören war für jede Komposition bis zu zwei zusätzliche Male erlaubt, wenn der Prüfer Details bezüglich Rhythmus, Melodie, Struktur oder Realisierung überprüfen musste. Während der offiziellen Bewertung durften die Prüfer keine Einzelheiten zu einzelnen Einreichungen besprechen, und kein Prüfer hatte Zugriff auf die Bewertungen anderer Prüfer.

Die 80 anonymisierten Texte wurden jedem Bewertenden in einer vor der Bewertung zufällig generierten Reihenfolge präsentiert. Jeder Bewertende verwendete denselben anonymisierten Satz an Dateien, das gleiche Bewertungsraster, den gleichen Bewertungsbogen und dieselben Bewertungsanweisungen. Die formale Bewertung erfolgte individuell in ein bis drei Sitzungen pro Bewertenden, wobei keine einzelne Bewertungssitzung länger als 3 h dauerte. Falls die Bewertung über mehrere Sitzungen hinweg erfolgte, wurden stets dieselbe Bewertungsumgebung, derselbe Dateisatz und derselbe Antwortbogen verwendet. Jeder Text sah 45 erwartete Bewertungsgelegenheiten vor, was neun Bewertenden multipliziert mit fünf Kriterien entspricht. Bei Einbeziehung von 80 Texten in das endgültige Korpus ergab das Bewertungsdesign insgesamt 3.600 erwartete Bewertungsgelegenheiten, bevor auf fehlende Bewertungen geprüft wurde.

Dateneingabe, Kodierstruktur und Qualitätskontrolle

Nach der formalen Bewertung wurden alle beobachteten Bewertungen in einen analytischen Datensatz im Langformat mithilfe von Microsoft Excel eingegeben. Das Mehrfazetten-Rasch-Modell umfasste drei Fazetten: Studierende, Bewertende und Kriterien. Die Studierenden wurden als S1 bis S80, die Bewertenden als J1 bis J9 und die Kriterien als C1 bis C5 codiert. Die Kriterien wurden wie folgt festgelegt: C1 für Originalität, C2 für Flüssigkeit, C3 für Flexibilität, C4 für Präzision und C5 für Durchführbarkeit. Jeder gültige Bewertungseintrag repräsentierte eine beobachtete Bewertung nach Student, Bewertendem und Kriterium und enthielt die Angaben student_id, rater_id, criterion_id, criterion_name sowie score. Gültige Bewertungskategorien wurden ausschließlich als ganze Zahlen von 1 bis 5 erfasst.

Vor der Modellanpassung wurde der Datensatz auf doppelte Einträge, fehlende Kennungen, fehlende Bewertungen, ungültige Schülercodes, ungültige Bewertercodes, ungültige Kriteriumscodes, Diskrepanzen zwischen criterion_id und criterion_name sowie auf Bewertungen außerhalb des zulässigen Bereichs geprüft. Das vollständige Design ergab 3.600 erwartete Bewertungsmöglichkeiten. Die endgültige Analysedatei enthielt 3.598 gültige beobachtete Bewertungen und zwei fehlende Bewertungsmöglichkeiten. Die beiden fehlenden Bewertungen wurden als fehlend dokumentiert, nicht imputiert und keiner gültigen Bewertungskategorie zugeordnet. Doppelte Einträge und Kodierungsinkonsistenzen wurden vor der Modellschätzung anhand der ursprünglichen Bewertungsbögen überprüft. Die erforderliche Variablenstruktur und das erforderliche Kodierformat sind in Supplementary Table 3 dargestellt.

Spezifikation des Mehrfacetten-Rasch-Modells

Die bereinigten Bewertungsdaten wurden mithilfe von FACETS, Version 3.83.6, analysiert. Das Modell schätzte gleichzeitig die kreative Leistung der Studierenden, die Schwierigkeit der Kriterien, die Bewertungsstandorte der Gutachterinnen und Gutachter sowie die Schwellenwerte der Bewertungsskalenkategorien auf einer gemeinsamen Logit-Skala. Die Studierenden wurden als die zu messende Zielgruppe, die Kriterien als Schwierigkeitsfazette und die Gutachterinnen und Gutachter als Bewertungsfazette festgelegt. Die FACETS-Steuerdatei enthielt drei Fazetten mit den Bezeichnungen S1–S80 für Studierende, C1–C5 für Kriterien und J1–J9 für Gutachterinnen und Gutachter. Ein einheitliches Bewertungsmodell mit fünf Kategorien wurde für alle fünf Kriterien verwendet, da alle Kriterien dieselbe geordnete Antwortstruktur von 1 bis 5 aufwiesen. Die Parameterschätzung erfolgte mittels gemeinsamer Maximum-Likelihood-Schätzung. Es wurden keine externen Ankerwerte verwendet. Die Fazetten der Studierenden und der Kriterien wurden zur Darstellung auf der gemeinsamen Logit-Skala zentriert, während die Fazette der Gutachterinnen und Gutachter frei geschätzt wurde, um die Unterschiede in der Punktevergabe zwischen den Bewertenden abzubilden. Die Struktur der FACETS-Steuerdatei, die Kodierung der Fazetten, die Einstellungen der Bewertungsskala, das Schätzverfahren, die Zentrierungsregel, die Konvergenzregel, die Anforderungen an die Ausgabe sowie die diagnostischen Schwellenwerte sind in Zusätzliche Tabelle 4 zusammengefasst.

Das Modell wurde wie folgt festgelegt:

Wo P_nijk bezeichnet die Wahrscheinlichkeit, dass der Studierende n die Kategorie erhält k vom Beurteiler j nach Kriterium i anstatt Kategorie k − 1, B_n bezeichnet das geschätzte Maß für die kreative Leistung von Student n, D_i bezeichnet die Schwierigkeit des Kriteriums i, R_j bezeichnet die Bewertungsortangabe des Bewerters jund F_k bezeichnet die Schwelle zwischen benachbarten Bewertungskategorien. Die Bewertungskategorien waren von 1 bis 5 geordnet. In dieser Parametrisierung entsprechen höhere Rater-Lokationen einer stärkeren Nutzung der Bewertungskategorien in der FACETS-Ausgabe. Das anfängliche Modell wurde an die verfügbaren gültigen Bewertungen angepasst, ohne Kategorien zusammenzufassen. Fehlende Bewertungen wurden als fehlend behandelt, nicht imputiert oder in Bewertungskategorien umkodiert.

Die FACETS-Analyse wurde mit maximal 100 Iterationen und einem Konvergenzkriterium von weniger als 0,01 Logits für die maximale Änderung der Parameter zwischen aufeinanderfolgenden Iterationen durchgeführt. Zu den Ausgabespezifikationen gehörten Zusammenfassungsstatistiken der Facetten, individuelle Facettenmaße, Modell-Standardfehler, Infit- und Outfit-Mittelwert-Quadratstatistiken, beobachtete Mittelwerte, faire Mittelwerte, Trennschärfe- und Reliabilitätsindizes, Chi-Quadrat-Tests, Kategoriestatistiken, Rasch-Andrich-Schwellenwerte, Schwellenwert-Standardfehler, Kategorie-Wahrscheinlichkeitsausgaben, standardisierte Residuen, Rater-nach-Kriterium-Bias-Ausgaben und Student-nach-Kriterium-Bias-Ausgaben. Die FACETS-Steuerdatei, der anonymisierte Rating-Datensatz im Langformat, die primäre Modellausgabe sowie die Ausgabe der Sensitivitätsanalyse wurden als reproduzierbare Analyseunterlagen gespeichert.

Auswertung und diagnostische Regeln

Zur Beurteilung der Modellanpassung für Studierende, Kriterien und Bewertende wurden die Infit-Mittelquadrat- und Outfit-Mittelquadrat-Statistiken verwendet. Werte zwischen 0,60 und 1,30 galten als primärer akzeptabler Bereich für die routinemäßige Interpretation. Werte über 1,50 wurden zur Überprüfung markiert, und Werte über 2,00 wurden als erhebliche Fehlanpassung betrachtet. Bei jedem Studierenden mit Infit- oder Outfit-Mittelquadrat-Werten über 2,00 wurden die ursprünglichen Bewertungsdaten mit dem bereinigten Datensatz abgeglichen, und das Modell wurde erneut geschätzt, nachdem dieser Studierende im Rahmen einer Sensitivitätsanalyse ausgeschlossen worden war. Fälle wurden nicht allein aufgrund von Fehlanpassung aus dem primären Modell entfernt; stattdessen diente die Sensitivitätsanalyse dazu zu prüfen, ob die zentralen Schlussfolgerungen bezüglich Kriterium, Bewertende und Bewertungsskala stabil blieben. Diese Regeln zur Anpassungsüberprüfung und Sensitivitätsanalyse sind in Supplementary Table 4 aufgeführt.

Für jede Facette wurde die Trennschärfe und Reliabilität untersucht, um festzustellen, ob eine aussagekräftige interne Differenzierung vorliegt und ob die resultierenden Messungen ausreichend stabil für die Interpretation sind. Trennungsindizes von mehr als 2,00 wurden so interpretiert, dass sie eine beträchtliche Differenzierung innerhalb einer Facette unterstützen. Eine Trennschärfe bei Studierenden unter 2,00 wurde so interpretiert, dass sie eine breite Schichtung statt einer präzisen individuellen Rangfolge unterstützt. Reliabilitätswerte, die näher bei 1,00 lagen, wurden als Hinweis auf eine stärkere Stabilität der Messung gewertet. Die Funktionsweise der Bewertungsskala wurde anhand von Kategoriestatistiken, beobachteten Mittelwerten, Outfit-Mittelwert-Quadrat-Werten, Rasch-Andrich-Schwellenwerten, Schwellenstandardfehlern und Kategorieschwierigkeits-Kurven überprüft. Die Leistung der Kategorien galt als akzeptabel, wenn die beobachteten Mittelwerte monoton über die Bewertungskategorien anstiegen, benachbarte Schwellenwerte in aufeinanderfolgender Reihenfolge anstiegen und die fünf Kategorien interpretierbare Wahrscheinlichkeitsbereiche entlang des latenten Kontinuums bildeten.

Die Verzerrung und Interaktion der Ergebnisse wurde für die Kombinationen Prüfer:innen nach Kriterium und Studierende nach Kriterium überprüft. Jede Interaktion mit einem absoluten standardisierten Verzerrungs-t-Wert von 2,00 oder mehr wurde zur Überprüfung markiert. Diese diagnostischen Prüfungen dienten dazu, mögliche Inkonsistenzen bei der Interpretation der Kriterien oder unerwartete Antwortmuster zu identifizieren, nicht jedoch um Bewertungen automatisch zu entfernen. Lokale Abhängigkeit und Konstruktüberlappung wurden untersucht, indem die Kriterienanpassung und die Residualassoziationen zwischen allen 10 möglichen Kriterienpaaren überprüft wurden. Jede Residualassoziation von 0,30 oder mehr zwischen zwei Kriterien wurde als mögliche lokale Abhängigkeit markiert und anhand der Rubrikdefinitionen überprüft. Diese diagnostischen Kriterien sind ebenfalls in Zusätzliche Tabelle 4 angegeben. Die eindimensionale Rasch-Spezifikation wurde daher als Messannahme bewertet und nicht automatisch vorausgesetzt. Bei der Interpretation der Leistungen der Studierenden wurden individuelle Logit-Unterschiede nur dann als bedeutsam angesehen, wenn sie die entsprechende Messunsicherheit überstiegen. Die Facette „Studierende“ wurde vor allem als Gesamtverteilung der kreativen Kompositionsleistung interpretiert, nicht als exakte Rangfolge einzelner Studierender.

Ergebnisse

Zusammenfassung der Gesamtfazetten

Die Mehrfacetten-Rasch-Analyse basierte auf einem vollständigen Bewertungsdesign, das 80 anonymisierte Texte, neun Bewerter und fünf Bewertungskriterien umfasste. Dieses Design ergab 3.600 erwartete Bewertungsmöglichkeiten. Davon wurden 3.598 gültige beobachtete Bewertungen analysiert, während zwei Bewertungsmöglichkeiten als fehlend dokumentiert waren. Die fehlenden Bewertungen wurden weder imputiert noch in eine gültige Punktekategorie umkodiert. Die Gesamtfacet-Statistiken sind in Tabelle 2 dargestellt. Bei den drei modellierten Facetten lagen die mittleren Infit- und Outfit-Mittelwert-Quadrat-Werte nahe bei 1,00, was eine akzeptable Gesamtgüte der Modell-Daten-Passung unterstützt. Die Zuverlässigkeitswerte betrugen 0,87 für die Kriterien, 1,00 für die Bewerter und 0,78 für die Studierenden. Die Trennungswerte lagen bei 2,56 für die Kriterien, 16,36 für die Bewerter und 1,86 für die Studierenden. Chi-Quadrat-Tests waren für alle drei Facetten signifikant. Die Facette „Kriterium“ und die Facette „Studierende“ wurden zur Berichterstattung auf 0,00 Logits zentriert, während die Facette „Bewerter“ einen mittleren Messwert von 0,62 Logits aufwies. Die Messwerte der Studierenden reichten von -0,80 bis 1,12 Logits, was einer geschätzten Spannweite von 1,92 Logits entspricht.

Variation zwischen Bewertern und Messungen

Die Schätzungen der Bewerter sind in Tabelle 2 dargestellt. Die Infit-Mittelwerte lagen zwischen 0,73 und 1,26, und die Outfit-Mittelwerte variierten von 0,74 bis 1,27. Alle neun Bewerter lagen innerhalb des akzeptablen Anpassungsbereichs von 0,60 bis 1,30. Die Befunddimension „Bewerter“ wies die größte Streuung unter den modellierten Dimensionen auf, was auf eine klare Variation im Punkteverbrauch der Bewerter hinweist, obwohl alle Bewerter dieselbe Bewertungsmatrix, dasselbe Bewertungsblatt und dasselbe Bewertungsverfahren verwendeten. J9 wies die höchste Befundposition mit 3,37 Logits auf, während J8 die niedrigste Befundposition mit -0,34 Logits hatte. Diese Richtung war konsistent mit den beobachteten und fairen Durchschnittswerten: J9 hatte die höchsten beobachteten und fairen Durchschnittswerte (4,74 bzw. 4,75), während J8 die niedrigsten beobachteten und fairen Durchschnittswerte mit jeweils 2,77 aufwies. Die Befunddimension „Bewerter“ wurde daher als Variation in der Position des Punkteverbrauchs auf der gemeinsamen Logit-Skala interpretiert und nicht als einfache Schwere-Rangfolge. J1 und J5 wiesen identische Schätzungen von 0,86 Logits auf, J3 und J6 hatten identische Schätzungen von -0,13 Logits, und J2 sowie J4 lagen nahe dem Zentrum der Befundskala bei 0,03 bzw. -0,15 Logits. Die gesamte Streuung der Befundmaße betrug 3,71 Logits. Der Trennungswert der Bewerter betrug 16,36, mit einem Chi-Quadrat-Wert von 1487,8 (df = 8), p < 0,001. Kein Bewerter überschritt die Grenze für die Anpassungsüberprüfung, und kein Bewerter wurde aus dem primären Modell ausgeschlossen.

Schwierigkeit des Kriteriums und Passung des Kriteriums

Die Schwierigkeitsschätzungen der Kriterien sind in Tabelle 2 dargestellt. Die Machbarkeit wies mit 0,20 Logits die höchste Schwierigkeitsschätzung auf, was darauf hinweist, dass es das schwierigste Kriterium für die Schüler war, in den abgeschlossenen Texten nachzuweisen. Flexibilität und Genauigkeit lagen im mittleren Bereich mit Schätzungen von 0,07 bzw. 0,02 Logits. Flüssigkeit hatte eine Schwierigkeitsschätzung von -0,13 Logits, und Neuheit wies die niedrigste Schwierigkeitsschätzung mit -0,16 Logits auf, was bedeutet, dass Neuheit in diesem Korpus am leichtesten nachzuweisen war. Die gesamte Spannweite der Kriterienschwierigkeit betrug 0,36 Logits. Alle fünf Kriterien zeigten akzeptable Anpassungswerte. Die Infit-Mittelquadratwerte lagen zwischen 0,89 und 1,11, und die Outfit-Mittelquadratwerte variierten zwischen 0,90 und 1,12. Der Trennwert der Kriterien betrug 2,56, und der Chi-Quadrat-Wert war 37,8, df = 4, p < 0,001. Kein Kriterium überschritt die Schwelle zur Überprüfung der Anpassungsgüte, und kein Kriterium wurde aus dem Modell entfernt.

Verteilung der kreativen Leistungen der Studierenden und Überprüfung der Anpassungsgüte

Die Studierendenmaße sind in Tabelle 2 als Gesamtverteilung und nicht als individuelle Rangfolgen zusammengefasst. Die Facette „Studierende“ wies einen Trennungswert von 1,86 und eine Zuverlässigkeits­schätzung von 0,78 auf. Der Chi-Quadrat-Wert betrug 354,4 (df = 79), p < 0,001. Die geschätzten Studierendenmaße lagen zwischen -0,80 und 1,12 Logits, mit Modellstandardfehlern von etwa 0,19 bis 0,20 Logits. Da der Trennungswert für Studierende unter 2,00 lag, wurden die Ergebnisse der Studierenden so interpretiert, dass sie eine breite Leistungsstratifizierung unterstützen, nicht jedoch eine präzise individuelle Rangordnung.

Die Anpassungsstatistiken der Studierenden wurden anhand der definierten Anpassungsschwellenwerte überprüft. S3 wies einen Infit-Mittelwert-Quadratwert von 2,10 und einen Outfit-Mittelwert-Quadratwert von 2,05 auf, was über der Schwelle für erhebliche Fehlanpassung lag. Die ursprünglichen Bewertungsaufzeichnungen für S3 wurden mit dem bereinigten Analyse-Datensatz abgeglichen, einschließlich Studentencode, Bewertercodierung, Kriteriencode, Kriterienname, Bewertungskategorie, Status doppelter Datensätze und Status fehlender Bewertungen. Es wurden keine Dateneingabefehler, doppelten Datensätze, ungültigen Bewertungen, Diskrepanzen bei fehlenden Bewertungen oder Inkonsistenzen in der Codierung festgestellt. Daher wurde S3 im primären Modell beibehalten. Anschließend wurde ein Sensitivitätsmodell geschätzt, das S3 ausschloss, um zu prüfen, ob die Schlussfolgerungen des Hauptmodells stabil blieben. Dieses Sensitivitätsmodell umfasste 79 Texte und 3.555 erwartete Bewertungsmöglichkeiten. Die Anzahl der gültigen analysierten Bewertungen im Sensitivitätsmodell betrug 3.553. Im Sensitivitätsmodell blieb Machbarkeit mit 0,19 Logits das schwierigste Kriterium, und Neuheit blieb mit -0,15 Logits das am wenigsten schwierige Kriterium. Die Trennschärfe der Kriterien veränderte sich von 2,56 auf 2,48, die Zuverlässigkeit der Kriterien von 0,87 auf 0,86, die Trennschärfe der Bewertenden von 16,36 auf 16,02, die Zuverlässigkeit der Bewertenden blieb bei 1,00, die Trennschärfe der Studierenden veränderte sich von 1,86 auf 1,82 und die Zuverlässigkeit der Studierenden von 0,78 auf 0,77. Die Schweller der Bewertungsskala blieben geordnet und veränderten sich von -2,10, -0,71, 0,69 und 2,12 Logits im primären Modell auf -2,08, -0,70, 0,68 und 2,10 Logits im Sensitivitätsmodell. Diese Änderungen beeinflussten die zentralen Schlussfolgerungen bezüglich Kriterien, Bewertende, Studierende oder Bewertungsskala nicht. Die Ergebnisse der Sensitivitätsanalyse sind in Tabelle 3 dargestellt.

Lokale Abhängigkeit und Bias-Diagnose

Lokale Abhängigkeitsdiagnosen wurden für alle 10 möglichen Kriterienpaare unter den fünf Bewertungskriterien überprüft. Alle Residualassoziationen lagen unterhalb der Überprüfungsschwelle von 0,30. Die größte Residualassoziation betrug 0,24 zwischen Präzision und Durchführbarkeit. Die nächstgrößten Assoziationen waren 0,21 zwischen Flüssigkeit und Flexibilität, 0,18 zwischen Originalität und Flüssigkeit sowie 0,17 zwischen Originalität und Flexibilität. Die übrigen sechs Residualassoziationen zwischen Kriterienpaaren lagen ebenfalls unter 0,30 und sind in Tabelle 4 angegeben. Diese Ergebnisse deuteten nicht auf problematische lokale Abhängigkeiten zwischen den fünf Rubrikkriterien hin.

Die Ausgabe zur Rater-nach-Kriterium-Verzerrung wurde anhand der absoluten standardisierten Bias-t-Wert-Schwelle von 2,00 überprüft. Der höchste standardisierte Bias-t-Wert für die Rater-nach-Kriterium-Verzerrung betrug 1,84 für J9 hinsichtlich der Durchführbarkeit, was unterhalb der Überprüfungsschwelle lag. Die Ausgabe zur Teilnehmer-nach-Kriterium-Analyse wies ein unerwartetes Antwortmuster für S3 auf. Der höchste standardisierte Bias-t-Wert für die Teilnehmer-nach-Kriterium-Verzerrung betrug 2,31 für S3 hinsichtlich der Durchführbarkeit und überschritt damit die Überprüfungsschwelle. Der Fall S3 wurde daher mit den ursprünglichen Bewertungsaufzeichnungen verglichen und mittels Sensitivitätsanalyse untersucht. Die Überprüfung ergab keine Codierungs- oder Eingabefehler, und das Sensitivitätsmodell veränderte die inhaltlichen Schlussfolgerungen nicht. Die Diagnosen zur lokalen Abhängigkeit und Verzerrung sind in  Tabelle 4 zusammengefasst.

Funktionieren der Bewertungsskala

Die Ergebnisse der Kategoriestruktur sind in Tabelle 5 dargestellt. Die mittleren Werte stiegen von -0,56 Logits in Kategorie 1 auf 2,23 Logits in Kategorie 5, was darauf hinweist, dass Kategorien mit höheren Bewertungen höheren geschätzten Positionen in der kreativen Leistung entsprechen. Die Outfit-Mittelwerte der bewerteten Kategorien lagen zwischen 0,90 und 1,10. Die Rasch-Andrich-Schwellenwerte stiegen in der Reihenfolge -2,10, -0,71, 0,69 und 2,12 Logits an. Der Übergang von Kategorie 1 zu Kategorie 2 erfolgte bei etwa -2,10 Logits, der Übergang von Kategorie 2 zu Kategorie 3 bei etwa -0,71 Logits, der Übergang von Kategorie 3 zu Kategorie 4 bei etwa 0,69 Logits und der Übergang von Kategorie 4 zu Kategorie 5 bei etwa 2,12 Logits. Die geordneten Schwellenwerte und die akzeptablen Outfit-Werte unterstützen die Beibehaltung der ursprünglichen Fünf-Kategorien-Struktur. Keine Kategorie wurde zusammengefasst.

Verteilung der Facetten und Struktur der Kategorie-Wahrscheinlichkeit

Die gemeinsame Verteilung von Bewertenden, Studierenden, Kriterien und Antwortkategorien auf der gemeinsamen Logit-Skala ist in Abbildung 2 dargestellt. Die Facette der Bewertenden wies die größte Streuung auf, was auf klare Unterschiede in der Position der verwendeten Bewertungsskala hinweist. Bei der Kriterien-Facette befand sich die Neuheit auf der niedrigsten Schwierigkeitsstufe und die Durchführbarkeit auf der höchsten Schwierigkeitsstufe. Die Maße der Studierenden konzentrierten sich um die Mitte der Skala, mit weniger Fällen an den oberen und unteren Extremen. Die Linealkarte diente zur Veranschaulichung der Verteilung der Facettenmaße und nicht zur Unterstützung präziser individueller Rangfolgen der Studierenden.

Die Kurven der Kategoriewahrscheinlichkeiten sind in Abbildung 3 dargestellt. Kategorie 1 zeigte ihre höchste Wahrscheinlichkeit unterhalb von etwa -2,10 Logits, Kategorie 2 erreichte ihren Höhepunkt zwischen etwa -2,10 und -0,71 Logits, Kategorie 3 lag zwischen etwa -0,71 und 0,69 Logits, Kategorie 4 wies ihre höchste Wahrscheinlichkeit zwischen etwa 0,69 und 2,12 Logits auf und Kategorie 5 wurde oberhalb von etwa 2,12 Logits dominant. Die vertikalen Schwellenmarkierungen in Abbildung 3 zeigen die Rasch-Andrich-Übergangspunkte zwischen benachbarten Kategorien an. Benachbarte Kategorien wechselten in einer geordneten Abfolge, was die Interpretation unterstützt, dass die Fünf-Punkte-Skala wie vorgesehen funktionierte.

Datenverfügbarkeit:

Der anonymisierte Langformat-Bewertungsdatensatz, der Daten-Codebuch und die primären Ausgabedaten von FACETS wurden in Zenodo unter der DOI: https://doi.org/10.5281/zenodo.21873801 hinterlegt. Der Datensatz enthält kodierte Studentenidentifikatoren, Bewertenden-Identifikatoren, Kriteriums-Identifikatoren, Kriteriumsnamen, gültige ganzzahlige Bewertungskategorien sowie Indikatoren für fehlende Bewertungen. Das vollständige Bewertungsdesign umfasste 3.600 erwartete Bewertungsgelegenheiten. Davon wurden 3.598 gültige beobachtete Bewertungen analysiert; zwei wurden als fehlend dokumentiert und nicht imputiert. Die hinterlegten primären FACETS-Ausgabedaten unterstützen die berichteten Facettenmaße, Anpassungsstatistiken, Trennschärfen- und Reliabilitätsindizes, Bewertungsskalen-Schwellenwerte, Kategoriefunktionen sowie diagnostische Zusammenfassungen. Originale kreative Arbeiten und identifizierbare Dateien sind nicht öffentlich zugänglich, da die Einwilligung der Teilnehmenden und institutionelle Datenschutzbestimmungen die Weitergabe individueller studentischer Arbeiten oder Dateien, die Urheberinformationen enthalten könnten, nicht erlauben. Die Mehrfach-Facetten-Rasch-Analyse wurde mit FACETS, Version 3.83.6, durchgeführt.

Abbildung 1: Ablauf der Rekrutierung der Teilnehmer, Durchführung der Aufgabe, Anonymisierung, Bewertung, Datenprüfung und der Rasch-Analyse mit mehreren Facetten. Diese Abbildung zeigt den gesamten Studienablauf von der Identifizierung der Quellkohorte bis zur endgültigen Modellanalyse. Die Quellkohorte umfasste 96 Studierende im dritten Jahr des Musikwissenschaftsstudiums. Alle 96 Studierenden wurden angesprochen; vier gaben keine schriftliche Einwilligung ab, 92 wurden geprüft, und 12 wurden vor der endgültigen Analyse ausgeschlossen. Die endgültige analytische Stichprobe bestand aus 80 anonymisierten, bewertbaren Kompositionen. Die Abbildung fasst außerdem die Aufgabenverteilung, Dateiabgabe, Überprüfung, Anonymisierung, Schulung der Bewertenden, formale Bewertung, Zusammenstellung der Daten im Langformat, Qualitätskontrolle und FACETS-Analyse zusammen. Das Bewertungsdesign ergab 3.600 erwartete Bewertungsmöglichkeiten; davon wurden 3.598 gültige beobachtete Bewertungen analysiert, und zwei wurden als fehlend dokumentiert. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 2: Vertikale Skalenabbildung von Bewertenden, Studierenden, Kriterien und Bewertungsskalenkategorien auf der gemeinsamen Logit-Metrik. Diese Abbildung zeigt die Positionen der Bewertungsskala-Nutzung durch die Bewertenden, die Verteilung der Fähigkeitsmaße der Studierenden, die Schwierigkeitsschätzungen der Kriterien sowie die Positionen der Antwortkategorien auf einer gemeinsamen Logit-Skala. Höhere Positionen der Bewertenden in dieser Darstellung entsprechen einer häufigeren Nutzung höherer Punktzahlen, nicht einer strengeren Bewertung. Die Skalenabbildung dient zur Veranschaulichung der Verteilung der Facetten und eignet sich nicht zur präzisen Rangordnung einzelner Studierender. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 3: Kategoriewahrscheinlichkeitskurven für die Fünf-Punkt-Bewertungsskala. Die vertikalen gestrichelten Linien zeigen die Rasch-Andrich-Kategorialschwellenwerte an, die die geschätzten Übergangspunkte zwischen benachbarten Antwortkategorien markieren. Die geordneten Schnittpunkte benachbarter Kategorien zeigen, dass die Fünf-Punkt-Antwortska­la in der erwarteten Richtung funktionierte und die Beibehaltung der ursprünglichen Kategoriestruktur ohne Zusammenfassung von Kategorien unterstützt. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Kriterium	Operationale Definition	Punktzahl 1	Punktzahl 2	Punktzahl 3	Punktzahl 4	Punktzahl 5
Originalität	Einzigartigkeit und Neuheit der musikalischen Idee oder deren Umsetzung	Konventionell oder nachahmend	Begrenzte Originalität	Einige Originalität, jedoch uneinheitlich	Deutliche Originalität in mehreren Teilen	Sehr eigenständig und durchgängig originell
Flüssigkeit	Kontinuität und Produktivität der Ideenentwicklung innerhalb des Werks	Sehr begrenzte Entwicklung	Spärliche Entwicklung	Ausreichende Entwicklung	Umfassende und anhaltende Entwicklung	Sehr produktiv und durchgängig entwickelt
Flexibilität	Verwendung unterschiedlicher Ansätze, Transformationen oder anpassungsfähiger Veränderungen in der musikalischen Gestaltung	Ein einziger starrer Ansatz	Minimale Variation	Einige Variationen	Deutliche Variation zwischen Abschnitten oder Gestaltungsmitteln	Stark variiert und anpassungsfähig entwickelt
Präzision	Ausgereiftheit, innere Organisation und Konkretheit der musikalischen Details	Schwache Kontrolle und unklare Details	Begrenzte Ausgereiftheit	Mittelmäßige Organisation und Detailtiefe	Gute Ausgereiftheit und innere Organisation	Hohe Ausgereiftheit mit klarer und konkreter Detailgestaltung
Durchführbarkeit	Künstlerische und praktische Umsetzbarkeit der vollendeten Komposition als fertiges Werk	Nicht als vollendetes Werk durchführbar	Schwache Durchführbarkeit	Grundsätzlich durchführbar	Durchführbar und musikalisch funktionsfähig	Stark durchführbar und überzeugend realisiert

Tabelle 1: Operative Definitionen und Bewertungsstufen für die fünf Dimensionen kreativen Verhaltens in kompositorischen Werken. Diese Tabelle zeigt die endgültige Bewertungsskala, die für die formale Bewertung verwendet wurde. Sie definiert Originalität, Flüssigkeit, Flexibilität, Genauigkeit und Durchführbarkeit und bietet Bewertungsstufen von 1 bis 5 für jedes Kriterium. Die Definitionen unterscheiden zwischen nachhaltiger Ideenentwicklung und adaptiver Variation sowie zwischen struktureller Verbesserung und realisierter künstlerischer und praktischer Machbarkeit.

Aspekt / Einheit	Maß (Logits)	Modell SE	Infit MnSq	Outfit MnSq	Beobachteter Mittelwert	Erwarteter Mittelwert	Trennschärfe	Reliabilität	Chi-Quadrat (df)
Kriterien, insgesamt	0	0,05	0,99	0,99	3,36	3,43	2,56	0,87	37,8 (4)***
Originalität	-0,16	0,05	1,01	1,07	3,46	3,54	—	—	—
Flüssigkeit	-0,13	0,05	1	0,95	3,44	3,52	—	—	—
Flexibilität	0,07	0,05	0,89	0,93	3,32	3,39	—	—	—
Präzision	0,02	0,05	0,95	0,9	3,35	3,42	—	—	—
Durchführbarkeit	0,2	0,05	1,11	1,12	3,23	3,3	—	—	—
Bewerter, insgesamt	0,62	0,07	0,98	0,99	3,36	3,36	16,36	1	1487,8 (8)***
J1	0,86	0,06	1,26	1,27	3,59	3,59	—	—	—
J2	0,03	0,06	1,1	1,1	3,02	3,02	—	—	—
J3	-0,13	0,06	0,73	0,74	2,91	2,91	—	—	—
J4	-0,15	0,06	1,07	1,07	2,9	2,9	—	—	—
J5	0,86	0,06	1,26	1,27	3,59	3,59	—	—	—
J6	-0,13	0,06	0,73	0,74	2,91	2,91	—	—	—
J7	1,19	0,06	0,77	0,77	3,8	3,81	—	—	—
J8	-0,34	0,06	1,06	1,06	2,77	2,77	—	—	—
J9	3,37	0,11	0,87	0,93	4,74	4,75	—	—	—
Schüler, insgesamt	0	0,19	0,99	0,99	3,36	3,43	1,86	0,78	354,4 (79)***
Studierendenmaß-Bereich	-0,80 bis 1,12	0,19–0,20	—	—	—	—	—	—	—
HINWEIS: Das Bewertungsdesign erzeugte 3.600 erwartete Bewertungsmöglichkeiten, berechnet als 80 Texte × 9 Bewertende × 5 Kriterien. Das Hauptmodell analysierte 3.598 gültige beobachtete Bewertungen; zwei Bewertungsmöglichkeiten fehlten und wurden weder imputiert noch in Bewertungskategorien umkodiert. Für den Aspekt „Bewerter“ werden die Bewertermaße hier als Positionen der Bewertungsnutzung auf der gemeinsamen Logit-Skala interpretiert. In dieser Ausgabe waren höhere Bewertermaße mit höheren beobachteten und erwarteten Mittelwerten assoziiert, was auf eine stärkere Verwendung höherer Bewertungen hinweist, nicht auf eine größere Strenge. *** = p < 0,001.

Tabelle 2: Zusammenfassende Statistiken der Mehrfachfacetten-Rasch-Analyse für Kriterien, Bewertende und Studierende. Diese Tabelle zeigt die wichtigsten FACETS-Ergebnisse für die drei modellierten Facetten, einschließlich Logit-Maße, Modell-Standardfehler, Infit- und Outfit-Mittelwert-Quadratwerte, beobachtete Durchschnitte, faire Durchschnitte, Trennungsindizes, Reliabilitätsschätzungen und Chi-Quadrat-Tests. Das Bewertungsdesign ergab 3.600 erwartete Bewertungsmöglichkeiten; 3.598 gültige beobachtete Bewertungen wurden analysiert, und zwei Bewertungsmöglichkeiten wurden als fehlend dokumentiert. Die Schwierigkeit der Kriterien, die Punkteverwendungsposition der Bewertenden und die gesamte Verteilung der Studierendenmaße werden auf derselben Logit-Skala angegeben. Die Maße der Bewertenden werden als Positionen der Punkteverwendung interpretiert und nicht als einfache Strenge-Rangfolge, da höhere Maße der Bewertenden mit höheren beobachteten und fairen Durchschnitten einhergingen. Die Ergebnisse der Studierenden werden als Verteilung zusammengefasst und nicht als präzise individuelle Rangfolgen dargestellt.

Metrik	Primäres Modell	Sensitivitätsmodell ohne S3
Anzahl der Kompositionen	80	79
Erwartete Bewertungsmöglichkeiten	3.600	3.555
Analysierte gültige Bewertungsdatensätze	3.598	3.553
Fehlende Bewertungsmöglichkeiten	2	2
Kriterium mit höchster Schwierigkeit	Realisierbarkeit, 0,20 Logits	Realisierbarkeit, 0,19 Logits
Kriterium mit niedrigster Schwierigkeit	Originalität, -0,16 Logits	Originalität, -0,15 Logits
Kriteriumstrennung	2,56	2,48
Kriteriumsreliabilität	0,87	0,86
Bewertertrennung	16,36	16,02
Bewerterreliabilität	1	1
Schülertrennung	1,86	1,82
Schülerreliabilität	0,78	0,77
Schwellenwerte der Bewertungsskala	-2,10, -0,71, 0,69, 2,12	-2,08, -0,70, 0,68, 2,10
Entscheidung zum Primärmodell	Primärmodell beibehalten	Keine wesentliche Änderung
HINWEIS: Das Primärmodell verwendete 3.598 gültige beobachtete Bewertungen aus 3.600 erwarteten Bewertungsmöglichkeiten. Das Sensitivitätsmodell schloss S3 aus und verwendete 3.553 gültige beobachtete Bewertungen aus 3.555 erwarteten Bewertungsmöglichkeiten. Die gleichen zwei fehlenden Bewertungsmöglichkeiten lagen außerhalb von S3 und blieben daher auch im Sensitivitätsmodell fehlend. Das Ausschließen von S3 führte zu keiner wesentlichen Änderung der Kriterienreihenfolge, der Trennungsindizes, der Reliabilitätsschätzungen oder der Struktur der Schwellenwerte der Bewertungsskala.

Tabelle 3: Sensitivitätsanalyse nach Ausschluss des fehlanpassenden Schülerfalls. Diese Tabelle vergleicht das primäre Modell mit dem Sensitivitätsmodell, das nach Ausschluss von S3 geschätzt wurde. Das primäre Modell verwendete 80 Texte, 3.600 erwartete Bewertungsmöglichkeiten und 3.598 gültige beobachtete Bewertungen. Das Sensitivitätsmodell verwendete 79 Texte, 3.555 erwartete Bewertungsmöglichkeiten und 3.553 gültige beobachtete Bewertungen. In der Tabelle werden Änderungen bei Kriterienschwierigkeit, Kriterientrennung, Kriterienzuverlässigkeit, Bewertertrennung, Bewerterverlässlichkeit, Schülertrennung, Schülerzuverlässigkeit und Rating-Skalenschwellenwerten angegeben. Die Sensitivitätsanalyse zeigte keine wesentlichen Änderungen der Schlussfolgerungen des Hauptmodells.

Diagnosemerkmal	Prüfschwelle	Größter beobachteter Wert / beobachteter Wert	Prüfergebnis
Restassoziation: Neuheit–Flüssigkeit	≥0,30	0,18	Unterhalb der Schwelle
Restassoziation: Neuheit–Flexibilität	≥0,30	0,17	Unterhalb der Schwelle
Restassoziation: Neuheit–Präzision	≥0,30	0,12	Unterhalb der Schwelle
Restassoziation: Neuheit–Durchführbarkeit	≥0,30	0,09	Unterhalb der Schwelle
Restassoziation: Flüssigkeit–Flexibilität	≥0,30	0,21	Unterhalb der Schwelle
Restassoziation: Flüssigkeit–Präzision	≥0,30	0,16	Unterhalb der Schwelle
Restassoziation: Flüssigkeit–Durchführbarkeit	≥0,30	0,14	Unterhalb der Schwelle
Restassoziation: Flexibilität–Präzision	≥0,30	0,15	Unterhalb der Schwelle
Restassoziation: Flexibilität–Durchführbarkeit	≥0,30	0,11	Unterhalb der Schwelle
Restassoziation: Präzision–Durchführbarkeit	≥0,30	0,24	Unterhalb der Schwelle
Standardisierter t-Wert für Bewertende-nach-Kriterium-Bias	Absoluter Wert ≥2,00	1,84 für J9 bei Durchführbarkeit	Unterhalb der Schwelle
Standardisierter t-Wert für Schüler-nach-Kriterium-Bias	Absoluter Wert ≥2,00	2,31 für S3 bei Durchführbarkeit	Überprüft durch Originaldaten-Verifikation und Sensitivitätsanalyse
Daten-Erfassungs-Verifikation für S3	Ein Fehler bei Kodierung oder Eingabe	Keine gefunden	S3 bleibt im primären Modell enthalten
Sensitivitätsanalyse ohne S3	Änderung der Schlussfolgerungen des Hauptmodells	Keine wesentliche Änderung	Primärmodell bleibt bestehen
HINWEIS: Alle 10 Restassoziationen zwischen Kriterienpaaren wurden überprüft. Werte unter 0,30 wurden so interpretiert, dass sie keine problematische lokale Abhängigkeit zwischen den fünf Rubrik-Kriterien anzeigen. Interaktionen zwischen Bewertenden-nach-Kriterium und Schüler-nach-Kriterium wurden anhand einer Schwelle für den absoluten standardisierten t-Wert des Bias von 2,00 bewertet.

Tabelle 4: Prüfung der lokalen Abhängigkeit und Bias-Diagnose. Diese Tabelle fasst Diagnoseprüfungen für Kriterienüberschneidungen, Bewertungsbehandler-Bias bezüglich der Kriterien, unerwartete Antwortmuster von Studierenden bezüglich der Kriterien sowie die Überprüfung des auffälligen Falles zusammen. Alle 10 möglichen Residualassoziationen zwischen Kriterienpaaren wurden überprüft. Die Residualassoziationen zwischen den Kriterien lagen unterhalb der Prüfschwelle von 0,30. Der höchste standardisierte Bias-t-Wert für Bewertungsbehandler bezüglich der Kriterien lag unterhalb der Prüfschwelle von |t| ≥ 2,00, während die Ausgabe für Studierende bezüglich der Kriterien ein mit S3 verbundenes unerwartetes Antwortmuster identifizierte, das durch Überprüfung der Originaldaten und eine Sensitivitätsanalyse geprüft wurde. Die Sensitivitätsanalyse zeigte keine inhaltlich relevante Veränderung der Schlussfolgerungen des Hauptmodells.

Bewertungskategorie	Kategorienbezeichnung	Mittleres Maß (Logits)	Outfit MnSq	Rasch-Andrich-Schwelle	Schwellen-SE	Maß bei -0,5
1	Schlecht	-0,56	1	—	—	—
2	Minimal	-0,21	0,9	-2,1	0,1	-2,51
3	Zufriedenstellend	0,25	0,9	-0,71	0,05	-0,73
4	Überdurchschnittlich	0,8	1,1	0,69	0,04	0,72
5	Ausgezeichnet	2,23	1,1	2,12	0,06	2,53
HINWEIS: Rasch-Andrich-Schwellen zeigen die geschätzten Übergangspunkte zwischen benachbarten Bewertungskategorien an. Für Kategorie 1 wird keine Schwelle angegeben, da es sich um die niedrigste Kategorie handelt. „Maß bei -0,5“ gibt die Logit-Position an, die mit der Kategoriegrenze in FACETS verbunden ist, und dient als diagnostische Größe zur Beurteilung der Kategoriefunktion, nicht als eigenständige Leistungsabschätzung für Studierende. Es wurde keine Kategorie zusammengefasst.

Tabelle 5: Kategoriefunktionierung der fünfstufigen Ratingskala. Diese Tabelle zeigt kategorienbasierte Statistiken für die fünfstufige Antwortskala, einschließlich mittlerer Messwerte, Anpassungs-Mittelwert-Quadrat-Werte, Rasch-Andrich-Schwellenwerte, Schwellenstandardfehler und die FACETS-Ausgabe „Measure at -0.5“ zur Kategoriefunktionierung. Die Rasch-Andrich-Schwellenwerte geben die geschätzten Übergangspunkte zwischen benachbarten Bewertungskategorien an. Die geordneten Schwellen zeigen, dass die fünf Antwortkategorien in der erwarteten Richtung fortschreitend ansteigen, und keine Kategorie musste zusammengefasst werden.

Zusatz-Tabelle 1: Anforderungen an die Textproduktionsaufgabe, Rekrutierungsablauf und Einreichungsbestimmungen. Diese Tabelle enthält Angaben zum Studiensetting, Rekrutierungsablauf, Teilnahmeberechtigungskriterien, Aufgabenformat, erforderlichen strukturellen Elementen, Originalitätsregeln, Einreichungsanforderungen, Prüfungsregeln, Ausschlussgründen und der endgültigen Analyseeinheit. Sie dokumentiert, wie das endgültige Korpus aus 80 anonymisierten und bewertbaren Texten erstellt wurde. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Erweiterte Tabelle 2: Schulung, Kalibrierung und standardisiertes Bewertungsverfahren der Beurteiler. Diese Tabelle fasst die Rekrutierung der Beurteiler, die Qualifikationen der Beurteiler, die anonymisierte Kodierung durch die Beurteiler, Schulungsmaterialien, Einführung in das Bewertungsraster, Erläuterung der Kategorien, Kalibrierungsbewertung, Überprüfung von Abweichungen, Verblindungsverfahren, Einschränkungen bei der Bewertung, Überprüfungsmaterialien, Wiedergabeverfahren, Regel zum erneuten Anhören, randomisierte Reihenfolge der Präsentation und Kontrolle der Bewertungsdauer zusammen. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzungstabelle 3: Struktur des Langformat-Datensatzes und Kodierregeln. Diese Tabelle zeigt die Variablenstruktur, Kodierregeln, Datensatzbeschränkungen, Kriteriumscodes und Beispielzeilen für den analytischen Datensatz im Langformat. Jede gültige Zeile repräsentiert ein beobachtetes Bewertungsereignis, definiert durch die Identifikation von Schüler, Bewertungsperson, Kriterium, Kriteriumsbezeichnung und Bewertungskategorie. Das Bewertungsdesign ergab 3.600 erwartete Bewertungsmöglichkeiten, von denen 3.598 gültige beobachtete Bewertungen analysiert wurden; zwei Bewertungsmöglichkeiten wurden als fehlend dokumentiert. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Zusatz-Tabelle 4: FACETS-Steuerelementdatei- und Diagnosespezifikationen. Diese Tabelle gibt die Struktur- und Reproduzierbarkeitseinstellungen des FACETS-Modells an, einschließlich Softwareversion, Modelltyp, modellierte Facetten, Bewertungskategorien, Behandlung fehlender Bewertungen, Schätzmethode, maximale Anzahl von Iterationen, Konvergenzkriterium, angeforderte Ausgabedaten, Fit-Schwellenwerte, Schwelle für die Bias-Überprüfung, Schwelle für lokale Abhängigkeit und Interpretationsregel für die Schülernoten. Fehlende Bewertungen wurden als fehlend behandelt, nicht imputiert und nicht in gültige Bewertungskategorien umkodiert. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Diskussion

Die vorliegende Studie wandte einen Mehrfach-Facetten-Rasch-Ansatz an, um kreatives Verhalten bei Studierenden der Musik im Hauptfach anhand originärer kompositorischer Arbeiten zu bewerten. Die Ergebnisse zeigten, dass die Leistung der Studierenden, die Schwierigkeit der Kriterien, die Unterschiede in der Bewertung durch die Gutachter sowie die Funktionsweise der Bewertungsskala innerhalb einer gemeinsamen Messstruktur geschätzt werden konnten. Dieses Ergebnis untermauert die Verwendung von Mehrfach-Facetten-Modellen bei rubrikbasierten musikalischen Bewertungen, wenn die Punktzahlen durch fachkundige Beurteilung und nicht durch rein objektive Antworten ermittelt werden¹¹. Das Modell machte eine fachkundige musikalische Bewertung nicht überflüssig; vielmehr bot es eine strukturierte Methode, um zu untersuchen, wie die Facetten Studierender, Kriterien und Gutachter zu den beobachteten Bewertungen beitrugen. Dies ist für die Beurteilung von Kompositionen von Bedeutung, da fertige Werke qualitative Urteile erfordern, rohe Punktzahlen allein jedoch nicht anzeigen können, ob Unterschiede in den Bewertungen auf den Studierenden, das Kriterium, den Gutachter oder die Bewertungsskala zurückzuführen sind¹².

Die Ergebnisse der Kriterien zeigten, dass das Kriterium „Originalität“ das am wenigsten schwierige war, während Durchführbarkeit und Flexibilität innerhalb der vollendeten Kompositionen als schwieriger empfunden wurden. Dieses Muster sollte als beschreibendes Messergebnis interpretiert werden, nicht als Beleg für einen kausalen Einfluss der Unterrichtsmethode. Der Befund weist darauf hin, dass die Studierenden in diesem Korpus eindeutigere musikalische Ideen zeigten als eine vollständig realisierte Machbarkeit oder eine adaptive Umgestaltung über das gesamte abgeschlossene Werk hinweg. Diese Unterscheidung stimmt mit der Forschung zur musikalischen Kreativität überein, die Komposition als einen Prozess betrachtet, der die Generierung, Entwicklung, Auswahl, Neustrukturierung, Verfeinerung und Realisierung von Ideen umfasst, und nicht allein die Originalität¹³. Außerdem unterstreicht dies den Wert, die Dimensionen des Bewertungsrasters getrennt zu betrachten, anstatt kreative Leistungen in eine einzige globale Beurteilung zusammenzufassen¹⁴. Die vorliegende Studie kann jedoch nicht klären, ob das beobachtete Schwierigkeitsmuster auf Unterrichtspraktiken, Aufgabendesign, die Entwicklungsstufe der Studierenden, die Formulierung der Kriterien oder die Interpretation durch die Bewertenden zurückzuführen war. Künftige Studien sollten Produktbewertungen mit Prozessdaten wie Entwürfen, Überarbeitungshistorien, reflektierenden Protokollen oder Interviews zur Komposition kombinieren, um zu untersuchen, wie Studierende von ersten Ideen zu realisierten musikalischen Produkten gelangen.

Die Bewertungsergebnisse zeigten eine erhebliche Variation zwischen Bewertenden und Messung, während alle Passwerte der Bewertenden innerhalb des definierten akzeptablen Bereichs blieben. Dieses Muster sollte nicht einfach als Versagen der Rater-Schulung interpretiert werden. Unterschiede in der Punktevergabe durch die Bewertenden sind bei künstlerischen Bewertungen, die von Experten durchgeführt werden, zu erwarten und stellen einen der Hauptgründe für die Anwendung eines Mehrfach-Facetten-Rasch-Modells¹⁵ dar. Die vorliegenden Ergebnisse zeigen, dass die Bewertenden die Skala insgesamt akzeptabel nutzten, obwohl sie sich in ihrer relativen Verwendung der Bewertungskategorien unterschieden. Das Modell trug daher dazu bei, raterbedingte Variationen in den Bewertungen zu berücksichtigen, bevor die Kriterien und Leistungen der Studierenden interpretiert wurden. Für zukünftige Anwendungen sollte die Schulung der Bewertenden mit einer nachträglichen Überwachung der Variation in der Punkteverwendung, der Passwerte, der Kategorienverwendung sowie der Wechselwirkungen zwischen Bewertenden und Kriterien kombiniert werden, anstatt allein auf die Schulung zu vertrauen, um alle Unterschiede zwischen den Bewertenden zu beseitigen¹⁶.

Die Schülerfacet zeigte messbare Variationen, jedoch nur eine moderate Trennung. Die Zuverlässigkeitsabschätzung für die Schüler lag bei 0,78, und der Trennungswert betrug 1,86. Daher sollten die Schülermaße als Hinweis auf eine breite Leistungsstratifizierung verstanden werden, nicht jedoch als Grundlage für eine präzise individuelle Rangfolge. Dieser Punkt ist wichtig, da geringe Unterschiede zwischen den Logits einzelner Schüler unter Umständen kleiner sind als die entsprechenden Messstandardfehler. Der fehlanpassnde Fall S3 stützt zusätzlich die vorsichtige Interpretation auf individueller Ebene. Nach Überprüfung der Originaldaten und einer Sensitivitätsanalyse blieben die Hauptkriterienreihenfolge, das Muster der Beurteilermaße und die Schwellenstruktur der Bewertungsskala stabil. S3 wurde deshalb im primären Modell beibehalten, doch die Studie zieht keine inhaltlichen Schlussfolgerungen aus diesem Einzelfall. Diese Interpretation entspricht dem Einsatz der Rasch-Anpassungsanalyse als diagnostisches Werkzeug zur Bewertung der Messstabilität, nicht aber als Grundlage für unbegründete individuelle Aussagen¹⁷.

Die Studie weist mehrere Einschränkungen auf. Erstens stammt die Stichprobe aus einer einzigen Institution und akademischen Stufe, weshalb die Ergebnisse ohne weitere Validierung nicht auf vergleichbare Musikwissenschafts-Kohorten von Studierenden übertragen werden sollten. Zweitens wurden in der Studie lediglich die endgültigen kompositorischen Produkte bewertet, während Prozessunterlagen wie Entwürfe, Überarbeitungshistorien, Reflexionstagebücher oder Lautdenkprotokolle nicht einbezogen wurden. Drittens wurden die fünf Bewertungskriterien als verwandte Ausprägungen des gesamten kreativen kompositorischen Verhaltens behandelt, und die diagnostischen Ergebnisse stützten diese Spezifikation in dem vorliegenden Datensatz; zukünftige Forschung sollte jedoch untersuchen, ob dieselbe Struktur bei größeren Stichproben, anderen Institutionen und unterschiedlichen Kompositions­aufgaben Bestand hat. Viertens wurde der Hintergrund der Bewerter nur über die Rater-Fazette modelliert, und die Studie untersuchte nicht direkt, wie disziplinäre Hintergründe, Lehrerfahrung, ästhetische Präferenzen oder Kompositionsexpertise zur Variation der Bewertungsmaße beitragen. Schließlich war die Studie querschnittlich und nicht-interventionell angelegt, sodass das Muster der Kriterien-Schwierigkeit nicht zur Ableitung von Unterrichtswirksamkeit oder instruktioneller Kausalität herangezogen werden sollte.

Zusammenfassend zeigt diese Studie ein reproduzierbares Verfahren zur Bewertung kreativen Verhaltens bei Musikstudierenden anhand originärer Kompositionen mithilfe eines strukturierten Bewertungsrasters und der Rasch-Messung mit mehreren Facetten. Die Ergebnisse verdeutlichen, dass Schwierigkeit der Kriterien, Variation der Bewertungsmaße, Verteilung der Studierendenleistungen und Funktionieren der Bewertungsskala innerhalb eines einzigen Messrahmens untersucht werden können. Neuheit erwies sich als relativ leichter nachzuweisen, während Machbarkeit und Flexibilität in den fertigen Kompositionen schwieriger zu erreichen waren. Die Variation zwischen den Bewertern war beträchtlich, was die Notwendigkeit unterstreicht, Beurteilereffekte in der musikalischen Leistungsbeurteilung zu modellieren. Die Maße der Studierenden unterstützen eine breite Differenzierung, nicht jedoch eine präzise individuelle Rangfolge. Insgesamt bietet der Rahmen eine transparente Grundlage zur Bewertung kompositionsbasierter kreativer Leistungen sowie zur Weiterentwicklung von Bewertungsrastern, zur Überwachung der Beurteiler und für zukünftige Validierungsstudien in der hochschulischen Musikausbildung.

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Adobe Acrobat Reader	Adobe	26.001.21346	Wird zum Öffnen und Überprüfen von PDF-Score-Dateien während der Einreichungsprüfung und formellen Bewertung verwendet.
Audacity	Audacity	3.7.7	Wird zum Öffnen und Überprüfen der MP3-Audiodateien verwendet, die den eingereichten Kompositionen beigefügt sind.
FACETS	Winsteps	3.83.6	Wird für die Mehrfach-Facetten-Rasch-Analyse verwendet.
HD 280 Pro Kopfhörer	Sennheiser	506845	Geschlossene Monitoring-Kopfhörer, die für standardisiertes Hören während der Überprüfung eingereichter Audiodateien verwendet werden.
Microsoft 365 Apps für Unternehmen, einschließlich Excel	Microsoft	O365BusinessRetail	Wird für die Erfassung der Bewertungen, die Erstellung von Datensätzen im Langformat und die Datenprüfung vor der Rasch-Analyse verwendet.
Moodle LMS	Moodle	MOODLE_5013	Wird als institutionelles Lernmanagementsystem für die Abgabe von Aufgaben und die Sammlung von Dateien verwendet.
MuseScore Studio	MuseScore	4.6.5	Wird zur Erstellung, Notation und zum Export der Originalkompositionen in notenbasierten Formaten verwendet.
OptiPlex Tower Plus 7020 Desktop	Dell	QBS1250	Wird als Arbeitsstation für Dateiverwaltung, Bewertungsadministration und statistische Analyse verwendet.