Ocena zachowań twórczych u studentów kierunków muzycznych na podstawie prac kompozytorskich z wykorzystaniem wielowymiarowego modelu Rascha

Podsumowanie

Niniejsze badanie ocenia zachowania kreatywne studentów kierunków muzycznych poprzez zastosowanie ustrukturyzowanego arkusza oceny kompozycji oraz wieloaspektowego pomiaru Rascha w odniesieniu do oryginalnych utworów muzycznych.

Streszczenie

Ocena kreatywności w edukacji muzycznej pozostaje wyzwaniem, ponieważ oceny oryginalnych utworów muzycznych są uwarunkowane subiektywnymi preferencjami, niejednolitymi interpretacjami kryteriów oraz różnicami w surowości oceniających. W szkoleniu z kompozycji ukończone utwory mogą być traktowane jako obserwowalne produkty, które pokazują, w jaki sposób studenci generują, rozwijają, przekształcają, dopracowują i realizują pomysły muzyczne. W niniejszym badaniu sprawdzono, czy ustrukturyzowany arkusz oceny kompozycji w połączeniu z wielomiarowym pomiarem Rascha (many-facet Rasch measurement) mógłby wspierać powtarzalną ewaluację zachowań twórczych wśród studentów kierunków muzycznych. Oryginalne kompozycje 80 studentów muzyki zostały niezależnie ocenione przez dziewięciu przeszkolonych recenzentów przy użyciu pięciostopniowego arkusza oceny. Arkusz obejmował pięć powiązanych wymiarów twórczego zachowania kompozytorskiego: nowatorstwo, biegłość, elastyczność, precyzję oraz wykonalność. Dane z ocen analizowano przy użyciu oprogramowania FACETS, wersja 3.83.6, określając studentów, kryteria i recenzentów jako oddzielne aspekty (facets) w ramach wspólnej logitowej struktury pomiaru. Projekt oceny obejmował 3600 przewidywanych okazji do oceny; przeanalizowano 3598 poprawnych obserwowanych ocen, przy dwóch brakujących. Ogólne dopasowanie modelu potwierdziło interpretację projektu oceny, a struktura kategorii uporządkowanych wskazała, że skala pięciostopniowa działała w oczekiwanym kierunku. Szacunki kryteriów wykazały, że nowatorstwo było stosunkowo łatwiejsze do wykazania, podczas gdy wykonalność i elastyczność były trudniejsze do osiągnięcia w ukończonych kompozycjach. Zaobserwowano również różnice w rozmieszczeniu punktacji stosowanej przez recenzentów, co potwierdza potrzebę modelowania efektów recenzenta zamiast polegania wyłącznie na surowych wynikach. Separacja studentów była umiarkowana, co wskazuje, że narzędzie to lepiej nadaje się do szerokiej stratyfikacji wyników niż do precyzyjnego rankingu indywidualnego. Wyniki te sugerują, że arkusz oceny oparty na kompozycji w połączeniu z wielomiarowym pomiarem Rascha może zapewnić przejrzyste ramy oceny zachowań twórczych w szkolnictwie wyższym w dziedzinie muzyki.

Wprowadzenie

Kreatywność stała się kluczowym rezultatem edukacji artystycznej, ponieważ od uczniów oczekuje się nie tylko reprodukowania uznanych technik, ale także tworzenia prac oryginalnych, znaczących i komunikatywnych w kontekście dyscyplinarnym¹. W edukacji muzycznej oczekiwanie to jest szczególnie istotne w kształceniu w zakresie kompozycji, gdzie studenci muszą przekształcić wiedzę muzyczną w ukończone utwory poprzez podejmowanie decyzji dotyczących tematu, melodii, rytmu, formy, rozwoju i realizacji. Ocena w tym kontekście jest trudna, ponieważ kreatywności muzycznej nie można oceniać wyłącznie w kategoriach gustu osobistego lub ogólnego wrażenia artystycznego. Ukończona kompozycja stanowi mierzalny dowód zachowań twórczych, jednak dowód ten musi zostać przełożony na jawne kryteria, aby punktacja była przejrzysta i reprodukowalna². Bez jasnych kryteriów oceny mogą one odzwierciedlać preferencje oceniającego, znajomość stylu lub ogólne wrażenie jakości, a nie konkretne cechy przedłożonej pracy.

Niniejsze badanie definiuje kompozycyjne zachowania twórcze jako obserwowalny wyraz kreatywnej pracy muzycznej w ukończonej kompozycji. Rubryka wykorzystuje pięć wymiarów: nowość, biegłość, elastyczność, precyzję oraz wykonalność. Wymiary te nie są traktowane jako identyczne cechy szczegółowe ani jako oddzielne konstrukty teoretyczne. Zamiast tego są one wykorzystywane jako przejawy na poziomie kryteriów jednego szerokiego konstruktu wykonawczego opartego na produkcie: stopnia, w jakim student potrafi generować, rozwijać, przekształcać, dopracowywać i realizować pomysły muzyczne w ukończonym utworze. Nowość reprezentuje odrębność pomysłu muzycznego lub sposobu jego opracowania; biegłość reprezentuje ciągłość i produktywność rozwoju pomysłów; elastyczność reprezentuje zróżnicowane podejścia, przekształcenia lub adaptacyjne zmiany w operowaniu muzyką; precyzja reprezentuje dopracowanie, organizację wewnętrzną i konkretność detali muzycznych; a wykonalność reprezentuje artystyczną i praktyczną żywotność ukończonej kompozycji³. Taka struktura łączy generowanie pomysłów, ich rozwój, adaptacyjne przekształcanie, dopracowanie techniczne i zrealizowaną żywotność w jeden ukończony produkt muzyczny.

Taka argumentacja konstrukcyjna ogranicza również nakładanie się kryteriów i zanieczyszczenie konstruktu. Precyzja została ograniczona do dopracowania, organizacji wewnętrznej i konkretnych detali muzycznych, podczas gdy wykonalność zdefiniowano jako artystyczną i praktyczną żywotność utworu jako zrealizowanej kompozycji. Podobnie, biegłość ograniczono do spójnego i produktywnego rozwoju, natomiast elastyczność zdefiniowano jako wariację, transformację i adaptacyjne operowanie materiałem muzycznym. Utwór może zawierać oryginalny pomysł przy ograniczonym rozwoju lub może być spójny i technicznie stabilny, wykazując jednocześnie niewielką transformację. Rubryka oparta na kryteriach jest zatem niezbędna, ponieważ całkowita surowa ocena może maskować nierównomierne profile twórcze w obrębie tej samej kompozycji⁴.

Ocena muzyki przeprowadzana przez raterów wymaga uwagi zarówno w odniesieniu do zachowania oceniających, jak i wyników uczniów. Nawet gdy raterzy korzystają z tej samej rubryki, mogą różnić się stopniem surowości, sposobem wykorzystania kategorii oraz interpretacją kryteriów. Różnice te nie są jedynie problemami proceduralnymi; stanowią one element sytuacji pomiarowej i mogą wpływać na znaczenie uzyskanych wyników⁵. Model pomiaru Rascha dla wielu cech (Many-facet Rasch measurement) jest odpowiedni w tym kontekście, ponieważ pozwala on na estymację poziomów uczniów, raterów, kryteriów oraz kategorii skali ocen w ramach wspólnej struktury logitów. Miary uczniów reprezentują szacowaną kreatywność wykonania po skorygowaniu o trudność kryterium i surowość ratera, miary kryteriów wskazują, jak trudne do wykazania jest każde z wymiarów, miary raterów określają względną lokalizację stosowania ocen, a statystyki kategorii wykazują, czy skala ocen funkcjonuje w zamierzonym porządku⁶. Podejście to jest bardziej rzetelne niż poleganie wyłącznie na sumach surowych lub średnich wynikach, ponieważ oddziela ono wiele źródeł zmienności ocen, które w przeciwnym razie pozostają połączone w obserwowanym wyniku.

Zastosowanie jednowymiarowego wieloaspektowego modelu Rascha wymaga jasnego uzasadnienia konstruktu. W niniejszym badaniu specyfikacja jednowymiarowa jest uzasadniona na poziomie ogólnego kompozycyjnego zachowania twórczego, a nie poprzez założenie, że pięć wymiarów rubryki jest identycznych. Oczekuje się, że pięć kryteriów będzie reprezentować odrębne, obserwowalne aspekty szerokiego konstruktu wykonawczego wyrażonego w ukończonych utworach muzycznych. Założenie to potraktowano jako empiryczne założenie pomiarowe i zbadano je poprzez dopasowanie kryterialne, funkcjonowanie skali ocen, korelacje residuów między kryteriami oraz diagnostykę interakcji oceniający-kryterium i student-kryterium⁷. Choć wieloaspektowe podejścia Rascha były stosowane w ocenie opartej na efektach, ich systematyczne wykorzystanie w ocenie kompletnych kompozycji w szkolnictwie wyższym w zakresie muzyki pozostaje ograniczone⁸. Istniejące badania nad oceną w muzyce podkreślały trudność oceniania otwartych produktów artystycznych oraz potrzebę stosowania wyraźnych kryteriów punktowania⁹, podczas gdy badania nad pomiarem wykazały, że ocena efektów oparta na rubrykach może zyskać dzięki bezpośredniemu modelowaniu efektów oceniającego i kryteriów¹⁰. W tym kontekście niniejsze badanie stosuje wieloaspektowy model Rascha do oryginalnych kompozycji stworzonych przez studentów muzyki na poziomie licencjackim. Badanie odnosi się do trzech pytań: czy proponowany system oceniania kompozycji funkcjonuje odpowiednio jako projekt pomiarowy; w jaki sposób trudność kryteriów i zmienność w sposobie wykorzystania punktacji przez oceniających wpływają na obserwowaną zmienność wyników; oraz jak rozkładają się miary twórczego wykonawstwa studentów po zamodelowaniu efektów kryteriów i oceniających.

Protokół

Niniejsze badanie zostało zatwierdzone przez Komisję Rewizyjną (Institutional Review Board) Szkoły Muzyki i Tańca w Instytucie Technologicznym Jiangxi, Nanchang 330098, Jiangxi, Chiny, pod numerem zatwierdzenia YG2020158. Przed przeprowadzeniem zadań i zebraniem danych od wszystkich uczestników uzyskano pisemną świadomą zgodę. Poinformowano uczestników, że nadesłane kompozycje zostaną wykorzystane wyłącznie do oceny badawczej po usunięciu danych identyfikacyjnych. Przed punktacją usunięto imiona studentów, identyfikatory klas, metadane plików zawierające informacje o autorstwie oraz inne bezpośrednie identyfikatory. Identyfikatory te nie zostały przekazane oceniającym. Wszystkie nadesłane prace zostały zanonimizowane przed punktacją i analizą, a wszystkie pliki analityczne przetwarzano wyłącznie z użyciem zakodowanych identyfikatorów.

Warunki badania, rekrutacja uczestników i przydział zadań

Badanie zostało przeprowadzone w School of Music and Dance w Jiangxi Institute of Technology w Nanchang, prowincja Jiangxi w Chinach, w okresie od września 2025 do stycznia 2026 roku. Uczestników zrekrutowano z grupy studentów trzeciego roku muzykologii, ponieważ na tym etapie studiów studenci zrealizowali już podstawowy program nauczania w zakresie teorii muzyki, praktyki wykonawczej, kompozycji muzyki elektronicznej oraz przedmiotów związanych z kompozycją przed semestrem, w którym odbyło się badanie.

Grupa źródłowa obejmowała 96 studentów trzeciego roku muzykologii. Skontaktowano się ze wszystkimi 96 studentami. Czterech studentów nie wyraziło pisemnej zgody, w związku z czym nie przeszli oni etapu przesiewowego. Pozostałych 92 studentów wyraziło pisemną świadomą zgodę i zostało poddanych badaniu przesiewowemu. Dwunastu studentów wykluczono przed analizą końcową. Przyczynami wykluczenia były: niekompletne prace kompozytorskie u pięciu studentów, brak jednego lub więcej wymaganych elementów strukturalnych u trzech studentów, przesłanie prac po terminie u dwóch studentów, nieczytelne lub uszkodzone pliki u jednego studenta oraz wycofanie się przed punktacją u jednego studenta. Końcowa próba analityczna obejmowała 80 studentów studiów licencjackich, w tym 32 mężczyzn i 48 kobiet.

Ostateczna próba analityczna stanowiła pełny, kwalifikujący się korpus zanonimizowanych i możliwych do ocenienia kompozycji dostępnych z zrekrutowanej kohorty po zastosowaniu zgody, przesiewu oraz zasad wykluczania. Wielkość tej próby nie była uzasadniana poprzez traktowanie 3600 okazji do oceny jako niezależnych obserwacji na poziomie studenta. Zamiast tego, wieloaspektowy model Rascha (many-facet Rasch design) wykorzystał powtórne oceny 80 kompozycji do oszacowania miar kreatywnych osiągnięć studentów, modelując jednocześnie trudność kryterium, zmienność w wykorzystaniu punktacji przez oceniających oraz funkcjonowanie kategorii skali ocen. Włączenie dziewięciu oceniających miało na celu wsparcie szacowania zmienności wykorzystania punktacji związanej z oceniającym oraz zmniejszenie zależności od interpretacji jakości otwartej kompozycji przez pojedynczego sędziego. Studenci kwalifikowali się, jeśli studiowali stacjonarnie na trzecim roku programu Muzykologii, ukończyli wymagane przedmioty podstawowe przed semestrem badania, wyrazili pisemną zgodę i złożyli jedną kompletną, oryginalną kompozycję w wyznaczonym terminie. Studenci zostali wykluczeni, jeśli nie złożyli kompletnej pracy, jeśli praca nie spełniała zdefiniowanych wymagań zadania, jeśli pliku nie można było otworzyć lub ocenić, jeśli praca została otrzymana po terminie lub jeśli zgoda została wycofana przed ocenianiem.

Każdy uczestnik wykonał jedno indywidualne zadanie polegające na stworzeniu oryginalnej kompozycji zgodnie z tymi samymi instrukcjami pisemnymi. Studenci mogli wybrać własny temat i styl, jednak każda praca musiała zawierać tekst, melodię, rytm oraz strukturę formalną. Prace grupowe, ponownie przesyłane zadania, materiały zaadaptowane z publikacji, pliki będące jedynie szkicami oraz spóźnione poprawki zostały wykluczone z formalnego zbioru danych do punktacji. Od każdego uczestnika przyjęto tylko jedną wersję końcową. Szczegółowe wymagania dotyczące zadania i specyfikacje przesyłania prac przedstawiono w Tabeli uzupełniającej 1. Kompletny przebieg procesu rekrutacji i analizy przedstawiono na   Rysunku 1.

Gromadzenie, przesiewanie i anonimizacja utworów kompozycyjnych

Wszystkie kompozycje zostały przesłane za pośrednictwem instytucjonalnego systemu zarządzania nauczaniem do godziny 23:59 ostatniego dnia zaplanowanego tygodnia realizacji zadania. Każda zgłoszenie obejmowało jeden plik z zapisem nutowym w formacie Portable Document Format (PDF) oraz towarzyszące mu nagranie audio w formacie MP3. Po upływie terminu zespół badawczy pobrał wszystkie przesłane pliki za pośrednictwem tego samego kanału przesyłania i zweryfikował każdą pracę pod kątem predefined task requirements przed przekazaniem jej oceniającym. Zachowano jedynie kompozycje, które zawierały tekst, melodię, rytm i organizację formalną oraz stanowiły kompletny produkt końcowy. Pliki będące jedynie szkicami, prace niekompletne, pliki pozbawione głównych komponentów strukturalnych, zgłoszenia spóźnione oraz pliki nieczytelne lub uszkodzone zostały wykluczone przed etapem oceniania.

Każdej kwalifikującej się pracy przypisano zanonimizowany kod studenta od S1 do S80. Imiona i nazwiska studentów, identyfikatory grup, metadane plików zawierające informacje o autorstwie oraz wszystkie inne bezpośrednie identyfikatory zostały usunięte przed przekazaniem plików do oceny. Plik powiązań łączący tożsamość uczestnika z zanonimizowanym kodem badania był przechowywany oddzielnie przez głównego badacza w pliku chronionym hasłem. Plik powiązań ten nie był dostępny dla oceniających ani dla analityka podczas szacowania modelu. Końcowy korpus do oceny składał się z 80 zanonimizowanych i możliwych do ocenienia kompozycji, z których każda była reprezentowana przez jeden plik z zapisem nutowym w formacie PDF oraz jedno nagranie audio w formacie MP3.

Kryteria oceniania

Rubryka oceniania analizowała pięć wymiarów zachowań twórczych w pracach kompozytorskich: nowość, płynność, elastyczność, precyzję oraz wykonalność. Rubryka została opracowana przez zespół badawczy w konsultacji z trzema pracownikami naukowymi posiadającymi doświadczenie w nauczaniu kompozycji, teorii muzyki oraz ocenie w edukacji muzycznej. Wersja wstępna została zweryfikowana na podstawie pięciu kompozycji ćwiczeniowych spoza badania, pochodzących z poprzedniego roku akademickiego. Sformułowania kryteriów oraz pięciu punktów odniesienia dla ocen zostały zrewidowane po przeglądzie pilotażowym, aby zmniejszyć nakładanie się wykonalności i precyzji oraz odróżnić płynność od elastyczności. Ostateczna wersja rubryki została ustalona 20 września 2025 r., przed przeszkoleniem oceniających i formalnym punktowaniem. Po rozpoczęciu formalnego oceniania nie zmieniono żadnego sformułowania kryteriów ani punktów odniesienia dla ocen.

W końcowej rubryce nowatorstwo odnosiło się do odrębności i oryginalności pomysłu lub opracowania muzycznego. Płynność odnosi się do ciągłości i produktywności rozwoju pomysłu w obrębie utworu. Elastyczność odnosiła się do zróżnicowanych podejść, przekształceń lub adaptacyjnych przesunięć w prowadzeniu muzycznym. Precyzja odnosiła się do dopracowania, organizacji wewnętrznej i konkretności detalu muzycznego. Wykonalność odnosiła się do artystycznej i praktycznej żywotności ukończonego dzieła jako zrealizowanej kompozycji. Wszystkie pięć wymiarów oceniano przy użyciu tego samego pięciostopniowego formatu odpowiedzi. Wynik 1 oznaczał bardzo słabą demonstrację danego wymiaru, a wynik 5 oznaczał demonstrację bardzo silną. Nie dopuszczano punktów ułamkowych. Wszyscy oceniający stosowali tę samą kolejność kryteriów, punkty odniesienia oraz ustandaryzowany arkusz ocen. Definicje operacyjne i punkty odniesienia dla wszystkich pięciu wymiarów przedstawiono w Tabeli 1.

Rekrutacja, maskowanie i szkolenie oceniających

Z Instytutu Technologii Jiangxi zrekrutowano dziewięciu oceniających z wcześniejszym doświadczeniem w ewaluacji związanej z muzyką lub sztukami. Panel oceniających składał się z pięciu pracowników naukowych prowadzących kursy muzyczne, dwóch pracowników naukowych z zakresu edukacji muzycznej oraz dwóch starszych instruktorów studiów podyplomowych z doświadczeniem w ocenie artystycznej. Każdy oceniający posiadał co najmniej trzyletnie doświadczenie w nauczaniu, punktowaniu, sędziowaniu lub ocenie artystycznej. Każdemu oceniającemu przypisano zanonimizowany kod od J1 do J9. Wszyscy oceniający oceniali ten sam zanonimizowany korpus 80 kompozycji. Przez cały etap formalnej oceny oceniający nie mieli wglądu w tożsamość studentów, informacje demograficzne, przynależność do grupy zajęciowej ani oceny pozostałych recenzentów.

Przed formalną oceną wszyscy oceniający przeszli jedną zestandaryzowaną sesję szkoleniową i kalibracyjną trwającą około 120 min. Podczas sesji zespół badawczy przekazał pisemny rubric, punkty odniesienia, zestandaryzowany arkusz ocen oraz instrukcje oceniania. Pięć kryteriów i pięć kategorii odpowiedzi wyjaśniono w tej samej stałej kolejności, w jakiej odbywało się formalne ocenianie. Następnie do praktyki oceniania wykorzystano trzy zanonimizowane utwory kalibracyjne. Te trzy utwory kalibracyjne były niezależne od 80 formalnych utworów badawczych i nie zostały włączone do analitycznego zbioru danych. Każdy oceniający ocenił trzy utwory kalibracyjne niezależnie przed dyskusją. Rozbieżności analizowano kryterium po kryterium, aby wyjaśnić znaczenie każdego wymiaru, rozróżnienie między sąsiednimi kategoriami punktowymi oraz sposób wykorzystania pełnej pięciostopniowej skali. Celem sesji kalibracyjnej była standaryzacja interpretacji rubryku, a nie wymuszenie identycznych ocen. Przepływ pracy szkoleniowej oraz procedura kalibracji zostały przedstawione w Supplementary Table 2.

Formalna procedura punktacji

Podczas formalnej oceny każdy recenzent niezależnie oceniał każdą zanonimizowaną kompozycję według wszystkich pięciu kryteriów. Recenzenci analizowali zarówno plik z zapisem nutowym w formacie PDF, jak i towarzyszące mu nagranie audio w formacie MP3 dla każdego utworu. Pliki PDF były otwierane w oprogramowaniu do odczytu plików PDF, a pliki audio analizowano w programie Audacity przy użyciu słuchawek Sennheiser HD 280 Pro na stacjach roboczych tego samego typu, które były wykorzystywane do zarządzania procesem oceniania. Recenzenci otrzymali instrukcję, aby najpierw zapoznać się z plikiem nutowym, raz wysłuchać pełnego nagrania audio, a następnie dokonać oceny na poziomie poszczególnych kryteriów po drugim, ukierunkowanym odsłuchu w razie potrzeby. Dopuszczono ponowne odsłuchiwanie dowolnej kompozycji do dwóch dodatkowych razy, jeśli recenzent musiał zweryfikować szczegóły rytmu, melodii, struktury lub realizacji. Recenzentom nie wolno było omawiać poszczególnych prac podczas formalnej oceny, a żaden z recenzentów nie miał dostępu do ocen wystawionych przez pozostałych członków zespołu.

80 zanonimizowanych prac przedstawiono każdemu oceniającemu w losowej kolejności wygenerowanej przed rozpoczęciem oceny. Każdy oceniający korzystał z tego samego zanonimizowanego zestawu plików, kryteriów oceny, arkusza ocen oraz instrukcji oceniania. Formalna ocena była przeprowadzana indywidualnie w jednej do trzech sesji na każdego oceniającego, a żadna pojedyncza sesja nie trwała dłużej niż 3 hr. W przypadku oceny rozpisanej na wiele sesji, stosowano to samo środowisko pracy, zestaw plików i arkusz odpowiedzi. Każda praca miała 45 przewidywanych możliwości oceny, co odpowiadało dziewięciu oceniającym pomnożonym przez pięć kryteriów. Przy 80 pracach uwzględnionych w końcowym korpusie, projekt oceny wygenerował 3 600 przewidywanych możliwości oceny przed weryfikacją brakujących ocen.

Wprowadzanie danych, struktura kodowania i kontrola jakości

Po formalnej ocenie wszystkie zaobserwowane wyniki wprowadzono do analitycznego zbioru danych w formacie długim przy użyciu programu Microsoft Excel. Wieloaspektowy model Rascha obejmował trzy aspekty: uczniów, oceniających oraz kryteria. Uczniowie zostali zakodowani jako S1 do S80, oceniający jako J1 do J9, a kryteria jako C1 do C5. Kryteria zakodowano jako C1 dla nowości, C2 dla biegłości, C3 dla elastyczności, C4 dla precyzji oraz C5 dla wykonalności. Każdy prawidłowy rekord oceny reprezentował jedną zaobserwowaną ocenę w układzie uczeń-oceniający-kryterium i zawierał student_id, rater_id, criterion_id, criterion_name oraz score. Prawidłowe kategorie ocen zapisywano wyłącznie jako liczby całkowite od 1 do 5.

Przed dopasowaniem modelu sprawdzono zbiór danych pod kątem duplikatów rekordów, brakujących identyfikatorów, brakujących wyników, nieprawidłowych kodów uczniów, nieprawidłowych kodów oceniających, nieprawidłowych kodów kryteriów, niezgodności między criterion_id a criterion_name oraz wyników spoza dopuszczalnego zakresu. Pełny schemat badania wygenerował 3 600 oczekiwanych możliwości oceny. Końcowy plik analityczny zawierał 3 598 poprawnych obserwacji ocen oraz dwie brakujące możliwości oceny. Dwie brakujące oceny zostały odnotowane jako brakujące, nie poddano ich imputacji ani nie przypisano do żadnej poprawnej kategorii wyniku. Duplikaty rekordów oraz niespójności w kodowaniu sprawdzono w odniesieniu do oryginalnych arkuszy ocen przed estymacją modelu. Wymagana struktura zmiennych i format kodowania są przedstawione w Tabeli uzupełniającej 3.

Specyfikacja wielowymiarowego modelu Rascha

Oczyszczone dane z ocen analizowano przy użyciu programu FACETS, wersja 3.83.6. Model jednocześnie szacował kreatywność uczniów, trudność kryteriów, lokalizację wykorzystania punktacji przez oceniających oraz progi kategorii skali ocen w wspólnej skali logitowej. Uczniowie zostali określeni jako docelowy aspekt pomiaru, kryteria jako aspekt trudności, a osoby oceniające jako aspekt oceniającego. Plik sterujący FACETS określał trzy aspekty, z etykietami uczniów S1–S80, etykietami kryteriów C1–C5 i etykietami oceniających J1–J9. Zastosowano wspólny model skali ocen pięciokategorycznej dla wszystkich pięciu kryteriów, ponieważ wszystkie kryteria wykorzystywały tę samą uporządkowaną strukturę odpowiedzi w zakresie 1–5. Model oszacowano przy użyciu wspólnej metody maksymalnej wiarygodności. Nie zastosowano zewnętrznych wartości zakotwiczenia. Aspekty uczniów i kryteriów zostały scentrowane w celu raportowania w wspólnej skali logitowej, natomiast aspekt oceniających został oszacowany swobodnie, aby przedstawić zmienność w wykorzystaniu punktacji przez różnych oceniających. Struktura pliku sterującego FACETS, kodowanie aspektów, ustawienia skali ocen, metoda szacowania, reguła centrowania, reguła zbieżności, żądania wyjściowe i progi diagnostyczne zostały podsumowane w Tabeli uzupełniającej 4.

Model określono w następujący sposób:

Gdzie P_nijk oznacza prawdopodobieństwo, że student n otrzyma kategorię k od oceniającego j w kryterium i zamiast kategorii k − 1, B_n oznacza szacowaną miarę wyników kreatywnych studenta n, D_i oznacza trudność kryterium i, R_j oznacza lokalizację wykorzystania punktacji przez oceniającego j, a F_k oznacza próg między sąsiednimi kategoriami punktowymi. Kategorie punktowe zostały uporządkowane od 1 do 5. W tej parametryzacji wyższe lokalizacje oceniających odpowiadają większemu wykorzystaniu punktacji w wynikach programu FACETS. Model początkowy dopasowano do dostępnych poprawnych ocen bez łączenia kategorii. Brakujące oceny traktowano jako brakujące; nie poddawano ich imputacji ani nie przypisywano do kategorii punktowych.

Analizę FACETS przeprowadzono z maksymalną liczbą 100 iteracji i kryterium zbieżności wynoszącym mniej niż 0,01 logitów dla maksymalnej zmiany parametrów pomiędzy kolejnymi iteracjami. Specyfikacje danych wyjściowych obejmowały statystyki podsumowujące facety, indywidualne miary facetów, błędy standardowe modelu, średnie kwadratowe statystyki infit i outfit, średnie obserwowane, średnie sprawiedliwe (fair averages), wskaźniki separacji i niezawodności, testy chi-kwadrat, statystyki kategorii, progi Rascha-Andricha, błędy standardowe progów, wyniki prawdopodobieństwa kategorii, reszty standaryzowane, wyniki obciążenia oceniającego względem kryterium oraz wyniki obciążenia studenta względem kryterium. Plik sterujący FACETS, zanonimizowany zbiór danych z ocenami w formacie długim, główny wynik modelu oraz wynik analizy wrażliwości zostały zachowane jako pliki analizy odtwarzalnej.

Zasady oceny i diagnostyki

Do oceny dopasowania modelu dla uczniów, kryteriów i oceniających wykorzystano statystyki średniego kwadratu infit oraz outfit. Wartości od 0,60 do 1,30 uznano za podstawowy akceptowalny zakres dla rutynowej interpretacji. Wartości powyżej 1,50 oznaczono do weryfikacji, a wartości powyżej 2,00 uznano za istotny brak dopasowania. W przypadku każdego ucznia z wartościami średniego kwadratu infit lub outfit powyżej 2,00, oryginalne arkusze ocen sprawdzono z oczyszczonym zbiorem danych, a następnie ponownie oszacowano model po wykluczeniu tego ucznia w ramach analizy wrażliwości. Przypadki nie były usuwane z modelu głównego wyłącznie z powodu braku dopasowania; analizy wrażliwości użyto do ustalenia, czy główne wnioski dotyczące kryteriów, oceniających i skali ocen pozostały stabilne. Zasady weryfikacji dopasowania i analizy wrażliwości wymieniono w Tabeli uzupełniającej 4.

Wskaźniki separacji i niezawodności zbadano dla każdego aspektu, aby określić, czy występuje istotne różnicowanie wewnętrzne oraz czy uzyskane pomiary są wystarczająco stabilne do interpretacji. Wartości separacji powyżej 2,00 interpretowano jako potwierdzające istotne różnicowanie w obrębie aspektu. Separacja studenta poniżej 2,00 interpretowano jako wskazującą na szeroką stratyfikację, a nie precyzyjny ranking indywidualny. Wartości niezawodności bliższe 1,00 interpretowano jako wskazujące na większą stabilność pomiaru. Funkcjonowanie skali ocen zbadano przy użyciu statystyk kategorii, średnich obserwowanych, wartości średnich kwadratów dopasowania (outfit mean-square), progów Rascha-Andricha, błędów standardowych progów oraz krzywych prawdopodobieństwa kategorii. Efektywność kategorii uznano za akceptowalną, gdy średnie obserwowane rosły monotonicznie w kategoriach wyników, sąsiednie progi następowały w uporządkowanej sekwencji, a pięć kategorii tworzyło interpretowalne obszary prawdopodobieństwa wzdłuż kontinuum utajonego.

Wyniki obciążenia i interakcji przeanalizowano pod kątem kombinacji oceniający-kryterium oraz student-kryterium. Każda interakcja z absolutną standaryzowaną wartością obciążenia t wynoszącą 2,00 lub więcej została oznaczona do weryfikacji. Te kontrole diagnostyczne służyły do identyfikacji możliwych niespójności w interpretacji kryteriów lub nieoczekiwanych wzorców odpowiedzi, a nie do automatycznego usuwania ocen. Zależność lokalną oraz nakładanie się konstruktów badano poprzez analizę dopasowania kryteriów i asocjacji rezydualnych pomiędzy wszystkimi 10 możliwymi parami kryteriów. Każda asocjacja rezydualna o wartości 0,30 lub większej między dwoma kryteriami została oznaczona jako możliwa zależność lokalna i zweryfikowana z definicjami zawartymi w rubryce. Kryteria diagnostyczne te są również przedstawione w Tabeli uzupełniającej 4. Jednowymiarowa specyfikacja modelu Rascha została zatem oceniona jako założenie pomiarowe, a nie przyjęta automatycznie. Podczas interpretacji miar studenckich, indywidualne różnice logitów nie były traktowane jako znaczące, chyba że przekraczały one odpowiadającą im niepewność pomiaru. Facet studencki interpretowano przede wszystkim jako ogólny rozkład kompozycyjnych wyników kreatywności, a nie jako precyzyjny ranking poszczególnych studentów.

Wyniki

Ogólne podsumowanie aspektów

Wielowymiarowa analiza Rascha opierała się na kompletnym schemacie oceniania obejmującym 80 zanonimizowanych kompozycji, dziewięciu oceniających oraz pięć kryteriów punktacji. Schemat ten wygenerował 3 600 oczekiwanych okazji do oceny. Z tej liczby przeanalizowano 3 598 prawidłowych ocen obserwowanych, a dwie okazje do oceny odnotowano jako brakujące. Brakujące oceny nie zostały ani imputowane, ani zakodowane na nowo w żadnej z prawidłowych kategorii punktowych. Ogólne statystyki wymiarów przedstawiono w Tabuły 2. W trzech modelowanych wymiarach średnie wartości średniokwadratowe infit i outfit były bliskie 1,00, co potwierdza akceptowalne ogólne dopasowanie modelu do danych. Szacunki niezawodności wyniosły 0,87 dla kryteriów, 1,00 dla oceniających i 0,78 dla studentów. Wartości separacji wyniosły 2,56 dla kryteriów, 16,36 dla oceniających i 1,86 dla studentów. Testy chi-kwadrat były istotne dla wszystkich trzech wymiarów. Wymiar kryteriów i wymiar studentów zostały wycentrowane na poziomie 0,00 logits w celu raportowania, natomiast wymiar oceniających miał średnią miarę 0,62 logits. Miary studentów mieściły się w zakresie od -0,80 do 1,12 logits, co daje szacowany zakres 1,92 logits.

Zmienność między oceniającymi

Szacunki oceniających przedstawiono w Tabeli 2. Wartości średniokwadratowe infit mieściły się w zakresie od 0,73 do 1,26, a wartości średniokwadratowe outfit w zakresie od 0,74 do 1,27. Wszyscy dziewięciu oceniających znajdowało się w dopuszczalnym zakresie dopasowania od 0,60 do 1,30. Facet oceniającego wykazał najszerszy rozrzut spośród modelowanych facetów, co wskazuje na wyraźną zmienność w stosowaniu punktacji przez oceniających, mimo że wszyscy korzystali z tego samego rubryku, arkusza ocen i procedury oceniania. J9 miał najwyższą lokalizację miary oceniającego wynoszącą 3,37 logita, natomiast J8 miał najniższą lokalizację miary oceniającego wynoszącą -0,34 logita. Kierunek ten był zgodny z zaobserwowanymi i sprawiedliwymi średnimi: J9 miał najwyższe średnie zaobserwowane i sprawiedliwe, odpowiednio 4,74 i 4,75, natomiast J8 miał najniższe średnie zaobserwowane i sprawiedliwe, obie wynoszące 2,77. Facet oceniającego zinterpretowano zatem jako zmienność w lokalizacji stosowania punktacji na wspólnej skali logitowej, a nie jako prosty ranking surowości. J1 i J5 mieli identyczne szacunki wynoszące 0,86 logita, J3 i J6 mieli identyczne szacunki wynoszące -0,13 logita, a J2 i J4 znajdowali się blisko centrum skali oceniających, odpowiednio przy 0,03 i -0,15 logita. Całkowity rozrzut miary oceniających wyniósł 3,71 logita. Wartość separacji oceniających wyniosła 16,36 przy wartości chi-kwadrat 1487,8 (df = 8), p < 0,001. Żaden oceniający nie przekroczył progu weryfikacji dopasowania i żaden nie został wykluczony z modelu podstawowego.

Trudność kryterium i dopasowanie kryterium

Szacunki trudności kryteriów przedstawiono w Tabeli 2. Najwyższy szacunek trudności odnotowano dla wykonalności (feasibility), który wyniósł 0,20 logits, co wskazuje, że było to najtrudniejsze kryterium do wykazania przez studentów w ukończonych kompozycjach. Elastyczność i precyzja znajdowały się w średnim zakresie, z szacunkami odpowiednio 0,07 i 0,02 logits. Płynność miała szacunek trudności wynoszący -0,13 logits, a nowość najniższy szacunek trudności wynoszący -0,16 logits, co wskazuje, że nowość była najłatwiejszym kryterium do wykazania w tym korpusie. Całkowity rozstęp trudności kryteriów wyniósł 0,36 logits. Wszystkie pięć kryteriów wykazało akceptowalne wartości dopasowania. Średnie kwadraty wartości infit mieściły się w zakresie od 0,89 do 1,11, a średnie kwadraty wartości outfit w zakresie od 0,90 do 1,12. Wartość separacji kryteriów wyniosła 2,56, a wartość chi-kwadrat 37,8, df = 4, p < 0,001. Żadne z kryteriów nie przekroczyło progu przeglądu dopasowania i żadne kryterium nie zostało usunięte z modelu.

Przegląd rozkładu i dopasowania wyników kreatywności i osiągnięć studentów

Miary uczniów podsumowano w Tabeli 2 jako ogólny rozkład, a nie jako indywidualne rankingi. Faceta ucznia wykazała wartość separacji 1,86 oraz szacunek rzetelności 0,78. Wartość chi-kwadrat wyniosła 354,4 (df = 79), p < 0,001. Szacowane miary uczniów mieściły się w zakresie od -0,80 do 1,12 logitu, przy standardowych błędach modelu wynoszących około 0,19 do 0,20 logitu. Ponieważ wartość separacji uczniów była niższa niż 2,00, wyniki uczniów zinterpretowano jako wspierające szeroką stratyfikację osiągnięć, a nie precyzyjny ranking indywidualny.

Statystyki dopasowania studentów przeanalizowano przy użyciu określonych progów dopasowania. Student S3 uzyskał średni kwadrat infit na poziomie 2,10 oraz średni kwadrat outfit na poziomie 2,05, co przekroczyło próg istotnego niedopasowania. Oryginalne rekordy ocen dla S3 sprawdzono pod kątem czystego zbioru danych analitycznych, uwzględniając kod studenta, kod oceniającego, kod kryterium, nazwę kryterium, kategorię oceny, status duplikacji rekordu oraz status brakującej oceny. Nie stwierdzono błędów w wprowadzaniu danych, duplikowanych rekordów, nieprawidłowych ocen, niezgodności w brakujących ocenach ani niespójności w kodowaniu. W związku z tym S3 pozostał w modelu głównym. Następnie oszacowano model wrażliwości z wyłączeniem S3, aby ustalić, czy wnioski z modelu głównego pozostały stabilne. Model wrażliwości obejmował 79 kompozycji i 3 555 oczekiwanych możliwości oceny. Liczba poprawnych przeanalizowanych ocen w modelu wrażliwości wyniosła 3 553. W modelu wrażliwości wykonalność pozostała najtrudniejszym kryterium przy 0,19 logits, a nowość pozostała najłatwiejszym kryterium przy -0,15 logits. Separacja kryteriów zmieniła się z 2,56 na 2,48, niezawodność kryteriów zmieniła się z 0,87 na 0,86, separacja oceniających zmieniła się z 16,36 na 16,02, niezawodność oceniających pozostała na poziomie 1,00, separacja studentów zmieniła się z 1,86 na 1,82, a niezawodność studentów zmieniła się z 0,78 na 0,77. Progi skali ocen pozostały uporządkowane, zmieniając się z -2,10, -0,71, 0,69 i 2,12 logits w modelu głównym na -2,08, -0,70, 0,68 i 2,10 logits w modelu wrażliwości. Zmiany te nie wpłynęły na główne wnioski dotyczące kryteriów, oceniających, studentów ani skali ocen. Wyniki analizy wrażliwości przedstawiono w Tabeli 3.

Diagnostyka lokalnej zależności i obciążenia

Przeprowadzono diagnostykę lokalnej zależności dla wszystkich 10 możliwych par kryteriów spośród pięciu kryteriów oceny. Wszystkie powiązania resztkowe znajdowały się poniżej progu rewizyjnego wynoszącego 0,30. Największe powiązanie resztkowe wyniosło 0,24 pomiędzy precyzją a wykonalnością. Kolejne największe powiązania wyniosły odpowiednio: 0,21 pomiędzy płynnością a elastycznością, 0,18 pomiędzy nowością a płynnością oraz 0,17 pomiędzy nowością a elastycznością. Pozostałe sześć powiązań resztkowych par kryteriów również znajdowało się poniżej 0,30 i zostało przedstawione w Tabeli 4. Wyniki te nie wskazały na problematyczną lokalną zależność pomiędzy pięcioma kryteriami rubryki.

Wyniki błędu oceniającego w zależności od kryterium (rater-by-criterion bias) sprawdzono, stosując absolutny próg wartości t dla standaryzowanego błędu wynoszący 2,00. Najwyższa standaryzowana wartość t błędu oceniającego w zależności od kryterium wyniosła 1,84 dla J9 w zakresie wykonalności, co znajdowało się poniżej progu weryfikacji. Wyniki błędu studenta w zależności od kryterium (student-by-criterion) wykazały nieoczekiwany wzorzec odpowiedzi dla S3. Najwyższa standaryzowana wartość t błędu studenta w zależności od kryterium wyniosła 2,31 dla S3 w zakresie wykonalności, przekraczając próg weryfikacji. Przypadek S3 został zatem sprawdzony w odniesieniu do oryginalnych zapisów punktacji oraz poddany analizie wrażliwości. Weryfikacja nie wykazała błędów w kodowaniu ani wprowadzaniu danych, a model wrażliwości nie zmienił wniosków merytorycznych. Diagnostyka zależności lokalnej i błędów została podsumowana w  Tabeli 4.

Funkcjonowanie w skali ocen

Wyniki struktury kategorii przedstawiono w Tabela 5Wartości średnie wzrosły z -0,56 logitu w kategorii 1 do 2,23 logitu w kategorii 5, co wskazuje, że kategorie z wyższymi wynikami odpowiadały wyższym szacowanym poziomom osiągnięć twórczych. Wartości średnich kwadratów outfit dla ocenianych kategorii mieściły się w zakresie od 0,90 do 1,10. Progi Rascha-Andricha następowały w kolejności -2,10, -0,71, 0,69 i 2,12 logitu. Przejście z kategorii 1 do kategorii 2 nastąpiło przy około -2,10 logitu, przejście z kategorii 2 do kategorii 3 w okolicach -0,71 logitu, przejście z kategorii 3 do kategorii 4 w okolicach 0,69 logitu, a przejście z kategorii 4 do kategorii 5 w okolicach 2,12 logitu. Uporządkowane progi oraz akceptowalne wartości outfit uzasadniły zachowanie pierwotnej struktury pięciu kategorii. Żadnej z kategorii nie połączono.

Rozkład faset i struktura prawdopodobieństwa kategorii

Wspólny rozkład oceniających, studentów, kryteriów i kategorii odpowiedzi na wspólnej skali logitowej przedstawiono na Rysunku 2. Faceta oceniających wykazała największy rozrzut, co odzwierciedla wyraźną zmienność w rozmieszczeniu punktacji przyznawanej przez oceniających. W faciecie kryteriów nowatorstwo znalazło się na najniższym poziomie trudności, a wykonalność na najwyższym poziomie trudności. Miary dla studentów skoncentrowane były wokół środka skali, z mniejszą liczbą przypadków w górnych i dolnych ekstremach. Mapa linijki służyła do przedstawienia rozkładu miar facet oraz nie miała na celu wspierania precyzyjnego rankingowania poszczególnych studentów.

Krzywe prawdopodobieństwa kategorii przedstawiono na Rysunku 3. Kategoria 1 wykazała najwyższe prawdopodobieństwo poniżej około -2,10 logitów, kategoria 2 osiągnęła swój szczyt między około -2,10 a -0,71 logitów, kategoria 3 osiągnęła szczyt między około -0,71 a 0,69 logitów, kategoria 4 wykazała najwyższe prawdopodobieństwo między około 0,69 a 2,12 logitów, a kategoria 5 stała się dominująca powyżej około 2,12 logitów. Pionowe znaczniki progowe na Rysunku 3 wskazują punkty przejścia Rascha-Andricha między sąsiednimi kategoriami. Przejścia między sąsiednimi kategoriami następowały w uporządkowanej sekwencji, co potwierdza interpretację, że skala pięciopunktowa funkcjonowała zgodnie z założeniami.

Dostępność danych:

Zanonimizowany zbiór danych z ocenami w formacie długim, słownik kodów danych oraz główny wynik analizy FACETS zostały zdeponowane w serwisie Zenodo pod adresem DOI: https://doi.org/10.5281/zenodo.21873801. Zbiór danych zawiera zakodowane identyfikatory uczniów, identyfikatory oceniających, identyfikatory kryteriów, nazwy kryteriów, poprawne całkowite kategorie punktowe oraz wskaźniki brakujących ocen. Pełny projekt oceniania obejmował 3 600 przewidywanych okazji do wystawienia oceny. Z tych przeanalizowano 3 598 poprawnych zaobserwowanych ocen; dwie zostały odnotowane jako brakujące i nie podległy imputacji. Zdeponowany główny wynik FACETS potwierdza zgłoszone miary faset, statystyki dopasowania, indeksy separacji i niezawodności, progi skali ocen, funkcjonowanie kategorii oraz podsumowania diagnostyczne. Oryginalne prace twórcze i pliki umożliwiające identyfikację nie są publicznie dostępne, ponieważ zgoda uczestników oraz instytucjonalne ograniczenia dotyczące prywatności nie zezwalają na redystrybucję indywidualnych wypracowań uczniów ani plików, które mogłyby zawierać informacje o autorstwie. Wielofasetowa analiza Rascha została przeprowadzona przy użyciu programu FACETS w wersji 3.83.6.

Rycina 1: Schemat rekrutacji uczestników, przeprowadzania zadań, anonimizacji, punktacji, weryfikacji danych oraz wieloaspektowej analizy Rascha. Ta rycina przedstawia pełny przebieg badania, od identyfikacji kohorty źródłowej po końcową analizę modelu. Kohorta źródłowa obejmowała 96 studentów trzeciego roku muzykologii. Skontaktowano się ze wszystkimi 96 studentami; czterech nie wyraziło pisemnej zgody, 92 przeszło screening, a 12 wykluczono przed końcową analizą. Końcową próbę analityczną stanowiło 80 zanonimizowanych kompozycji nadających się do punktacji. Rycina podsumowuje również przydział zadań, przesyłanie plików, screening, anonimizację, szkolenie oceniających, formalną punktację, zestawienie danych w formacie długim, kontrolę jakości oraz analizę FACETS. Projekt ocen generował 3600 spodziewanych możliwości oceny; z tej liczby przeanalizowano 3598 poprawnych ocen obserwowanych, a dwie odnotowano jako brakujące. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rycina 2: Pionowa mapa linijki oceniających, uczniów, kryteriów i kategorii skali ocen w wspólnej metryce logitowej.Ta rycina przedstawia lokalizacje wykorzystania ocen przez oceniających, rozkład pomiarów uczniów, szacunki trudności kryteriów oraz lokalizacje kategorii odpowiedzi na wspólnej skali logitowej. Wyższe lokalizacje oceniających na tym wykresie odpowiadają częstszemu stosowaniu danej oceny, a nie większemu rygorowi. Mapa linijki służy do obrazowania rozkładu faset i nie jest wykorzystywana do tworzenia precyzyjnych rankingów poszczególnych uczniów. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rysunek 3: Krzywe prawdopodobieństwa kategorii dla pięciostopniowej skali oceny. Pionowe przerywane linie wskazują progi kategorii Rascha-Andricha, które wyznaczają szacowane punkty przejścia między sąsiadującymi kategoriami odpowiedzi. Uporządkowane przecięcia sąsiadujących kategorii pokazują, że pięciostopniowa skala odpowiedzi działała w oczekiwanym kierunku i uzasadnia zachowanie oryginalnej struktury kategorii bez ich łączenia. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Kryterium	Definicja operacyjna	Wynik 1	Wynik 2	Wynik 3	Wynik 4	Wynik 5
Nowatorskość	Wyrazistość i oryginalność pomysłu lub opracowania muzycznego	Konwencjonalne lub imitacyjne	Ograniczona oryginalność	Pewna oryginalność, lecz nierówny poziom	Wyraźna oryginalność w kilku częściach	Wysoce charakterystyczny i konsekwentnie oryginalny
Płynność	Ciągłość i produktywność rozwoju idei w ramach pracy	Bardzo ograniczony rozwój	Rzadki rozwój	Prawidłowy rozwój	Bogaty i trwały rozwój	Wysokowydajny i stale rozwijany
Elastyczność	Stosowanie zróżnicowanych podejść, transformacji lub adaptacyjnych przesunięć w operowaniu materiałem muzycznym	Pojedyncze podejście sztywne	Minimalna zmienność	Pewna zmienność	Wyraźna zmienność między sekcjami lub urządzeniami	Silnie zróżnicowane i adaptacyjnie rozwinięte
Precyzja	Doskonalenie, organizacja wewnętrzna i konkretność detalu muzycznego	Słaba kontrola i niejasne szczegóły	Ograniczona rafinacja	Umiarkowana organizacja i szczegółowość	Dobra rafinacja i organizacja wewnętrzna	Wysoki stopień oczyszczania z jasnymi i konkretnymi szczegółami
Wykonalność	Artystyczna i praktyczna wykonalność ukończonej kompozycji jako zrealizowanego dzieła	Niezdatne jako ukończona praca	Niska żywotność	Podstawowo żywotny	Wykonalne i muzycznie użyteczne	W pełni wykonalne i przekonująco zrealizowane

Tabela 1: Definicje operacyjne i punkty odniesienia dla pięciu wymiarów zachowań twórczych w pracach kompozycyjnych.Tabela ta przedstawia końcową rubrykę wykorzystaną do formalnej oceny. Definiuje ona nowość, płynność, elastyczność, precyzję oraz wykonalność i dostarcza punktów odniesienia w skali od 1 do 5 dla każdego kryterium. Definicje te odróżniają trwały rozwój pomysłu od wariacji adaptacyjnej oraz odróżniają dopracowanie strukturalne od zrealizowanej artystycznej i praktycznej wykonalności.

Aspekt / Jednostka	Pomiar (logity)	Model SE	Infit MnSq	Przygotowanie MnSq	Obserwowana średnia	Umiarkowanie przeciętny	Separacja	Niezawodność	Chi-kwadrat (df)
Kryteria ogólne	0	0.05	0.99	0.99	3.36	3.43	2.56	0.87	37.8 (4)***
Nowatorskość	-0.16	0.05	1.01	1.07	3.46	3.54	—	—	—
Płynność	-0.13	0.05	1	0.95	3.44	3.52	—	—	—
Elastyczność	0.07	0.05	0.89	0.93	3.32	3.39	—	—	—
Precyzja	0.02	0.05	0.95	0.9	3.35	3.42	—	—	—
Wykonalność	0.2	0.05	1.11	1.12	3.23	3.3	—	—	—
Ogólna ocena osób oceniających	0.62	0.07	0.98	0.99	3.36	3.36	16.36	1	1487.8 (8)***
J1	0.86	0.06	1.26	1.27	3.59	3.59	—	—	—
J2	0.03	0.06	1.1	1.1	3.02	3.02	—	—	—
J3	-0.13	0.06	0.73	0.74	2.91	2.91	—	—	—
J4	-0.15	0.06	1.07	1.07	2.9	2.9	—	—	—
J5	0.86	0.06	1.26	1.27	3.59	3.59	—	—	—
J6	-0.13	0.06	0.73	0.74	2.91	2.91	—	—	—
J7	1.19	0.06	0.77	0.77	3.8	3.81	—	—	—
J8	-0.34	0.06	1.06	1.06	2.77	2.77	—	—	—
J9	3.37	0.11	0.87	0.93	4.74	4.75	—	—	—
Studenci, ogółem	0	0.19	0.99	0.99	3.36	3.43	1.86	0.78	354.4 (79)***
Zakres pomiarowy studenta	-0,80 do 1,12	0.19–0.20	—	—	—	—	—	—	—
UWAGA: Projekt oceny wygenerował 3600 spodziewanych okazji do oceny, obliczonych jako 80 kompozycji x 9 oceniających x 5 kryteriów. Model główny analizował 3598 ważnych zaobserwowanych ocen; dwie okazje do oceny były brakujące i nie zostały poddane imputacji ani zakodowane w kategoriach wyników. W odniesieniu do fasetu oceniającego, miary oceniających interpretowane są tutaj jako lokalizacje wykorzystania punktacji przez oceniającego na wspólnej skali logitowej. W tym wyniku wyższe miary oceniających wiązały się z wyższymi średnimi zaobserwowanymi i sprawiedliwymi, co wskazuje na tendencję do częstszego stosowania wyższych ocen, a nie na większą surowość oceny. ***= p < 0.001.

Tabela 2: Statystyki podsumowujące analizę Rascha dla wielu wymiarów (many-facet Rasch analysis) w odniesieniu do kryteriów, oceniających i studentów. Tabela ta przedstawia główne wyniki z programu FACETS dla trzech modelowanych wymiarów, w tym miary logitowe, standardowe błędy modelu, średniokwadratowe wartości dopasowania wewnętrznego (infit) i zewnętrznego (outfit), średnie obserwowane, średnie sprawiedliwe (fair averages), indeksy separacji, szacunki niezawodności oraz testy chi-kwadrat. Projekt ocen wygenerował 3 600 oczekiwanych możliwości oceny; przeanalizowano 3 598 poprawnych ocen obserwowanych, a dwie możliwości oceny odnotowano jako brakujące. Trudność kryteriów, położenie wykorzystania ocen przez oceniających oraz ogólny rozkład miar studentów są przedstawione w tej samej metryce logitowej. Miary oceniających interpretuje się jako położenie wykorzystania ocen, a nie jako prosty ranking surowości, ponieważ wyższym miarom oceniających towarzyszyły wyższe średnie obserwowane i sprawiedliwe. Wyniki studentów podsumowano w formie rozkładu i nie przedstawiono ich jako precyzyjnych rankingów indywidualnych.

Metryka	Model podstawowy	Model czułości z wyłączeniem S3
Liczba składów	80	79
Oczekiwane możliwości oceny	3,600	3,555
Analiza poprawnych rekordów ocen	3,598	3,553
Utracone możliwości oceny	2	2
Kryterium o najwyższym stopniu trudności	Wykonalność, 0,20 logitów	Wykonalność, 0,19 logitów
Kryterium o najniższym stopniu trudności	Nowość, -0,16 logitów	Nowość, -0,15 logitów
Separacja kryteriów	2.56	2.48
Rzetelność kryterialna	0.87	0.86
Separacja oceniających	16.36	16.02
Niezawodność oceniającego	1	1
Separacja studentów	1.86	1.82
Wiarygodność studenta	0.78	0.77
Progi skal oceniania	-2.10, -0.71, 0.69, 2.12	-2.08, -0.70, 0.68, 2.10
Wybór modelu pierwotnego	Zachowano model podstawowy	Bez istotnych zmian
UWAGA: Model podstawowy wykorzystał 3 598 prawidłowych zaobserwowanych ocen z 3 600 oczekiwanych okazji do oceny. Model wrażliwości wykluczył S3 i wykorzystał 3 553 prawidłowe zaobserwowane oceny z 3 555 oczekiwanych okazji do oceny. Te same dwie brakujące okazje do oceny znajdowały się poza S3, w związku z czym pozostały brakujące w modelu wrażliwości. Wykluczenie S3 nie zmieniło w sposób istotny kolejności kryteriów, indeksów separacji, szacunków niezawodności ani struktury progów skali ocen.

Tabela 3: Analiza wrażliwości po wykluczeniu przypadku studenta z błędnym dopasowaniem.Tabela ta porównuje model podstawowy z modelem wrażliwości oszacowanym po wykluczeniu S3. Model podstawowy wykorzystał 80 kompozycji, 3 600 oczekiwanych okazji do oceny oraz 3 598 poprawnych zaobserwowanych ocen. Model wrażliwości wykorzystał 79 kompozycji, 3 555 oczekiwanych okazji do oceny oraz 3 553 poprawne zaobserwowane oceny. Tabela przedstawia zmiany w trudności kryterium, separacji kryteriów, niezawodności kryteriów, separacji oceniających, niezawodności oceniających, separacji studentów, niezawodności studentów oraz progach skali ocen. Analiza wrażliwości nie wykazała istotnych zmian w konkluzjach głównego modelu.

Pozycja diagnostyczna	Próg weryfikacji	Największa zaobserwowana wartość / wartość zaobserwowana	Wynik weryfikacji
Pozostała asocjacja: nowość–płynność	≥0.30	0.18	Poniżej progu
Pozostała asocjacja: nowość–elastyczność	≥0.30	0.17	Poniżej progu
Pozostała asocjacja: nowość–precyzja	≥0.30	0.12	Poniżej progu
Pozostała asocjacja: nowość–wykonalność	≥0.30	0.09	Poniżej progu
Pozostała asocjacja: płynność–elastyczność	≥0.30	0.21	Poniżej progu
Pozostała asocjacja: płynność–precyzja	≥0.30	0.16	Poniżej progu
Pozostała asocjacja: płynność–wykonalność	≥0.30	0.14	Poniżej progu
Pozostała asocjacja: elastyczność–precyzja	≥0.30	0.15	Poniżej progu
Pozostała asocjacja: elastyczność–wykonalność	≥0.30	0.11	Poniżej progu
Pozostała asocjacja: precyzja–wykonalność	≥0.30	0.24	Poniżej progu
Ustandaryzowana wartość t obciążenia dla interakcji oceniający-kryterium	wartość bezwzględna ≥2.00	1.84 dla J9 w zakresie wykonalności	Poniżej progu
Ustandaryzowana wartość t obciążenia dla interakcji student-kryterium	wartość bezwzględna ≥2.00	2.31 dla S3 w zakresie wykonalności	Zweryfikowano poprzez analizę wrażliwości i weryfikację oryginalnego zapisu
Weryfikacja wprowadzania danych dla S3	Jakikolwiek błąd kodowania lub wprowadzania	Nie znaleziono	S3 zachowano w modelu głównym
Analiza wrażliwości z wyłączeniem S3	Zmiana wniosków modelu głównego	Brak istotnych zmian	Zachowano model główny
UWAGA: Zweryfikowano wszystkie 10 pozostałych asocjacji par kryteriów. Wartości poniżej 0.30 zinterpretowano jako niewskazujące na problematyczną lokalną zależność pomiędzy pięcioma kryteriami rubryki. Interakcje oceniający-kryterium i student-kryterium zweryfikowano, stosując próg bezwzględnej ustandaryzowanej wartości t obciążenia wynoszący 2.00.

Tabela 4: Kontrole diagnostyczne zależności lokalnych i obciążenia.W tej tabeli podsumowano kontrole diagnostyczne pod kątem pokrywania się kryteriów, obciążenia oceniającego względem kryterium, nieoczekiwanych wzorców odpowiedzi studenta względem kryterium oraz weryfikację przypadku studenta o niedopasowaniu. Przeanalizowano wszystkie 10 możliwych asocjacji residuów dla par kryteriów. Asocjacje residuów między kryteriami znajdowały się poniżej progu weryfikacji wynoszącego 0,30. Najwyższa standaryzowana wartość t dla obciążenia oceniającego względem kryterium była niższa od progu weryfikacji |t| ≥ 2,00, natomiast analiza odpowiedzi studenta względem kryteriów zidentyfikowała nieoczekiwany wzorzec odpowiedzi powiązany z S3, który został zweryfikowany poprzez analizę oryginalnych zapisów oraz analizę wrażliwości. Analiza wrażliwości nie wykazała istotnych zmian w głównych wnioskach z modelu.

Kategoria oceny	Etykieta kategorii	Średnia miara (logity)	Outfit MnSq	Próg Rascha-Andricha	Błąd standardowy progu	Miara przy -0,5
1	Słaba	-0,56	1	—	—	—
2	Minimalna	-0,21	0,9	-2,1	0,1	-2,51
3	Zadowalająca	0,25	0,9	-0,71	0,05	-0,73
4	Powyżej przeciętnej	0,8	1,1	0,69	0,04	0,72
5	Doskonała	2,23	1,1	2,12	0,06	2,53
UWAGA: Progi Rascha-Andricha wskazują szacowane punkty przejścia między sąsiadującymi kategoriami oceny. Dla kategorii 1 nie podano progu, ponieważ jest ona kategorią najniższą. „Miara przy -0,5” podaje lokalizację logitu powiązaną z granicą kategorii wyjściową w programie FACETS i jest uwzględniona jako diagnostyka funkcjonowania kategorii, a nie jako osobna ocena wyników ucznia. Żadna kategoria nie została połączona.

Tabela 5: Funkcjonowanie kategorii pięciostopniowej skali ocen.Tabela ta przedstawia statystyki na poziomie kategorii dla pięciostopniowej skali odpowiedzi, w tym miary średnie, wartości średniokwadratowe dopasowania (outfit mean-square), progi Rascha-Andricha, błędy standardowe progów oraz wynik funkcjonowania kategorii „Measure at -0.5” z programu FACETS. Progi Rascha-Andricha wskazują szacowane punkty przejścia między sąsiednimi kategoriami ocen. Uporządkowane progi wykazują, że pięć kategorii odpowiedzi rozwijało się w oczekiwanym kierunku i żadna kategoria nie została scalona.

Tabela uzupełniająca 1: Wymagania dotyczące zadania kompozycyjnego, przepływ rekrutacji i specyfikacje przesyłania prac.Tabela ta przedstawia ustawienia badania, przepływ rekrutacji, kryteria kwalifikowalności uczestników, format zadania, wymagane elementy strukturalne, zasady oryginalności, wymogi dotyczące przesyłania prac, zasady przesiewowe, powody wykluczenia oraz końcową jednostkę analityczną. Dokumentuje ona sposób pozyskania końcowego korpusu 80 zanonimizowanych i możliwych do ocenienia kompozycji. Prosimy kliknąć tutaj, aby pobrać ten plik.

Tabela uzupełniająca 2: Szkolenie oceniających, kalibracja i znormalizowana procedura punktacji.Tabela ta podsumowuje rekrutację oceniających, kwalifikacje oceniających, anonimizację kodowania przez oceniających, materiały szkoleniowe, omówienie rubryk, omówienie kategorii, punktację kalibracyjną, przegląd rozbieżności, procedury zaślepienia, ograniczenia punktacji, materiały do przeglądu, procedurę odtwarzania, zasadę wielokrotnego odsłuchiwania, zrandomizowaną kolejność prezentacji oraz kontrolę czasu trwania punktacji. Prosimy kliknąć tutaj, aby pobrać ten plik.

Tabela uzupełniająca 3: Struktura zbioru danych w formacie długim i reguły kodowania. Tabela ta przedstawia strukturę zmiennych, reguły kodowania, ograniczenia zbioru danych, kody kryteriów oraz przykładowe wiersze dla analitycznego zbioru danych w formacie długim. Każdy prawidłowy wiersz reprezentuje jedno zaobserwowane zdarzenie punktowania, zdefiniowane przez identyfikator studenta, identyfikator oceniającego, identyfikator kryterium, nazwę kryterium i kategorię oceny. Projekt oceny wygenerował 3 600 oczekiwanych okazji do oceny, z czego przeanalizowano 3 598 prawidłowych zaobserwowanych ocen, a dwie okazje do oceny zostały udokumentowane jako brakujące. Kliknij tutaj, aby pobrać ten plik.

Tabela uzupełniająca 4: Plik kontrolny FACETS i specyfikacje diagnostyczne.W tabeli tej przedstawiono strukturę modelu FACETS oraz ustawienia powtarzalności, w tym wersję oprogramowania, typ modelu, modelowane facety, kategorie wyników, sposób obsługi brakujących ocen, metodę szacowania, maksymalną liczbę iteracji, kryterium zbieżności, żądania wyjściowe, progi dopasowania, próg przeglądu obciążenia, próg zależności lokalnej oraz regułę interpretacji miary studenta. Brakujące oceny traktowano jako brakujące, nie poddawano ich imputacji ani nie przekodowywano na ważne kategorie wyników. Kliknij tutaj, aby pobrać ten plik.

Dyskusja

W niniejszym badaniu zastosowano wieloaspektowy model Rascha w celu oceny zachowań twórczych studentów muzyki na poziomie licencjackim na podstawie oryginalnych kompozycji. Wyniki wykazały, że osiągnięcia studentów, trudność kryteriów, zmienność między oceniającymi oraz funkcjonowanie kategorii skali ocen można oszacować w ramach wspólnej struktury pomiarowej. Wynik ten wspiera zastosowanie modelowania wieloaspektowego w ocenie muzycznej opartej na rubrykach, gdy oceny są wynikiem eksperckiej oceny, a nie wyłącznie obiektywnych odpowiedzi¹¹. Model ten nie wyeliminował potrzeby eksperckiej oceny muzycznej; zamiast tego zapewnił ustrukturyzowany sposób badania, w jaki aspekty związane ze studentem, kryterium i oceniającym wpływają na zaobserwowane oceny. Jest to istotne w przypadku oceny kompozycji, ponieważ ukończone utwory wymagają oceny jakościowej, a same surowe wyniki nie mogą wskazać, czy zmienność wyników odzwierciedla cechy studenta, kryterium, oceniającego czy skali ocen¹².

Wyniki kryteriów wykazały, że nowatorstwo było najmniej wymagającym kryterium, podczas gdy wykonalność i elastyczność okazały się trudniejsze w ramach ukończonych kompozycji. Wzorzec ten należy interpretować jako opisowy wynik pomiaru, a nie jako dowód na przyczynowy efekt instruktażowy. Wynik ten wskazuje, że w tym korpusie studenci chętniej prezentowali charakterystyczne pomysły muzyczne niż w pełni zrealizowaną wykonalność lub adaptacyjną transformację w obrębie ukończonego utworu. Rozróżnienie to jest zgodne z badaniami nad kreatywnością muzyczną, które traktują kompozycję jako proces obejmujący generowanie pomysłów, ich rozwój, selekcję, restrukturyzację, dopracowanie i realizację, a nie tylko samą oryginalność¹³. Potwierdza to również wartość rozdzielania wymiarów rubryki zamiast sprowadzania osiągnięć twórczych do pojedynczej, globalnej oceny¹⁴. Niniejsze badanie nie pozwala jednak określić, czy zaobserwowany wzorzec trudności był spowodowany praktykami nauczania, projektem zadania, etapem rozwoju studentów, sformułowaniem kryteriów czy interpretacją oceniających. Przyszłe badania powinny łączyć oceny produktów z dowodami dotyczącymi procesu, takimi jak szkice, historie poprawek, dzienniki refleksyjne lub wywiady dotyczące kompozycji, aby zbadać, w jaki sposób studenci przechodzą od początkowych pomysłów do zrealizowanych produktów muzycznych.

Wyniki oceniających wykazały znaczną zmienność między oceniającymi a pomiarem, podczas gdy wszystkie wartości dopasowania oceniających pozostały w zdefiniowanym zakresie akceptowalnym. Wzorca tego nie należy interpretować po prostu jako błędu w szkoleniu oceniających. Różnice w sposobie przypisywania punktów przez oceniających są spodziewane w ocenie artystycznej przeprowadzanej przez ekspertów i stanowią jeden z głównych powodów stosowania wielowymiarowego modelu Rascha¹⁵. Niniejsze wyniki pokazują, że oceniający korzystali ze skali w sposób w szerokim sensie akceptowalny, mimo różnic w relatywnym wykorzystaniu kategorii punktowych. Model ten pomógł zatem skorygować zmienność wyników związaną z oceniającymi przed interpretacją pomiarów kryteriów i studentów. W przyszłych zastosowaniach szkolenie oceniających powinno być połączone z monitorowaniem post hoc zmienności wykorzystania punktacji, dopasowania, użycia kategorii oraz interakcji między oceniającymi a kryteriami, zamiast polegania wyłącznie na szkoleniu w celu wyeliminowania wszystkich różnic między oceniającymi¹⁶.

Faset studentów wykazał mierzalną zmienność, ale jedynie umiarkowaną separację. Estymacja rzetelności dla studentów wyniosła 0,78, a wartość separacji 1,86. W związku z tym wyniki studentów należy interpretować jako wspierające ogólną stratyfikację wyników, a nie precyzyjny ranking indywidualny. Kwestia ta jest istotna, ponieważ niewielkie różnice między logitami poszczególnych studentów mogą być mniejsze niż odpowiadające im standardowe błędy pomiaru. Przypadek S3 z niedopasowaniem dodatkowo uzasadnia ostrożną interpretację na poziomie indywidualnym. Po weryfikacji oryginalnych zapisów i analizie wrażliwości, główny porządek kryteriów, wzorzec pomiaru oceniającego oraz struktura progów skali ocen pozostały stabilne. S3 został zatem utrzymany w modelu głównym, jednak badanie nie wyciąga merytorycznych wniosków z tego pojedynczego przypadku. Taka interpretacja jest zgodna z wykorzystaniem analizy dopasowania Rascha jako narzędzia diagnostycznego do oceny stabilności pomiaru, a nie jako podstawy do niepopartych dowodami twierdzeń indywidualnych¹⁷.

Badanie posiada kilka ograniczeń. Po pierwsze, próba została pobrana z jednej instytucji i na jednym etapie edukacyjnym, zatem wyniki nie powinny być uogólniane poza porównywalne grupy studentów muzykologii bez dalszej walidacji. Po drugie, w badaniu oceniano końcowe produkty kompozycyjne i nie uwzględniono materiałów procesowych, takich jak szkice, historia rewizji, dzienniki refleksyjne czy dane z metody głośnego myślenia. Po trzecie, pięć kryteriów rubryki traktowano jako powiązane przejawy ogólnych twórczych zachowań kompozycyjnych, a wyniki diagnostyczne potwierdziły tę specyfikację w obecnym zbiorze danych; jednak przyszłe badania powinny sprawdzić, czy ta sama struktura utrzymuje się w większych próbach, w innych instytucjach i przy różnych zadaniach kompozycyjnych. Po czwarte, doświadczenie oceniających modelowano wyłącznie poprzez aspekt oceniającego, a badanie nie testowało bezpośrednio, w jaki sposób wykształcenie dyscyplinarne, doświadczenie w nauczaniu, preferencje estetyczne lub biegłość w komponowaniu wpływały na zmienność pomiaru między oceniającymi. Wreszcie, badanie miało charakter przekrojowy i nieinterwencyjny, zatem wzorzec trudności kryteriów nie powinien być wykorzystywany do wyciągania wniosków na temat skuteczności nauczania lub przyczynowości dydaktycznej.

Podsumowując, niniejsze badanie prezentuje powtarzalną procedurę oceny zachowań twórczych u studentów kierunków muzycznych na podstawie oryginalnych kompozycji, z wykorzystaniem ustrukturyzowanego rubrykowania oraz wielowymiarowego pomiaru Rascha. Wyniki pokazują, że trudność kryteriów, wariancja miar oceniających, rozkład wyników studentów oraz funkcjonowanie skali ocen mogą być badane w ramach jednego systemu pomiarowego. Nowatorstwo było stosunkowo łatwiejsze do wykazania, natomiast wykonalność i elastyczność w ukończonych kompozycjach okazały się trudniejsze. Wariancja miar oceniających była znaczna, co potwierdza potrzebę modelowania efektów raterów w ocenie muzycznej. Miary studenckie wspierały szeroką stratyfikację, a nie precyzyjne rankingowanie indywidualne. Ogólnie rzecz biorąc, opracowany schemat stanowi przejrzystą podstawę do oceny zachowań twórczych opartych na kompozycji oraz do udoskonalania projektowania rubryk, monitorowania oceniających i przyszłych badań walidacyjnych w szkolnictwie wyższym w zakresie muzyki.

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Adobe Acrobat Reader	Adobe	26.001.21346	Służy do otwierania i przeglądania plików z partyturami w formacie PDF podczas wstępnej weryfikacji i formalnej oceny.
Audacity	Audacity	3.7.7	Służy do otwierania i przeglądania renderów audio w formacie MP3 towarzyszących przesłanym kompozycjom.
FACETS	Winsteps	3.83.6	Służy do wieloaspektowej analizy Rascha.
Słuchawki HD 280 Pro	Sennheiser	506845	Zamknięte słuchawki monitorowe stosowane do zestandaryzowanego odsłuchu podczas przeglądania przesłanych plików audio.
Microsoft 365 Apps for business, w tym Excel	Microsoft	O365BusinessRetail	Służy do wprowadzania ocen, zestawiania zbiorów danych w formacie długim oraz weryfikacji danych przed analizą Rascha.
Moodle LMS	Moodle	MOODLE_5013	Służy jako instytucjonalny system zarządzania uczeniem się do przesyłania zadań i gromadzenia plików.
MuseScore Studio	MuseScore	4.6.5	Służy do przygotowania, notacji i eksportu plików z oryginalnymi kompozycjami w formatach opartych na partyturach.
Komputer stacjonarny OptiPlex Tower Plus 7020	Dell	QBS1250	Służy jako stacja robocza do zarządzania plikami, administracji ocenianiem i analizy statystycznej.