Wykorzystanie miar efektów uczenia się do oceny edukacji pielęgniarskiej na poziomie doktoratu

Podsumowanie

Omówiono strukturę i proces pomiaru efektów uczenia się studentów za pomocą dostosowywalnych rubryk oceny, a następnie zastosowano je w programie studiów doktoranckich z zakresu pielęgniarstwa.

Streszczenie

Programy edukacyjne na wszystkich poziomach muszą być w stanie wykazać pomyślne rezultaty realizacji programu. Same oceny nie stanowią kompleksowej metodologii pomiarowej służącej do oceny efektów uczenia się studentów, zarówno na poziomie kursu, jak i programu. Opracowanie i stosowanie rubryk oceny (kryteriów oceniania) zapewnia jednoznaczną metodologię pomiarową, która gwarantuje wysoką jakość procesu kształcenia, stanowiąc podstawę do ulepszeń opartą na jakościowych i ilościowo mierzalnych, zagregowanych wynikach kursów i programów. Efekty uczenia się są ucieleśnieniem całości doświadczenia edukacyjnego i powinny obejmować ocenę zarówno jakościowych, jak i ilościowych rezultatów programu. Ocena mierników jakościowych stanowi wyzwanie dla pedagogów na każdym poziomie programu kształcenia. Pielęgniarstwo stwarza wyjątkowe wyzwanie i możliwość, ponieważ jest ono zastosowaniem nauki poprzez sztukę opieki. Kwantyfikacja pożądanych efektów uczenia się studentów może zostać usprawniona dzięki opracowaniu rubryk oceny zaprojektowanych do pomiaru ilościowych i jakościowych aspektów procesu kształcenia i uczenia się w pielęgniarstwie. Zapewniają one kadrze dydaktycznej pielęgniarstwa mechanizm jednolitej oceny koncepcji i konstruktów, które w inny sposób są trudne do opisania i zmierzenia. Przedstawiono protokół i zastosowano go w programie studiów doktoranckich z pielęgniarstwa wraz z zaleceniami dotyczącymi aplikacji i adaptacji rubryk oceny do innych programów edukacyjnych. Dzięki zastosowaniu tych specjalnie zaprojektowanych rubryk wszystkie aspekty programu edukacyjnego mogą zostać odpowiednio ocenione, aby dostarczyć informacji do ewaluacji programu, co ułatwia niwelowanie luki między pożądanymi a rzeczywistymi efektami uczenia się studentów w odniesieniu do dowolnej wymaganej kompetencji edukacyjnej.

Protokół

Poniższy protokół opisuje proces opracowywania rubryki oceny w celu pomiaru efektów uczenia się studentów. Proces ten został zastosowany w ramach programu studiów doktoranckich w dziedzinie pielęgniarstwa.

1. Wstęp. W ciągu ostatnich dwóch dekad nauczyciele w edukacji medycznej są w coraz większym stopniu zobligowani do wykazania w ramach swoich programów edukacyjnych, w jaki sposób studenci są odpowiednio przygotowani do funkcjonowania w złożonych środowiskach usługowych po ukończeniu studiów (^{1, 2, 3,4, 5, 6}). Koncepcja mierników efektów uczenia się studentów opiera się na chęci wykazania poprzez proces pomiarowy, w jaki sposób student, który pomyślnie ukończył proces uczenia się w danym obszarze wiedzy, różni się od osoby, która nie ukończyła tego samego procesu. Same oceny nie demonstrują opanowania efektu uczenia się przez studenta, lecz raczej pomyślne lub niepomyślne osiągnięcie wyniku w odpowiedzi na procedurę testową w danym momencie. Koncentracja na ocenianiu kosztem uczenia się przyczynia się do budowania kultury testowania zamiast kultury uczenia się (⁷). Co więcej, większość procedur testowych mierzy ilościowo różne koncepcje, które były lub są łatwo mierzalne. Ale co z tymi aspektami nauki lub umiejętności, które w większym stopniu odnoszą się do jakości? Jak edukatorzy powinni mierzyć te aspekty? W jaki sposób powinny być one odzwierciedlone w oczekiwanych efektach uczenia się studentów? Jak powinny zostać skwantyfikowane, aby można było je odpowiednio zmierzyć? Jako społeczeństwo zazwyczaj nie cenimy tego, czego nie potrafimy zmierzyć. Niniejszy protokół przedstawia metodę kwantyfikacji koncepcji i konstruktów w dowolnej dyscyplinie lub umiejętności przy użyciu tzw. „rubryk” (⁸). Po skwantyfikowaniu tych koncepcji mogą one być następnie mierzone, modyfikowane i dopracowywane, aby wykazać, że student przyswoił wiedzę.
2. Struktura. Poniższe kluczowe pojęcia są zdefiniowane wizualnie w odniesieniu do procesu oceny. Po pierwsze, rozwój koncepcji efektu uczenia się zilustrowano w następujący sposób (patrz Tabela 1). Efekt uczenia się jest ucieleśnieniem wiedzy, którą student powinien posiadać po pomyślnym ukończeniu procesu uczenia się związanego z określonymi treściami. Efekty uczenia się powinny obejmować wiedzę opartą na pomiarze (immanentnie ilościową) oraz wiedzę opartą na znaczeniu (immanentnie jakościową).
   1. Struktura-metodologia. Kolejnym kluczowym pojęciem procesu oceny jest metodologia pomiaru. Wielu edukatorów myli pomyślne osiągnięcie efektów uczenia się studentów z uzyskaniem dobrych ocen. Stosowanie oceny jako jedynej metodologii pomiarowej odzwierciedla jedynie połowę potencjalnej oceny procesu uczenia się. Można to najlepiej zilustrować następującym pytaniem: który student pomyślnie przyswoił efekt uczenia się – ten, który uzyskał 90% na egzaminie, ale nie potrafi zaktualizować wiedzy w realnej sytuacji, czy ten, który uzyskał 70% na tym samym egzaminie i potrafi zastosować wiedzę w realnej sytuacji, gdy jest to potrzebne? Same oceny stanowią jedynie punkt odniesienia, pomiar w danym czasie służący weryfikacji i syntezie wiedzy. Nie stanowią one pomiaru translacji ani zastosowania wiedzy.
   2. Struktura-definicja rubryki. Po zrozumieniu podstaw efektu uczenia się musimy zapoznać się z najlepszym sposobem jego pomiaru. Dobrym sposobem jest zastosowanie macierzy lub rubryki oceny. Aby prawidłowo opracować rubrykę oceny efektów uczenia się studentów, należy najpierw zdefiniować, czym jest rubryka. Jest to narzędzie punktacyjne, które po prawidłowym skonstruowaniu pozwala osobie go używającej ocenić pracę na podstawie określonego zestawu kryteriów. Ponadto zapewnia mechanizm definiowania jakości poprzez przekształcenie „intuicyjnych spostrzeżeń” w mierzalne zjawiska. Wykazano, że jest to wartościowe zarówno dla nauczyciela, jak i ucznia, szczególnie w środowiskach nauczania dorosłych (^{9, 10}).
   3. Struktura-skład rubryki. Rubryka zazwyczaj przyjmuje fizyczną formę siatki z wierszami i kolumnami. Wiersze wyznaczają poszczególne kategorie definiujące koncepcję lub konstrukt, który próbujemy zmierzyć, natomiast kolumny reprezentują różne stopnie realizacji każdego kryterium mierzonego w danej kategorii. Tabela 2 przedstawia strukturę podstawowej rubryki.
   4. Struktura-przegląd rubryki. Po zrozumieniu, czym jest rubryka i jaka jest jej funkcja, należy zastanowić się, jakie aspekty koncepcji lub konstruktu chce się zdefiniować. Tabela 3 przedstawia przykład koncepcji ilościowych i jakościowych, które można by zastosować i zmierzyć w rubryce oceny efektów uczenia się.
3. Proces. Metoda opracowania skutecznej rubryki opiera się na zdolności rubryki do szybkiego i dokładnego pomiaru koncepcji lub konstruktów, które chcemy ocenić. W swojej najbardziej rudymentarnej formie jest ona ucieleśnieniem „intuicji” oceniającego. Idealnie proces pomiaru powinien uwzględniać aspekty ilościowe (rzeczy mierzalne rutynowo i łatwo) oraz aspekty jakościowe (rzeczy posiadające znaczenie, trudne do zmierzenia) i kwantyfikować oba te elementy w formie rubryki oceny.
4. Wynik. Pożądanym wynikiem opracowania i stosowania rubryki oceny w procesie edukacyjnym jest dokładny pomiar efektów uczenia się studentów. Efekty uczenia się to mierzalne stwierdzenia dotyczące tego, co nauczyciel oczekuje, że student będzie wiedział, potrafił zrobić, cenił i o czym będzie myślał itp. po ukończeniu kursu lub programu.
5. Zastosowanie. Harden zauważył, że efekty uczenia się można skwantyfikować w sposób pozwalający na pomiar kompetencji niezbędnych do praktyki medycznej (¹¹). Wykazano, że dobrze zaprojektowane efekty uczenia się, które mierzą wyniki w kursach końcowych, są skutecznym narzędziem w korelowaniu przygotowania edukacyjnego pielęgniarek z pomyślnym przejściem do praktyki zawodowej (¹²). Prawidłowo skonstruowane rubryki do oceny efektów uczenia się są kluczowym elementem dobrze zaprojektowanego programu pomiaru efektów uczenia się (^{13, 14}). Znajdują one istotne zastosowanie w profesjonalnych programach kształcenia, gdzie koncepcje jakościowe są kluczowe dla praktyki. Niniejszy protokół został zastosowany w programie doktoranckim dla pielęgniarek w celu zademonstrowania, jak opracowywać i stosować rubryki oceny w ewaluacji pożądanych efektów uczenia się studentów na poziomie kursu i programu.
   1. Zastosowanie-scenariusz. Doctor of Nursing Practice (DNP) to stosunkowo nowy stopień doktora. Jest to doktorat praktyczny dla pielęgniarek. Jest on odpowiednikiem innych doktoratów praktycznych w ochronie zdrowia, takich jak MD dla lekarzy, PharmD dla farmaceutów i PsyD dla psychologów. W jego centrum znajduje się oczekiwanie, że absolwenci będą potrafili zastosować techniki takie jak synteza i etyczne podejmowanie decyzji w celu translacji wiedzy z badań do praktyki pielęgniarskiej. Organizacja akredytacyjna certyfikująca programy DNP wymaga, aby efekty uczenia się studentów mierzyły zdolność studenta do wykazania tych opisanych wcześniej i innych kompetencji poprzez zastosowanie umiejętności i wiedzy na poziomie kursu i programu.
   2. Zastosowanie-opracowanie efektu uczenia się. Nauczyciel w programie DNP chce przekazać studentom wiedzę i umiejętności, aby mogli oni wykazać się zdolnością do podejmowania etycznych decyzji. W pierwszej kolejności nauczyciel powinien posłużyć się następującym pytaniem, aby pokierować tworzeniem miernika efektu uczenia się: Co sprawia, że student, który opanował koncepcję X, różni się od kogoś, kto nie opanował koncepcji X? W tym zastosowaniu koncepcją jest etyczne podejmowanie decyzji (patrz Tabela 1 dla przykładu).
   3. Zastosowanie-rozwój koncepcji. Następnie nauczyciel powinien zapisać koncepcje, które stanowią podstawę struktury dowolnego efektu, który próbuje zmierzyć. W naszym przypadku chcemy ocenić etyczne podejmowanie decyzji. Ponownie, Tabela 1 przedstawia przykład tych kluczowych koncepcji.
   4. Zastosowanie-opracowanie ilościowej sekcji rubryki. Po trzecie, nauczyciel powinien określić, które z tych koncepcji są immanentnie ilościowe i mogą być mierzone jako efekty uczenia się obejmujące wiedzę opartą na pomiarze. Tabela 4 przedstawia ilościowe pomiary etycznego podejmowania decyzji w rubryce, która mierzyłaby nasz proponowany efekt uczenia się.
   5. Zastosowanie-opracowanie jakościowej sekcji rubryki. Po czwarte, nauczyciel powinien określić, które z tych koncepcji są immanentnie jakościowe i mogą być mierzone jako efekty uczenia się obejmujące wiedzę opartą na znaczeniu. Ta sekcja opracowania rubryki może zostać zaimplementowana na jeden z dwóch sposobów: albo jako rubryka z czysto jakościowymi deskryptorami, albo jako sekcja rubryki z quasi-jakościowymi deskryptorami. Po ukończeniu tej sekcji rubryka jest gotowa do zastosowania w ocenie efektów uczenia się.
   6. Zastosowanie-szczegółowe omówienie opracowania jakościowej sekcji rubryki. Ważne jest, aby w dodatkowych szczegółach opisać znaczenie wyjaśnienia, w jaki sposób nauczyciel zamierza mierzyć koncepcje jakościowe efektu uczenia się. Korzyścią z rubryki o czysto jakościowym poziomie jest sformułowanie wcześniej słabo zdefiniowanych lub niezdefiniowanych pojęć w słowa, co pomaga nauczycielowi zacząć kwalifikować „intuicyjne” spostrzeżenia dotyczące uczenia się studentów. Jednak ceną za stosowanie czysto jakościowego podejścia do pomiaru rubryką jest poświęcenie bardziej niezawodnej rubryki oceny, ponieważ przyznanie punktów wciąż zależy od subiektywnej oceny oceniającego. Odwrotnie, rozwój koncepcji w quasi-jakościowy deskryptor oceny ułatwia niezawodny pomiar przy zastosowaniu przez innych oceniających, ponieważ kwantyfikuje on koncepcje w prostym, obiektywnie mierzalnym formacie.
   7. Zastosowanie-testowanie rubryki. Teraz, gdy rubryka została stworzona, ważne jest określenie, jak zostanie ona zastosowana do pomiaru efektu. Generalnie rubryki pomiaru efektów uczenia się są stosowane do działań edukacyjnych w ramach kursu i mają przypisaną komponentę oceniania. Przykład w Tabeli 5 pokazuje, jak stworzona przez nas rubryka jest zastosowana w ćwiczeniu z etycznego podejmowania decyzji.

Dyskusja

1. Przedstawiliśmy, czym jest rubryka efektów uczenia się, jak ją skonstruować oraz jak wykorzystać ją w ocenie efektów uczenia się, stosując ją w programie kształcenia DNP. Na tym etapie należy szczegółowo omówić kilka kluczowych kwestii.
   1. Rubryki efektów uczenia się a rubryki oceniania. Po pierwsze, ważne jest rozgraniczenie różnicy między rubryką oceniania a rubryką efektów uczenia się. Rubryka oceniania służy kadrze dydaktycznej do ustalenia oceny, jaką powinien otrzymać student na podstawie jego wyników w konkretnym zadaniu, i może, choć nie musi, obejmować aspekty ilościowe i jakościowe, podczas gdy rubryka efektów uczenia się koncentruje się na pomocy w ocenie, czy student opanował wszystkie kluczowe i krytyczne aspekty danego pojęcia lub konstrukcji. Pomiar efektu uczenia się zazwyczaj obejmuje aspekty ilościowe i jakościowe. Co najważniejsze, oceniane zadanie jest zazwyczaj częścią ogólnej oceny efektu uczenia się.
   2. Kwantyfikacja pojęć z natury jakościowych. Po zrozumieniu różnicy między rubryką efektu uczenia się a rubryką oceniania, najtrudniejszą częścią konstruowania rubryki oceny efektów uczenia się jest określenie poziomu, na jakim chcemy zdefiniować komponenty jakościowe. Jak wspomniano wcześniej, pozostawienie definicji komponentów na poziomie czysto jakościowym daje poszczególnym nauczycielom swobodę w ocenie sukcesu lub porażki; nie jest to jednak zazwyczaj rozwiązanie niezawodne w przypadku korzystania z niej przez innych członków kadry dydaktycznej, ponieważ definicje te często zależą od subiektywnej oceny oceniającego. Co więcej, tego typu rubryka umożliwia również studentom kwestionowanie ocen i oceny wyników, ponieważ ponownie jej interpretacja może być subiektywna.
   3. Efekty uczenia się na poziomie kursu a na poziomie programu. Stosowanie prawidłowo skonstruowanych rubryk oceny efektów uczenia się pozwala na właściwą ewaluację procesów i procedur nauczania i uczenia się na poziomie kursu. Rubryki te mają jednak zastosowanie również do ewaluacji efektów uczenia się na poziomie programu. Na przykład wyniki kohorty studentów w odniesieniu do konkretnego efektu uczenia się, takiego jak ten użyty w przykładzie, mogłyby służyć do wykazania skuteczności procesu nauczania i uczenia się na poziomie zagregowanym lub programowym. Następnie wyniki te mogą pomóc kadrze programu w precyzyjnym śledzeniu tego, które obszary procesu nauczania wymagają modyfikacji w ramach procesu ciągłego doskonalenia efektów programu nauczania.
2. Podsumowanie. Podjęliśmy próbę wyjaśnienia pojęć związanych z rubrykami efektów uczenia się; w szczególności tego, czym są i czym nie są, jak je konstruować i jak ich używać. Ponadto zastosowaliśmy proces opracowywania efektów uczenia się, posługując się przykładem studium przypadku programu DNP. Pomiar efektów uczenia się jest często błędnie rozumianym pojęciem i niewłaściwie stosowanym procesem, co może prowadzić do niezadowolenia kadry dydaktycznej i studentów. Niniejsza prezentacja skupiła się na zademonstrowaniu rozwoju wiedzy temporalnej poprzez wizualną artykulację konstruktów pomiaru efektów uczenia się.