Jakościowa i ilościowa walidacja narzędzi ze skalami ocen mająca na celu ocenę jakości uczenia się przez usługi uniwersyteckie
29 sierpnia 2025
W niniejszym artykule przedstawiono protokół jakościowej i ilościowej walidacji uniwersyteckiego instrumentu uczenia się przez usługi, zgodnie z kryterium oszczędności, aby stworzyć możliwie najbardziej solidną i optymalną wersję. W tym celu wykorzystuje się metodę walidacji jakościowej Delphi oraz Robust Unweighted Least squares Exploratory Factor Analysis, jako ilościową metodę optymalizacji pozycji.
W rozwijającej się dziedzinie uniwersyteckiego uczenia się przez usługi brakuje nam ustandaryzowanych instrumentów, które łączyłyby rzetelność i trafność, zarówno jakościowych, jak i ilościowych, i wystarczająco zwięzłych, aby można je było łatwo wykorzystać. Włączenie ocen i skal pozwala na porównanie między profesjonalistami w celu oceny jakości uczenia się w oparciu o usługi uniwersyteckie. Obecnie nie ma innego instrumentu, który by to umożliwiał.
QaSLu jest pierwszym instrumentem stworzonym w rygorystycznym procesie walidacji jakościowej i ilościowej prowadzonym zgodnie z zasadą oszczędności. Jest krótki, ale niezwykle solidny naukowo. Protokół ten wyznacza drogę dla nowych instrumentów naukowych, które są ważne, solidne i praktyczne.
Nie tylko w zakresie uczenia się przez usługi, ale także w dziedzinie edukacji w ogóle. Planujemy stworzyć nowe oceny i skale dla innych różnych grup oraz rozszerzyć uczestniczącą próbę, aby poprawić wycenę QaSLu i uczynić ją użyteczną w różnych kontekstach. Aby rozpocząć, utwórz pierwszą wersję roboczą QaSLu na pulpicie.
Przeprowadź analizę zawartości elementów z podstawowych narzędzi uznanych za służące do oceny doświadczeń związanych z uczeniem się przez usługi. Zapoznaj się z elementami z międzynarodowych narzędzi, które definiują standardy jakości, oraz z podstawowymi rubrykami uznanymi przez społeczność ekspertów ds. uczenia się przez usługi. Kategoryzuj wszystkie elementy według faz związanych z projektowaniem środowiska uczenia się usług, takich jak projektowanie, implementacja i ocena.
Następnie kategoryzuj wszystkie elementy według zastosowania uczenia się usług, takie jak faza początkowa, planowanie, wykonywanie, zamykanie i replikacja. Wybierz dużą próbę ekspertów w dziedzinie uniwersyteckiego uczenia się przez usługi, aby ocenić projekt instrumentu. Skonfiguruj ostateczną grupę ekspertów w celu oceny ostatecznego instrumentu oceny USL, dążąc do sporządzenia listy ekspertów z uwzględnieniem różnorodności akademickiej i zawodowej, różnorodności geograficznej i różnorodności płci.
Po otrzymaniu danych od ekspertów w rundzie 1 oblicz współczynnik zgodności Kendalla dla istotności, klikając kolejno Analizuj, Testy nieparametryczne, Starsze dialogi i K Powiązane próby. Wybierz W Kendalla w obszarze Typ testu. Następnie wybierz wszystkie odpowiedzi ekspertów dotyczące trafności i jasności.
Przenieś elementy na listę Zmienne testowe i kliknij przycisk OK, aby uruchomić analizę. Po otrzymaniu opinii ekspertów z rundy 2 ponownie oceń współczynnik zgodności Kendalla i usuń elementy ocenione jako wysoce nieistotne. Przeformułuj elementy uznane za bardzo istotne, ale niejasne, aby poprawić sformułowania i precyzję, aby uzyskać ostateczną wersję Kwestionariusza do Samooceny Uniwersyteckich Doświadczeń w Zakresie Uczenia Się, QaSLu-45.
Po uzyskaniu wystarczającej liczby wypełnionych kwestionariuszy należy ocenić wewnętrzną spójność kwestionariusza za pomocą pierwszego pakietu oprogramowania statystycznego. Kliknij Analizuj, a następnie Skala, a następnie Analiza niezawodności. Wybierz opcję Alfa w oknie dialogowym, a następnie przenieś wszystkie istotne zmienne do okna dialogowego Analiza niezawodności i kliknij przycisk OK, aby wygenerować dane wyjściowe.
Przeprowadź eksploracyjną analizę czynnikową w pierwszym pakiecie oprogramowania statystycznego, otwierając Analizuj, a następnie kliknij Redukcja wymiarów, a następnie Czynnik. W oknie dialogowym Analiza czynnikowa przenieś wszystkie elementy kwestionariusza do pola Zmienne, a następnie naciśnij Opisowe i KMO oraz Test sferyczności Bartletta, a następnie wybierz opcję Opisy jednowymiarowe. Kliknij Dalej.
Następnie naciśnij Ekstrakcja i wybierz Główne komponenty jako metodę ekstrakcji. Zaznacz opcje Rozwiązanie czynnika nieobróconego i Wykres piargowy, a następnie kliknij przycisk Kontynuuj i naciśnij przycisk OK, aby wygenerować dane wyjściowe. Zidentyfikuj elementy do usunięcia, które wykazują odwrotną relację ze składnikiem głównym.
Korzystając z macierzy składowych uzyskanej w wynikach eksploracyjnej analizy czynnikowej, oznacz pozycje z ujemnymi obciążeniami czynnika głównego i wyklucz je ze zredukowanej, zoptymalizowanej wersji jednoczynnikowej QaSLu. Następnie przeprowadź konfirmacyjną analizę czynnikową za pomocą drugiego pakietu oprogramowania statystycznego, aby ocenić dobroć dopasowania modelu jednoczynnikowego. Wybierz opcję Odczyt danych, kliknij przycisk Przeglądaj w oknie dialogowym Próbka i wybierz poprzednio utworzony plik danych ASCII.
Sprawdź, czy liczba uczestników i zmiennych jest wyświetlana na zielono w polu Rozmiar macierzy danych. Teraz naciśnij Otwórz zestaw danych pojedynczej grupy i wróć do menu głównego. Kliknij opcję Konfiguruj analizę w menu głównym, a następnie zaznacz opcję Konfirmacyjna analiza czynnikowa w menu dialogowym i kliknij przycisk Potwierdź, w oknie konfiguracji CFA:Analiza czynnikowa.
Zaakceptuj ustawienia domyślne i kliknij przycisk Potwierdź, aby powrócić do menu głównego. Gdy wiadomość jest gotowa do przeprowadzenia Konfirmacyjnej Analizy Czynnikowej! kliknij przycisk Oblicz i poczekaj na wyniki.
Następnie otwórz drugi pakiet oprogramowania statystycznego, aby przeprowadzić solidną eksploracyjną analizę czynnikową metodą najmniejszych kwadratów bez ważenia. Wybierz opcję Odczyt danych, a następnie kliknij przycisk Przeglądaj w oknie dialogowym Próbka i wybierz poprzednio utworzony plik ASCII. Liczba uczestników i zmienne będą wyświetlane na zielono w sekcji Rozmiar macierzy danych.
Teraz kliknij ikonę Otwórz zestaw danych pojedynczej grupy, aby powrócić do menu głównego. W menu głównym kliknij Konfiguruj analizę, a następnie wybierz Eksploracyjna analiza czynnikowa w menu dialogowym i kliknij przycisk Potwierdź. W menu Konfiguracja eksploracyjnej analizy czynnikowej wybierz elementy zidentyfikowane jako mające odwrotną relację do głównego składnika i przenieś je do pola Wykluczone zmienne.
Teraz sprawdź opcje macierzy korelacji Pearsona i analizy równoległej, ustaw liczbę czynników lub składników na 1 i wybierz opcję Solidna analiza czynnikowa. Kliknij przycisk Potwierdź, aby powrócić do menu głównego, a następnie kliknij przycisk Oblicz, aby wygenerować wyniki. Aby zidentyfikować pozycje do usunięcia, które mają miarę adekwatności próbkowania lub wynik MSA poniżej 0,49, należy przejrzeć wyniki uzyskane z eksploracyjnej analizy czynnikowej RULS za pomocą drugiego pakietu oprogramowania statystycznego, w szczególności lokalizacji elementu i wskaźników adekwatności pozycji, i wykluczyć je ze zredukowanej, zoptymalizowanej wersji jednoczynnikowej QaSLu.
Utwórz nową zmienną w pakiecie oprogramowania statystycznego bez wyeliminowanych elementów, wybierając menu Przekształć i naciskając Obliczanie zmiennej. Nazwij nową zmienną jako SUMA 27, a następnie wybierz funkcję SUMA i uzupełnij wyrażenie liczbowe zoptymalizowaną listą elementów. Kliknij przycisk OK, aby wygenerować nową zmienną SUM 27.
Oblicz percentyle dla SUM 27, wybierając pozycję Analizuj, a następnie pozycję Statystyki opisowe i częstotliwości. Przenieś SUM 27 do pola Zmienne, a następnie kliknij ikonę Statystyki. Wybierz pozycję Percentyle i dodaj 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 i 99.
Kliknij Kontynuuj, a następnie OK, aby wygenerować percentyle. Powtórz procedurę percentyla dla każdej skali ocen, klikając ikonę Podziel plik i wybierając każdą odpowiednią zmienną, a następnie wybierz opcję Organizuj dane wyjściowe według grup. Kliknij przycisk strzałki i naciśnij przycisk OK, aby wygenerować pogrupowane percentyle dla SUM 27.
Aby utworzyć tabelę dla każdej skali ocen, najpierw dodaj wiersz tytułu i wiersze dla poziomów Niski, Średni/Niski, Średni, Średni/Wysoki i Wysoki z określonymi wierszami podrzędnymi percentyla. W wierszu tytułu dodaj kolumnę Poziom, kolumnę Percentyl i dodatkowe kolumny dla warunków wybranej zmiennej. Uzupełnij każdą tabelę zakresami wyników odwzorowanymi na obliczone percentyle.
Wyniki uzyskane z próby uczestniczącej są prezentowane do ustalonych porównań opartych na skalach ocen zastosowanych w badaniu. Różne rangi dla każdej kategorii składały się z punktów pośrednich między nimi. Na przykład 50. percentyl uzyskano z wyników 45. percentyla i 54. percentyla.
Wszystkie rangi, z wyjątkiem 1. i 99. percentyla, pokazują, że idealnie ograniczone zakresy odpowiadały 4. i 95. percentylowi wraz z wszelkimi możliwymi korektami wyników. Każda z tych skal pozwala na porównanie wyników każdego użytkownika perspektywicznego poprzez wybór odpowiedniej skali ocen zgodnie z ich charakterystyką.
Wyświetl pełny transkrypt i uzyskaj dostęp do tysięcy filmów naukowych
Przegląd
Niniejszy artykuł przedstawia instrument QaSLu, pierwsze zestandaryzowane narzędzie do oceny uniwersyteckich programów uczenia się poprzez służbę. Łączy on jakościowe i ilościowe metody walidacji, aby zapewnić niezawodność i trafność przy jednoczesnym zachowaniu zwięzłości.
Kluczowe elementy badania
Dziedzina nauki
- Uniwersyteckie uczenie się poprzez działanie
- Walidacja instrumentów
- Jakościowe i ilościowe metody badawcze
Wstęp
- Brakuje wystandaryzowanych narzędzi w obszarze uczenia się poprzez służbę (service-learning).
- Istniejące narzędzia nie łączą w sposób wystarczający rzetelności i trafności.
- Konieczne jest opracowanie zwięzłego, a jednocześnie naukowo wiarygodnego narzędzia oceny.
- QaSLu ma na celu wypełnienie tej luki w danej dziedzinie.
Cel badania
- Stworzenie niezawodnego i trafnego narzędzia do oceny uczenia się poprzez służbę (service-learning) na poziomie uniwersyteckim.
- Wykorzystanie metod jakościowych i ilościowych w celu walidacji narzędzia.
- Przestrzeganie zasady parsymonii przy projektowaniu narzędzia.
Zastosowane Metody
- Jakościowa metoda walidacji Delphi
- Srobustna eksploracyjna analiza czynnikowa metodą najmniejszych kwadratów bez wag
- Techniki optymalizacji pozycji kwestionariusza
- Analiza porównawcza jakości uczenia się poprzez służbę
Główne wyniki
- QaSLu został zwalidowany za pomocą rygorystycznych metod jakościowych i ilościowych.
- Narzędzie jest zwięzłe, a jednocześnie rzetelne, co pozwala na efektywną ewaluację.
- Stanowi ono precedens dla przyszłych instrumentów naukowych w tej dziedzinie.
- Konstrukcja narzędzia ułatwia porównania między specjalistami.
Wnioski
- QaSLu stanowi praktyczne rozwiązanie do oceny programów uczenia się poprzez służbę.
- Badanie wykazuje znaczenie rygorystycznej walidacji w procesie opracowywania narzędzi badawczych.
- Niniejszy protokół może służyć jako wytyczna dla przyszłych badań nad tworzeniem trafnych i niezawodnych narzędzi naukowych.
Najczęściej zadawane pytania
Znaczenie dla przemysłu
Solidna walidacja instrumentów pomiarowych jest kluczowa dla zapewnienia wiarygodnych, powtarzalnych i użytecznych danych w badaniach wczesnego etapu odkryć oraz badaniach translacyjnych. Protokół QaSLu-27 prezentuje rygorystyczne, oparte na statystyce podejście do opracowywania instrumentów, co wspiera pewność prognostyczną oraz porównywalność między badaniami. Tak zwalidowane narzędzia pozwalają zespołom badawczo-rozwojowym w przedsiębiorstwach na standaryzację oceny jakości oraz optymalizację alokacji zasobów w ramach różnorodnych inicjatyw badawczych.
Strategiczne zastosowania w badaniach i rozwoju biofarmaceutycznym
Wczesne etapy odkrywania i walidacja celu
- Umożliwia rygorystyczną weryfikację hipotez dzięki zwalidowanym, ilościowym narzędziom pomiarowym.
- Wspiera ograniczanie ryzyka biologicznego poprzez zapewnienie wiarygodności i przejrzystości pomiarów.
- Ułatwia selekcję projektów w portfolio dzięki dostarczaniu zestandaryzowanych i porównywalnych wskaźników jakości.
Przesiewy i opracowywanie testów
- Przygotowuje zwalidowane skale ocen do dalszych procesów przesiewowych i ewaluacyjnych.
- Zapewnia powtarzalność i standaryzację analiz dzięki walidacji psychometrycznej.
- Umożliwia skalowalną implementację instrumentów oceny jakości w różnych zespołach.
Badania translacyjne i przedkliniczne
- Dopasowuje narzędzia pomiarowe do potrzeb badań translacyjnych, zapewniając spójną interpretację danych.
- Wspiera ciągłość procesu od etapu odkryć po walidację przedkliniczną, umożliwiając wiarygodne porównania.
- Zmniejsza ryzyko błędu pomiarowego w badaniach wieloośrodkowych lub obejmujących wiele kohort.
Integracja potoku i przepływu pracy
Przepływ pracy walidacji QaSLu-27 stanowi przykład najlepszych praktyk w zakresie integrowania nowych narzędzi pomiarowych, od wczesnej fazy odkryć po fazy badań przedklinicznych.
- Biologia odkrywcza: Zapewnia ramy dla rozwoju pomiarów opartych na hipotezach i walidowanych statystycznie.
- Przesiewanie: Dostarcza powtarzalne, ilościowe wyniki dla niezawodnego porównywania warunków.
- Analityka: Umożliwia solidną analizę statystyczną, w tym analizę czynnikową oraz punktację opartą na percentylach.
- Badania translacyjne: Wspiera porównywalność między różnymi kontekstami oraz harmonizację danych.
- Ponowne wykorzystanie w przedsiębiorstwie: Ustanawia skalowalny i adaptowalny protokół dla przyszłego rozwoju aparatury.
Wpływ operacyjny i przedsiębiorczy
- Wartość naukowa: Zwiększa pewność prognostyczną i zmniejsza niejednoznaczność pomiarów.
- Wartość operacyjna: Sprzyja standaryzacji, powtarzalności i skalowalności narzędzi oceny.
- Wartość strategiczna: Uzasadnia decyzje o kontynuacji lub przerwaniu badań (go/no-go) oraz zwiększa efektywność kapitałową poprzez redukcję ryzyka pomiarowego.
- Wpływ na portfolio: Umożliwia priorytetyzację skorygowaną o ryzyko oraz rozwój programów badawczych.
Uwagi dotyczące wdrożenia
- Wymaga wiedzy z zakresu psychometrii, analizy statystycznej i projektowania narzędzi badawczych.
- Wymaga dostępu do oprogramowania statystycznego do analizy czynnikowej i testów rzetelności.
- Wymaga uzgodnienia standardów pomiaru i kryteriów walidacji pomiędzy zespołami.
- Może wymagać adaptacji do zastosowania w różnych dziedzinach badawczych lub populacjach.
- Zależna od wystarczającej liczebności próby oraz wkładu ekspertów w celu zapewnienia rzetelnej walidacji.
