Artykuł metodologiczny

Jakościowa i ilościowa walidacja narzędzi ze skalami ocen mająca na celu ocenę jakości uczenia się przez usługi uniwersyteckie

DOI:

10.3791/68648

⸱

29 sierpnia 2025

 ,  ,  , 
1Faculty of Education and Teacher Training, Autonomous University of Madrid

W tym artykule

Podsumowanie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

W niniejszym artykule przedstawiono protokół jakościowej i ilościowej walidacji uniwersyteckiego instrumentu uczenia się przez usługi, zgodnie z kryterium oszczędności, aby stworzyć możliwie najbardziej solidną i optymalną wersję. W tym celu wykorzystuje się metodę walidacji jakościowej Delphi oraz Robust Unweighted Least squares Exploratory Factor Analysis, jako ilościową metodę optymalizacji pozycji.

Streszczenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Service-Learning (SL) stał się w ostatnich latach wysoce efektywną metodologią uczenia się, wypełniając lukę między teorią a praktyką, jednocześnie kontekstualizując uczenie się w rzeczywistych scenariuszach. Został on z powodzeniem wdrożony na wszystkich poziomach szkolnictwa wyższego, co zaowocowało znaczną poprawą umiejętności studentów. Jednak jako metodologia transformacyjna, SL jest wciąż na wczesnym etapie rozwoju pod względem metod oceny. W związku z tym istnieje pilna potrzeba projektowania i walidacji wiarygodnych, a przede wszystkim ważnych przyrządów pomiarowych, ponieważ zastosowanie SL w rzeczywistych kontekstach jest jego podstawową wartością. Niniejszy artykuł pokazuje, jak optymalnie zaprojektować i zwalidować uniwersyteckie instrumenty SL do oceny jakości doświadczeń SL na poziomie uniwersyteckim z punktu widzenia profesorów uniwersyteckich, kierując się zasadą oszczędności. Zmodyfikowana metoda delficka online, Robust Unweighted Least squares Exploratory Factor Analysis oraz Confirmatory Factor Analysis zostały zastosowane do stworzenia nowego instrumentu, QaSLu-27, zwalidowanego przez próbę 16 ekspertów przy użyciu zmodyfikowanej metody delfickiej online i 118 nauczycieli akademickich, którzy realizują projekty SL. Wyniki wskazują na optymalne warunki psychometryczne dla nowego instrumentu (W = 0,11; α = 0,92; CMIN/DF=1,027; CFI = 0,979; WRMR = 0,0985; RMSEA= 0,046), co doprowadziło do opracowania nowych skal ratingowych, które umożliwiają porównywanie przyszłych użytkowników tej metodologii, biorąc pod uwagę ich cechy atrybucyjne i demograficzne. Projektowanie nowych zwalidowanych instrumentów, zdolnych do stosowania w świecie rzeczywistym i pozwalających na tworzenie skal, będzie bardzo przydatne do pomiaru wdrażania nowych doświadczeń w SL, do oceny ich postępów, ich uczestników, ich menedżerów i ich monitorów, przyczyniając się do ustanowienia tej dziedziny badań w obecnych ramach akademickich i do generowania nowej wiedzy naukowej.

Wprowadzenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Service-Learning (SL), podejście edukacyjne, które integruje naukę akademicką z pracą na rzecz społeczności, zyskuje coraz większe uznanie we współczesnej edukacji. To podejście pedagogiczne umożliwia uczniom zastosowanie wiedzy zdobytej w klasie do rzeczywistych wyzwań, jednocześnie wspierając odpowiedzialność obywatelską i zaangażowanie społeczności1. Nie można przecenić znaczenia SL we współczesnej edukacji, ponieważ wyposaża uczniów w praktyczne kompetencje zawodowe, promuje zaangażowanie obywatelskie i zapewnia głębsze zrozumienie problemów społecznych2.

Ostatnie badania nad SL znacznie się rozwinęły, napędzane rosnącym uznaniem jej potencjału w zakresie poprawy zarówno uczenia się akademickiego, jak i zaangażowania społeczności. Wzrost ten jest napędzany przez rosnące zapotrzebowanie na modele edukacyjne, które nie tylko promują rozwój akademicki, ale także odpowiadają na wyzwania społeczne3. Uczniowie badali różnorodne skutki SL, od promowania sprawiedliwości społecznej po kultywowanie postawy obywatelskiej wśród uczniów4. Ponadto badania nad uczeniem się przez usługi w coraz większym stopniu koncentrują się na jego zastosowaniu w określonych dziedzinach, takich jak STEM, opieka zdrowotna i nauki o środowisku, w których rozwiązywanie problemów w świecie rzeczywistym ma kluczowe znaczenie 5,6,7. Wraz z poszerzaniem się literatury naukowcy zaczynają również badać, w jaki sposób uczenie się przez usługi może skutecznie wypełnić lukę między teorią a praktyką w sposób, który ma znaczenie zarówno dla studentów, jak i społeczności,którym służą.

Jednak pomimo jego rosnącej roli, nadal istnieją poważne wyzwania związane z pomiarem skuteczności programów SL9. Istnieją różne propozycje w formie rubryki, takie jak te Furco10, Martín i wsp.11, Lorenzo i wsp.12, Shek i wsp.13 lub Lu i Lambright 14, które, pomimo udowodnionej przydatności w badaniach terenowych, nie zostały jeszcze zatwierdzone. Z drugiej strony istnieją inne propozycje, takie jak Escofet-Roig i wsp.15, Rodríguez-Izquierdo16, León-Carrascosa i wsp.17, Ruiz-Ordoñez i wsp.18, Santos-Pastor i wsp.19 lub Gul i wsp.20, które nie posiadają walidacji jakościowej lub prezentują bardzo ograniczone walidacje ilościowe. Inne niedociągnięcia zaobserwowane w poprzednich narzędziach oceny to brak optymalizacji czynników i pozycji pod kątem zgodności z zasadą oszczędności oraz całkowity brak skal ocen. Sytuacja ta jest powszechna w nowych dziedzinach nauki i jest naturalnym procesem, przez który przechodzą wszystkie dziedziny nauki, aby uzyskać optymalne instrumenty do powszechnego stosowania.

W momencie tworzenia Kwestionariusza do Samooceny Uniwersyteckich Doświadczeń w Zakresie Uczenia się przez Usługi (QaSLu), narzędzia do oceny jakości doświadczeń SL na poziomie uniwersyteckim z punktu widzenia profesorów uniwersyteckich, najbardziej rozpoznawalnymi narzędziami, które określiły standardy zapewnienia jakości doświadczeń SL były: Campo (2015)21, Europe Engage (2017)22, GREM (2014)23, RMC Research Corporation (2008)24, Puig-Rovira, Martín i Rubio-Serrano (2017)25 oraz Rubio-Serrano, Puig-Rovira, Martín i Palos (2015)26. Chociaż obecnie istnieją dodatkowe narzędzia, obecne instrumenty pomiarowe często nie są w stanie odpowiednio uchwycić szerokich i zniuansowanych efektów uczenia się związanych z tymi programami, zwłaszcza w zakresie długoterminowego rozwoju osobistego, wpływu na społeczność, przy czym niektóre z nich okazują się zbyt ogólne lub nieoparte na rygorystycznych ramach naukowych 9,27. Ta luka w narzędziach pomiarowych utrudnia kompleksowe zrozumienie i optymalizację wpływu SL zarówno na uczniów, jak i społeczności.

Kolejnym krokiem w kierunku postępu badań nad SL jest opracowanie naukowo rygorystycznych przyrządów pomiarowych. Narzędzia te powinny być zaprojektowane nie tylko w celu uchwycenia wyników akademickich, ale także w celu oceny osobistego i społecznego wpływu, jaki SL może mieć na studentów i społeczności, którym służą. Nasze badania mają na celu wypełnienie tej luki poprzez stworzenie instrumentu opartego na rygorze naukowym, oferującego bardziej wszechstronną ocenę projektów SL i kierującego ich przyszłą realizacją.

Oprócz stworzenia instrumentu, zostanie on poddany walidacji, najpierw jakościowej, a następnie ilościowej. Do wstępnej walidacji zostanie użyta zmodyfikowana metoda delficka online28. Termin "zmodyfikowana" odnosi się do propozycji Cabero, aby ograniczyć metodę delficką do dwóch rund konsultacji, co pozwoliłoby uniknąć rezygnacji członków grupy ekspertów. Termin "online" został wprowadzony przez Cruz-Ramíreza i Rúa-Vásqueza29 w celu podkreślenia, że konsultacje były prowadzone za pośrednictwem poczty elektronicznej, ponieważ Internet pomaga przezwyciężyć pewne ograniczenia nieodłącznie związane z tradycyjnymi delfami, takie jak myślenie grupowe lub wpływ dominujących opinii ekspertów, które mogą wpływać na wybór pozycji30,31.

Korzystając ze zmodyfikowanej metody delfickiej online, oceniane będą dwa rodzaje trafności: trafność konstrukcji, zgodnie z procesem opisanym w badaniu Bakieva i in.32, w którym eksperci są konsultowani na temat istotności każdej pozycji, oraz trafność treści, w oparciu o pracę Gila i Pascuala-Ezamy33, która ocenia przejrzystość każdego elementu poprzez konsultacje z ekspertami.

Eksperci zostaną wyposażeni w skalę Likerta zawierającą cztery opcje odpowiedzi (brak, mało, dość dużo, dużo). Nie wprowadzając żadnych alternatyw dla odpowiedzi pośrednich, eksperci są zobowiązani do zajęcia ostatecznego stanowiska za lub przeciw każdej pozycji34, ułatwiając w ten sposób proces podejmowania decyzji o tym, czy zachować lub usunąć pozycje z kwestionariusza.

Jeśli chodzi o walidację ilościową, opiera się ona na prawie oszczędności, podstawowej zasadzie w nauce, która mówi, że biorąc pod uwagę problem naukowy, w równych warunkach, preferowane jest najkrótsze rozwiązanie35,36. W związku z tym poszukiwanie najkrótszego i najbardziej zoptymalizowanego ważnego instrumentu oferuje te same gwarancje naukowe, jest bardziej praktyczne, eksportowalne i ogólne do codziennego użytku w rzeczywistych kontekstach bez poświęcania niezawodności lub ważności. Konfirmacyjna Analiza Czynnikowa (CFA)37 i Eksploracyjna Analiza Czynnikowa Solidna Nieważona metodą Najmniejszych Kwadratów (RULS)38,39 zostaną wykorzystane jako techniki analityczne w celu redukcji zbędnych elementów i walidacji ostatecznej struktury instrumentu. Wskaźniki dopasowania i wiarygodności są stosowane jako wskaźniki ważności nowej struktury w odniesieniu do poprzedniej, przyjmując jako odniesienie w celu utrzymania lub poprawy wiarygodności i ważności zoptymalizowanego instrumentu w ramach poziomów gwarantujących adekwatność i solidność nowej struktury zredukowanego i zoptymalizowanego kwestionariusza.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Protokół

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Protokół ten został etycznie zatwierdzony w 2020 r. przez Narodową Komisję Badań Naukowych i Technologicznych Chile (CONICYT Fondecyt/Initiation) pod numerem zatwierdzenia: 11170623. Grupa ekspertów zewnętrznych dokonała przeglądu i walidacji całego procesu. Zgodnie z Deklaracją Helsińską40 uczestnicy byli zobowiązani do wyrażenia pisemnej świadomej zgody na udział w badaniu i wyraźnie zakomunikowano, że nie będą zaangażowani w żadne warunki eksperymentalne.

1. Opracowanie pierwszego szkicu QaSLu

  1. Przeprowadź analizę treści elementów z podstawowych narzędzi uznanych do oceny doświadczeń związanych z SL. Aby to osiągnąć, dokonano przeglądu elementów międzynarodowych narzędzi definiujących standardy zapewniające jakość doświadczeń z SL, a także podstawowych rubryk uznawanych przez społeczność ekspertów SL.
    UWAGA: W wyniku tego przeglądu, QaSLu wyraźnie odnosi się do sprawiedliwości społecznej, która jest charakterystycznym celem europejskiej SL.
  2. Kategoryzuj wszystkie elementy w oparciu o fazy związane z projektowaniem doświadczeń SL (1. Projektowanie, 2. Realizacja, 3. Ocena) oraz zastosowanie doświadczeń SL (A. Faza Wstępna, B. Planowanie, C. Wykonanie, D. Zamknięcie i Replikacja).
    UWAGA: Aby zapewnić rzetelność kategoryzacji, zastosowano bezwzględną zgodność między oceniającymi, akceptując tylko te kategoryzacje, w przypadku których wszyscy autorzy byli zgodni.
  3. Wybierz końcowe elementy do pierwszego szkicu instrumentu, aby ocenić University Service-Learning (USL).
    1. Po pierwsze, wyeliminuj zduplikowane elementy w każdej kategorii, zarówno w fazach związanych z projektowaniem, jak i zastosowaniem doświadczeń SL.
    2. Po drugie, usuwa się nieistotne elementy, które nie są zgodne z celami nowego instrumentu.
    3. Na koniec stwórz lub dostosuj elementy do populacji docelowej (kadra uniwersytecka) i celów badania (ocena jakości doświadczeń z SL).
      UWAGA: QaSLu jest przeznaczony do uniwersyteckiego uczenia się w oparciu o usługi. Podczas gdy większość narzędzi oceniała jakość SL na poziomie uniwersyteckim, niektóre elementy z poprzednich narzędzi musiały zostać przeformułowane i stworzono nowe elementy, aby zapewnić, że QaSLu jest w pełni dostosowane do kontekstu uniwersyteckiego.
  4. Zaprojektuj pierwszy szkic kwestionariusza, aby spełnić cele badania.
    UWAGA: Szkic QaSLu został stworzony przy użyciu programu Microsoft Word w celu ułatwienia udostępniania i modyfikacji. Początkowo składał się z 54 pytań, na które odpowiedziano za pomocą 5-punktowej skali Likerta (Nigdy, Rzadko, Czasami, Prawie Zawsze, Zawsze). Kwestionariusz został zaprojektowany z myślą o strukturze pojedynczego czynnika lub głównego składnika, tak aby jego ostateczny wynik mógł być wykorzystany do porównania użytkowników według ich cech za pomocą ustandaryzowanych skal ocen.

2. Wybór grupy ekspertów ds. metody delfickiej

  1. Wybierz dużą próbę ekspertów w USL, którzy mogliby ocenić instrument zaprojektowany wcześniej. W tym procesie ustal podstawowe kryteria włączenia: 1. Minimum cztery lata doświadczenia w badaniu i projektowaniu/wdrażaniu doświadczeń związanych z użyciem języka USL; 2. Członkostwo w uniwersyteckim organie naukowym; oraz 3. Bycie doktorantem lub osobą posiadającą stopień naukowy doktora.
    UWAGA: Na podstawie kryteriów włączenia stworzono listę 20 ekspertów, którzy mogliby odegrać znaczącą rolę w społeczności USL.
  2. Wyślij wiadomość e-mail do wszystkich ekspertów wybranych w kroku 2.1, wyjaśniając cele badań, fazy metody Delphi, oczekiwane ramy czasowe, kryteria włączenia oraz pytając o ich dostępność i chęć udziału w procesie walidacji, wraz z ich akceptacją pisemnej świadomej zgody.
    UWAGA: Wszyscy eksperci zgodzili się wziąć w nim udział.
  3. Skonfiguruj ostateczną grupę ekspertów w celu oceny ostatecznego instrumentu do oceny USL. Ustanowienie nowych kryteriów włączenia w oparciu o charakterystykę ekspertów, którzy zgodzili się wziąć udział w badaniu. Ostateczny kształt grupy ekspertów miał na celu: 1. Różnorodność akademicką i zawodową, tj. reprezentację z różnych warstw akademickich; 2. Zróżnicowanie geograficzne w miejscach, w których przeprowadzono doświadczenia z SL; oraz 3. Różnorodność płci.
    UWAGA: Szesnastu ekspertów USL zobowiązało się do przeprowadzenia całego procesu i go zrealizowało. Ostateczna grupa ekspertów składała się w 75% z kobiet i w 25% z mężczyzn.

3. Walidacja jakościowa kwestionariusza QaSLu za pomocą Zmodyfikowanej Metody Delfickiej Online

  1. Wyślij wiadomość e-mail do każdego członka grupy ekspertów z szablonem do oceny elementów pierwszego projektu instrumentu do oceny USL, wraz z odpowiednimi instrukcjami (Runda 1 Metody Delfickiej).
    UWAGA: Eksperci oceniają trafność (trafność konstrukcji) i jasność (trafność treści) każdego elementu za pomocą 4-punktowej skali Likerta, gdzie 1 oznacza "nieistotne lub niejasne", a 4 oznacza "bardzo istotne lub bardzo jasne". Obok każdej pozycji znajduje się jedno pole do oceny istotności, a drugie dla jasności - gdzie eksperci muszą ocenić każdą pozycję w skali od 1 do 4. Poniżej tych rubryk znajduje się dalsza sekcja, w której można jakościowo wyjaśnić swoją ocenę i zasugerować ewentualne zmiany w poszczególnych pozycjach (zob. przykładowy projekt kwestionariusza dostarczony jako plik uzupełniający nr 1). Nie uwzględniając żadnych wariantów odpowiedzi pośredniej, eksperci zostali zmuszeni do zajęcia ostatecznego stanowiska, co ułatwiło proces podejmowania decyzji dotyczących zachowania lub usunięcia elementów kwestionariusza.
  2. Zbierz odpowiedzi ekspertów w ramach 1. rundy konsultacji delfickich w jednym pliku.
    UWAGA: Eksperci mieli 2 tygodnie na dokonanie oceny istotności (trafności konstrukcji) i jasności (ważności treści) 54 pozycji w szablonie.
  3. Oblicz współczynnik Kendalla, aby określić poziom zgodności między odpowiedziami ekspertów pod względem trafności i jasności.
    1. Najpierw uzyskaj dostęp do menu Analizuj > Testy nieparametryczne > Starsze okna dialogowe > K powiązanych przykładów (patrz Rysunek 1). Wybierz wszystkie odpowiedzi ekspertów dotyczące trafności i jasności. Zrób to osobno, najpierw trafność, a dopiero potem jasność.
    2. Przenieś elementy do pola Lista zmiennych testowych. W sekcji Test Type (Typ testu) wybierz opcję W Kendalla. Na koniec kliknij przycisk OK, aby uruchomić analizę i uzyskać odpowiednie wyniki.
      UWAGA: Analiza zgodności wykazała, że wśród zapytanych ekspertów istniała statystycznie istotna zgodność co do trafności (trafności konstrukcji) i jasności (trafności treści).
  4. Oceń trafność konstrukcji (istotność) i trafność treści (przejrzystość).
    1. Wykonaj analizę opisową przy użyciu pakietu oprogramowania statystycznego 1. Najpierw wybierz menu Analizuj > Statystyki opisowe > częstotliwości, a następnie w oknie dialogowym Częstotliwości wybierz wyniki istotności dla wszystkich elementów instrumentu i dodaj je do pola Zmienne, klikając ikonę strzałki.
    2. Następnie kliknij ikonę Statystyka , zaznacz pole Percentyle i dodaj percentyle 25, 50 i 75 do okna dialogowego Częstości: Statystyki , a następnie kliknij przycisk Kontynuuj , aby powrócić do okna dialogowego Częstotliwości .
    3. Na koniec kliknij ikonę OK , aby wygenerować żądane percentyle dla każdego elementu (patrz Rysunek 2). Po uzyskaniu danych wyjściowych przejdź do sekcji Analizuj statystyki opisowe > > Opisowe, a następnie w oknie dialogowym Opisowe wybierz wyniki jasności dla wszystkich elementów instrumentu i dodaj je do pola Zmienne, klikając ikonę strzałki (patrz Rysunek 3). Na koniec kliknij OK , aby wygenerować wyniki.
  5. Usuń wszystkie elementy, które 75% ekspertów uważa za wysoce nieistotne, i przeformułuj elementy, które zostały ocenione jako bardzo istotne, ale niejasne.
    UWAGA: Po pierwszej rundzie konsultacji z pierwotnego projektu QaSLu usunięto 10 pozycji: punkty 4, 5, 9, 16, 27, 45, 51, 52, 53 i 54. Dodatkowo przeformułowano 16 pozycji z pierwszego projektu QaSLu: pozycje 1, 2, 10, 13, 14, 15, 23, 30, 31, 33, 37, 41, 42, 43, 48 i 49. Przeformułowanie lub przeredagowanie zostało oparte na sugestiach ekspertów.
  6. Przygotowanie raportu z wynikami dla pierwszej rundy konsultacji, który zawiera następujące elementy: 1. Wynik dotyczący poziomu zgodności co do istotności lub trafności konstrukcji (współczynnik Kendalla); 2. Ustalone kryteria podejmowania decyzji; 3. Liczba zatwierdzonych pozycji; 4. Liczba usuniętych elementów; 5. Liczba przeformułowanych elementów, które są nadal poddawane przeglądowi; oraz 6. Zmodyfikowana wersja instrumentu do oceny USL.
    UWAGA: Celem stworzenia tego raportu było poinformowanie grupy ekspertów bez przytłaczania jej nadmiarem danych i bez wpływania na jej przyszłe oceny.
  7. Wyślij wiadomość e-mail do każdego członka grupy ekspertów z raportem na temat wyników 1 rundy konsultacji wraz ze wzorem do oceny przeformułowanych pozycji w zmodyfikowanej wersji instrumentu do oceny USL, wraz ze szczegółowymi instrukcjami (runda 2 metody delfickiej).
    UWAGA: Eksperci oceniają przejrzystość (trafność treści) każdego przeformułowanego elementu za pomocą 4-punktowej skali Likerta, gdzie 1 oznacza "nieistotne lub niejasne", a 4 oznacza "bardzo istotne lub bardzo jasne". Obok każdej pozycji znajduje się pole dla jasności oceny z numerem od 1 do 4, po którym następuje kolejna sekcja, w której można jakościowo wyjaśnić swoją ocenę i zaproponować ewentualne dalsze poprawki do pozycji (zob. przykładowy projekt kwestionariusza dostarczony jako plik uzupełniający 2). Nie wprowadzając żadnych opcji reakcji pośredniej, eksperci zostali zmuszeni do zajęcia ostatecznego stanowiska, albo za, albo przeciw tym elementom. Ułatwiło to proces podejmowania decyzji dotyczących włączenia lub wykluczenia pozycji z kwestionariusza.
  8. Zbierz odpowiedzi ekspertów w 2. rundzie konsultacji Delphi w jednym pliku.
    UWAGA: Eksperci ponownie mieli dwa tygodnie na dokonanie oceny jasności (ważności treści) 16 pozycji we wzorze.
  9. Powtórz kroki opisane w punkcie 3.3, ale tym razem wybierz tylko wyniki czystości dla przeformułowanych elementów instrumentu i włącz je do pola Zmienne.
  10. Powtórz kroki opisane w punkcie 3.4, usuwając wszystkie elementy, które zostały ocenione jako wysoce przejrzyste przez 75% ekspertów.
    UWAGA: W wyniku drugiej rundy konsultacji usunięto następujące punkty: punkty 1, 23, 31 i 41.
  11. Uwzględnij kilka elementów kontrolnych w celu oceny spójności wewnętrznej w przyszłości (zaleca się uwzględnienie w przybliżeniu jednej jednostki kontrolnej na każde 10 elementów).
    UWAGA: Do tej wersji instrumentu dodano cztery elementy kontrolne.
  12. Przygotowanie raportu z wynikami na 2. rundę konsultacji, który zawiera następujące elementy: 1. Wynik dotyczący poziomu zgodności co do jasności lub trafności treści (współczynnik Kendalla); 2. Ustalone kryteria podejmowania decyzji; 3. Liczba zatwierdzonych pozycji; 4. Liczba wyeliminowanych elementów; 5. Liczba pozycji uwzględnionych jako pozycje kontrolne; oraz 6. Zmodyfikowana wersja QaSLu-45 (41 zwalidowanych elementów + 4 elementy kontrolne).
    UWAGA: Ostateczna wersja kwestionariusza została skonstruowana w następujący sposób: 1) Cel kwestionariusza, pisemna świadoma zgoda i instrukcje; 2) Organizacja lub instytucja, płeć, wiek, poziom wykształcenia i lata doświadczenia zawodowego w service-learning respondenta (informacje te nie pozwalają na identyfikację uczestnika); 3) Dane dotyczące doświadczeń związanych z uczeniem się przez usługi; 4) 45 pozycji do samooceny doświadczeń związanych z uczeniem się przez usługi; oraz 5) Podziękowania za uczestnictwo (przykładowy projekt kwestionariusza jest dostarczany jako plik uzupełniający 3).
  13. Wyślij do grupy ekspertów raport z wynikami drugiej rundy konsultacji, zawierający ostateczną wersję zaprojektowanego kwestionariusza (QaSLu-45) i podziękuj za udział w zmodyfikowanej metodzie delfickiej online.

SPSS data analysis; diagram of nonparametric test selection and test variables setup using Kendall's W.
Rysunek 1: Obliczanie współczynnika Kendalla w pakiecie oprogramowania statystycznego 1. (1) Kliknij ikonę K Powiązanych Próbek; (2) Wybierz W Kendalla; (3) Kliknij ikonę OK. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Statistical analysis in SPSS, descriptive statistics process, frequency tables, percentile selection.
Rysunek 2: Wyodrębnianie percentyli w pakiecie oprogramowania statystycznego 1. (1) Kliknij ikonę Częstotliwości; (2) Kliknij ikonę Statystyki; (3) w oknie dialogowym Częstości: Statystyki dodaj percentyle. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

SPSS descriptive statistics setup; menu selection; BART factor score analysis process.
Rysunek 3: Wyodrębnianie opisów w statystycznym pakiecie oprogramowania 1. (1) Kliknij na ikonę opisową; (2) Dodaj zmienną(-e); (3) Kliknij ikonę OK.

4. Dostosowanie kwestionariusza do specyfikacji online bezpiecznego serwera

  1. Przejdź do strony głównej platformy SaaS (software-as-a-service) z prywatnym serwerem (patrz Spis materiałów) jako zarejestrowany użytkownik. Rejestracja ta musi być zakończona z wyprzedzeniem poprzez podanie danych osobowych. Po zarejestrowaniu się wybierz opcję Utwórz ankietę od podstaw (patrz Rysunek 4).
  2. Utwórz pierwszą stronę, która musi zawierać obowiązkową akceptację świadomej zgody na kontynuowanie.
  3. Utwórz drugą stronę z pytaniami atrybucyjnymi uczestnika, które zostaną wykorzystane w badaniu jako zmienne interweniujące lub kontrolne w badaniu.
    UWAGA: Badanie to obejmuje analizę trzech dyskretnych zmiennych ilościowych i pięciu nominalnych zmiennych jakościowych. Poniżej znajduje się opis operacyjny tych ośmiu zmiennych uwzględnionych w badaniu:
    Płeć: zmienna nominalna, atrybucyjna i dychotomiczna z dwoma poziomami (mężczyzna/kobieta).
    Wiek: Dyskretna zmienna ilościowa, która określa wiek uczestnika badania.
    USL Experience: Dyskretna zmienna ilościowa, która mierzy doświadczenie uczestnika w zakresie uczenia się przez usługi. Skala zaczyna się od 0, co oznacza mniej niż jeden rok doświadczenia w service-learning (co nie jest równoznaczne z "brakiem doświadczenia"), bez górnej granicy.
    Poziom akademicki: Nominalna, dychotomiczna zmienna z dwoma poziomami (doktorat/nie doktorat), odzwierciedlająca, czy uczestnik posiada profesjonalny stopień doktora.
    Organizacja współpracująca na rzecz działalności USL: Zmienna nominalna z pięcioma poziomami (centra społeczne, organizacje pozarządowe, fundacje, szkoły, sojusze z instytucjami szkolnictwa wyższego lub uniwersytetami, administracja publiczna rządu, ośrodki seniora i inne ośrodki związane ze zdrowiem). Ta zmienna określa typ organizacji lub instytucji, z którą uczestnik współpracuje w ramach uczenia się przez usługi.
    Grupa docelowa działania USL: Zmienna nominalna z pięcioma poziomami (grupy niepełnosprawne, studenci, mniejszości etniczne, osoby starsze, grupy defaworyzowane i zagrożone społecznie). Ta zmienna identyfikuje główną grupę beneficjentów działania w zakresie uczenia się przez usługi.
    Sposób interwencji w ramach działania USL: Zmienna nominalna, dychotomiczna (wyłącznie bezpośrednie uczenie się przez usługi / obejmuje działania online w całości lub w części). Ta zmienna wskazuje, czy działanie uczenia się usług obejmuje komponent online.
  4. Utwórz kilka stron dla wcześniej zaprojektowanego kwestionariusza, w tym pytań i możliwych odpowiedzi, za pośrednictwem platformy SaaS z prywatnym serwerem.
  5. Po utworzeniu i zapisaniu ankiety (patrz kwestionariusz końcowy w Pliku Uzupełniającym 2), wróć do menu głównego platformy, wybierz kwestionariusz i kliknij ikonę Otwórz > Zamknij Ankietę Publiczną , aby udostępnić go uczestnikom. Następnie kliknij ikonę Uzyskaj link do ankiety , wybierając jedną z kilku opcji dostępu dla uczestników (np. link osadzony w wiadomości e-mail lub na stronie internetowej, ramka iframe na stronie internetowej, wyskakujące okienko na stronie internetowej lub link dostarczony do komputerów call center, patrz Rysunek 5).
    UWAGA: Ostateczna wersja kwestionariusza została skonstruowana w następujący sposób: 1) Cel kwestionariusza, pisemna świadoma zgoda i instrukcje; 2) Dane uczestnika (instytucja lub organizacja, wiek, płeć, poziom wykształcenia i lata doświadczenia zawodowego w zakresie uczenia się przez usługi). Informacje te zapewniają uczestnikom anonimowość; 3) Dane dotyczące doświadczeń związanych z uczeniem się przez usługi; 4) 45 pozycji do samooceny doświadczeń związanych z uczeniem się przez usługi; oraz 5) Sekcja wyrażająca wdzięczność za udział.

Survey creation interface; diagram showing steps for new survey setup and template selection options.
Rysunek 4: Tworzenie kwestionariusza od podstaw . (1) Kliknij ikonę Nowa ankieta ; (2) Wybierz opcję Utwórz ankietę od podstaw. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Survey design process diagram with form fields and question settings.
Rysunek 5: Projektowanie kwestionariusza. (1) Edycja ankiety; (2) Dodawanie i konfigurowanie stron i pytań; (3-5) Opracuj strony, pytania i odpowiedzi. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

5. Metoda pobierania próbek

  1. Zapoznaj się ze wszystkimi materiałami z konferencji zorganizowanych przez Hiszpańską Sieć Uniwersyteckiego Service-Learning w ciągu ostatnich 3 lat. Sporządź listę autorów, którzy w ostatnich latach pracowali nad service-learningiem i zbierz ich adresy e-mail.
    UWAGA: Pobieranie próbek było przypadkowe i oportunistyczne.
  2. Wyślij wiadomość e-mail do wszystkich autorów z zaproszeniem do udziału w badaniu. Wyślij ponownie wiadomość e-mail jeden lub dwa tygodnie później.
    UWAGA: Wiadomość e-mail zachęcała odbiorców do przesłania jej do kontaktów, które mogą być zainteresowane uczestnictwem. W związku z tym metoda doboru próby incydentalnej została uzupełniona o technikę próbkowania typu kula śnieżna.
  3. Wejdź na stronę główną platformy SaaS jako zarejestrowany użytkownik, wybierz utworzony kwestionariusz i kliknij Wyniki. W menu podręcznym kliknij ikonę Kwestionariusz , aby uzyskać bezpośredni dostęp do wypełnionych kwestionariuszy. Wyeliminuj wszelkie niekompletne lub błędne odpowiedzi za pośrednictwem platformy SaaS (patrz Rysunek 6).
  4. Gdy kwestionariusze osiągną wymaganą minimalną liczbę uczestników (>100), po wykluczeniu niekompletnych odpowiedzi, należy jako zarejestrowany użytkownik przejść na stronę główną platformy SaaS, wybrać kwestionariusz i kliknąć ikonę Otwórz/Zamknij Ankietę Publiczną , aby zamknąć ankietę i zapobiec dalszemu uczestnictwu (patrz Krok 1 na Rysunku 5 ponownie).
    UWAGA: W badaniu wzięło udział 118 nauczycieli z 43 instytucji szkolnictwa wyższego, z czego 67,80% określiło się jako kobiety, a 32,20% jako mężczyźni. Średni wiek wynosił 46,16 lat (SD = 9,60), a wiek wahał się od 24 do 65 lat. Jeśli chodzi o kwalifikacje akademickie, zdecydowana większość (76,3%) posiadała stopień naukowy doktora, a pozostali uczestnicy posiadali co najmniej tytuł licencjata. Jeśli chodzi o doświadczenie w zakresie uczenia się przez usługi, średnia wyniosła 6,69 roku (SD = 5,39 roku), przy czym najniższy odnotowano pół roku, a najwyższy 34 lata. Wśród instytucji, z którymi współpracowały uczelnie uczestników, znalazły się ośrodki edukacyjne (w tym inne uczelnie), ośrodki społeczne, ośrodki dla seniorów, ośrodki zdrowia, organizacje pozarządowe, fundacje oraz agencje rządowe, takie jak urzędy miejskie i rady. Partnerstwa na rzecz uczenia się przez usługi zostały utworzone z dwoma typami instytucji: ośrodkami edukacji formalnej, które stanowią 50,85% próby, oraz ośrodkami edukacji pozaformalnej, które stanowią pozostałe 49,15%. Jeśli chodzi o modalność doświadczeń związanych z uczeniem się przez usługi, 64,41% odbywało się twarzą w twarz, a 35,59% obejmowało jakąś formę aktywności wirtualnej.

Survey editing and distribution interface, showing response methods screenshot, data collection guide.
Rysunek 6: Uzyskanie linku do ankiety. (1) Otwórz ankietę; (2) Kliknij ikonę Uzyskaj link do ankiety ; (3) Wybierz żądaną metodę. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

6. Walidacja ilościowa kwestionariusza za pomocą analizy czynnikowej

  1. Jako zarejestrowany użytkownik przejdź na stronę główną platformy SaaS, wybierz utworzoną ankietę i kliknij w ikonę Wyniki . W menu podręcznym kliknij Eksportuj i wybierz opcje raportu szczegółowego (zaawansowany format arkusza kalkulacyjnego), w polu Tekst, z rozszerzeniem wartości oddzielonych przecinkami (.csv) (patrz Rysunek 7). Gdy uczestnicy wypełnią kwestionariusze, wyeksportuj dane na konto e-mail w .csv formacie, upewniając się, że są przechowywane w bezpiecznej, prywatnej i chronionej lokalizacji.
  2. Otwórz pakiet oprogramowania statystycznego 1 (patrz Spis materiałów) i wybierz Menu Plik > Importuj dane > Dane CSV. Wybierz poprzednio zapisany plik .csv. Proces ten przekształca anonimowe dane w wymagany format analizy dla pakietu oprogramowania statystycznego 1 (zob. rysunek 8).
  3. Wybierz zmienne, które mają być analizowane statystycznie (Płeć, Wiek, Kwalifikacje Edukacyjne, Organizacja Współpracująca z Działaniem USL, Grupa Docelowa Działania USL, Tryb Interwencji dla Działania USL oraz 45 pozycji z QaSLu) i usuń wszelkie nieistotne dane zaimportowane za pomocą pliku .sav wygenerowanego przez pakiet oprogramowania statystycznego 1.
  4. Oceń wewnętrzną spójność kwestionariusza QaSLu-45 przy użyciu Alfy Cronbacha z pakietem oprogramowania statystycznego 1. W tym celu wybierz menu Analizuj > Skaluj > Analiza niezawodności i przenieś wszystkie odpowiednie zmienne do okna dialogowego Analiza niezawodności . Na koniec kliknij przycisk OK , aby wygenerować żądane dane wyjściowe (patrz Rysunek 9).
    UWAGA: Kwestionariusz wykazał się wysoką wiarygodnością i spójnością wewnętrzną, mierzoną za pomocą współczynnika alfa Cronbacha (α = 0,917).
  5. Wykonaj eksploracyjną analizę czynnikową przy użyciu pakietu oprogramowania statystycznego 1.
    1. Aby przeprowadzić tę analizę, wybierz Menu Analiza > Współczynnik redukcji > wymiarów. W oknie dialogowym Analiza czynnikowa wybierz wszystkie elementy z kwestionariusza, a następnie kliknij Opisowe i wybierz Jednowymiarowe opisowe oraz KMO i Test sferyczności Bartletta.
    2. Kliknij przycisk Kontynuuj , aby powrócić do menu głównego okna dialogowego Analiza czynnikowa . Następnie kliknij Ekstrakcja i wybierz Główne składniki jako metodę ekstrakcji.
    3. Zaznacz opcje dla Rozwiązania czynnika nieobróconego i Wykresu piargowego, a następnie ponownie kliknij przycisk Kontynuuj , aby powrócić do menu głównego okna dialogowego Analiza czynnikowa . Na koniec kliknij ikonę OK , aby wygenerować dane wyjściowe (patrz Rysunek 10).
      UWAGA: Znaczenie Testu Kuryczności Bartletta (χ2 = 2689,72; p = 0,00) oraz Testu Adekwatności Próbkowania Kaisera-Meyera-Olkina (KMO) (KMO = 0,793) potwierdza adekwatność tej analizy czynnikowej ze względu na solidną konstrukcję pozycji i próbkowanie do walidacji QaSLu-45. Wyniki analizy głównych składowych ujawniły 13 składowych o wartościach własnych większych niż 1,0, co wyjaśnia 69,95% całkowitej wariancji. Wykres piargów (zob . rys. 11) pokazuje jednak, że pierwszy składnik ma tak nieproporcjonalne znaczenie, że znaczenie pozostałych składników staje się znikome. W związku z tym zaleca się zredukowanie QaSLu-45 do jednego komponentu, uzyskując w ten sposób unikalną ocenę końcową dla zaprojektowanego QaSLu-45.
  6. Przekonwertuj plik wynikowy kwestionariusza, z wyłączeniem zmiennych atrybutowych, do stałego formatu ASCII (dat), kompatybilnego z pakietem oprogramowania statystycznego 2 (patrz Spis materiałów).
    1. Najpierw usuń wszystkie zmienne atrybutów, pozostawiając tylko pozycje kwestionariusza jako zmienne w pakiecie oprogramowania statystycznego 1. Następnie wybierz Menu Plik > Eksportuj dane > stałym tekstem (patrz Rysunek 12).
    2. Zapisz plik w bezpiecznej lokalizacji o rozpoznawalnej nazwie. Proces ten przekształca anonimowe dane do formatu wymaganego do analizy w pakiecie oprogramowania statystycznego 2.
  7. Wykonaj konfirmacyjną analizę czynnikową (CFA) z pakietem oprogramowania statystycznego 2, aby określić wartość dopasowania do jednoczynnikowego modelu kwestionariusza.
    1. Aby przeprowadzić tę analizę, wybierz opcję Odczyt danych, a następnie w oknie dialogowym Przykład kliknij przycisk Przeglądaj i wybierz poprzednio utworzony plik ASCII. Liczba uczestników i zmienne będą wyświetlane na zielono w sekcji Rozmiar macierzy danych .
    2. Następnie kliknij ikonę Otwórz zbiór danych pojedynczej grupy i wróć do menu głównego pakietu oprogramowania statystycznego 2. W menu głównym kliknij opcję Konfiguruj analizę. W menu dialogowym zaznacz Konfirmacyjną Analizę Czynnikową i kliknij przycisk Potwierdź .
    3. W oknie CFA: Konfiguracja analizy czynnikowej zaakceptuj ustawienia domyślne i kliknij przycisk Potwierdź , aby powrócić do menu głównego. Na koniec w menu głównym pojawi się komunikat "Gotowa potwierdzająca analiza czynnikowa"; następnie kliknij przycisk Compute (patrz Rysunek 13) i poczekaj na wyniki.
      UWAGA: Elementy QaSLu-45 wykazały się doskonałą, solidną właściwością dopasowania, ocenianą za pomocą miar dopasowania modelu CFA. Zgodnie z sugerowanym przez Kelleya kryterium, Comparative Fit Index dla pozycji QaSLu-45 wynosił >0,95 (CFI = 0,973), ponieważ minimalna i maksymalna różnica w CFA/stopniach swobody wynosiła od 1 do 3 (CMIN/DF = 1,053), błąd aproksymacji wynosił <0,06 (RMSEA = 0,042), a ważona średnia kwadratowa reszty wynosiła <1,0 (WRMR = 0,0978).

Survey process; includes survey setup, result analysis graph, export options.
Rysunek 7: Eksport danych do wykorzystania w pakietach oprogramowania statystycznego 1 i 2. (1) Kliknij ikonę Wyniki ; (2) Kliknij ikonę Kwestionariusze ; (3) Wybierz Tekst i CSV w opcji Szczegółowe. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

SPSS data import method, CSV file selection, statistical software interface, educational analysis.
Rysunek 8: Importowanie danych do pakietu oprogramowania statystycznego 1. Wybierz menu Plik > Importuj dane > dane CSV. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

SPSS reliability analysis diagram using Alpha model for factor score evaluation.
Rys. 9: Ocena wewnętrznej spójności kwestionariusza. Wybierz menu Analizuj > Skaluj > analizę niezawodności. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Factor analysis process flowchart using SPSS, showing windows for variables, descriptives, extraction.
Rysunek 10: Przeprowadzanie eksploracyjnej analizy czynnikowej za pomocą pakietu oprogramowania statystycznego 1. (1) Kliknij ikonę Czynniki ; (2) Kliknij ikonę Opisy ; (3) Wybierz KMO i test sferyczności Bartletta w opcji Szczegółowe; (4) Kliknij ikonę Ekstrakcja ; (5) Wybierz Działka piargowa w opcji Szczegółowe; (6) Kliknij ikonę OK . Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Scree plot graph showing eigenvalue vs. component number for principal component analysis results.
Rysunek 11: Wykres osadu analizy czynnikowej głównych składowych w początkowej wersji 45 pozycji. Zwróć uwagę, że komponent numer 1, zgodnie z eksploracyjną analizą czynnikową, ogromnie wyróżnia się w stosunku do pozostałych, podkreślając, że jego znaczenie jest znacznie większe niż pozostałych składników razem wziętych, co potwierdza, że struktura jednoczynnikowa jest najbardziej odpowiednia dla kwestionariusza. Ta tabela została ponownie opublikowana z López-de-Arana Prado et al.9. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Exporting data as fixed text format in statistical software menu, file saving process illustrated.
Rysunek 12: Konwersja pliku wyników do formatu ASCII w stałym formacie. (1) Kliknij ikonę stałego tekstu ; (2) Wybierz Fixed ASCII w menu Zapisz jako typ; (3) Kliknij ikonę Zapisz . Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Factor Analysis process; diagram showing software interface steps for data analysis setup.
Rysunek 13: Przeprowadzanie konfirmacyjnej analizy czynnikowej za pomocą pakietu oprogramowania statystycznego 2. (1) Kliknij ikonę Odczyt danych ; (2) Wybierz plik ASCII z menu Sample; (3) Kliknij ikonę Otwórz zestaw danych pojedynczej grupy ; (4) Kliknij ikonę Konfiguruj analizę ; (5) Wybierz Konfirmacyjną analizę czynnikową w opcji Szczegółowe; (6) kliknij ikonę OK ; (7) kliknij ikonę Oblicz. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

7. Optymalizacja kwestionariusza dla pojedynczego głównego komponentu, redukcja nadmiarowych pozycji zgodnie z zasadą oszczędności

  1. Zidentyfikuj elementy do usunięcia w zoptymalizowanej wersji kwestionariusza, które mają odwrotną relację z głównym komponentem.
    1. Przejrzyj macierz składowych uzyskaną w kroku 6.5 przy użyciu pakietu oprogramowania statystycznego 1 , aby określić, które pozycje wykazują odwrotną zależność od czynnika głównego. Wyklucz te pozycje ze zmniejszonej i zoptymalizowanej wersji kwestionariusza dla pojedynczego czynnika.
      UWAGA: Na podstawie macierzy wyników każdej pozycji dla głównego składnika, pozycje 6, 16, 28 i 35 zostały odrzucone z ostatecznej konfiguracji, ponieważ wykazywały odwrotną zależność od głównego składnika. Ponieważ kwestionariusz oferuje jeden wynik końcowy, odwrotne elementy powinny zostać wyeliminowane, ponieważ maskują one rzeczywiste różnice między użytkownikami kwestionariusza.
  2. Wykonaj solidną eksploracyjną analizę czynnikową metodą RULS (Unweighted Least Squares) za pomocą pakietu oprogramowania statystycznego 2.
    1. Aby przeprowadzić tę analizę, wybierz opcję Odczyt danych, a następnie w oknie dialogowym Próbka kliknij przycisk Przeglądaj i wybierz wcześniej utworzony plik ASCII. Liczba uczestników i zmienne będą wyświetlane na zielono w sekcji Rozmiar macierzy danych .
    2. Następnie kliknij ikonę Otwórz zbiór danych pojedynczej grupy i wróć do menu głównego pakietu oprogramowania statystycznego 2. W menu głównym kliknij opcję Konfiguruj analizę. W menu dialogowym wybierz opcję Eksploracyjna analiza czynnikowa i kliknij przycisk Potwierdź .
    3. W menu konfiguracji eksploracyjnej analizy czynnikowej wybierz pozycje o odwrotnej relacji do głównego składnika zgodnie z eksploracyjną analizą czynnikową przeprowadzoną za pomocą pakietu oprogramowania statystycznego 1 i przenieś je do pola z wykluczonymi zmiennymi.
    4. Następnie sprawdź opcje Macierz korelacji Pearsona i Analiza równoległa , zmień liczbę czynników/składników na 1 i wybierz opcję Solidna analiza czynnikowa (patrz rysunek 14). Na koniec kliknij przycisk Potwierdź, aby powrócić do menu głównego, a następnie kliknij Oblicz, aby wygenerować wyniki.
  3. Zidentyfikuj pozycje do usunięcia ze zoptymalizowanej wersji kwestionariusza, które mają miarę adekwatności próbkowania (MSA) poniżej 0,49 MSA. W tym celu należy zapoznać się z wynikami uzyskanymi z Eksploracyjnej Analizy Czynnikowej RULS z pakietem oprogramowania statystycznego 2, w szczególności z Indeksami Lokalizacji Przedmiotów i Adekwatności Przedmiotów.
    UWAGA: Eksploracyjna analiza czynnikowa RULS sugeruje odrzucenie 14 elementów, aby dostosować projekt do jednego głównego komponentu: 1, 4, 7, 8, 9, 11, 18, 20, 23, 25, 31, 38, 41 i 42. Daje to ostateczną konfigurację 27 elementów, zoptymalizowanych pod kątem jednego głównego komponentu, z wysoką powiązaną odpornością psychometryczną. Wersja ta została nazwana QaSLu-27 (przykładowy szkic kwestionariusza jest dostarczany jako plik uzupełniający 4).

Factor analysis diagram; software interface showing steps: read data, configure, compute.
Rysunek 14: Wykonywanie solidnych obliczeń metodą najmniejszych kwadratów bez ważenia za pomocą pakietu oprogramowania statystycznego 2. (1) Kliknij ikonę Odczyt danych ; (2) Wybierz plik ASCII z menu Sample; (3) Kliknij ikonę Otwórz zestaw danych pojedynczej grupy ; (4) Kliknij ikonę Konfiguruj analizę ; (5) Wybierz opcję Eksploracyjna analiza czynnikowa w opcji Szczegółowe ; (6) Sprawdź opcje macierzy korelacji Pearsona i analizy równoległej ; (7) Zmień liczbę czynników/składowych na 1; (8) sprawdź Solidną Analizę Czynnikową w opcjach; (9) kliknij przycisk Potwierdź ; (10) Kliknij ikonę Oblicz. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

8. Przegląd adekwatności właściwości psychometrycznych QaSLu-27 w odniesieniu do QaSLu-45.

  1. Ponownie zastosuj krok 6.4, wykluczając z analizy wszystkie elementy, które nie są częścią zoptymalizowanej wersji kwestionariusza.
  2. Ponownie zastosuj krok 6.5, wykluczając z analizy wszystkie elementy, które nie są częścią zoptymalizowanej wersji kwestionariusza.
  3. Ponownie zastosuj krok 6.7, wykluczając z analizy wszystkie elementy, które nie są częścią zoptymalizowanej wersji kwestionariusza.
  4. Porównaj adekwatność właściwości psychometrycznych zoptymalizowanej wersji kwestionariusza z oryginalną wersją w formie tabeli.
    UWAGA: Istotną poprawę zaobserwowano w teście adekwatności próbkowania KMO (KMO = 0,863) i teście sferyczności Bartletta (χ2 = 1447,76; p = 0,000). Analiza czynnikowa głównych składowych za pomocą QaSLu-27 ujawniła siedem składowych o wartościach własnych > 1,0, co stanowi 65,59% całkowitej wariancji. Solidne statystyki dobroci dopasowania, określone za pomocą CFA, wykazały nieznacznie lepsze wyniki, a wiarygodność mierzona za pomocą alfa Cronbacha wzrosła (α = 0,92), mimo że QaSLu-27 zawierał tylko 27 pozycji zamiast 45. Wyniki te potwierdzają wniosek, że ważność i solidność ostatecznej konfiguracji są znacznie wyższe niż w przypadku wersji 45-elementowej.

9. Opracowanie skal ratingowych

  1. Utwórz nową zmienną, sumując wyniki wszystkich elementów w zoptymalizowanej wersji kwestionariusza.
    1. Wybierz pozycję Przekształć menu > zmiennej obliczeniowej i nazwij nową zmienną jako SUM27 w oknie dialogowym Zmienna obliczeniowa .
    2. Wybierz funkcję Suma i uzupełnij wyrażenie numeryczne, uwzględniając elementy ze zoptymalizowanej wersji kwestionariusza. Na koniec kliknij ikonę OK , aby wygenerować nową zmienną SUM27 (patrz Rysunek 15).
  2. Oblicz różne percentyle wyniku końcowego ze zoptymalizowanej wersji kwestionariusza.
    1. Wybierz Menu Analizuj > Statystyki opisowe > Częstości, a następnie w oknie dialogowym Częstotliwości wybierz zmienną SUM27 i przenieś ją do pola Zmienne , klikając ikonę strzałki.
    2. Następnie kliknij ikonę Statystyki , wybierz pozycję Percentyle i dodaj następujące percentyle: 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 i 99. Kliknij ikonę Kontynuuj , aby powrócić do okna dialogowego Częstotliwości. Na koniec kliknij ikonę OK , aby wygenerować żądane percentyle dla SUM27 (patrz rysunek 1).
    3. Powtórz ten proces dla każdej skali ocen, stosując filtry zgodnie z dodanymi zmiennymi. Aby to zrobić, kliknij ikonę Podziel plik , wybierz każdą zmienną nominalną lub porządkową uznaną za istotną, wybierz Organizuj dane wyjściowe według grup, kliknij ikonę strzałki , a na koniec kliknij ikonę OK , aby wygenerować żądane percentyle dla SUM27, filtrowane według każdej zmiennej.
  3. Utwórz tabelę dla każdej skali ocen.
    1. Utwórz wiersz dla tytułów tabel, a następnie wiersz dla pozycji Niski (z wierszami podrzędnymi dla percentyli 1, 10 i 20), Średni/Niski (z wierszami podrzędnymi dla percentyli 30 i 40), Średni (percentyl 50), Średni/Wysoki (z wierszami podrzędnymi dla percentyli 60 i 70) i Wysoki (z wierszami podrzędnymi dla percentyli 80, 90 i 99).
    2. W wierszu tytułu utwórz kilka kolumn: pierwszą z etykietą Poziom (z nazwami poziomów wymienionymi poniżej), drugą z etykietą Percentyl (z każdym percentylem wymienionym poniżej), a począwszy od trzeciej kolumny wypisz nazwy różnych warunków zmiennej wybranej dla każdej tabeli.
    3. Uzupełnij tabelę zakresem wyników dla obliczonych wcześniej percentyli. Oznacza to, że Percentyl 1 = 0 -, Percentyl 4, Percentyl 10 = Percentyl 5 - Percentyl 14, Percentyl 20 = Percentyl 15 - Percentyl 24, Percentyl 30 = Percentyl 25 - Percentyl 34, Percentyl 40 = Percentyl 35 - Percentyl 44, Percentyl 50 = Percentyl 45 - Percentyl 54, Percentyl 60 = Percentyl 55 - Percentyl 64, Percentyl 80 = Percentyl 75 - Percentyl 84, Percentyl 90 = Percentyl 85 - Percentyl 94, i Percentyl 99 = Percentyl 95 -Percentyl 99. Powtórz ten proces dla każdej skali ocen z wybranymi zmiennymi nominalnymi lub porządkowymi.

Statistical calculation process with SUM formula setup, data analysis interface, software screenshot.
Rysunek 15: Tworzenie nowej zmiennej poprzez zsumowanie wyników wszystkich pozycji w pakiecie oprogramowania statystycznego 1. (1) Kliknij ikonę Compute Variable ; (2) Wybierz funkcję Suma; (3) uzupełnij wyrażenie numeryczne wszystkimi pozycjami; (4) Przypisz nazwę do nowej zmiennej; (5) Kliknij ikonę OK . Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Wyniki

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Postępując zgodnie z tym rygorystycznym protokołem walidacji jakościowo-ilościowej, opracowaliśmy solidne, zoptymalizowane i oszczędne narzędzie do samooceny uniwersyteckich doświadczeń związanych z uczeniem się przez usługi, nazwane QaSLu (Kwestionariusz Samooceny Doświadczeń związanych z Uczeniem się przez Usługi w Szkolnictwie Wyższym). Ten ostatni instrument otrzymał jakościową aprobatę od 16 ekspertów SL w ramach metody Delphi, z dwiema rundami konsultacji online i adaptacji, a także solidną walidacją ilościową za p...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Dyskusja

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Metody stosowane do walidacji urządzeń mają kilka zalet. Metoda delficka ułatwiła zebranie spostrzeżeń od panelu ekspertów, umożliwiając systematyczne organizowanie tych informacji do analizy. Pozwoliło to na wybór i doprecyzowanie odpowiedzi w oparciu o szacunki i sugestie ekspertów 32,47,48,49. Ponadto podejście to przyniosło znaczące wyniki w stosunkowo krótkim czasie48

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Oświadczenia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy nie mają nic do ujawnienia.

Podziękowania

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy pragną wyrazić wdzięczność Narodowej Komisji Badań Naukowych i Technologicznych Chile (CONICYT Fondecyt/Initiation), a także wszystkim ekspertom, którzy uczestniczyli w walidacji jakościowej metodą delficką oraz wszystkim uczestnikom walidacji ilościowej i scoringu.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
Encuestafacil.com SaasEncuestafacil.com2025Software as a Service na prywatnym serwerze danych Encuestafacil.com
Analiza czynnikowaUniversitat Rovira i Virgili12.06.07Pakiet oprogramowania wykorzystywany w analizie czynnikowej danych
Pakiet statystyczny dla nauk społecznych (SPSS)IBM24Pakiet oprogramowania wykorzystywany w analizie statystycznej danych

Bibliografia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Furco, A., Norvell, K. What is Service Learning? Making Sense of the Pedagogy and Practice. Embedding Service Learning in European Higher Education. , Roultledge. London and New York. (2019).
  2. Salam, M., Awang Iskandar, D. N., Ibrahim, D. H. A., Farooq, M. S. Service learning in higher education: A systematic literature review. Asia Pac Educ Rev. 20 (4), 573-593 (2019).
  3. Mabborang, J. M., Dumlao, D., Cusap, K. W. Effect of servicelearning program on student's outcomes. Int J Res Innov Soc Sci. 8 (8), 2580-2589 (2024).
  4. Albanesi, C., Compare, C. Integrating academic learning: Promoting civic engagement, responsibility, and social justice through servicelearning. Form@re - Open J per la form in rete. 23 (2), 80-92 (2023).
  5. Stewart, T., Wubbena, Z. An overview of infusing servicelearning in medical education. Int J Med Educ. 5, 147-156 (2014).
  6. Mahmud, S. N. D., Ismail, N. K. STEM service learning in higher education: A systematic literature review. Eurasia J Math Sci Technol Educ. 20 (12), em2549(2024).
  7. Cebrián, G., Fernández, M., Fuertes, M. T., Moraleda, Á, Segalàs, J. La influencia del aprendizajeservicio en el desarrollo de competencias en sostenibilidad en estudiantes universitarios. Bordón Rev Pedagogía. 71 (3), 151-167 (2019).
  8. Resch, K., Schrittesser, I. Using the servicelearning approach to bridge the gap between theory and practice in teacher education. Int J Inclus Educ. 27 (10), 1118-1132 (2023).
  9. LópezdeArana Prado, E., Aramburuzabala, P., Cerrillo, R., SánchezCabrero, R. Validation and standardization of a questionnaire for the selfassessment of servicelearning experiencesin higher education (QaSLu27). Educ Sci. 14 (6), 615(2024).
  10. Furco, A. Self-assessment rubric for the institutionalization of service-learning in higher education (2003 revision). International Journal of Research in Global and Development Education. , https://dialnet.unirioja.es/servlet/articulo?codigo=6368177 (2011).
  11. MartínGarcía, X., Puig Rovira, J. M., Palos Rodríguez, J., Rubio Serrano, L. Improving the quality of service-learning practices. Teaching & Teaching: Interuniversity Journal of Didactics. 36 (1), 111(2018).
  12. Lorenzo, M., BelandoMontoro, M. R. Service-Learning. The challenges of assessment. Madrid: Narcea. Theory of Education. Interuniversity Journal. 31, 71-80 (2019).
  13. Shek, D. T. L., Li, X., Yu, L., Lin, L., Chen, Y. Evaluation of electronic servicelearning (eservicelearning) projects in Mainland China under COVID19. Appl Res Qual Life. 17 (5), 3175-3198 (2022).
  14. Lu, Y., Lambright, K. T. Looking beyond the undergraduate classroom: Factors influencing service learning's effectiveness at improving graduate students' professional skills. College Teach. 58 (4), 118-126 (2010).
  15. EscofetRoig, A., Folgueiras Bertomeu, P., LunaGonzález, E., PalouJulián, B. Elaboration and Validation of a Questionnaire for the Evaluation of Service-Learning Projects. Revista Mexicana de Investigación Educativa. , https://diposit.ub.edu/dspace/handle/2445/149639 (2016).
  16. RodríguezIzquierdo, R. M. Service learning and academic commitment in higher education. Journal of Psychodidactics. 25 (1), 45-51 (2020).
  17. LeónCarrascosa, V., SánchezSerrano, S., BelandoMontoro, M. R. Design and validation of a questionnaire to evaluate the Service-Learning methodology. Studies on Education. 39, 247-266 (2020).
  18. RuizOrdóñez, Y., SalcedoMateu, A., Turbi, Á, Novella, C., MoretTatay, C. VALU: Psychometric properties of a values and civic attitudes scale for university students' servicelearning. Psicol Reflex Crít. 35 (1), 3(2022).
  19. SantosPastor, M. L., Cañadas, L., Muñoz, L. F. M., Rico, L. G. Design and validation scale to assess university service-learning in physical activity and sports. Educ XX1. 23 (2), (2020).
  20. Gul, D. R., Ahmad, D. I., Tahir, D. T., Ishfaq, D. U. Development and factor analysis of an instrument to measure servicelearning management. Heliyon. 8 (4), e09205(2022).
  21. Campo, L. A rubric for assessing and improving service learning projects at university. RIDAS Rev Iberoam AprendizajeServicio. 1, 91-111 (2015).
  22. Europe Engage Quality Standards for Service Learning Activities. , At https://ec.europa.eu/programmes/erasmus-plus/project-result-content/4676aec5-7f74-4a0c-bdff-cda07beb4892/guidelines-euengage-2.pdf (2017).
  23. Martín, X. Tools for improving service-learning projects. RIDAS Ibero-American Journal of Learning and Service. 14, 61-84 (2022).
  24. Pickeral, T., Lennon, T., Piscatelli, J. ServiceLearning policies and practices: A researchbased advocacy paper. , National Service Learning Clearinghouse. https://www.ecs.org/clearinghouse/78/58/7858.pdf (2008).
  25. PuigRovira, J. M., MartínGarcía, X., RubioSerrano, L. How to evaluate service learning projects. Voices of Education. 2 (4), 122-132 (2017).
  26. RubioSerrano, L., PuigRovira, J. M., MartínGarcía, X., PalosRodríguez, J. Analyzing, Rethinking, and Improving Projects: A Rubric for Self-Assessment of Service-Learning Experiences. Profesorado, Journal of Curriculum and Teacher Training. 19 (1), 111-126 (2015).
  27. Hallinger, P., Narong, D. K. A bibliometric review of service learning research, 1950-2022. J Experiential Educ. 47 (4), 566-590 (2024).
  28. LópezdeArana, E., Higuera, P. A., Carvajal, H. O. Design and validation of a questionnaire for self-assessment of university service-learning experiences. Educ XX1. 23 (1), (2020).
  29. CruzRamírez, M., RúaVásquez, J. A. Emergence and development of the Delphi method: a scientometric perspective. Biblios J Librarianship Inf Sci. 71, 90-107 (2018).
  30. Donohoe, H., Stellefson, M., Tennant, B. Advantages and limitations of the eDelphi technique: Implications for health education researchers. Am J Health Educ. 43 (1), 38-46 (2012).
  31. von der Gracht, H. A. Consensus measurement in Delphi studies: Review and implications for future quality assurance. Technol Forecast Soc Change. 79 (8), 1525-1536 (2012).
  32. Bakieva, M., Meliá, J. M. J., GonzálezSuch, J., Barajas, Y. E. L. Teacher collegiality: logical validation of the teacher self-assessment instrument in Spain and Mexico. Studies on Education. 34, 99-127 (2018).
  33. Gil, B., PascualEzama, D. The Delphi methodology as a technique for studying content validity. Ann Psychol. 28 (3), 1011-1020 (2012).
  34. Abal, F. J. P., Auné, S. E., Lozzia, G. S., Attorresi, H. F. Functioning of the Central Category in Confidence Items for Mathematics. Evaluate Magazine. 17 (2), (2017).
  35. Shulman, L. S., Elstein, A. S. Studies of problem solving, judgment, and decision making: Implications for educational research. Rev Res Educ. 3, 3-42 (1975).
  36. Bardach, E., Patashnik, E. M. A Practical Guide for Policy Analysis: The Eightfold Path to More Effective Problem Solving. , CQ Press. Washington, D.C. (2023).
  37. Marsh, H. W., Morin, A. J. S., Parker, P. D., Kaur, G. Exploratory structural equation modeling: An integration of the best features of exploratory and confirmatory factor analysis. Annu Rev Clin Psychol. 10 (1), 85-110 (2014).
  38. LorenzoSeva, U., Ferrando, P. J. Robust Promin: A method for diagonally weighted factor rotation. Liberabit. 25 (1), 99-106 (2019).
  39. SánchezCabrero, R., SandovalMena, M., SaezSuanes, G. P., Prado, E. L. A. Design and validation of the classroom climate for an inclusive education questionnaire (CCIEQ). Environ Soc Psychol. 9 (5), (2024).
  40. WMA Declaration of Helsinki-Ethical principles for medical research involving human subjects At . , World Medical Association. At https://www.wma.net/policies-post/wma-declaration-of-helsinki-ethical-principles-for-medical-research-involving-human-subjects (2013).
  41. Schreiber, J. B. Issues and recommendations for exploratory factor analysis and principal component analysis. Res Soc Admin Pharmacy. 17 (5), 1004-1011 (2021).
  42. Ferrando, P. J., HernándezDorado, A. A simple twostep procedure for fitting fully unrestricted exploratory factor analytic solutions with correlated residuals. Struct Eq Modeling: A Multidiscip J. 31 (3), 420-428 (2024).
  43. Hu, L., Bentler, P. M. Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Struct Eq Modeling: A Multidiscip J. 6 (1), 1-55 (1999).
  44. LorenzoSeva, U., Ferrando, P. J. MSA: The forgotten index for identifying inappropriate items before computing exploratory item factor analysis. Methodology. 17 (4), 296-306 (2021).
  45. MartínAntón, L. J., Almedia, L. S., SáizManzanares, M. C., ÁlvarezCañizo, M., Carbonero, M. A. Psychometric properties of the academic procrastination scale in Spanish university students. Assess Eval High Educ. 48 (5), 642-656 (2023).
  46. SánchezCabrero, R., Lópezde Arana Prado, E., Aramburuzabala, P., Cerrillo, R. Dataset on the validation and standardization of the questionnaire for the selfassessment of servicelearning experiences in higher education (QaSLu). Data. 9 (9), 108(2024).
  47. Almenara, J. C. University teacher training in ICT. Application of Delphi Method for the selection of training content. Educ XX1. 17 (1), 111-132 (2014).
  48. GeorgeReyes, C. E., TrujilloLiñán, L. Application of the Modified Delphi Method for the validation of a questionnaire on the incorporation of ICT in teaching practice. Ibero American Journal of Eductaional Evaluation. 11 (1), 113-135 (2018).
  49. LópezMeneses, E. J., BernalBravo, C., LeivaOlivencia, J. J., MartínPadilla, A. H. Validation of the CUVOMOOC® educational tool for assessing digital observatories on MOOCs using the Delphi Method. Virtual Campuses. 7 (1), 95-110 (2018).
  50. Hung, H. L., Altschuld, J. W., Lee, Y. F. Methodological and conceptual issues confronting a crosscountry Delphi study of educational program evaluation. Eval Program Planning. 31 (2), 191-198 (2008).
  51. Linstone, H., Turoff, M. Delphi: A brief look backward and forward. Technol Forecast Soc Change. 78, 1712-1719 (2011).
  52. Rowe, G., Wright, G. The Delphi technique: Past, present, and future prospects - Introduction to the special issue. Technol Forecast Soc Change. 78 (9), 1487-1490 (2011).
  53. Steurer, J. The Delphi method: An efficient procedure to generate knowledge. Skeletal Radiol. 40 (8), 959-961 (2011).
  54. Aramburuzabala, P., Gezuraga, M., LópezdeArana, E. How to approach evaluation in Service-Learning projects . Service-Learning: The Challenges of Evaluation. Chapter 9, 27-37 (2018).
  55. PuigRovira, J. M. 11 Key Ideas: How to Implement a Service-Learning Project. , Grao, Barcelona. (2015).
  56. Eyler, J., Giles, D. E. Where's the Learning in ServiceLearning. JosseyBass Higher and Adult Education Series. , JosseyBass, Inc. San Francisco, CA. (1999).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

Ocena uczenia si przez s u bwalidacja narz dziawalidacja jako ciowaeksploracyjna analiza czynnikowakonfirmacyjna analiza czynnikowaocena psychometrycznaopracowanie kwestionariusza

Powiązane artykuły