Methodenartikel

Kwalitatieve en kwantitatieve validatie van tools met beoordelingsschalen gericht op het beoordelen van de kwaliteit van universitair service-learning

DOI:

10.3791/68648

⸱

29 augustus 2025

 ,  ,  , 
1Faculty of Education and Teacher Training, Autonomous University of Madrid

In dit artikel

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dit artikel schetst het protocol voor het kwalitatief en kwantitatief valideren van een universitair service-learninginstrument, volgens het spaarzaamheidscriterium om de meest robuuste en optimale versie te creëren. De Delphi kwalitatieve validatiemethode en Robust Unweighted Least Squares Exploratory Factor Analysis, als een kwantitatieve methode voor itemoptimalisatie, worden voor dit doel gebruikt.

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Service-Learning (SL) is de afgelopen jaren een zeer effectieve leermethodologie geworden, die de kloof tussen theorie en praktijk overbrugt en tegelijkertijd leren in real-world scenario's contextualiseert. Het is met succes geïmplementeerd op alle niveaus van het hoger onderwijs, wat heeft geleid tot opmerkelijke verbeteringen in de vaardigheden van universiteitsstudenten. Als transformatieve methodologie bevindt SL zich echter nog in de beginfase van ontwikkeling op het gebied van beoordelingsmethoden. Bijgevolg is er een dringende behoefte aan het ontwerpen en valideren van betrouwbare en vooral valide meetinstrumenten, aangezien de toepassing van SL op real-world contexten de primaire waarde ervan is. Dit artikel laat zien hoe universitaire SL-instrumenten optimaal kunnen worden ontworpen en gevalideerd om de kwaliteit van de SL-ervaringen op universitair niveau te evalueren vanuit het oogpunt van universiteitsprofessoren, geleid door het principe van spaarzaamheid. De online gemodificeerde Delphi-methode, Robust Unweighted Least Squares Exploratory Factor Analysis en Confirmatory Factor Analysis zijn toegepast om een nieuw instrument te creëren, de QaSLu-27, gevalideerd door een steekproef van 16 experts met behulp van de online gemodificeerde Delphi-methode en 118 universitaire docenten die SL-projecten uitvoeren. De resultaten tonen optimale psychometrische omstandigheden voor het nieuwe instrument (W = 0,11; α = 0,92; CMIN/DF=1,027; CFI = 0,979; WRMR= 0,0985; RMSEA= 0,046), wat heeft geleid tot de ontwikkeling van nieuwe beoordelingsschalen die het mogelijk maken om toekomstige gebruikers van deze methodologie te vergelijken, rekening houdend met hun attributionele en demografische kenmerken. Het ontwerp van nieuwe gevalideerde instrumenten, die in de echte wereld kunnen worden gebruikt en die het mogelijk maken om schalen te creëren, zal zeer nuttig zijn om de implementatie van nieuwe ervaringen in SL te meten, om hun voortgang, hun deelnemers, hun managers en hun monitoren te evalueren, en bij te dragen aan de vestiging van dit vakgebied in het huidige academische kader en bij het genereren van nieuwe wetenschappelijke kennis.

Inleiding

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Service-Learning (SL), een onderwijsbenadering die academisch leren integreert met dienstverlening aan de gemeenschap, krijgt steeds meer erkenning in het hedendaagse onderwijs. Deze pedagogische benadering stelt studenten in staat om kennis in de klas toe te passen op echte uitdagingen, terwijl ze ook maatschappelijke verantwoordelijkheid en betrokkenheid van de gemeenschap bevorderen1. Het belang van SL in het huidige onderwijs kan niet genoeg worden benadrukt, omdat het studenten uitrust met praktische professionele competenties, maatschappelijke betrokkenheid bevordert en een dieper begrip van sociale kwesties biedt2.

Recent onderzoek naar SL is aanzienlijk gegroeid, gevoed door een toenemende erkenning van het potentieel ervan om zowel academisch leren als de betrokkenheid van de gemeenschap te verbeteren. Deze groei wordt gedreven door de stijgende vraag naar onderwijsmodellen die niet alleen de academische ontwikkeling bevorderen, maar ook maatschappelijke uitdagingen aanpakken3. Studenten hebben de diverse effecten van SL onderzocht, van het bevorderen van sociale rechtvaardigheid tot het cultiveren van burgerzin onder studenten4. Bovendien heeft onderzoek naar service-learning zich steeds meer gericht op de toepassing ervan op specifieke gebieden zoals STEM, gezondheidszorg en milieuwetenschappen, waar het oplossen van problemen in de echte wereld van cruciaal belang is 5,6,7. Naarmate de literatuur zich uitbreidt, beginnen onderzoekers ook te onderzoeken hoe service-learning de kloof tussen theorie en praktijk effectief kan overbruggen op manieren die zinvol zijn voor zowel studenten als de gemeenschappen die ze bedienen8.

Ondanks zijn groeiende rol blijven er echter aanzienlijke uitdagingen bij het meten van de effectiviteit van SL-programma's9. Er zijn verschillende voorstellen in de vorm van een rubriek, zoals die van Furco10, Martín et al.11, Lorenzo en Belando-Montoro12, Shek et al.13, of Lu en Lambright14, die, ondanks hun bewezen nut in veldstudies, nog niet zijn gevalideerd. Aan de andere kant zijn er andere voorstellen, zoals die van Escofet-Roig et al.15, Rodríguez-Izquierdo16, León-Carrascosa et al.17, Ruiz-Ordoñez et al.18, Santos-Pastor et al.19, of Gul et al.20 die geen kwalitatieve validatie hebben of zeer beperkte kwantitatieve validaties vertonen. Andere tekortkomingen die in eerdere beoordelingsinstrumenten zijn waargenomen, zijn het gebrek aan optimalisatie van factoren en items om te voldoen aan het beginsel van spaarzaamheid en het volledige ontbreken van beoordelingsschalen. Deze situatie komt vaak voor in nieuwe wetenschappelijke gebieden en is het natuurlijke proces dat alle studiegebieden doorlopen om tot optimale instrumenten te komen voor wijdverbreid gebruik.

Op het moment van de oprichting van de Questionnaire for the Self-Assessment of University Service-Learning Experiences (QaSLu), een instrument om de kwaliteit van de SL-ervaringen op universitair niveau te evalueren vanuit het oogpunt van universiteitsprofessoren, waren de meest erkende instrumenten die de normen definieerden om de kwaliteit van SL-ervaringen te waarborgen, de volgende: Campo (2015)21, Europe Engage (2017)22, GREM (2014)23, RMC Research Corporation (2008)24, Puig-Rovira, Martín en Rubio-Serrano (2017)25, en Rubio-Serrano, Puig-Rovira, Martín en Palos (2015)26. Hoewel er nu aanvullende instrumenten zijn, slagen de huidige meetinstrumenten er vaak niet in om de brede en genuanceerde leerresultaten van deze programma's adequaat vast te leggen, vooral in termen van persoonlijke groei op de lange termijn, impact op de gemeenschap, waarbij sommige te algemeen of niet gebaseerd zijn op rigoureuze wetenschappelijke kaders 9,27. Deze kloof in meetinstrumenten belemmert een alomvattend begrip en optimalisatie van de impact van SL op zowel studenten als gemeenschappen.

De volgende stap in het bevorderen van SL-onderzoek is het ontwikkelen van wetenschappelijk rigoureuze meetinstrumenten. Deze tools moeten niet alleen worden ontworpen om academische resultaten vast te leggen, maar ook om de persoonlijke en sociale impact te beoordelen die SL kan hebben op studenten en de gemeenschappen die ze bedienen. Ons onderzoek heeft tot doel deze kloof te dichten door een instrument te creëren dat gebaseerd is op wetenschappelijke nauwkeurigheid, een uitgebreidere evaluatie van SL-projecten biedt en hun toekomstige implementatie begeleidt.

Naast het creëren van het instrument wordt het gevalideerd, eerst kwalitatief en vervolgens kwantitatief. Voor de eerste validatie wordt de aangepaste online Delphi-methode gebruikt28. De term "gewijzigd" verwijst naar het voorstel van Cabero om de Delphi-methode te beperken tot twee raadplegingsrondes, om zo uitval onder de leden van de deskundigengroep te voorkomen. De term "online" werd geïntroduceerd door Cruz-Ramírez en Rúa-Vásquez29 om te benadrukken dat consultaties via e-mail werden uitgevoerd, aangezien internet helpt bij het overwinnen van bepaalde beperkingen die inherent zijn aan het traditionele Delphi, zoals groepsdenken of de invloed van dominante meningen van experts, die van invloed kunnen zijn op de itemselectie 30,31.

Met behulp van de aangepaste online Delphi-methode zullen twee soorten validiteit worden beoordeeld: constructvaliditeit, volgens het proces dat wordt beschreven in de studie van Bakieva et al.32, waarbij experts worden geraadpleegd over de relevantie van elk item, en inhoudsvaliditeit, op basis van het werk van Gil en Pascual-Ezama33, die de duidelijkheid van elk item evalueert door middel van deskundig overleg.

Experts krijgen een Likert-schaal met vier antwoordopties (geen, weinig, vrij veel, veel). Door geen tussenliggende antwoordalternatieven te introduceren, moeten experts een definitief standpunt innemen voor of tegen elk item34, waardoor het besluitvormingsproces over het al dan niet behouden van items in de vragenlijst wordt vergemakkelijkt.

Wat betreft kwantitatieve validatie, deze is gebaseerd op de wet van spaarzaamheid, een fundamenteel principe in de wetenschap dat stelt dat, gegeven een wetenschappelijk probleem, onder gelijke omstandigheden, de kortste oplossing de voorkeur verdient 35,36. Daarom biedt de zoektocht naar het kortste en meest geoptimaliseerde geldige instrument dezelfde wetenschappelijke garanties, namelijk praktischer, exporteerbaarder en algemener voor dagelijks gebruik in reële contexten zonder in te boeten aan betrouwbaarheid of validiteit. Confirmatory Factor Analysis (CFA)37 en Robust Unweighted Least Squares (RULS) Exploratory Factor Analysis38,39 zullen worden gebruikt als analytische technieken om onnodige items te verminderen en de uiteindelijke structuur van het instrument te valideren. Fit- en betrouwbaarheidsindices worden gebruikt als indicatoren voor de validiteit van de nieuwe structuur ten opzichte van de vorige, waarbij als referentie wordt gebruikt om de betrouwbaarheid en validiteit van het geoptimaliseerde instrument te behouden of te verbeteren binnen de niveaus die de toereikendheid en robuustheid van de nieuwe structuur van de gereduceerde en geoptimaliseerde vragenlijst garanderen.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dit protocol is in 2020 ethisch goedgekeurd door de Nationale Commissie voor Wetenschappelijk en Technologisch Onderzoek van Chili (CONICYT Fondecyt/Initiation) onder erkenningsnummer: 11170623. Een groep externe experts heeft het hele proces beoordeeld en gevalideerd. In overeenstemming met de Verklaring van Helsinki40 moesten de deelnemers schriftelijke geïnformeerde toestemming geven om deel te nemen aan het onderzoek, en er werd duidelijk gecommuniceerd dat ze niet betrokken zouden zijn bij een experimentele aandoening.

1. Ontwerpen van het eerste ontwerp van een QaSLu

  1. Voer een inhoudsanalyse uit van de items uit de primaire tools die worden erkend voor het evalueren van SL-ervaringen. Om dit te bereiken, werden de items uit internationale tools die normen definiëren voor het waarborgen van de kwaliteit van SL-ervaringen, evenals de primaire rubrieken die worden erkend door de SL-expertgemeenschap, beoordeeld.
    OPMERKING: Als resultaat van deze beoordeling gaat QaSLu expliciet in op sociale rechtvaardigheid, een kenmerkende focus van European SL.
  2. Categoriseer alle items op basis van de fasen die betrokken zijn bij het ontwerpen van SL-ervaringen (1. Ontwerp, 2. Uitvoering, 3. Evaluatie) en de toepassing van SL-ervaringen (A. Beginfase, B. Planning, C. Uitvoering, D. Afsluiting en replicatie).
    OPMERKING: Om de betrouwbaarheid van de categorisatie te garanderen, werd een absolute interbeoordelaarsovereenkomst gebruikt, waarbij alleen die categorisaties werden geaccepteerd waarmee alle auteurs het eens waren.
  3. Selecteer de laatste items voor de eerste versie van het instrument om University Service-Learning (USL) te evalueren.
    1. Elimineer eerst dubbele items binnen elke categorie, zowel in de fasen die verband houden met het ontwerp en de toepassing van SL-ervaringen.
    2. Ten tweede moeten niet-relevante items die niet in overeenstemming zijn met de doelstellingen van het nieuwe instrument worden verwijderd.
    3. Ten slotte, items maken of aanpassen aan de doelgroep (universitaire faculteit) en de doelstellingen van het onderzoek (het evalueren van de kwaliteit van SL-ervaringen).
      OPMERKING: QaSLu is ontworpen voor service-learning van universiteiten. Hoewel de meeste tools de kwaliteit van SL op universitair niveau evalueerden, moesten sommige items van eerdere tools worden geherformuleerd en werden nieuwe items gemaakt om ervoor te zorgen dat QaSLu volledig werd aangepast aan de universitaire context.
  4. Ontwerp de eerste versie van de vragenlijst om de doelen van het onderzoek te bereiken.
    OPMERKING: Het concept van QaSLu is gemaakt met behulp van Microsoft Word om het delen en wijzigen te vergemakkelijken. Aanvankelijk bestond het uit 54 items die werden beantwoord via een 5-punts Likertschaal (Nooit, Zelden, Soms, Bijna Altijd, Altijd). De vragenlijst is ontworpen met het oog op een enkele factor of hoofdcomponentenstructuur, zodat de eindscore kan worden gebruikt om gebruikers te vergelijken op basis van hun kenmerken door middel van gestandaardiseerde beoordelingsschalen.

2. Selectie van de expertengroep voor de Delphi-methode

  1. Selecteer een grote steekproef van experts in USL die het eerder ontworpen instrument kunnen beoordelen. Stel in dit proces essentiële inclusiecriteria op: 1. Minimaal vier jaar ervaring in het onderzoeken en ontwerpen/implementeren van USL-ervaringen; 2. Lidmaatschap van een universitair academisch orgaan; en 3. Promovendus of houder van een doctoraatsdiploma zijn.
    OPMERKING: Op basis van de inclusiecriteria is een lijst gemaakt van 20 experts die een prominente rol zouden kunnen spelen in de USL-gemeenschap.
  2. Stuur een e-mail naar alle experts die in stap 2.1 zijn geselecteerd, met uitleg over de onderzoeksdoelstellingen, de fasen van de Delphi-methode, de verwachte tijdlijnen, de inclusiecriteria en vraag naar hun beschikbaarheid en bereidheid om deel te nemen aan het validatieproces, samen met hun acceptatie van de schriftelijke geïnformeerde toestemming.
    OPMERKING: Alle experts stemden ermee in om deel te nemen.
  3. Configureer de definitieve expertgroep om het definitieve instrument voor de beoordeling van USL te evalueren. Stel de nieuwe inclusiecriteria vast op basis van de kenmerken van de experts die hebben toegezegd deel te nemen. De uiteindelijke samenstelling van de expertgroep was gericht op: 1. Academische en professionele diversiteit, d.w.z. vertegenwoordiging uit verschillende academische lagen; 2. Geografische diversiteit in de locaties waar SL-ervaringen zijn uitgevoerd; en 3. Genderdiversiteit.
    OPMERKING: Zestien USL-experts hebben zich gecommitteerd aan het proces en het volledig voltooid. De uiteindelijke deskundigengroep bestond uit 75% vrouwen en 25% mannen.

3. Kwalitatieve validatie van de QaSLu-vragenlijst via de Modified Online Delphi Method

  1. Stuur een e-mail naar elk lid van de expertgroep met een sjabloon om de items van het eerste ontwerp van het instrument voor de evaluatie van USL te beoordelen, samen met de relevante instructies (ronde 1 van de Delphi-methode).
    OPMERKING: De experts beoordelen de relevantie (constructvaliditeit) en duidelijkheid (inhoudsvaliditeit) van elk item met behulp van een 4-punts Likertschaal, waarbij 1 staat voor "niet relevant of niet duidelijk" en 4 voor "zeer relevant of zeer duidelijk". Naast elk item is er een vak om de relevantie te beoordelen en een andere voor de duidelijkheid - waar de experts elk item moeten beoordelen op een schaal van 1 tot 4. Onder deze vakken kunnen zij in een ander gedeelte hun beoordeling kwalitatief toelichten en mogelijke herzieningen van de items voorstellen (zie een voorbeeldontwerp van de vragenlijst dat als aanvullend bestand 1 wordt verstrekt). Door geen tussenliggende antwoordopties op te nemen, werden experts gedwongen een definitief standpunt in te nemen, wat het besluitvormingsproces over het bewaren of verwijderen van items in de vragenlijst vergemakkelijkte.
  2. Verzamel de antwoorden van de experts voor ronde 1 van de Delphi-consultatie in één bestand.
    OPMERKING: Experts kregen 2 weken de tijd om de evaluatie van de relevantie (constructvaliditeit) en duidelijkheid (inhoudsvaliditeit) van de 54 items in het sjabloon te voltooien.
  3. Bereken de Kendall-coëfficiënt om de mate van overeenstemming te bepalen tussen de antwoorden van de experts met betrekking tot relevantie en duidelijkheid.
    1. Open eerst het menu Analyseer > niet-parametrische tests > verouderde dialoogvensters > K gerelateerde voorbeelden (zie afbeelding 1). Selecteer alle antwoorden van de experts met betrekking tot relevantie en duidelijkheid. Doe dit apart, eerst relevantie en dan duidelijkheid.
    2. Verplaats items naar de keuzelijst Testvariabelen . Selecteer in het gedeelte Testtype de optie Kendall's W . Klik ten slotte op OK om de analyse uit te voeren en de bijbehorende resultaten te verkrijgen.
      OPMERKING: Uit de concordantieanalyse bleek dat er statistisch significante overeenstemming was tussen de ondervraagde experts over relevantie (constructvaliditeit) en duidelijkheid (inhoudsvaliditeit).
  4. Beoordeel de constructvaliditeit (relevantie) en inhoudsvaliditeit (duidelijkheid).
    1. Voer een beschrijvende analyse uit met behulp van statistisch softwarepakket 1. Selecteer eerst het menu Analyseren > Beschrijvende statistieken > frequenties en selecteer in het dialoogvenster Frequenties de relevantiescores voor alle items van het instrument en voeg deze toe aan het vak Variabele(n) door op het pijlpictogram te klikken.
    2. Klik vervolgens op het pictogram Statistieken , schakel het vakje Percentiel(en) in en voeg de percentielen 25, 50 en 75 toe aan het dialoogvenster Frequenties: Statistieken en klik vervolgens op Doorgaan om terug te keren naar het dialoogvenster Frequenties .
    3. Klik ten slotte op het pictogram OK om de gewenste percentielen voor elk item te genereren (zie afbeelding 2). Ga na de uitvoer naar Analyseer > beschrijvende statistieken > beschrijvend en selecteer in het dialoogvenster Beschrijvende waarden de duidelijkheidsscores voor alle items van het instrument en voeg ze toe aan het vak Variabele(n) door op het pijlpictogram te klikken (zie afbeelding 3). Klik ten slotte op OK om de resultaten te genereren.
  5. Verwijder alle items die 75% van de experts als zeer irrelevant beschouwen en herformuleer items die als zeer relevant maar onduidelijk werden beoordeeld.
    OPMERKING: Na de eerste consultatieronde zijn 10 items verwijderd uit het oorspronkelijke ontwerp van QaSLu: items 4, 5, 9, 16, 27, 45, 51, 52, 53 en 54. Daarnaast werden 16 items uit de eerste versie van QaSLu geherformuleerd: items 1, 2, 10, 13, 14, 15, 23, 30, 31, 33, 37, 41, 42, 43, 48 en 49. De herformulering of herformulering was gebaseerd op de suggesties van de experts.
  6. Bereid een resultatenrapport voor voor ronde 1 van de raadpleging met het volgende: 1. Het resultaat met betrekking tot de mate van overeenstemming over relevantie of constructvaliditeit (Kendall's coëfficiënt); 2. De vastgestelde besluitvormingscriteria; 3. Het aantal gevalideerde artikelen; 4. Het aantal verwijderde artikelen; 5. Het aantal geherformuleerde punten dat nog wordt beoordeeld; en 6. De aangepaste versie van het instrument voor de evaluatie van USL.
    OPMERKING: Het doel van het opstellen van dit rapport was om de deskundigengroep te informeren zonder hen te overstelpen met buitensporige gegevens en zonder hun toekomstige evaluaties te beïnvloeden.
  7. Stuur een e-mail naar elk lid van de expertgroep met het rapport over de resultaten van ronde 1 van de consultatie, samen met een sjabloon om de geherformuleerde items in de gewijzigde versie van het instrument voor de evaluatie van USL te evalueren, met specifieke instructies (ronde 2 van de Delphi-methode).
    OPMERKING: De experts evalueren de duidelijkheid (inhoudsvaliditeit) van elk geherformuleerd item met behulp van een 4-punts Likertschaal, waarbij 1 staat voor "niet relevant of niet duidelijk" en 4 voor "zeer relevant of zeer duidelijk". Naast elk item is er een vak voor de duidelijkheid van de beoordeling met een cijfer van 1 tot 4, gevolgd door een ander gedeelte waar ze hun evaluatie kwalitatief kunnen toelichten en mogelijke verdere herzieningen van het item kunnen voorstellen (zie een voorbeeldontwerp van de vragenlijst die als aanvullend bestand 2 wordt verstrekt). Door geen tussenliggende antwoordopties te introduceren, werden de experts gedwongen een definitief standpunt in te nemen, voor of tegen de items. Dit vergemakkelijkte het besluitvormingsproces over het al dan niet opnemen van items uit de vragenlijst.
  8. Verzamel de antwoorden van de experts in ronde 2 van de Delphi-consultatie in één bestand.
    OPMERKING: De experts kregen opnieuw twee weken de tijd om hun evaluatie van de duidelijkheid (inhoudelijke validiteit) van de 16 items in het sjabloon af te ronden.
  9. Herhaal de stappen in 3.3, maar selecteer deze keer alleen de helderheidsscores voor de geherformuleerde items van het instrument en neem ze op in het vak Variabele(n ).
  10. Herhaal de stappen in 3.4 en verwijder alle items die door 75% van de experts als zeer duidelijk werden beoordeeld.
    OPMERKING: Na de tweede consultatieronde zijn de volgende items verwijderd: items 1, 23, 31 en 41.
  11. Voeg verschillende controle-items toe met als doel de interne consistentie in de toekomst te evalueren (het wordt aanbevolen om ongeveer één controle-item op te nemen voor elke 10 items).
    OPMERKING: Er zijn vier controle-items toegevoegd aan deze versie van het instrument.
  12. Bereid een resultatenrapport voor voor ronde 2 van de raadpleging, dat het volgende omvat: 1. Het resultaat met betrekking tot de mate van overeenstemming over duidelijkheid of inhoudelijke validiteit (Kendall's coëfficiënt); 2. De vastgestelde besluitvormingscriteria; 3. Het aantal gevalideerde artikelen; 4. Het aantal geëlimineerde artikelen; 5. het aantal items dat als controle-items is opgenomen; en 6. De aangepaste versie van de QaSLu-45 (41 gevalideerde items + 4 controle-items).
    OPMERKING: De definitieve versie van de vragenlijst was als volgt opgebouwd: 1) Doel van de vragenlijst, schriftelijke geïnformeerde toestemming en instructies; 2) Organisatie of instelling, geslacht, leeftijd, opleidingsniveau en jaren beroepservaring in service-learning van de respondent (deze informatie maakt identificatie van de deelnemer niet mogelijk); 3) Gegevens over de service-learningervaring; 4) 45 items voor zelfbeoordeling van service-learningervaringen; en 5) Waardering voor deelname (een voorbeeldontwerp van de vragenlijst wordt verstrekt als aanvullend bestand 3).
  13. Stuur het resultatenrapport van de tweede consultatieronde naar de expertgroep, met daarin de definitieve versie van de ontworpen vragenlijst (QaSLu-45), en bedank hen voor hun deelname aan de aangepaste online Delphi-methode.

figure-protocol-1
Figuur 1: Berekening van de Kendall-coëfficiënt in het statistische softwarepakket 1. (1) Klik op het pictogram K gerelateerde voorbeelden; (2) Selecteer Kendall's W; (3) klik op het OK-pictogram. Klik hier om een grotere versie van deze figuur te bekijken.

figure-protocol-2
Figuur 2: Percentielen extraheren in statistisch softwarepakket 1. (1) Klik op het pictogram Frequenties; (2) Klik op het pictogram Statistieken; (3) voeg in het dialoogvenster Frequenties: Statistieken de percentielen toe. Klik hier om een grotere versie van deze figuur te bekijken.

figure-protocol-3
Figuur 3: Extraheren van beschrijvende materialen in statistisch softwarepakket 1. (1) Klik op het beschrijvende pictogram; (2) Voeg de variabele(n) toe; (3) klik op het OK-pictogram.

4. Aanpassing van de vragenlijst aan de online specificatie van een beveiligde server

  1. Ga Navigeer naar de hoofdpagina van het software-as-a-service (SaaS)-platform met een privéserver (zie Materiaaltabel) als geregistreerde gebruiker. Deze registratie dient vooraf te worden afgerond door het verstrekken van persoonsgegevens. Nadat u bent geregistreerd, selecteert u Uw geheel nieuwe enquête maken (zie afbeelding 4).
  2. Maak de eerste pagina, die verplichte acceptatie geïnformeerde toestemming moet bevatten om door te gaan.
  3. Maak de tweede pagina met attributievragen van deelnemers, die in het onderzoek zullen worden gebruikt als interveniërende of controlevariabelen in het onderzoek.
    OPMERKING: Deze studie omvat de analyse van drie discrete kwantitatieve variabelen en vijf nominale categorische variabelen. Hieronder vindt u de operationele beschrijving van deze acht variabelen die in het onderzoek zijn opgenomen:
    Geslacht: Een nominale, attributieve en dichotome variabele met twee niveaus (man/vrouw).
    Leeftijd: Een discrete kwantitatieve variabele die de leeftijd van de deelnemer in het onderzoek bepaalt.
    USL Experience: Een discrete kwantitatieve variabele die de service-learning-ervaring van de deelnemer meet. De schaal begint bij 0, wat staat voor minder dan een jaar ervaring in service-learning (wat niet gelijk staat aan 'geen ervaring'), zonder bovengrens.
    Academisch niveau: Een nominale, dichotome variabele met twee niveaus (PhD/Not PhD), die aangeeft of de deelnemer een professioneel doctoraat heeft.
    Samenwerkende organisatie voor USL-activiteit: Een nominale variabele met vijf niveaus (sociale centra, ngo's, stichtingen, scholen, allianties met instellingen voor hoger onderwijs of universiteiten, overheidsdiensten, seniorencentra en andere gezondheidsgerelateerde centra). Deze variabele identificeert het type organisatie of instelling waarmee de deelnemer samenwerkt in de service-learningervaring.
    Doelgroep van de USL-activiteit: Een nominale variabele met vijf niveaus (groepen met een handicap, studenten, etnische minderheden, ouderen, kansarme groepen met een sociaal risico). Deze variabele identificeert de primaire begunstigde groep van de service-learningactiviteit.
    Interventiemechanisme voor de USL-activiteit: Een nominale, dichotome variabele (uitsluitend face-to-face service-learning / inclusief online activiteiten in zijn geheel of gedeeltelijk). Deze variabele geeft aan of de service-learningactiviteit een online component omvat.
  4. Maak meerdere pagina's voor de eerder ontworpen vragenlijst, inclusief de vragen en mogelijke antwoorden, via het SaaS-platform met een private server.
  5. Nadat u de enquête hebt gemaakt en opgeslagen (zie de definitieve vragenlijst in Aanvullend bestand 2), keert u terug naar het hoofdmenu van het platform, selecteert u de vragenlijst en klikt u op het pictogram Openbare enquête openen > sluiten om deze beschikbaar te maken voor deelnemers. Klik vervolgens op het pictogram Een link naar de enquête verkrijgen en kies uit verschillende opties voor toegang voor deelnemers (bijv. een link die is ingesloten in een e-mail of op een website, een iframe op een website, een pop-up op een website of een link naar computers van een callcenter, zie afbeelding 5).
    OPMERKING: De definitieve versie van de vragenlijst was als volgt opgebouwd: 1) Doel van de vragenlijst, schriftelijke geïnformeerde toestemming en instructies; 2) Gegevens van de deelnemer (instelling of organisatie, leeftijd, geslacht, opleidingsniveau en jarenlange professionele ervaring in service-learning). Deze informatie zorgt voor anonimiteit van de deelnemer; 3) Gegevens over de service-learningervaring; 4) 45 items voor zelfbeoordeling van service-learningervaringen; en 5) Een sectie waarin dankbaarheid wordt uitgesproken voor deelname.

figure-protocol-4
Figuur 4: De vragenlijst helemaal opnieuw maken. (1) Klik op het pictogram Nieuwe enquête ; (2) Selecteer Uw geheel nieuwe enquête maken. Klik hier om een grotere versie van deze figuur te bekijken.

figure-protocol-5
Figuur 5: Ontwerpen van de vragenlijst. (1) Bewerk de enquête; (2) Pagina's en vragen toevoegen en configureren; (3-5) Ontwikkel pagina's, vragen en antwoorden. Klik hier om een grotere versie van deze figuur te bekijken.

5. Bemonsteringsmethode

  1. Bekijk alle resultaten van conferenties die de afgelopen 3 jaar zijn georganiseerd door het Spaanse netwerk van universitaire service-learning. Stel een lijst samen van auteurs die de afgelopen jaren aan service-learning hebben gewerkt en verzamel hun e-mailadressen.
    OPMERKING: De steekproef was incidenteel en opportunistisch.
  2. Stuur een e-mail naar alle auteurs om hen uit te nodigen om deel te nemen aan het onderzoek. Verstuur de e-mail één en twee weken later opnieuw.
    OPMERKING: In de e-mail werden ontvangers aangemoedigd om deze door te sturen naar contacten die mogelijk geïnteresseerd zijn om deel te nemen. Zo werd de incidentele bemonsteringsmethode aangevuld met een sneeuwbalbemonsteringstechniek.
  3. Ga als geregistreerde gebruiker naar de hoofdpagina van het SaaS-platform, selecteer de gemaakte vragenlijst en klik op Resultaten. Klik in het pop-upmenu op het pictogram Vragenlijst om direct toegang te krijgen tot de ingevulde vragenlijsten. Elimineer onvolledige of foutieve antwoorden via het SaaS-platform (zie figuur 6).
  4. Zodra de vragenlijsten het vereiste minimumaantal deelnemers (>100) hebben bereikt, navigeert u, na het uitsluiten van onvolledige antwoorden, als geregistreerde gebruiker naar de hoofdpagina van het SaaS-platform, selecteert u de vragenlijst en klikt u op het pictogram Openbare enquête openen/sluiten om de enquête te sluiten en verdere deelname te voorkomen (zie stap 1 in afbeelding 5 ).
    OPMERKING: In totaal namen 118 docenten van 43 instellingen voor hoger onderwijs deel, waarbij 67.80% zich identificeerde als vrouw en 32.20% als man. De gemiddelde leeftijd was 46,16 jaar (SD = 9,60), met leeftijden variërend van 24 tot 65 jaar. Wat de academische kwalificaties betreft, had een aanzienlijke meerderheid (76,3%) een doctoraat, terwijl de overige deelnemers ten minste een bachelordiploma hadden. In termen van service-learning-ervaring was het gemiddelde 6,69 jaar (SD = 5,39 jaar), met het laagste geregistreerd op een half jaar en het hoogste op 34 jaar. De instellingen waarmee de universiteiten van de deelnemers samenwerkten, waren onder meer onderwijscentra (inclusief andere universiteiten), sociale centra, seniorencentra, gezondheidscentra, NGO's, stichtingen en overheidsinstanties zoals gemeentehuizen en raden. Er werden partnerschappen voor service-learning gevormd met twee soorten instellingen: formele onderwijscentra, die 50,85% van de steekproef uitmaken, en niet-formele onderwijscentra, die de resterende 49,15% uitmaken. Wat de modaliteit van de service-learning-ervaringen betreft, was 64,41% face-to-face, terwijl 35,59% een of andere vorm van virtuele activiteit betrof.

figure-protocol-6
Figuur 6: Een link naar de enquête verkrijgen. (1) Open de enquête; (2) Klik op het pictogram Verkrijg een link naar de enquête ; (3) Selecteer de gewenste methode. Klik hier om een grotere versie van deze figuur te bekijken.

6. Kwantitatieve validatie van de vragenlijst door middel van factoranalyse

  1. Navigeer als geregistreerde gebruiker naar de hoofdpagina van het SaaS-platform, selecteer de gemaakte enquête en klik op het pictogram Resultaten . Klik in het pop-upmenu op Exporteren en selecteer de gedetailleerde rapportopties (geavanceerd spreadsheetformaat) in Tekst, met de extensie voor door komma's gescheiden waarden (.csv) (zie afbeelding 7). Zodra de deelnemers de vragenlijsten hebben ingevuld, exporteert u de gegevens in .csv formaat naar een e-mailaccount en zorgt u ervoor dat deze op een veilige, privé- en beschermde locatie worden opgeslagen.
  2. Open statistisch softwarepakket 1 (zie Materiaaltabel) en selecteer Bestand Menu > Gegevens importeren > CSV-gegevens. Kies het eerder opgeslagen .csv bestand. Dit proces zet de anonieme gegevens om in het vereiste analyseformaat voor statistisch softwarepakket 1 (zie Figuur 8).
  3. Selecteer de variabelen die statistisch moeten worden geanalyseerd (geslacht, leeftijd, opleidingskwalificatie, samenwerkende organisatie van de USL-activiteit, doelgroep van de USL-activiteit, interventiewijze voor de USL-activiteit en de 45 items van de QaSLu) en verwijder alle irrelevante gegevens die zijn geïmporteerd via het .sav bestand dat is gegenereerd door statistisch softwarepakket 1.
  4. Beoordeel de interne consistentie van de QaSLu-45-vragenlijst met behulp van Cronbach's Alpha met statistisch softwarepakket 1. Selecteer hiervoor het menu Analyseren > Schaal > betrouwbaarheidsanalyse en breng alle relevante variabelen over naar het dialoogvenster Betrouwbaarheidsanalyse . Klik ten slotte op de knop OK om de gewenste uitvoer te genereren (zie afbeelding 9).
    OPMERKING: De vragenlijst vertoonde een hoge betrouwbaarheid en interne consistentie, zoals gemeten door Cronbach's Alpha (α = 0,917).
  5. Voer de verkennende factoranalyse uit met behulp van statistisch softwarepakket 1.
    1. Als u deze analyse wilt uitvoeren, selecteert u Menu Analyseren > Dimensiereductie > Factor. Selecteer in het dialoogvenster Factoranalyse alle items uit de vragenlijst, klik vervolgens op Beschrijvende elementen en selecteer Univariate Descriptieven en KMO en Bartlett's Test of Sphericity.
    2. Klik op Doorgaan om terug te keren naar het hoofdmenu van het dialoogvenster Factoranalyse . Klik vervolgens op Extractie en selecteer Hoofdcomponenten als extractiemethode.
    3. Controleer de opties voor Unrotated Factor Solution en Scree Plot en klik vervolgens nogmaals op Doorgaan om terug te keren naar het hoofdmenu van het dialoogvenster Factoranalyse . Klik ten slotte op het OK-pictogram om de uitvoer te genereren (zie afbeelding 10).
      OPMERKING: De significantie van Bartlett's Test of Sphericity (χ2 = 2689,72; p = 0,00) en de Kaiser-Meyer-Olkin (KMO) Sampling Adequacy Test (KMO = 0,793) bevestigen de geschiktheid van deze factoranalyse vanwege het sterke ontwerp van de items en de bemonstering voor de validatie van QaSLu-45. De resultaten van de analyse van de hoofdcomponenten onthulden 13 componenten met eigenwaarden groter dan 1,0, wat 69,95% van de totale variantie verklaart. Uit de puinhellingsgrafiek (zie figuur 11) blijkt echter dat de eerste component dermate onevenredig relevant is dat de significantie van de overige componenten verwaarloosbaar wordt. Daarom wordt aanbevolen om de QaSLu-45 terug te brengen tot een enkel onderdeel, waardoor een unieke eindscore voor de ontworpen QaSLu-45 wordt verkregen.
  6. Converteer het resultatenbestand van de vragenlijst, met uitzondering van attribuutvariabelen, naar het vaste ASCII-formaat (dat), compatibel met statistisch softwarepakket 2 (zie materiaaltabel).
    1. Verwijder eerst alle attribuutvariabelen, zodat alleen de vragenlijstitems overblijven als variabelen in statistisch softwarepakket 1. Selecteer vervolgens Bestand Menu > Gegevens exporteren > vaste tekst (zie afbeelding 12).
    2. Sla het bestand op een veilige locatie met een herkenbare naam op. Dit proces zet de anonieme gegevens om in het vereiste formaat voor analyse in statistisch softwarepakket 2.
  7. Voer Confirmatory Factor Analysis (CFA) uit met statistisch softwarepakket 2 om te bepalen of het geschikt is voor het één-factormodel van de vragenlijst.
    1. Als u deze analyse wilt uitvoeren, selecteert u Gegevens lezen, klikt u vervolgens in het dialoogvenster Voorbeeld op Bladeren en selecteert u het eerder gemaakte ASCII-bestand. Het aantal deelnemers en variabelen wordt groen weergegeven in de sectie Grootte van gegevensmatrices .
    2. Klik vervolgens op het pictogram Open Single Group Dataset en keer terug naar het hoofdmenu van statistisch softwarepakket 2. Klik in het hoofdmenu op Analyse configureren. Schakel in het dialoogvenster Bevestigende factoranalyse in en klik op de knop Bevestigen.
    3. Accepteer in het venster CFA: Configuratie van factoranalyse de standaardinstellingen en klik op Bevestigen om terug te keren naar het hoofdmenu. Ten slotte is er een bericht "Confirmatory Factor Analysis Ready" te zien in het hoofdmenu; klik vervolgens op de knop Berekenen (zie afbeelding 13) en wacht op de resultaten.
      OPMERKING: De QaSLu-45-items vertoonden een uitstekende robuuste goede pasvorm, zoals beoordeeld door de pasvormmetingen van het CFA-model. Volgens het voorgestelde criterium van Kelley was de Comparative Fit Index van QaSLu-45-items >0,95 (CFI = 0,973), aangezien het minimum-maximum verschil in de CFA/vrijheidsgraden tussen 1 en 3 lag (CMIN/DF = 1,053), de gemiddelde kwadratische fout van de benadering <0,06 was (RMSEA = 0,042) en de gewogen kwadratische gemiddelde restwaarde <1,0 was (WRMR = 0,0978).

figure-protocol-7
Figuur 7: Gegevens exporteren voor gebruik in statistische softwarepakketten 1 en 2. (1) Klik op het pictogram Resultaten ; (2) Klik op het pictogram Vragenlijsten ; (3) Selecteer Tekst en CSV in de optie Gedetailleerd. Klik hier om een grotere versie van deze figuur te bekijken.

figure-protocol-8
Figuur 8: Importeren van gegevens in statistisch softwarepakket 1. Selecteer het menu Bestand > Gegevens importeren > CSV-gegevens. Klik hier om een grotere versie van deze figuur te bekijken.

figure-protocol-9
Figuur 9: Beoordeling van de interne consistentie van de vragenlijst. Selecteer het menu Analyseren > Schaal > betrouwbaarheidsanalyse. Klik hier om een grotere versie van deze figuur te bekijken.

figure-protocol-10
Figuur 10: Uitvoeren van de exploratieve factoranalyse met statistisch softwarepakket 1. (1) Klik op het icoon Factoren ; (2) Klik op het pictogram Beschrijvende middelen ; (3) Selecteer KMO en Bartlett's test van sfericiteit in de gedetailleerde optie; (4) Klik op het pictogram Extractie ; (5) Selecteer Schreepperceel in de gedetailleerde optie; (6) klik op het pictogram OK . Klik hier om een grotere versie van deze figuur te bekijken.

figure-protocol-11
Figuur 11: Sedimentgrafiek van de analyse van de belangrijkste componentfactor op de eerste versie van 45 items. Merk op hoe component nummer 1, volgens de verkennende factoranalyse, enorm opvalt ten opzichte van de rest, waarbij wordt benadrukt dat de relevantie ervan veel groter is dan die van de rest van de componenten samen, wat aangeeft dat de enkelvoudige factorstructuur het meest geschikt is voor de vragenlijst. Deze tabel is opnieuw gepubliceerd uit López-de-Arana Prado et al.9. Klik hier om een grotere versie van deze figuur te bekijken.

figure-protocol-12
Figuur 12: Resultatenbestand converteren naar ASCII-formaat in vast formaat. (1) Klik op het pictogram Vaste tekst ; (2) Selecteer Vaste ASCII in het menu Opslaan als; (3) klik op het pictogram Opslaan . Klik hier om een grotere versie van deze figuur te bekijken.

figure-protocol-13
Figuur 13: Uitvoeren van Confirmatory Factor Analysis met statistisch softwarepakket 2. (1) Klik op het pictogram Gegevens lezen ; (2) Selecteer het ASCII-bestand in het menu Voorbeeld; (3) Klik op het pictogram Open Single Group Dataset ; (4) Klik op het pictogram Analyse configureren ; (5) Selecteer Bevestigende Factoranalyse in de Gedetailleerde Optie; (6) klik op het pictogram OK ; (7) klik op het pictogram Compute . Klik hier om een grotere versie van deze figuur te bekijken.

7. Optimalisatie van de vragenlijst voor één hoofdcomponent, waarbij de overtollige items worden verminderd volgens het principe van spaarzaamheid

  1. Identificeer items die moeten worden verwijderd in de geoptimaliseerde versie van de vragenlijst die een omgekeerde relatie hebben met het hoofdonderdeel.
    1. Bekijk de componentenmatrix die in stap 6.5 is verkregen met behulp van statistisch softwarepakket 1 om te bepalen welke items een omgekeerde relatie vertonen met de hoofdfactor. Sluit deze items uit van de verkleinde en geoptimaliseerde versie van de vragenlijst voor een enkele factor.
      OPMERKING: Op basis van de scorematrix van elk item voor het hoofdonderdeel werden de items 6, 16, 28 en 35 weggegooid uit de uiteindelijke configuratie omdat ze een omgekeerde relatie vertoonden met het hoofdonderdeel. Aangezien de vragenlijst een enkele eindscore biedt, moeten de omgekeerde items worden geëlimineerd, omdat ze de echte verschillen tussen de gebruikers van de vragenlijst maskeren.
  2. Voer een robuuste ongewogen kleinste kwadraten (RULS) verkennende factoranalyse uit met statistisch softwarepakket 2.
    1. Als u deze analyse wilt uitvoeren, selecteert u Gegevens lezen en klikt u vervolgens in het dialoogvenster Voorbeeld op Bladeren en selecteert u het eerder gemaakte ASCII-bestand. Het aantal deelnemers en variabelen wordt groen weergegeven in de sectie Grootte van gegevensmatrices .
    2. Klik vervolgens op het pictogram Open Single Group Dataset en keer terug naar het hoofdmenu van statistisch softwarepakket 2. Klik in het hoofdmenu op Analyse configureren. Selecteer in het dialoogvenster de optie Exploratieve factoranalyse en klik op de knop Bevestigen.
    3. Selecteer in het configuratiemenu van de verkennende factoranalyse de items met een omgekeerde relatie tot de hoofdcomponent volgens de verkennende factoranalyse die is uitgevoerd met statistisch softwarepakket 1 en verplaats ze naar het vak met het vak met de uitgesloten variabelen.
    4. Controleer vervolgens de opties Pearson Correlation Matrix en Parallel Analysis , wijzig het aantal factoren/componenten in 1 en selecteer Robuuste factoranalyse (zie afbeelding 14). Klik ten slotte op de knop Bevestigen om terug te keren naar het hoofdmenu en klik vervolgens op Compute om de resultaten te genereren.
  3. Identificeer items die uit de geoptimaliseerde versie van de vragenlijst moeten worden verwijderd en die een Measure of Sampling Adequacy (MSA) van minder dan 0,49 MSA hebben. Bekijk hiervoor de resultaten van de RULS Exploratory Factor Analysis met statistisch softwarepakket 2, met name de Item Location en Item Adequacy Indices.
    OPMERKING: De RULS Exploratory Factor Analysis stelt voor om 14 items weg te gooien om het ontwerp aan te passen aan een enkel hoofdonderdeel: 1, 4, 7, 8, 9, 11, 18, 20, 23, 25, 31, 38, 41 en 42. Dit resulteert in een uiteindelijke configuratie van 27 items, geoptimaliseerd voor één hoofdcomponent, met een hoge bijbehorende psychometrische robuustheid. Deze versie heette QaSLu-27 (een voorbeeldontwerp van de vragenlijst wordt verstrekt als aanvullend bestand 4).

figure-protocol-14
Figuur 14: Robuuste ongewogen kleinste kwadraten uitvoeren met statistisch softwarepakket 2. (1) Klik op het pictogram Gegevens lezen ; (2) Selecteer het ASCII-bestand in het menu Voorbeeld; (3) Klik op het pictogram Open Single Group Dataset ; (4) Klik op het pictogram Analyse configureren ; (5) Selecteer verkennende factoranalyse in de gedetailleerde optie; (6) Controleer de opties Pearson Correlation Matrix en Parallel Analysis ; (7) Verander het aantal factoren/componenten in 1; (8) vink Robust Factor Analysis aan bij de opties; (9) klik op de knop Bevestigen ; (10) Klik op het pictogram Compute . Klik hier om een grotere versie van deze figuur te bekijken.

8. Beoordeling van de geschiktheid van de psychometrische eigenschappen van de QaSLu-27 met betrekking tot QaSLu-45.

  1. Pas stap 6.4 opnieuw toe en sluit items uit van de analyse die geen deel uitmaken van de geoptimaliseerde versie van de vragenlijst.
  2. Pas stap 6.5 opnieuw toe en sluit items uit van de analyse die geen deel uitmaken van de geoptimaliseerde versie van de vragenlijst.
  3. Pas stap 6.7 opnieuw toe en sluit items uit van de analyse die geen deel uitmaken van de geoptimaliseerde versie van de vragenlijst.
  4. Vergelijk de geschiktheid van de psychometrische eigenschappen van de geoptimaliseerde versie van de vragenlijst met de originele versie in tabelformaat.
    OPMERKING: Er werd een significante verbetering waargenomen in de KMO Sampling Adequacy Test (KMO = 0,863) en Bartlett's Sphericity Test (χ2 = 1447,76; p = 0,000). De analyse van de belangrijkste componentenfactor met QaSLu-27 onthulde zeven componenten met eigenwaarden > 1,0, goed voor 65,59% van de totale variantie. De robuuste goodness-of-fit-statistieken, bepaald met behulp van CFA, lieten iets verbeterde resultaten zien, en de betrouwbaarheid gemeten door Cronbach's alpha, nam toe (α = 0,92), ondanks dat de QaSLu-27 slechts 27 items bevatte in plaats van 45. Deze bevindingen ondersteunen de conclusie dat de validiteit en robuustheid van de uiteindelijke configuratie aanzienlijk hoger zijn dan die van de versie met 45 items.

9. Ontwikkeling van beoordelingsschalen

  1. Maak een nieuwe variabele door de scores van alle items in de geoptimaliseerde versie van de vragenlijst bij elkaar op te tellen.
    1. Selecteer Transformatiemenu > Rekenvariabele en geef de nieuwe variabele de naam SUM27 in het dialoogvenster Rekenvariabele .
    2. Selecteer de functie Som en vul de numerieke uitdrukking in, inclusief de items uit de geoptimaliseerde versie van de vragenlijst. Klik ten slotte op het OK-pictogram om de nieuwe variabele SUM27 te genereren (zie afbeelding 15).
  2. Bereken de verschillende percentielen van het eindresultaat uit de geoptimaliseerde versie van de vragenlijst.
    1. Selecteer Menu Analyseren > Beschrijvende statistieken > frequenties en selecteer in het dialoogvenster Frequenties de variabele SUM27 en verplaats deze naar het vak Variabele(n) door op het pijlpictogram te klikken.
    2. Klik vervolgens op het pictogram Statistieken , selecteer Percentiel(en) en voeg de volgende percentielen toe: 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 en 99. Klik op het pictogram Doorgaan om terug te keren naar het dialoogvenster Frequenties. Klik ten slotte op het OK-pictogram om de gewenste percentielen voor SUM27 te genereren (zie afbeelding 1).
    3. Herhaal dit proces voor elke beoordelingsschaal door filters toe te passen op basis van de toegevoegde variabelen. Om dit te doen, klikt u op het pictogram Gesplitst bestand , selecteert u elke nominale of ordinale variabele die als relevant wordt beschouwd, kiest u Uitvoer organiseren op groepen, klikt u op het pijlpictogram en klikt u ten slotte op het pictogram OK om de gewenste percentielen voor SUM27 te genereren, gefilterd op elke variabele.
  3. Maak een tabel voor elke beoordelingsschaal.
    1. Maak een rij voor de tabeltitels, gevolgd door een rij voor Laag (met subrijen voor percentielen 1, 10 en 20), Gemiddeld/Laag (met subrijen voor percentiel 30 en 40), Normaal (percentiel 50), Gemiddeld/Hoog (met subrijen voor percentielen 60 en 70) en Hoog (met subrijen voor percentielen 80, 90 en 99).
    2. Maak in de titelrij verschillende kolommen: de eerste met het label Niveau (met de niveaunamen eronder), de tweede met het label Percentiel (met elk percentiel eronder) en vanaf de derde kolom de namen van de verschillende voorwaarden van de variabele die voor elke tabel is geselecteerd.
    3. Vul de tabel aan met het scorebereik voor de eerder berekende percentielen. Dat wil zeggen, percentiel 1 = 0 -, percentiel 4, percentiel 10 = percentiel 5 - percentiel 14, percentiel 20 = percentiel 15 - percentiel 24, percentiel 30 = percentiel 25 - percentiel 34, percentiel 40 = percentiel 35 - percentiel 44, percentiel 50 = percentiel 45 - percentiel 44, percentiel 50 = percentiel 45 - percentiel 54, percentiel 60 = percentiel 55 - percentiel 64, percentiel 70 = percentiel 65 - percentiel 74, percentiel 80 = percentiel 75 - percentiel 84, percentiel 90 = percentiel 85 - percentiel 94, en Percentiel 99 = Percentiel 95 -Percentiel 99. Herhaal dit proces voor elke beoordelingsschaal met de geselecteerde nominale of ordinale variabelen.

figure-protocol-15
Figuur 15: Een nieuwe variabele maken door de scores van alle items in statistisch softwarepakket 1 bij elkaar op te tellen. (1) Klik op het pictogram Compute Variable ; (2) Selecteer de functie Som; (3) vul de numerieke uitdrukking in met alle items; (4) Wijs een naam toe aan de nieuwe variabele; (5) klik op het OK-pictogram . Klik hier om een grotere versie van deze figuur te bekijken.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Resultaten

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Aan de hand van dit rigoureuze kwalitatief-kwantitatieve validatieprotocol hebben we een robuust, geoptimaliseerd en spaarzaam instrument ontwikkeld voor de zelfbeoordeling van universitaire service-learningervaringen, genaamd QaSLu (Questionnaire for the Self-Assessment of Service-Learning Experiences in Higher Education). Dit definitieve instrument heeft kwalitatieve goedkeuring gekregen van 16 SL-experts in het kader van de Delphi-methode, met twee rondes van online consultaties en aa...

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Discussie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De methoden die worden gebruikt voor instrumentvalidatie bieden verschillende voordelen. De Delphi-methode faciliteerde het verzamelen van inzichten van een panel van experts, waardoor deze informatie systematisch kon worden georganiseerd voor analyse. Het maakte de selectie en verfijning van antwoorden mogelijk op basis van schattingen en suggesties van experts 32,47,48,49.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Openbaarmakingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs hebben niets te onthullen.

Dankbetuigingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs willen hun dankbaarheid betuigen aan de Nationale Commissie voor Wetenschappelijk en Technologisch Onderzoek van Chili (CONICYT Fondecyt/Initiation), evenals aan alle experts die hebben deelgenomen aan de kwalitatieve validatie via de Delphi-methode en aan alle deelnemers aan de kwantitatieve validatie en score.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
Encuestafacil.com SaasEncuestafacil.com2025Software as a Service op de Encuestafacil.com privé-dataserver
Factor AnalysisUniversitat Rovira i Virgili12.06.07Softwarepakket gebruikt in factoriële analyse van gegevens
Statistical Package for the Social Sciences (SPSS)IBM24Softwarepakket gebruikt in statistische analyse van gegevens

Referenties

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Furco, A., Norvell, K. What is Service Learning? Making Sense of the Pedagogy and Practice. Embedding Service Learning in European Higher Education. , Roultledge. London and New York. (2019).
  2. Salam, M., Awang Iskandar, D. N., Ibrahim, D. H. A., Farooq, M. S. Service learning in higher education: A systematic literature review. Asia Pac Educ Rev. 20 (4), 573-593 (2019).
  3. Mabborang, J. M., Dumlao, D., Cusap, K. W. Effect of servicelearning program on student's outcomes. Int J Res Innov Soc Sci. 8 (8), 2580-2589 (2024).
  4. Albanesi, C., Compare, C. Integrating academic learning: Promoting civic engagement, responsibility, and social justice through servicelearning. Form@re - Open J per la form in rete. 23 (2), 80-92 (2023).
  5. Stewart, T., Wubbena, Z. An overview of infusing servicelearning in medical education. Int J Med Educ. 5, 147-156 (2014).
  6. Mahmud, S. N. D., Ismail, N. K. STEM service learning in higher education: A systematic literature review. Eurasia J Math Sci Technol Educ. 20 (12), em2549(2024).
  7. Cebrián, G., Fernández, M., Fuertes, M. T., Moraleda, Á, Segalàs, J. La influencia del aprendizajeservicio en el desarrollo de competencias en sostenibilidad en estudiantes universitarios. Bordón Rev Pedagogía. 71 (3), 151-167 (2019).
  8. Resch, K., Schrittesser, I. Using the servicelearning approach to bridge the gap between theory and practice in teacher education. Int J Inclus Educ. 27 (10), 1118-1132 (2023).
  9. LópezdeArana Prado, E., Aramburuzabala, P., Cerrillo, R., SánchezCabrero, R. Validation and standardization of a questionnaire for the selfassessment of servicelearning experiencesin higher education (QaSLu27). Educ Sci. 14 (6), 615(2024).
  10. Furco, A. Self-assessment rubric for the institutionalization of service-learning in higher education (2003 revision). International Journal of Research in Global and Development Education. , https://dialnet.unirioja.es/servlet/articulo?codigo=6368177 (2011).
  11. MartínGarcía, X., Puig Rovira, J. M., Palos Rodríguez, J., Rubio Serrano, L. Improving the quality of service-learning practices. Teaching & Teaching: Interuniversity Journal of Didactics. 36 (1), 111(2018).
  12. Lorenzo, M., BelandoMontoro, M. R. Service-Learning. The challenges of assessment. Madrid: Narcea. Theory of Education. Interuniversity Journal. 31, 71-80 (2019).
  13. Shek, D. T. L., Li, X., Yu, L., Lin, L., Chen, Y. Evaluation of electronic servicelearning (eservicelearning) projects in Mainland China under COVID19. Appl Res Qual Life. 17 (5), 3175-3198 (2022).
  14. Lu, Y., Lambright, K. T. Looking beyond the undergraduate classroom: Factors influencing service learning's effectiveness at improving graduate students' professional skills. College Teach. 58 (4), 118-126 (2010).
  15. EscofetRoig, A., Folgueiras Bertomeu, P., LunaGonzález, E., PalouJulián, B. Elaboration and Validation of a Questionnaire for the Evaluation of Service-Learning Projects. Revista Mexicana de Investigación Educativa. , https://diposit.ub.edu/dspace/handle/2445/149639 (2016).
  16. RodríguezIzquierdo, R. M. Service learning and academic commitment in higher education. Journal of Psychodidactics. 25 (1), 45-51 (2020).
  17. LeónCarrascosa, V., SánchezSerrano, S., BelandoMontoro, M. R. Design and validation of a questionnaire to evaluate the Service-Learning methodology. Studies on Education. 39, 247-266 (2020).
  18. RuizOrdóñez, Y., SalcedoMateu, A., Turbi, Á, Novella, C., MoretTatay, C. VALU: Psychometric properties of a values and civic attitudes scale for university students' servicelearning. Psicol Reflex Crít. 35 (1), 3(2022).
  19. SantosPastor, M. L., Cañadas, L., Muñoz, L. F. M., Rico, L. G. Design and validation scale to assess university service-learning in physical activity and sports. Educ XX1. 23 (2), (2020).
  20. Gul, D. R., Ahmad, D. I., Tahir, D. T., Ishfaq, D. U. Development and factor analysis of an instrument to measure servicelearning management. Heliyon. 8 (4), e09205(2022).
  21. Campo, L. A rubric for assessing and improving service learning projects at university. RIDAS Rev Iberoam AprendizajeServicio. 1, 91-111 (2015).
  22. Europe Engage Quality Standards for Service Learning Activities. , At https://ec.europa.eu/programmes/erasmus-plus/project-result-content/4676aec5-7f74-4a0c-bdff-cda07beb4892/guidelines-euengage-2.pdf (2017).
  23. Martín, X. Tools for improving service-learning projects. RIDAS Ibero-American Journal of Learning and Service. 14, 61-84 (2022).
  24. Pickeral, T., Lennon, T., Piscatelli, J. ServiceLearning policies and practices: A researchbased advocacy paper. , National Service Learning Clearinghouse. https://www.ecs.org/clearinghouse/78/58/7858.pdf (2008).
  25. PuigRovira, J. M., MartínGarcía, X., RubioSerrano, L. How to evaluate service learning projects. Voices of Education. 2 (4), 122-132 (2017).
  26. RubioSerrano, L., PuigRovira, J. M., MartínGarcía, X., PalosRodríguez, J. Analyzing, Rethinking, and Improving Projects: A Rubric for Self-Assessment of Service-Learning Experiences. Profesorado, Journal of Curriculum and Teacher Training. 19 (1), 111-126 (2015).
  27. Hallinger, P., Narong, D. K. A bibliometric review of service learning research, 1950-2022. J Experiential Educ. 47 (4), 566-590 (2024).
  28. LópezdeArana, E., Higuera, P. A., Carvajal, H. O. Design and validation of a questionnaire for self-assessment of university service-learning experiences. Educ XX1. 23 (1), (2020).
  29. CruzRamírez, M., RúaVásquez, J. A. Emergence and development of the Delphi method: a scientometric perspective. Biblios J Librarianship Inf Sci. 71, 90-107 (2018).
  30. Donohoe, H., Stellefson, M., Tennant, B. Advantages and limitations of the eDelphi technique: Implications for health education researchers. Am J Health Educ. 43 (1), 38-46 (2012).
  31. von der Gracht, H. A. Consensus measurement in Delphi studies: Review and implications for future quality assurance. Technol Forecast Soc Change. 79 (8), 1525-1536 (2012).
  32. Bakieva, M., Meliá, J. M. J., GonzálezSuch, J., Barajas, Y. E. L. Teacher collegiality: logical validation of the teacher self-assessment instrument in Spain and Mexico. Studies on Education. 34, 99-127 (2018).
  33. Gil, B., PascualEzama, D. The Delphi methodology as a technique for studying content validity. Ann Psychol. 28 (3), 1011-1020 (2012).
  34. Abal, F. J. P., Auné, S. E., Lozzia, G. S., Attorresi, H. F. Functioning of the Central Category in Confidence Items for Mathematics. Evaluate Magazine. 17 (2), (2017).
  35. Shulman, L. S., Elstein, A. S. Studies of problem solving, judgment, and decision making: Implications for educational research. Rev Res Educ. 3, 3-42 (1975).
  36. Bardach, E., Patashnik, E. M. A Practical Guide for Policy Analysis: The Eightfold Path to More Effective Problem Solving. , CQ Press. Washington, D.C. (2023).
  37. Marsh, H. W., Morin, A. J. S., Parker, P. D., Kaur, G. Exploratory structural equation modeling: An integration of the best features of exploratory and confirmatory factor analysis. Annu Rev Clin Psychol. 10 (1), 85-110 (2014).
  38. LorenzoSeva, U., Ferrando, P. J. Robust Promin: A method for diagonally weighted factor rotation. Liberabit. 25 (1), 99-106 (2019).
  39. SánchezCabrero, R., SandovalMena, M., SaezSuanes, G. P., Prado, E. L. A. Design and validation of the classroom climate for an inclusive education questionnaire (CCIEQ). Environ Soc Psychol. 9 (5), (2024).
  40. WMA Declaration of Helsinki-Ethical principles for medical research involving human subjects At . , World Medical Association. At https://www.wma.net/policies-post/wma-declaration-of-helsinki-ethical-principles-for-medical-research-involving-human-subjects (2013).
  41. Schreiber, J. B. Issues and recommendations for exploratory factor analysis and principal component analysis. Res Soc Admin Pharmacy. 17 (5), 1004-1011 (2021).
  42. Ferrando, P. J., HernándezDorado, A. A simple twostep procedure for fitting fully unrestricted exploratory factor analytic solutions with correlated residuals. Struct Eq Modeling: A Multidiscip J. 31 (3), 420-428 (2024).
  43. Hu, L., Bentler, P. M. Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Struct Eq Modeling: A Multidiscip J. 6 (1), 1-55 (1999).
  44. LorenzoSeva, U., Ferrando, P. J. MSA: The forgotten index for identifying inappropriate items before computing exploratory item factor analysis. Methodology. 17 (4), 296-306 (2021).
  45. MartínAntón, L. J., Almedia, L. S., SáizManzanares, M. C., ÁlvarezCañizo, M., Carbonero, M. A. Psychometric properties of the academic procrastination scale in Spanish university students. Assess Eval High Educ. 48 (5), 642-656 (2023).
  46. SánchezCabrero, R., Lópezde Arana Prado, E., Aramburuzabala, P., Cerrillo, R. Dataset on the validation and standardization of the questionnaire for the selfassessment of servicelearning experiences in higher education (QaSLu). Data. 9 (9), 108(2024).
  47. Almenara, J. C. University teacher training in ICT. Application of Delphi Method for the selection of training content. Educ XX1. 17 (1), 111-132 (2014).
  48. GeorgeReyes, C. E., TrujilloLiñán, L. Application of the Modified Delphi Method for the validation of a questionnaire on the incorporation of ICT in teaching practice. Ibero American Journal of Eductaional Evaluation. 11 (1), 113-135 (2018).
  49. LópezMeneses, E. J., BernalBravo, C., LeivaOlivencia, J. J., MartínPadilla, A. H. Validation of the CUVOMOOC® educational tool for assessing digital observatories on MOOCs using the Delphi Method. Virtual Campuses. 7 (1), 95-110 (2018).
  50. Hung, H. L., Altschuld, J. W., Lee, Y. F. Methodological and conceptual issues confronting a crosscountry Delphi study of educational program evaluation. Eval Program Planning. 31 (2), 191-198 (2008).
  51. Linstone, H., Turoff, M. Delphi: A brief look backward and forward. Technol Forecast Soc Change. 78, 1712-1719 (2011).
  52. Rowe, G., Wright, G. The Delphi technique: Past, present, and future prospects - Introduction to the special issue. Technol Forecast Soc Change. 78 (9), 1487-1490 (2011).
  53. Steurer, J. The Delphi method: An efficient procedure to generate knowledge. Skeletal Radiol. 40 (8), 959-961 (2011).
  54. Aramburuzabala, P., Gezuraga, M., LópezdeArana, E. How to approach evaluation in Service-Learning projects . Service-Learning: The Challenges of Evaluation. Chapter 9, 27-37 (2018).
  55. PuigRovira, J. M. 11 Key Ideas: How to Implement a Service-Learning Project. , Grao, Barcelona. (2015).
  56. Eyler, J., Giles, D. E. Where's the Learning in ServiceLearning. JosseyBass Higher and Adult Education Series. , JosseyBass, Inc. San Francisco, CA. (1999).

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Herprints en machtigingen

Toestemming aanvragen om de tekst of afbeeldingen van dit JoVE-artikel te hergebruiken

Toestemming aanvragen

Trefwoorden

Beoordeling van service learninginstrumentvalidatiekwalitatieve validatieexplorerende factoranalyseconfirmerende factoranalysepsychometrische evaluatievragenlijstontwikkeling

Gerelateerde artikelen