Kwalitatieve en kwantitatieve validatie van tools met beoordelingsschalen gericht op het beoordelen van de kwaliteit van universitair service-learning

In het opkomende gebied van universitair service-learning ontbreekt het ons aan gestandaardiseerde instrumenten die betrouwbaarheid en validiteit combineren, zowel kwalitatief als kwantitatief, en kort genoeg om gemakkelijk te kunnen worden gebruikt. De integratie van beoordeling en schalen maakt het mogelijk om professionals te vergelijken om de kwaliteit van universitair service-learning te beoordelen. Op dit moment is er geen ander instrument dat dit kan bereiken.

QaSLu is het eerste instrument dat is ontwikkeld door middel van een rigoureus kwalitatief en kwantitatief validatieproces dat wordt geleid door het principe van spaarzaamheid. Het is kort, maar uiterst wetenschappelijk onderbouwd. Dit protocol zet de weg uit voor nieuwe wetenschappelijke instrumenten die valide, robuust en praktisch zijn.

Niet alleen voor service-learning, maar ook op het gebied van onderwijs in het algemeen. We zijn van plan om nieuwe ratings en schalen te creëren voor andere verschillende groepen en de deelnemende steekproef uit te breiden om de waardering van QaSLu te verbeteren en het bruikbaar te maken in een andere context. Maak om te beginnen de eerste versie van een QaSLu op een desktop.

Voer een inhoudsanalyse uit van items uit primaire tools die worden erkend voor het evalueren van service-learningervaringen. Bekijk items uit internationale tools die kwaliteitsnormen definiëren en uit de primaire rubrieken die worden erkend door de gemeenschap van service-learningexperts. Categoriseer alle items op basis van de fasen die betrokken zijn bij het ontwerpen van service-learningervaringen, zoals ontwerp, implementatie en evaluatie.

Categoriseer vervolgens alle items op basis van de toepassing van service-learning, zoals de beginfase, planning, uitvoering, afsluiting en replicatie. Selecteer een grote steekproef van experts op het gebied van universitair service-learning om het ontwerpinstrument te evalueren. Configureer de definitieve expertgroep om het definitieve instrument voor de beoordeling van USL te evalueren, met als doel een lijst van experts met academische en professionele diversiteit, geografische diversiteit en genderdiversiteit.

Zodra de gegevens van de experts in ronde 1 zijn ontvangen, berekent u de concordantiecoëfficiënt van Kendall voor relevantie door achtereenvolgens te klikken op Analyseren, Niet-parametrische tests, Legacy Dialogues en K-gerelateerde voorbeelden. Kies Kendall's W onder Testtype. Selecteer vervolgens alle antwoorden van de experts met betrekking tot relevantie en duidelijkheid.

Verplaats items naar de lijst met testvariabelen en klik op OK om de analyse uit te voeren. Na ontvangst van de deskundige feedback van ronde 2, beoordeelt u de concordantiecoëfficiënt van Kendall opnieuw en verwijdert u items die als zeer irrelevant worden beoordeeld. Herformuleer items die als zeer relevant maar onduidelijk worden beschouwd om de formulering en precisie te verbeteren om de definitieve versie van de vragenlijst voor de zelfbeoordeling van universitaire service-learningervaringen, QaSLu-45, op te leveren.

Zodra er voldoende ingevulde vragenlijsten zijn verkregen, beoordeelt u de interne consistentie van de vragenlijst met behulp van statistisch softwarepakket één. Klik op Analyseren, gevolgd door Schaal en vervolgens op Betrouwbaarheidsanalyse. Kies Alfa in het dialoogvenster, breng vervolgens alle relevante variabelen over naar het dialoogvenster Betrouwbaarheidsanalyse en klik op OK om de uitvoer te genereren.

Voer een verkennende factoranalyse uit in statistisch softwarepakket één door Analyseren te openen en vervolgens op Dimensiereductie te klikken, gevolgd door Factor. Breng in het dialoogvenster Factoranalyse alle vragenlijstitems over naar het vak Variabelen, druk vervolgens op Beschrijvende en KMO en Bartlett's sfericiteitstest en selecteer Univariate Descriptives. Klik op Doorgaan.

Druk vervolgens op Extractie en selecteer Hoofdcomponenten als extractiemethode. Controleer de opties voor Niet-geroteerde factoroplossing en Scree-plot, klik vervolgens op Doorgaan en druk op OK om de uitvoer te genereren. Identificeer de items die moeten worden verwijderd die een omgekeerde relatie vertonen met het hoofdonderdeel.

Gebruik de componentenmatrix die is verkregen in de resultaten van de verkennende factoranalyse om items met negatieve belastingen op de hoofdfactor te markeren en deze uit te sluiten van de gereduceerde, geoptimaliseerde enkelvoudige factorversie van QaSLu. Voer vervolgens een bevestigende factoranalyse uit met statistisch softwarepakket twee om de geschiktheid van het één-factormodel te beoordelen. Selecteer Gegevens lezen, klik op Bladeren in het dialoogvenster Voorbeeld en selecteer het eerder gemaakte ASCII-gegevensbestand.

Controleer of het aantal deelnemers en variabelen groen wordt weergegeven in Grootte van gegevensmatrices. Druk nu op Gegevensset met één groep openen en keer terug naar het hoofdmenu. Klik op Analyse configureren in het hoofdmenu, vink vervolgens Bevestigende factoranalyse aan in het dialoogmenu en klik op Bevestigen, in het configuratievenster van CFA:Factoranalyse.

accepteer de standaardinstellingen en klik op Bevestigen om terug te keren naar het hoofdmenu. Wanneer het bericht, Bevestigende Factor Analyse klaar! verschijnt, klik op de knop Compute en wacht op de resultaten.

Open vervolgens het statistische softwarepakket twee om een robuuste ongewogen kleinste kwadratenanalyse uit te voeren. Selecteer Gegevens lezen, klik vervolgens op Bladeren in het dialoogvenster Voorbeeld en kies het eerder gemaakte ASCII-bestand. Het aantal deelnemers en variabelen wordt groen weergegeven in de sectie Grootte van datamatrices.

Klik nu op het pictogram Gegevensset met één groep openen om terug te keren naar het hoofdmenu. Klik in het hoofdmenu op Analyse configureren, selecteer vervolgens Verkennende factoranalyse in het dialoogmenu en klik op de knop Bevestigen. Kies in het menu Configuratie verkennende factoranalyse de items waarvan is vastgesteld dat ze een omgekeerde relatie hebben met de hoofdcomponent en verplaats ze naar het vak Uitgesloten variabelen.

Controleer nu de opties Pearson-correlatiematrix en Parallelle analyse, stel Aantal factoren of componenten in op 1 en selecteer Robuuste factoranalyse. Klik op Bevestigen om terug te keren naar het hoofdmenu en klik vervolgens op Berekenen om de resultaten te genereren. Om items te identificeren die moeten worden verwijderd met een maat voor steekproefadequaatheid of MSA-score van minder dan 0,49, bekijkt u de resultaten die zijn verkregen uit de verkennende factoranalyse van RULS met statistisch softwarepakket twee, met name de itemlocatie en itemadequaatheidsindices, en sluit u ze uit van de gereduceerde geoptimaliseerde enkelvoudige factorversie van QaSLu.

Maak een nieuwe variabele in een statistisch softwarepakket zonder de geëlimineerde items door het menu Transformeren te selecteren en op Rekenvariabele te drukken. Geef de nieuwe variabele een naam als SOM 27, selecteer vervolgens de functie SOM en voltooi de numerieke expressie met de geoptimaliseerde itemlijst. Klik op OK om de nieuwe variabele, SUM 27, te genereren.

Bereken percentielen voor SUM 27 door Analyseren te selecteren, gevolgd door Beschrijvende statistieken en frequenties. Verplaats SUM 27 naar het vak Variabelen en klik vervolgens op het pictogram Statistieken. Selecteer Percentielen en voeg 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 en 99 toe.

Klik op Doorgaan en vervolgens op OK om percentielen te genereren. Herhaal de percentielprocedure voor elke beoordelingsschaal door op het pictogram Gesplitst bestand te klikken en elke relevante variabele te kiezen en vervolgens Uitvoer per groep organiseren te selecteren. Klik op de pijlknop en druk op OK om gegroepeerde percentielen voor SUM 27 te genereren.

Als u een tabel voor elke beoordelingsschaal wilt maken, voegt u eerst een titelrij en rijen toe voor de niveaus Laag, Gemiddeld/Laag, Gemiddeld, Gemiddeld/Hoog en Hoog met de opgegeven percentielsubrijen. Voeg in de titelrij een kolom Niveau, een kolom Percentiel en extra kolommen toe voor de voorwaarden van de geselecteerde variabele. Vul elke tabel aan met scorebereiken die zijn toegewezen aan de berekende percentielen.

De resultaten van de deelnemende steekproef worden gepresenteerd in gevestigde vergelijkingen op basis van de beoordelingsschalen die in het onderzoek worden gebruikt. De verschillende rangen voor elke categorie bestonden uit de tussenliggende punten tussen hen. Het 50e percentiel werd bijvoorbeeld verkregen uit de scores van het 45e percentiel en het 54e percentiel.

Alle rangen, behalve het 1e en 99e percentiel, vertonen perfect begrensde bereiken die overeenkomen met het 4e en 95e percentiel plus eventuele score-aanpassingen. Elk van deze schalen maakt het mogelijk om de scores van elke perspectiefgebruiker te vergelijken door de juiste beoordelingsschaal te selecteren op basis van hun kenmerken.