Methodenartikel

Qualitative und quantitative Validierung von Instrumenten mit Bewertungsskalen zur Bewertung der Qualität von universitärem Service-Learning

DOI:

10.3791/68648

⸱

29. August 2025

 ,  ,  , 
1Faculty of Education and Teacher Training, Autonomous University of Madrid

In diesem Artikel

Zusammenfassung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

In diesem Beitrag wird das Protokoll für die qualitative und quantitative Validierung eines universitären Service-Learning-Instruments nach dem Parsimony-Kriterium skizziert, um eine möglichst robuste und optimale Version zu erstellen. Zu diesem Zweck werden die qualitative Validierungsmethode Delphi und die Robust Unweighted Least Squares Exploratory Factor Analysis als quantitative Methode zur Elementoptimierung verwendet.

Zusammenfassung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Service-Learning (SL) hat sich in den letzten Jahren zu einer hocheffektiven Lernmethode entwickelt, die die Lücke zwischen Theorie und Praxis schließt und gleichzeitig das Lernen in realen Szenarien kontextualisiert. Es wurde erfolgreich auf allen Ebenen der Hochschulbildung umgesetzt, was zu einer deutlichen Verbesserung der Fähigkeiten der Universitätsstudenten führte. Als transformative Methode befindet sich SL in Bezug auf die Bewertungsmethoden jedoch noch in einem frühen Entwicklungsstadium. Folglich besteht ein dringender Bedarf, zuverlässige und vor allem valide Messinstrumente zu entwerfen und zu validieren, da die Anwendung von SL in realen Kontexten ihr primärer Wert ist. In diesem Beitrag wird gezeigt, wie universitäre SL-Instrumente optimal gestaltet und validiert werden können, um die Qualität der SL-Erfahrungen auf universitärer Ebene aus der Sicht der Universitätsprofessorinnen und -professoren zu bewerten, geleitet vom Prinzip der Sparsamkeit. Die online modifizierte Delphi-Methode, die Robust Unweighted Least Squares Exploratory Factor Analysis und die Confirmatory Factor Analysis wurden angewendet, um ein neues Instrument, die QaSLu-27, zu schaffen, die durch eine Stichprobe von 16 Experten mit der online modifizierten Delphi-Methode und 118 Universitätslehrern, die SL-Projekte durchführen, validiert wurde. Die Ergebnisse zeigen optimale psychometrische Bedingungen für das neue Instrument (W = 0,11; α = 0,92; CMIN/DF=1,027; CFI= 0,979; WRMR= 0,0985; RMSEA= 0,046), was zur Entwicklung neuer Bewertungsskalen führte, die Vergleiche zukünftiger Nutzer dieser Methodik unter Berücksichtigung ihrer attributiven und demografischen Merkmale ermöglichen. Die Entwicklung neuer validierter Instrumente, die in der realen Welt eingesetzt werden können und die Erstellung von Skalen ermöglichen, wird sehr nützlich sein, um die Umsetzung neuer Erfahrungen in SL zu messen, ihre Fortschritte, ihre Teilnehmer, ihre Manager und ihre Monitore zu bewerten und zur Etablierung dieses Studienfachs im aktuellen akademischen Rahmen und zur Generierung neuer wissenschaftlicher Erkenntnisse beizutragen.

Einleitung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Service-Learning (SL), ein Bildungsansatz, der akademisches Lernen mit gemeinnützigem Dienst verbindet, hat in der zeitgenössischen Bildung zunehmend Anerkennung gefunden. Dieser pädagogische Ansatz ermöglicht es den Schülern, das Wissen aus dem Unterricht auf reale Herausforderungen anzuwenden und gleichzeitig die staatsbürgerliche Verantwortung und das Engagement in der Gemeinschaft zu fördern1. Die Bedeutung von SL in der aktuellen Bildung kann nicht hoch genug eingeschätzt werden, da sie die Studierenden mit praktischen beruflichen Kompetenzen ausstattet, bürgerschaftliches Engagement fördert und ein tieferes Verständnis für soziale Fragen vermittelt2.

Die jüngste Forschung zu SL hat erheblich zugenommen, angetrieben durch die zunehmende Anerkennung ihres Potenzials, sowohl das akademische Lernen als auch das Engagement in der Gemeinschaft zu verbessern. Dieses Wachstum wird durch die steigende Nachfrage nach Bildungsmodellen angetrieben, die nicht nur die akademische Entwicklung fördern, sondern auch gesellschaftliche Herausforderungen angehen3. Die Schülerinnen und Schüler haben die vielfältigen Auswirkungen von SL erforscht, von der Förderung sozialer Gerechtigkeit bis hin zur Kultivierung des Bürgersinns unter den Schülerinnenund Schülern 4. Darüber hinaus hat sich die Service-Learning-Forschung zunehmend auf ihre Anwendung in bestimmten Bereichen wie MINT, Gesundheitswesen und Umweltwissenschaften konzentriert, in denen die Problemlösung in der realen Welt von entscheidender Bedeutung ist 5,6,7. Mit der Erweiterung der Literatur beginnen Forscher auch zu erforschen, wie Service-Learning die Lücke zwischen Theorie und Praxis effektiv auf eine Weise überbrücken kann, die sowohl für die Studierenden als auch für die Gemeinschaften, denen sie dienen, von Bedeutung ist8.

Trotz ihrer wachsenden Rolle gibt es jedoch nach wie vor erhebliche Herausforderungen bei der Messung der Wirksamkeit von SL-Programmen9. Es gibt verschiedene Vorschläge in Form einer Rubrik, wie z.B. die von Furco10, Martín et al.11, Lorenzo und Belando-Montoro12, Shek et al.13 oder Lu und Lambright14, die trotz ihrer nachgewiesenen Nützlichkeit in Feldstudien noch nicht validiert wurden. Auf der anderen Seite gibt es andere Vorschläge, wie die von Escofet-Roig et al.15, Rodríguez-Izquierdo16, León-Carrascosa et al.17, Ruiz-Ordoñez et al.18, Santos-Pastor et al.19 oder Gul et al.20, denen eine qualitative Validierung fehlt oder die nur sehr begrenzte quantitative Validierungen aufweisen. Weitere Defizite, die bei früheren Bewertungsinstrumenten beobachtet wurden, sind die mangelnde Optimierung von Faktoren und Items, um dem Grundsatz der Sparsamkeit zu entsprechen, und das völlige Fehlen von Bewertungsskalen. Diese Situation ist in neuen wissenschaftlichen Bereichen üblich und ist der natürliche Prozess, den alle Studienbereiche durchlaufen, um optimale Instrumente für einen breiten Einsatz zu erhalten.

Zum Zeitpunkt der Erstellung des Fragebogens zur Selbstbewertung von Erfahrungen im Bereich des Hochschulzugangs (QaSLu), einem Instrument zur Bewertung der Qualität der SL-Erfahrungen auf Universitätsebene aus der Sicht der Universitätsprofessoren, waren die anerkanntesten Instrumente, die die Standards zur Sicherstellung der Qualität von SL-Erfahrungen definierten, die folgenden: Campo (2015)21, Europe Engage (2017)22, GREM (2014)23, RMC Research Corporation (2008)24, Puig-Rovira, Martín und Rubio-Serrano (2017)25 sowie Rubio-Serrano, Puig-Rovira, Martín und Palos (2015)26. Obwohl es jetzt zusätzliche Instrumente gibt, können die derzeitigen Messinstrumente die breiten und nuancierten Lernergebnisse, die mit diesen Programmen verbunden sind, oft nicht angemessen erfassen, insbesondere im Hinblick auf langfristiges persönliches Wachstum und Auswirkungen auf die Gemeinschaft, wobei einige als zu allgemein befunden werden oder nicht auf strengen wissenschaftlichen Rahmenwerken basieren 9,27. Diese Lücke in den Messinstrumenten behindert ein umfassendes Verständnis und eine Optimierung der Auswirkungen von SL auf Studierende und Gemeinschaften.

Der nächste Schritt, um die SL-Forschung voranzutreiben, besteht darin, wissenschaftlich fundierte Messinstrumente zu entwickeln. Diese Instrumente sollten nicht nur so konzipiert sein, dass sie akademische Ergebnisse erfassen, sondern auch die persönlichen und sozialen Auswirkungen von SL auf die Schüler und die Gemeinschaften, denen sie dienen, bewerten können. Unsere Forschung zielt darauf ab, diese Lücke zu schließen, indem wir ein Instrument schaffen, das auf wissenschaftlicher Strenge basiert, eine umfassendere Bewertung von SL-Projekten bietet und ihre zukünftige Umsetzung leitet.

Neben der Erstellung des Instruments wird es zunächst qualitativ und dann quantitativ validiert. Für die erste Validierung wird die modifizierte Online-Delphi-Methodeverwendet 28. Der Begriff "modifiziert" bezieht sich auf Caberos Vorschlag, die Delphi-Methode auf zwei Konsultationsrunden zu beschränken, um so einen Ausstieg unter den Mitgliedern der Expertengruppe zu vermeiden. Der Begriff "online" wurde von Cruz-Ramírez und Rúa-Vásquez29 eingeführt, um hervorzuheben, dass Konsultationen per E-Mail durchgeführt wurden, da das Internet dazu beiträgt, bestimmte Einschränkungen zu überwinden, die dem traditionellen Delphi inhärent sind, wie z. B. Gruppendenken oder den Einfluss dominanter Expertenmeinungen, die die Auswahl der Elemente beeinflussen könnten30,31.

Unter Verwendung der modifizierten Online-Delphi-Methode werden zwei Arten von Validität bewertet: die Konstruktvalidität gemäß dem in der Studie32 von Bakieva et al. beschriebenen Prozess, bei dem Experten zur Relevanz jedes Elements konsultiert werden, und die inhaltliche Validität, basierend auf der Arbeit von Gil und Pascual-Ezama33, die die Klarheit jedes Elements durch Expertenkonsultation bewertet.

Den Experten wird eine Likert-Skala zur Verfügung gestellt, die vier Antwortmöglichkeiten enthält (keine, wenig, ziemlich viel, viel). Durch den Verzicht auf Zwischenantwortalternativen sind die Sachverständigen verpflichtet, eine endgültige Position für oder gegen jedes Item34 einzunehmen, was den Entscheidungsprozess darüber erleichtert, ob Items im Fragebogen beibehalten oder entfernt werden sollen.

Was die quantitative Validierung betrifft, so basiert sie auf dem Gesetz der Sparsamkeit, einem Grundprinzip in der Wissenschaft, das besagt, dass bei einem wissenschaftlichen Problem unter gleichen Bedingungen die kürzeste Lösung vorzuziehen ist35,36. Daher bietet die Suche nach dem kürzesten und am besten optimierten validen Instrument die gleichen wissenschaftlichen Garantien, da es praktischer, exportierbarer und allgemeiner für den täglichen Gebrauch in realen Kontexten ist, ohne die Zuverlässigkeit oder Validität zu beeinträchtigen. Die konfirmatorische Faktorenanalyse (CFA)37 und die robuste ungewichtete Analyse der kleinsten Quadrate (RULS)38,39 werden als Analysetechniken verwendet, um unnötige Elemente zu reduzieren und die endgültige Struktur des Instruments zu validieren. Fit- und Reliabilitätsindizes werden als Indikatoren für die Gültigkeit der neuen Struktur im Vergleich zur vorherigen Struktur verwendet, wobei sie als Referenz dienen, um die Zuverlässigkeit und Validität des optimierten Instruments innerhalb der Niveaus zu erhalten oder zu verbessern, die die Angemessenheit und Robustheit der neuen Struktur des reduzierten und optimierten Fragebogens garantieren.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Protokoll

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dieses Protokoll wurde 2020 von der Nationalen Kommission für wissenschaftliche und technologische Forschung Chiles (CONICYT Fondecyt/Initiation) unter der Zulassungsnummer: 11170623 ethisch genehmigt. Eine Gruppe externer Experten hat den gesamten Prozess überprüft und validiert. Gemäß der Erklärung von Helsinki40 mussten die Teilnehmer eine schriftliche Einverständniserklärung zur Teilnahme an der Studie abgeben, und es wurde klar kommuniziert, dass sie an keiner Versuchsbedingung beteiligt sein würden.

1. Entwerfen des ersten Entwurfs einer QaSLu

  1. Führen Sie eine Inhaltsanalyse der Elemente aus den primären Tools durch, die für die Bewertung von SL-Erfahrungen anerkannt sind. Um dies zu erreichen, wurden die Punkte aus internationalen Tools, die Standards zur Sicherstellung der Qualität von SL-Erlebnissen definieren, sowie die von der SL-Expertengemeinschaft anerkannten Hauptrubriken überprüft.
    HINWEIS: Als Ergebnis dieser Überprüfung befasst sich QaSLu ausdrücklich mit sozialer Gerechtigkeit, einem charakteristischen Schwerpunkt des europäischen SL.
  2. Kategorisieren Sie alle Elemente basierend auf den Phasen, die an der Gestaltung von SL-Erlebnissen beteiligt sind (1. Entwurf, 2. Umsetzung, 3. Evaluation) und die Anwendung von SL-Erfahrungen (A. Anfangsphase, B. Planung, C. Ausführung, D. Schließung und Replikation).
    HINWEIS: Um die Zuverlässigkeit der Kategorisierung zu gewährleisten, wurde eine absolute Inter-Rater-Übereinstimmung verwendet, die nur solche Kategorisierungen akzeptiert, bei denen alle Autoren übereinstimmen.
  3. Wählen Sie die Schlusspunkte für den ersten Entwurf des Instruments zur Evaluation von University Service-Learning (USL) aus.
    1. Erstens, eliminieren Sie doppelte Elemente innerhalb jeder Kategorie, sowohl in den Phasen, die mit dem Design als auch der Anwendung von SL-Erlebnissen zusammenhängen.
    2. Zweitens werden nicht relevante Elemente, die nicht mit den Zielen des neuen Instruments übereinstimmen, gestrichen.
    3. Erstellen oder passen Sie schließlich Elemente an, die der Zielgruppe (Universitätsfakultät) und den Zielen der Studie (Bewertung der Qualität von SL-Erfahrungen) entsprechen.
      HINWEIS: QaSLu ist für das universitäre Service-Learning konzipiert. Während die meisten Tools die Qualität von SL auf Universitätsebene bewerteten, mussten einige Elemente aus früheren Tools neu formuliert und neue Elemente erstellt werden, um sicherzustellen, dass QaSLu vollständig an den universitären Kontext angepasst war.
  4. Entwerfen Sie den ersten Entwurf des Fragebogens, um die Ziele der Studie zu erreichen.
    HINWEIS: Der Entwurf von QaSLu wurde mit Microsoft Word erstellt, um das Teilen und Ändern zu erleichtern. Zunächst bestand sie aus 54 Items, die über eine 5-stufige Likert-Skala beantwortet wurden (nie, selten, manchmal, fast immer, immer). Der Fragebogen wurde unter Berücksichtigung einer Einzelfaktor- oder Hauptkomponentenstruktur konzipiert, so dass die endgültige Punktzahl verwendet werden konnte, um die Nutzer anhand standardisierter Bewertungsskalen nach ihren Merkmalen zu vergleichen.

2. Auswahl der Expertengruppe für die Delphi-Methode

  1. Wählen Sie eine große Auswahl von Experten für USL aus, die das zuvor entwickelte Instrument bewerten konnten. Legen Sie in diesem Prozess wesentliche Einschlusskriterien fest: 1. Mindestens vier Jahre Erfahrung in der Erforschung und Gestaltung/Umsetzung von USL-Erfahrungen; 2. Mitgliedschaft in einem universitären akademischen Gremium; und 3. Doktorandin oder Doktorand oder Inhaber eines Doktortitels.
    HINWEIS: Basierend auf den Aufnahmekriterien wurde eine Liste von 20 Experten erstellt, die eine herausragende Rolle in der USL-Community spielen könnten.
  2. Senden Sie eine E-Mail an alle in Schritt 2.1 ausgewählten Experten, in der Sie die Forschungsziele, die Phasen der Delphi-Methode, die erwarteten Zeitpläne und die Einschlusskriterien erläutern und nach ihrer Verfügbarkeit und Bereitschaft zur Teilnahme am Validierungsprozess sowie nach ihrer Zustimmung zur schriftlichen Einwilligungserklärung fragen.
    HINWEIS: Alle Experten haben sich bereit erklärt, daran teilzunehmen.
  3. Konfigurieren Sie die endgültige Expertengruppe, um das endgültige Instrument zur Bewertung der USL zu bewerten. Festlegung der neuen Einschlusskriterien auf der Grundlage der Merkmale der Sachverständigen, die sich zur Teilnahme bereit erklärt haben. Die endgültige Zusammensetzung der Expertengruppe zielte auf Folgendes ab: 1. Akademische und berufliche Vielfalt, d.h. Vertretung verschiedener akademischer Schichten; 2. Geografische Vielfalt an den Orten, an denen SL-Erfahrungen gemacht wurden; und 3. Geschlechtervielfalt.
    HINWEIS: Sechzehn USL-Experten haben sich dem Prozess verschrieben und ihn vollständig abgeschlossen. Die letzte Expertengruppe bestand zu 75 % aus Frauen und zu 25 % aus Männern.

3. Qualitative Validierung des QaSLu-Fragebogens über die Modified Online Delphi Methode

  1. Senden Sie eine E-Mail an jedes Mitglied der Expertengruppe mit einer Vorlage zur Bewertung der Punkte des ersten Entwurfs des Instruments zur Bewertung der USL, zusammen mit den entsprechenden Anweisungen (Runde 1 der Delphi-Methode).
    HINWEIS: Die Experten bewerten die Relevanz (Konstruktvalidität) und Klarheit (inhaltliche Validität) jedes Elements anhand einer 4-stufigen Likert-Skala, wobei 1 für "nicht relevant oder nicht klar" und 4 für "sehr relevant oder sehr klar" steht. Neben jedem Punkt befindet sich ein Feld zur Bewertung der Relevanz und ein weiteres zur Übersichtlichkeit, in dem die Experten jedes Element auf einer Skala von 1 bis 4 bewerten müssen. Unterhalb dieser Kästchen können sie in einem weiteren Abschnitt ihre Einschätzung qualitativ erläutern und mögliche Überarbeitungen der Items vorschlagen (siehe einen Musterentwurf des Fragebogens, der als Zusatzdatei 1 zur Verfügung gestellt wurde). Durch den Verzicht auf Zwischenantwortoptionen waren die Expertinnen und Experten gezwungen, eine definitive Haltung einzunehmen, was die Entscheidungsfindung hinsichtlich des Verbleibens oder Entfernens von Items im Fragebogen erleichterte.
  2. Sammeln Sie die Antworten der Experten für Runde 1 der Delphi-Konsultation in einer einzigen Datei.
    HINWEIS: Den Experten wurde 2 Wochen Zeit gegeben, um die Bewertung der Relevanz (Konstruktvalidität) und Klarheit (inhaltliche Validität) der 54 Elemente in der Vorlage abzuschließen.
  3. Berechnen Sie den Kendall-Koeffizienten, um den Grad der Übereinstimmung zwischen den Antworten der Experten in Bezug auf Relevanz und Klarheit zu bestimmen.
    1. Rufen Sie zunächst das Menü Analysieren > Nichtparametrische Tests > Legacy-Dialoge > K-bezogene Beispiele auf (siehe Abbildung 1). Wählen Sie alle Antworten der Experten hinsichtlich Relevanz und Klarheit aus. Tun Sie dies separat, zuerst Relevanz und dann Klarheit.
    2. Verschieben Sie Elemente in das Feld Testvariablenliste. Wählen Sie im Abschnitt Testtyp die Option Kendalls W aus. Klicken Sie abschließend auf OK, um die Analyse auszuführen und die entsprechenden Ergebnisse zu erhalten.
      HINWEIS: Die Konkordanzanalyse ergab, dass unter den befragten Experten eine statistisch signifikante Übereinstimmung hinsichtlich der Relevanz (Konstruktvalidität) und der Klarheit (inhaltliche Validität) bestand.
  4. Bewerten Sie die Validität (Relevanz) des Konstrukts und die inhaltliche Validität (Klarheit).
    1. Führen Sie eine deskriptive Analyse mit dem statistischen Softwarepaket 1 durch. Wählen Sie zunächst das Menü "Analysieren" > "Deskriptive Statistik > Frequenzen" und wählen Sie im Dialogfeld "Frequenzen " die Relevanzwerte für alle Elemente des Instruments aus und fügen Sie sie dem Feld Variable(n) hinzu, indem Sie auf das Pfeilsymbol klicken.
    2. Klicken Sie dann auf das Symbol Statistik , aktivieren Sie das Kontrollkästchen Perzentil(e), fügen Sie die Perzentile 25, 50 und 75 zum Dialogfeld Häufigkeiten: Statistik hinzu, und klicken Sie dann auf Weiter , um zum Dialogfeld Häufigkeiten zurückzukehren.
    3. Klicken Sie abschließend auf das Symbol OK , um die gewünschten Perzentile für jedes Element zu generieren (siehe Abbildung 2). Gehen Sie nach der Ausgabe zu Analyze > Descriptive Statistics > Descriptive, und wählen Sie im Dialogfeld Deskriptive die Klarheitswerte für alle Elemente des Instruments aus und fügen Sie sie dem Feld Variable(n) hinzu, indem Sie auf das Pfeilsymbol klicken (siehe Abbildung 3). Klicken Sie abschließend auf OK , um die Ergebnisse zu generieren.
  5. Entfernen Sie alle Elemente, die 75 % der Experten für sehr irrelevant halten, und formulieren Sie Elemente, die als sehr relevant, aber unklar eingestuft wurden, neu.
    HINWEIS: Nach der ersten Konsultationsrunde wurden 10 Punkte aus dem ursprünglichen Entwurf von QaSLu entfernt: Punkte 4, 5, 9, 16, 27, 45, 51, 52, 53 und 54. Darüber hinaus wurden 16 Punkte aus dem ersten Entwurf von QaSLu neu formuliert: Punkte 1, 2, 10, 13, 14, 15, 23, 30, 31, 33, 37, 41, 42, 43, 48 und 49. Die Neuformulierung bzw. Umformulierung erfolgte auf der Grundlage der Vorschläge der Sachverständigen.
  6. Erstellen Sie einen Ergebnisbericht für Runde 1 der Konsultation, der Folgendes enthält: 1. Das Ergebnis in Bezug auf den Grad der Übereinstimmung über die Relevanz oder Konstruktvalidität (Kendall-Koeffizient); 2. die festgelegten Entscheidungskriterien; 3. Die Anzahl der validierten Elemente; 4. Die Anzahl der entfernten Elemente; 5. Die Zahl der neu formulierten Punkte, die noch überprüft werden; und 6. Die modifizierte Version des Instruments zur Evaluierung der USL.
    ANMERKUNG: Der Zweck der Erstellung dieses Berichts bestand darin, die Expertengruppe zu informieren, ohne sie mit übermäßigen Daten zu überfordern und ohne ihre zukünftigen Bewertungen zu beeinflussen.
  7. Senden Sie an jedes Mitglied der Expertengruppe eine E-Mail mit dem Bericht über die Ergebnisse der 1. Runde der Konsultation, zusammen mit einer Vorlage zur Bewertung der neu formulierten Punkte in der modifizierten Version des Instruments zur Bewertung der USL, mit spezifischen Anweisungen (Runde 2 der Delphi-Methode).
    HINWEIS: Die Experten bewerten die Klarheit (inhaltliche Gültigkeit) jedes neu formulierten Elements anhand einer 4-stufigen Likert-Skala, wobei 1 für "nicht relevant oder nicht klar" und 4 für "sehr relevant oder sehr klar" steht. Neben jedem Item befindet sich ein Kästchen für die Verständlichkeit der Bewertung mit einer Zahl von 1 bis 4, gefolgt von einem weiteren Abschnitt, in dem sie ihre Bewertung qualitativ erläutern und mögliche weitere Überarbeitungen des Items vorschlagen können (siehe einen Musterentwurf des Fragebogens, der als Zusatzdatei 2 zur Verfügung gestellt wurde). Durch den Verzicht auf Zwischenoptionen waren die Experten gezwungen, eine eindeutige Haltung einzunehmen, entweder für oder gegen die Punkte. Dies erleichterte die Entscheidungsfindung über die Aufnahme oder den Ausschluss von Items aus dem Fragebogen.
  8. Stellen Sie die Antworten der Experten in Runde 2 der Delphi-Konsultation in einer einzigen Datei zusammen.
    HINWEIS: Die Experten hatten erneut zwei Wochen Zeit, um ihre Bewertung der Klarheit (inhaltliche Gültigkeit) der 16 Elemente der Vorlage abzuschließen.
  9. Wiederholen Sie die Schritte in 3.3, aber wählen Sie diesmal nur die Klarheitswerte für die neu formulierten Elemente des Instruments aus und fügen Sie sie in das Feld Variable(n) ein.
  10. Wiederholen Sie die Schritte in 3.4 und entfernen Sie alle Elemente, die von 75 % der Experten als sehr klar eingestuft wurden.
    ANMERKUNG: Nach der zweiten Konsultationsrunde wurden die folgenden Punkte gestrichen: die Punkte 1, 23, 31 und 41.
  11. Fügen Sie mehrere Kontrollelemente hinzu, um die interne Konsistenz in Zukunft zu bewerten (es wird empfohlen, etwa ein Kontrollelement pro 10 Elemente aufzunehmen).
    HINWEIS: Dieser Version des Instruments wurden vier Bedienelemente hinzugefügt.
  12. Erstellung eines Ergebnisberichts für Runde 2 der Konsultation, der Folgendes enthält: 1. Das Ergebnis in Bezug auf den Grad der Übereinstimmung über Klarheit oder inhaltliche Gültigkeit (Kendall-Koeffizient); 2. die festgelegten Entscheidungskriterien; 3. Die Anzahl der validierten Elemente; 4. Die Anzahl der eliminierten Elemente; 5. Die Anzahl der als Kontrollelemente einbezogenen Elemente; und 6. Die modifizierte Version des QaSLu-45 (41 validierte Items + 4 Control Items).
    HINWEIS: Die endgültige Version des Fragebogens war wie folgt strukturiert: 1) Zweck des Fragebogens, schriftliche Einwilligungserklärung und Anweisungen; 2) Organisation oder Institution, Geschlecht, Alter, Bildungsniveau und jahrelange Berufserfahrung im Service-Learning des Befragten (diese Informationen ermöglichen keine Identifizierung der Teilnehmer); 3) Daten über die Service-Learning-Erfahrung; 4) 45 Items zur Selbsteinschätzung von Service-Learning-Erfahrungen; und 5) Wertschätzung für die Teilnahme (ein Musterentwurf des Fragebogens wird als Zusatzdatei 3 zur Verfügung gestellt).
  13. Senden Sie den Ergebnisbericht der zweiten Konsultationsrunde an die Expertengruppe, der die endgültige Version des entworfenen Fragebogens (QaSLu-45) enthält, und danken Sie ihnen für ihre Teilnahme an der modifizierten Online-Delphi-Methode.

figure-protocol-1
Abbildung 1: Berechnung des Kendall-Koeffizienten in der Statistiksoftware 1. (1) Klicken Sie auf das Symbol K Related Samples; (2) Wählen Sie Kendalls W aus. (3) Klicken Sie auf das OK-Symbol. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-protocol-2
Abbildung 2: Extrahieren von Perzentilen in der Statistiksoftware Paket 1. (1) Klicken Sie auf das Symbol Frequenzen; (2) Klicken Sie auf das Symbol Statistik; (3) Fügen Sie im Dialogfeld Häufigkeiten: Statistik die Perzentile hinzu. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-protocol-3
Abbildung 3: Extrahieren von Deskriptiven in der Statistiksoftware Paket 1. (1) Klicken Sie auf das beschreibende Symbol; (2) Fügen Sie die Variable(n) hinzu; (3) Klicken Sie auf das OK-Symbol.

4. Anpassung des Fragebogens an die Online-Spezifikation eines sicheren Servers

  1. Gehen Navigieren Sie als registrierter Benutzer zur Hauptseite der Software-as-a-Service (SaaS)-Plattform mit einem privaten Server (siehe Materialtabelle). Diese Registrierung muss vorab unter Angabe personenbezogener Daten erfolgen. Wählen Sie nach der Registrierung die Option Umfrage von Grund auf neu erstellen aus (siehe Abbildung 4).
  2. Erstellen Sie die erste Seite, die eine obligatorische Einverständniserklärung enthalten muss, um fortzufahren.
  3. Erstellen Sie die zweite Seite mit Fragen zur Zuordnung der Teilnehmer, die in der Forschung als Interventions- oder Kontrollvariablen in der Forschung verwendet werden.
    HINWEIS: Diese Studie umfasst die Analyse von drei diskreten quantitativen Variablen und fünf nominalen kategorialen Variablen. Im Folgenden finden Sie eine operative Beschreibung dieser acht Variablen, die in der Studie enthalten sind:
    Geschlecht: Eine nominale, attributive und dichotome Variable mit zwei Ebenen (männlich/weiblich).
    Alter: Eine diskrete quantitative Variable, die das Alter des Teilnehmers in der Studie bestimmt.
    USL-Erfahrung: Eine diskrete quantitative Variable, die die Service-Learning-Erfahrung des Teilnehmers misst. Die Skala beginnt bei 0, was weniger als einem Jahr Erfahrung im Service-Learning entspricht (was nicht gleichbedeutend ist mit "keine Erfahrung"), ohne Obergrenze.
    Akademisches Niveau: Eine nominale, dichotome Variable mit zwei Stufen (PhD/Not PhD), die angibt, ob der Teilnehmer einen professionellen Doktortitel besitzt.
    Kooperierende Organisation für USL-Aktivitäten: Eine nominale Variable mit fünf Ebenen (Sozialzentren, NGOs, Stiftungen, Schulen, Allianzen mit Hochschuleinrichtungen oder Universitäten, öffentliche Verwaltungen, Seniorenzentren und andere gesundheitsbezogene Zentren). Diese Variable gibt die Art der Organisation oder Institution an, mit der der Teilnehmer im Rahmen der Service-Learning-Erfahrung zusammenarbeitet.
    Zielgruppe der USL-Aktivität: Eine nominale Variable mit fünf Stufen (Gruppen mit Behinderungen, Studenten, ethnische Minderheiten, ältere Menschen, benachteiligte Gruppen mit sozialem Risiko). Diese Variable identifiziert die primäre Begünstigtengruppe der Service-Learning-Aktivität.
    Interventionsmodus für die USL-Aktivität: Eine nominale, dichotome Variable (Ausschließlich Präsenz-Service-Learning / Umfasst Online-Aktivitäten ganz oder teilweise). Diese Variable gibt an, ob die Service-Learning-Aktivität eine Online-Komponente umfasst.
  4. Erstellen Sie mehrere Seiten für den zuvor gestalteten Fragebogen, einschließlich der Fragen und möglichen Antworten, über die SaaS-Plattform mit einem privaten Server.
  5. Nachdem Sie die Umfrage erstellt und gespeichert haben (siehe den abschließenden Fragebogen in der Zusatzdatei 2), kehren Sie zum Hauptmenü der Plattform zurück, wählen Sie den Fragebogen aus und klicken Sie auf das Symbol Öffentliche Umfrage öffnen > schließen , um ihn den Teilnehmern zur Verfügung zu stellen. Klicken Sie dann auf das Symbol "Link zur Umfrage abrufen " und wählen Sie aus mehreren Optionen für den Teilnehmerzugriff aus (z. B. ein in einer E-Mail oder auf einer Website eingebetteter Link, ein iFrame auf einer Website, ein Pop-up auf einer Website oder ein Link, der den Computern eines Callcenters zur Verfügung gestellt wird, siehe Abbildung 5).
    HINWEIS: Die endgültige Version des Fragebogens war wie folgt strukturiert: 1) Zweck des Fragebogens, schriftliche Einwilligungserklärung und Anweisungen; 2) Angaben zum Teilnehmer (Institution oder Organisation, Alter, Geschlecht, Bildungsniveau und jahrelange Berufserfahrung im Service-Learning). Diese Informationen gewährleisten die Anonymität der Teilnehmer; 3) Daten über die Service-Learning-Erfahrung; 4) 45 Items zur Selbsteinschätzung von Service-Learning-Erfahrungen; und 5) Ein Abschnitt, in dem die Dankbarkeit für die Teilnahme zum Ausdruck gebracht wird.

figure-protocol-4
Abbildung 4: Erstellen des Fragebogens von Grund auf. (1) Klicken Sie auf das Symbol Neue Umfrage ; (2) Wählen Sie "Umfrage von Grund auf neu erstellen" aus. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-protocol-5
Abbildung 5: Gestaltung des Fragebogens. (1) Bearbeiten Sie die Umfrage; (2) Hinzufügen und Konfigurieren von Seiten und Fragen; (3-5) Entwickeln Sie Seiten, Fragen und Antworten. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

5. Methode der Probenahme

  1. Überprüfen Sie alle Tagungsberichte von Konferenzen, die in den letzten 3 Jahren vom spanischen Netzwerk für universitäres Service-Lernen organisiert wurden. Stellen Sie eine Liste von Autorinnen und Autoren zusammen, die in den letzten Jahren zum Thema Service-Learning gearbeitet haben, und sammeln Sie deren E-Mail-Adressen.
    HINWEIS: Die Probenahme war zufällig und opportunistisch.
  2. Senden Sie eine E-Mail an alle Autoren, in der Sie sie zur Teilnahme an der Studie einladen. Senden Sie die E-Mail ein bis zwei Wochen später erneut.
    HINWEIS: In der E-Mail wurden die Empfänger aufgefordert, sie an Kontakte weiterzuleiten, die an einer Teilnahme interessiert sein könnten. So wurde die Methode der zufälligen Probenahme durch eine Schneeball-Probenahmetechnik ergänzt.
  3. Rufen Sie als registrierter Benutzer die Hauptseite der SaaS-Plattform auf, wählen Sie den erstellten Fragebogen aus und klicken Sie auf Ergebnisse. Klicken Sie im Popup-Menü auf das Symbol Fragebogen , um direkt auf die ausgefüllten Fragebögen zuzugreifen. Eliminieren Sie unvollständige oder fehlerhafte Antworten über die SaaS-Plattform (siehe Abbildung 6).
  4. Sobald die Fragebögen die erforderliche Mindestteilnehmerzahl (>100) erreicht haben, navigieren Sie nach Ausschluss unvollständiger Antworten als registrierter Benutzer zur Hauptseite der SaaS-Plattform, wählen Sie den Fragebogen aus und klicken Sie auf das Symbol Öffentliche Umfrage öffnen/schließen , um die Umfrage zu schließen und eine weitere Teilnahme zu verhindern (siehe noch einmal Schritt 1 in Abbildung 5 ).
    HINWEIS: Insgesamt nahmen 118 Lehrkräfte aus 43 Hochschuleinrichtungen teil, wobei sich 67,80 % als Frauen und 32,20 % als Männer identifizierten. Das Durchschnittsalter lag bei 46,16 Jahren (SD = 9,60), wobei das Alter zwischen 24 und 65 Jahren lag. Was die akademische Qualifikation betrifft, so besaß eine deutliche Mehrheit (76,3 %) einen promovierten Abschluss, während die übrigen Teilnehmer mindestens einen Bachelor-Abschluss besaßen. In Bezug auf die Service-Learning-Erfahrung lag der Durchschnitt bei 6,69 Jahren (SD = 5,39 Jahre), wobei die niedrigste mit einem halben Jahr und die höchste mit 34 Jahren verzeichnet wurde. Zu den Institutionen, mit denen die Universitäten der Teilnehmer zusammenarbeiteten, gehörten Bildungszentren (einschließlich anderer Universitäten), Sozialzentren, Seniorenzentren, Gesundheitszentren, NGOs, Stiftungen und Regierungsbehörden wie Rathäuser und Räte. Es wurden Service-Learning-Partnerschaften mit zwei Arten von Einrichtungen gebildet: formale Bildungszentren, die 50,85 % der Stichprobe ausmachen, und nicht-formale Bildungszentren, die restlichen 49,15 %. Was die Modalitäten der Service-Learning-Erfahrungen betrifft, so fanden 64,41 % Präsenzveranstaltungen statt, während 35,59 % irgendeine Form von virtueller Aktivität beinhalteten.

figure-protocol-6
Abbildung 6: Abrufen eines Links zur Umfrage. (1) Öffnen Sie die Umfrage; (2) Klicken Sie auf das Symbol "Link zur Umfrage erhalten "; (3) Wählen Sie die gewünschte Methode aus. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

6. Quantitative Validierung des Fragebogens durch Faktorenanalyse

  1. Navigieren Sie als registrierter Benutzer zur Hauptseite der SaaS-Plattform, wählen Sie die erstellte Umfrage aus und klicken Sie auf das Symbol Ergebnisse . Klicken Sie im Popup-Menü auf Exportieren und wählen Sie die Optionen für den detaillierten Bericht (erweitertes Tabellenformat) in Text mit der Erweiterung Komma Separated Values (.csv) aus (siehe Abbildung 7). Sobald die Teilnehmer die Fragebögen ausgefüllt haben, exportieren Sie die Daten in .csv Format in ein E-Mail-Konto und stellen Sie sicher, dass sie an einem sicheren, privaten und geschützten Ort gespeichert werden.
  2. Öffnen Sie das Statistiksoftwarepaket 1 (siehe Materialtabelle) und wählen Sie Menü Datei > Daten importieren > CSV-Daten. Wählen Sie die zuvor gespeicherte .csv Datei aus. Dieser Prozess wandelt die anonymen Daten in das erforderliche Analyseformat für das Statistiksoftwarepaket 1 um (siehe Abbildung 8).
  3. Wählen Sie die Variablen aus, die statistisch analysiert werden sollen (Geschlecht, Alter, Bildungsabschluss, kooperierende Organisation der USL-Aktivität, Zielgruppe der USL-Aktivität, Interventionsmodus für die USL-Aktivität und die 45 Elemente aus der QaSLu) und entfernen Sie alle irrelevanten Daten, die über die .sav Datei importiert wurden, die vom Statistiksoftwarepaket 1 generiert wurde.
  4. Beurteilen Sie die interne Konsistenz des QaSLu-45-Fragebogens mit Cronbachs Alpha mit dem Statistiksoftwarepaket 1. Wählen Sie dazu das Menü Analysieren > Skalieren > Zuverlässigkeitsanalyse, und übertragen Sie alle relevanten Variablen in das Dialogfenster Zuverlässigkeitsanalyse . Klicken Sie abschließend auf die Schaltfläche OK , um die gewünschte Ausgabe zu generieren (siehe Abbildung 9).
    HINWEIS: Der Fragebogen zeigte eine hohe Reliabilität und interne Konsistenz, gemessen mit Cronbachs Alpha (α = 0,917).
  5. Führen Sie die explorative Faktorenanalyse mit dem statistischen Softwarepaket 1 durch.
    1. Um diese Analyse durchzuführen, wählen Sie Menü Analysieren > Dimensionsreduzierung > Faktor. Wählen Sie im Dialogfeld Faktorenanalyse alle Elemente aus dem Fragebogen aus, klicken Sie dann auf Deskriptive und wählen Sie Univariate Deskriptive und KMO und Bartlett-Sphärizitätstest.
    2. Klicken Sie auf Weiter , um zum Hauptmenü des Dialogfelds Faktorenanalyse zurückzukehren. Klicken Sie anschließend auf Extraktion und wählen Sie Hauptkomponenten als Extraktionsmethode aus.
    3. Aktivieren Sie die Optionen für Ungedrehte Faktorlösung und Gerölldiagramm und klicken Sie dann erneut auf Weiter , um zum Hauptmenü des Dialogfelds Faktorenanalyse zurückzukehren. Klicken Sie abschließend auf das OK-Symbol, um die Ausgabe zu generieren (siehe Abbildung 10).
      ANMERKUNG: Die Signifikanz des Bartlett-Sphärizitätstests (χ2 = 2689,72; p = 0,00) und des Kaiser-Meyer-Olkin (KMO) Probenahmetests (KMO = 0,793) bestätigen die Angemessenheit dieser Faktorenanalyse aufgrund des starken Designs der Items und der Probenahme für die Validierung von QaSLu-45. Die Ergebnisse der Hauptkomponentenanalyse ergaben 13 Komponenten mit Eigenwerten größer als 1,0, was 69,95% der Gesamtvarianz erklärt. Das Scree-Diagramm (siehe Abbildung 11) zeigt jedoch, dass die erste Komponente eine so überproportionale Relevanz hat, dass die Bedeutung der übrigen Komponenten vernachlässigbar wird. Daher wird empfohlen, das QaSLu-45 auf ein einzelnes Bauteil zu reduzieren, um so eine einzigartige Endnote für das entworfene QaSLu-45 zu erhalten.
  6. Konvertieren Sie die Ergebnisdatei des Fragebogens, ohne Attributvariablen, in das feste ASCII-Format (dat), das mit dem Statistiksoftwarepaket 2 kompatibel ist (siehe Materialtabelle).
    1. Entfernen Sie zunächst alle Attributvariablen, so dass nur die Fragebogenelemente als Variablen in der Statistiksoftware Paket 1 übrig bleiben. Wählen Sie dann das Menü "Datei" > "Daten > festen Text exportieren " (siehe Abbildung 12).
    2. Speichern Sie die Datei an einem sicheren Ort mit einem erkennbaren Namen. Dieser Prozess wandelt die anonymen Daten in das erforderliche Format für die Analyse im Statistiksoftwarepaket 2 um.
  7. Führen Sie eine konfirmatorische Faktorenanalyse (CFA) mit dem Statistiksoftwarepaket 2 durch, um die Güte der Anpassung für das Ein-Faktor-Modell des Fragebogens zu bestimmen.
    1. Um diese Analyse durchzuführen, wählen Sie Daten lesen, klicken Sie dann im Dialogfeld Beispiel auf Durchsuchen und wählen Sie die zuvor erstellte ASCII-Datei aus. Die Anzahl der Teilnehmer und Variablen wird im Abschnitt Größe der Datenmatrizen grün angezeigt.
    2. Klicken Sie anschließend auf das Symbol Einzelgruppendatensatz öffnen und kehren Sie zum Hauptmenü des Statistiksoftwarepakets 2 zurück. Klicken Sie im Hauptmenü auf Analyse konfigurieren. Aktivieren Sie im Dialogmenü die Option Bestätigende Faktorenanalyse und klicken Sie auf die Schaltfläche Bestätigen .
    3. Übernehmen Sie im Fenster CFA: Konfiguration der Faktorenanalyse die Standardeinstellungen und klicken Sie auf Bestätigen , um zum Hauptmenü zurückzukehren. Schließlich wird im Hauptmenü die Meldung "Confirmatory Factor Analysis Ready" angezeigt. Klicken Sie dann auf die Schaltfläche Berechnen (siehe Abbildung 13), und warten Sie auf die Ergebnisse.
      HINWEIS: Die QaSLu-45-Artikel zeigten eine ausgezeichnete robuste Anpassungsgüte, die anhand der Anpassungsmaße des CFA-Modells bewertet wurde. Nach dem von Kelley vorgeschlagenen Kriterium betrug der Comparative Fit Index der QaSLu-45-Items >0,95 (CFI = 0,973), da die minimal-maximale Differenz in der CFA/Freiheitsgrade zwischen 1 und 3 lag (CMIN/DF = 1,053), der mittlere quadratische Fehler der Approximation <0,06 (RMSEA = 0,042) und das gewichtete mittlere quadratische Residuum <1,0 (WRMR = 0,0978) betrug.

figure-protocol-7
Abbildung 7: Exportieren von Daten zur Verwendung in den Statistiksoftwarepaketen 1 und 2. (1) Klicken Sie auf das Symbol Ergebnisse ; (2) Klicken Sie auf das Symbol Fragebögen ; (3) Wählen Sie Text und CSV in der Option Detailliert aus. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-protocol-8
Abbildung 8: Importieren von Daten in ein Statistiksoftwarepaket 1. Wählen Sie das Menü Datei > Daten > CSV-Daten importieren. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-protocol-9
Abbildung 9: Beurteilung der internen Konsistenz des Fragebogens. Wählen Sie das Menü Analysieren > Skalieren > Zuverlässigkeitsanalyse. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-protocol-10
Abbildung 10: Durchführung der explorativen Faktorenanalyse mit dem Statistik-Softwarepaket 1. (1) Klicken Sie auf das Symbol Faktoren ; (2) Klicken Sie auf das Symbol Deskriptives ; (3) Wählen Sie KMO und Bartletts Sphärizitätstest in der Option Detailliert aus. (4) Klicken Sie auf das Symbol Extraktion ; (5) Wählen Sie " Scree Plot " in der Option "Detailliert"; (6) Klicken Sie auf das OK-Symbol . Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-protocol-11
Abbildung 11: Sedimentdiagramm der Hauptkomponentenfaktoranalyse in der ursprünglichen Version von 45 Elementen. Es ist zu beachten, wie sich Komponente Nummer 1 gemäß der explorativen Faktorenanalyse enorm von den übrigen abhebt, indem sie hervorhebt, dass ihre Relevanz viel größer ist als die der übrigen Komponenten zusammen, was bestätigt, dass die Einzelfaktorstruktur für den Fragebogen am besten geeignet ist. Diese Tabelle wurde von López-de-Arana Prado et al.9 neu veröffentlicht. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-protocol-12
Abbildung 12: Konvertieren der Ergebnisdatei in das ASCII-Format im festen Format. (1) Klicken Sie auf das Symbol Fester Text ; (2) Wählen Sie Fixed ASCII im Menü Save as type (Dateityp) aus. (3) Klicken Sie auf das Symbol Speichern . Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-protocol-13
Abbildung 13: Durchführung einer konfirmatorischen Faktorenanalyse mit dem Statistiksoftwarepaket 2. (1) Klicken Sie auf das Symbol Daten lesen ; (2) Wählen Sie die ASCII-Datei im Sample-Menü aus. (3) Klicken Sie auf das Symbol Einzelgruppendatensatz öffnen ; (4) Klicken Sie auf das Symbol Analyse konfigurieren ; (5) Wählen Sie Konfirmatorische Faktorenanalyse in der Option Detailliert; (6) Klicken Sie auf das OK-Symbol ; (7) Klicken Sie auf das Symbol Berechnen . Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

7. Optimierung des Fragebogens für eine einzige Hauptkomponente, Reduzierung der überschüssigen Items nach dem Prinzip der Sparsamkeit

  1. Identifizieren Sie in der optimierten Version des Fragebogens zu entfernende Elemente, die eine umgekehrte Beziehung zur Hauptkomponente aufweisen.
    1. Überprüfen Sie die in Schritt 6.5 erhaltene Komponentenmatrix mit dem Statistiksoftwarepaket 1 , um zu bestimmen, welche Elemente eine umgekehrte Beziehung zum Hauptfaktor aufweisen. Schließen Sie diese Items für einen einzelnen Faktor aus der reduzierten und optimierten Version des Fragebogens aus.
      HINWEIS: Basierend auf der Bewertungsmatrix jedes Elements für die Hauptkomponente wurden die Elemente 6, 16, 28 und 35 aus der endgültigen Konfiguration verworfen, da sie eine umgekehrte Beziehung zur Hauptkomponente aufwiesen. Da der Fragebogen eine einzige Endpunktzahl bietet, sollten die inversen Items eliminiert werden, da sie die tatsächlichen Unterschiede zwischen den Nutzern des Fragebogens verschleiern.
  2. Führen Sie eine robuste ungewichtete Analyse des explorativen Faktors der kleinsten Quadrate (RULS) mit dem statistischen Softwarepaket 2 durch.
    1. Um diese Analyse durchzuführen, wählen Sie Daten lesen, klicken Sie dann im Dialogfeld Beispiel auf Durchsuchen und wählen Sie die zuvor erstellte ASCII-Datei aus. Die Anzahl der Teilnehmer und Variablen wird im Abschnitt Größe der Datenmatrizen grün angezeigt.
    2. Klicken Sie anschließend auf das Symbol Einzelgruppendatensatz öffnen und kehren Sie zum Hauptmenü des Statistiksoftwarepakets 2 zurück. Klicken Sie im Hauptmenü auf Analyse konfigurieren. Wählen Sie im Dialogfeld die Option Explorative Faktorenanalyse aus, und klicken Sie auf die Schaltfläche Bestätigen .
    3. Wählen Sie im Konfigurationsmenü der explorativen Faktorenanalyse die Elemente mit einer inversen Beziehung zur Hauptkomponente gemäß der explorativen Faktorenanalyse, die mit dem Statistiksoftwarepaket 1 durchgeführt wurde, aus und verschieben Sie sie in das Feld mit den ausgeschlossenen Variablen.
    4. Aktivieren Sie dann die Optionen Pearson-Korrelationsmatrix und Parallele Analyse , ändern Sie die Anzahl der Faktoren/Komponenten in 1 und wählen Sie Robuste Faktorenanalyse aus (siehe Abbildung 14). Klicken Sie abschließend auf die Schaltfläche Bestätigen, um zum Hauptmenü zurückzukehren, und klicken Sie dann auf Berechnen, um die Ergebnisse zu generieren.
  3. Identifizieren Sie Elemente, die aus der optimierten Version des Fragebogens entfernt werden sollen und deren Measure of Sampling Adequacy (MSA) unter 0,49 MSA liegt. Überprüfen Sie dazu die Ergebnisse der RULS-Explorativen Faktorenanalyse mit dem Statistiksoftwarepaket 2, insbesondere die Indizes für den Artikelstandort und die Angemessenheit von Artikeln.
    HINWEIS: Die RULS Explorative Faktorenanalyse schlägt vor, 14 Elemente zu verwerfen, um das Design an eine einzelne Hauptkomponente anzupassen: 1, 4, 7, 8, 9, 11, 18, 20, 23, 25, 31, 38, 41 und 42. Daraus ergibt sich eine endgültige Konfiguration von 27 Elementen, die für eine einzelne Hauptkomponente optimiert sind und eine hohe psychometrische Robustheit aufweisen. Diese Version wurde als QaSLu-27 bezeichnet (ein Musterentwurf des Fragebogens wird als Ergänzungsdatei 4 zur Verfügung gestellt).

figure-protocol-14
Abbildung 14: Durchführen von robusten ungewichteten kleinsten Quadraten mit dem Statistiksoftwarepaket 2. (1) Klicken Sie auf das Symbol Daten lesen ; (2) Wählen Sie die ASCII-Datei im Sample-Menü aus. (3) Klicken Sie auf das Symbol Einzelgruppendatensatz öffnen ; (4) Klicken Sie auf das Symbol Analyse konfigurieren ; (5) Wählen Sie Explorative Faktorenanalyse in der Option Detailliert; (6) Überprüfen Sie die Optionen für die Pearson-Korrelationsmatrix und die parallele Analyse . (7) Ändern Sie die Anzahl der Faktoren/Komponenten in 1. (8) Aktivieren Sie die robuste Faktorenanalyse in den Optionen; (9) Klicken Sie auf die Schaltfläche Bestätigen ; (10) Klicken Sie auf das Symbol Berechnen . Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

8. Überprüfung der Angemessenheit der psychometrischen Eigenschaften von QaSLu-27 in Bezug auf QaSLu-45.

  1. Wiederholen Sie Schritt 6.4 und schließen Sie alle Elemente aus der Analyse aus, die nicht Teil der optimierten Version des Fragebogens sind.
  2. Wenden Sie Schritt 6.5 erneut an und schließen Sie alle Elemente aus der Analyse aus, die nicht Teil der optimierten Version des Fragebogens sind.
  3. Wenden Sie Schritt 6.7 erneut an und schließen Sie alle Elemente von der Analyse aus, die nicht Teil der optimierten Version des Fragebogens sind.
  4. Vergleichen Sie die Angemessenheit der psychometrischen Eigenschaften der optimierten Version des Fragebogens mit der Originalversion in einem Tabellenformat.
    HINWEIS: Eine signifikante Verbesserung wurde beim KMO Sampling Adequacy Test (KMO = 0,863) und beim Bartlett's Sphärizitätstest (χ2 = 1447,76; p = 0,000) beobachtet. Die Hauptkomponentenfaktoranalyse mit QaSLu-27 ergab sieben Komponenten mit Eigenwerten > 1,0, was 65,59% der Gesamtvarianz ausmacht. Die robuste Goodness-of-Fit-Statistik, die mit CFA bestimmt wurde, zeigte leicht verbesserte Ergebnisse, und die mit Cronbachs Alpha gemessene Reliabilität stieg (α = 0,92), obwohl die QaSLu-27 nur 27 statt 45 Items enthielt. Diese Ergebnisse stützen die Schlussfolgerung, dass die Validität und Robustheit der endgültigen Konfiguration signifikant höher sind als die der 45-Artikel-Version.

9. Entwicklung von Bewertungsskalen

  1. Erstellen Sie eine neue Variable, indem Sie die Punktzahlen aller Elemente in der optimierten Version des Fragebogens summieren.
    1. Wählen Sie Menü "Transformieren" > "Variable berechnen" aus, und benennen Sie die neue Variable im Dialogfeld "Variable berechnen " als SUM27.
    2. Wählen Sie die Funktion Summe und vervollständigen Sie den numerischen Ausdruck, einschließlich der Elemente aus der optimierten Version des Fragebogens. Klicken Sie abschließend auf das OK-Symbol, um die neue Variable SUM27 zu generieren (siehe Abbildung 15).
  2. Berechnen Sie die verschiedenen Perzentile des Endergebnisses aus der optimierten Version des Fragebogens.
    1. Wählen Sie Menü Analysieren > Deskriptive Statistik > Häufigkeiten, wählen Sie im Dialogfeld Häufigkeiten die Variable SUM27 aus und verschieben Sie sie in das Feld Variable(n), indem Sie auf das Pfeilsymbol klicken.
    2. Klicken Sie dann auf das Symbol Statistiken , wählen Sie Perzentil(e) aus und fügen Sie die folgenden Perzentile hinzu: 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 und 99. Klicken Sie auf das Symbol Weiter , um zum Dialogfeld Frequenzen zurückzukehren. Klicken Sie abschließend auf das OK-Symbol, um die gewünschten Perzentile für SUM27 zu generieren (siehe Abbildung 1).
    3. Wiederholen Sie diesen Vorgang für jede Bewertungsskala, indem Sie Filter entsprechend den hinzugefügten Variablen anwenden. Klicken Sie dazu auf das Symbol Datei teilen , wählen Sie jede nominale oder ordinale Variable aus, die als relevant erachtet wird, wählen Sie Ausgabe nach Gruppen organisieren, klicken Sie auf das Pfeilsymbol und klicken Sie schließlich auf das OK-Symbol, um die gewünschten Perzentile für SUM27 zu generieren, gefiltert nach jeder Variablen.
  3. Erstellen Sie für jede Bewertungsskala eine Tabelle.
    1. Erstellen Sie eine Zeile für die Tabellentitel, gefolgt von einer Zeile für Niedrig (mit Unterzeilen für die Perzentile 1, 10 und 20), Mittel/Niedrig (mit Unterzeilen für die Perzentile 30 und 40), Mittel (Perzentil 50), Mittel/Hoch (mit Unterzeilen für die Perzentile 60 und 70) und Hoch (mit Unterzeilen für die Perzentile 80, 90 und 99).
    2. Erstellen Sie in der Titelzeile mehrere Spalten: die erste mit der Bezeichnung "Ebene" (mit den unten aufgeführten Ebenennamen), die zweite mit der Bezeichnung "Perzentil" (mit den unten aufgeführten Perzentilen) und ab der dritten Spalte mit den Namen der verschiedenen Bedingungen der Variablen, die für jede Tabelle ausgewählt wurden.
    3. Vervollständigen Sie die Tabelle mit dem Bewertungsbereich für die zuvor berechneten Perzentile. Das heißt, Perzentil 1 = 0 -, Perzentil 4, Perzentil 10 = Perzentil 5 - Perzentil 14, Perzentil 20 = Perzentil 15 - Perzentil 24, Perzentil 30 = Perzentil 25 - Perzentil 34, Perzentil 40 = Perzentil 35 - Perzentil 44, Perzentil 50 = Perzentil 55 - Perzentil 64, Perzentil 70 = Perzentil 65 - Perzentil 74, Perzentil 80 = Perzentil 75 - Perzentil 84, Perzentil 90 = Perzentil 85 - Perzentil 94, und Perzentil 99 = Perzentil 95 -Perzentil 99. Wiederholen Sie diesen Vorgang für jede Bewertungsskala mit den ausgewählten nominalen oder ordinalen Variablen.

figure-protocol-15
Abbildung 15: Erstellen einer neuen Variablen durch Summieren der Punktzahlen aller Elemente im Statistiksoftwarepaket 1. (1) Klicken Sie auf das Symbol Variable berechnen ; (2) Wählen Sie die Funktion Summe; (3) Vervollständigen Sie den numerischen Ausdruck mit allen Elementen; (4) Weisen Sie der neuen Variablen einen Namen zu. (5) Klicken Sie auf das OK-Symbol . Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Ergebnisse

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

In Anlehnung an dieses strenge qualitativ-quantitative Validierungsprotokoll haben wir ein robustes, optimiertes und sparsames Instrument zur Selbstbewertung von universitären Service-Learning-Erfahrungen entwickelt, den Namen QaSLu (Questionnaire for the Self-Assessment of Service-Learning Experiences in Higher Education). Dieses endgültige Instrument hat die qualitative Genehmigung von 16 SL-Experten im Rahmen der Delphi-Methode erhalten, mit zwei Runden von Online-Konsultationen und -...

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Diskussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die zur Gerätevalidierung verwendeten Methoden bieten mehrere Vorteile. Die Delphi-Methode ermöglichte das Sammeln von Erkenntnissen aus einem Expertengremium und ermöglichte die systematische Organisation dieser Informationen für die Analyse. Es ermöglichte die Auswahl und Verfeinerung der Antworten auf der Grundlage von Expertenschätzungen und -vorschlägen 32,47,48,49.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Offenlegungen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Autoren haben nichts offenzulegen.

Danksagungen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Autoren danken der Nationalen Kommission für wissenschaftliche und technologische Forschung Chiles (CONICYT Fondecyt/Initiation) sowie allen Experten, die an der qualitativen Validierung durch die Delphi-Methode teilgenommen haben, und allen Teilnehmern an der quantitativen Validierung und Bewertung.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Materialien

Liste der in diesem Artikel verwendeten Materialien
NameUnternehmenKatalognummerKommentare
Encuestafacil.com SaasEncuestafacil.com2025Software as a Service im Encuestafacil.com privaten Datenserver
FaktorenanalyseUniversitat Rovira i Virgili12.06.07Softwarepaket für die faktorielle Analyse von Daten
Statistisches Paket für die Sozialwissenschaften (SPSS)IBM24Softwarepaket für die statistische Analyse von Daten

Referenzen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Furco, A., Norvell, K. What is Service Learning? Making Sense of the Pedagogy and Practice. Embedding Service Learning in European Higher Education. , Roultledge. London and New York. (2019).
  2. Salam, M., Awang Iskandar, D. N., Ibrahim, D. H. A., Farooq, M. S. Service learning in higher education: A systematic literature review. Asia Pac Educ Rev. 20 (4), 573-593 (2019).
  3. Mabborang, J. M., Dumlao, D., Cusap, K. W. Effect of servicelearning program on student's outcomes. Int J Res Innov Soc Sci. 8 (8), 2580-2589 (2024).
  4. Albanesi, C., Compare, C. Integrating academic learning: Promoting civic engagement, responsibility, and social justice through servicelearning. Form@re - Open J per la form in rete. 23 (2), 80-92 (2023).
  5. Stewart, T., Wubbena, Z. An overview of infusing servicelearning in medical education. Int J Med Educ. 5, 147-156 (2014).
  6. Mahmud, S. N. D., Ismail, N. K. STEM service learning in higher education: A systematic literature review. Eurasia J Math Sci Technol Educ. 20 (12), em2549(2024).
  7. Cebrián, G., Fernández, M., Fuertes, M. T., Moraleda, Á, Segalàs, J. La influencia del aprendizajeservicio en el desarrollo de competencias en sostenibilidad en estudiantes universitarios. Bordón Rev Pedagogía. 71 (3), 151-167 (2019).
  8. Resch, K., Schrittesser, I. Using the servicelearning approach to bridge the gap between theory and practice in teacher education. Int J Inclus Educ. 27 (10), 1118-1132 (2023).
  9. LópezdeArana Prado, E., Aramburuzabala, P., Cerrillo, R., SánchezCabrero, R. Validation and standardization of a questionnaire for the selfassessment of servicelearning experiencesin higher education (QaSLu27). Educ Sci. 14 (6), 615(2024).
  10. Furco, A. Self-assessment rubric for the institutionalization of service-learning in higher education (2003 revision). International Journal of Research in Global and Development Education. , https://dialnet.unirioja.es/servlet/articulo?codigo=6368177 (2011).
  11. MartínGarcía, X., Puig Rovira, J. M., Palos Rodríguez, J., Rubio Serrano, L. Improving the quality of service-learning practices. Teaching & Teaching: Interuniversity Journal of Didactics. 36 (1), 111(2018).
  12. Lorenzo, M., BelandoMontoro, M. R. Service-Learning. The challenges of assessment. Madrid: Narcea. Theory of Education. Interuniversity Journal. 31, 71-80 (2019).
  13. Shek, D. T. L., Li, X., Yu, L., Lin, L., Chen, Y. Evaluation of electronic servicelearning (eservicelearning) projects in Mainland China under COVID19. Appl Res Qual Life. 17 (5), 3175-3198 (2022).
  14. Lu, Y., Lambright, K. T. Looking beyond the undergraduate classroom: Factors influencing service learning's effectiveness at improving graduate students' professional skills. College Teach. 58 (4), 118-126 (2010).
  15. EscofetRoig, A., Folgueiras Bertomeu, P., LunaGonzález, E., PalouJulián, B. Elaboration and Validation of a Questionnaire for the Evaluation of Service-Learning Projects. Revista Mexicana de Investigación Educativa. , https://diposit.ub.edu/dspace/handle/2445/149639 (2016).
  16. RodríguezIzquierdo, R. M. Service learning and academic commitment in higher education. Journal of Psychodidactics. 25 (1), 45-51 (2020).
  17. LeónCarrascosa, V., SánchezSerrano, S., BelandoMontoro, M. R. Design and validation of a questionnaire to evaluate the Service-Learning methodology. Studies on Education. 39, 247-266 (2020).
  18. RuizOrdóñez, Y., SalcedoMateu, A., Turbi, Á, Novella, C., MoretTatay, C. VALU: Psychometric properties of a values and civic attitudes scale for university students' servicelearning. Psicol Reflex Crít. 35 (1), 3(2022).
  19. SantosPastor, M. L., Cañadas, L., Muñoz, L. F. M., Rico, L. G. Design and validation scale to assess university service-learning in physical activity and sports. Educ XX1. 23 (2), (2020).
  20. Gul, D. R., Ahmad, D. I., Tahir, D. T., Ishfaq, D. U. Development and factor analysis of an instrument to measure servicelearning management. Heliyon. 8 (4), e09205(2022).
  21. Campo, L. A rubric for assessing and improving service learning projects at university. RIDAS Rev Iberoam AprendizajeServicio. 1, 91-111 (2015).
  22. Europe Engage Quality Standards for Service Learning Activities. , At https://ec.europa.eu/programmes/erasmus-plus/project-result-content/4676aec5-7f74-4a0c-bdff-cda07beb4892/guidelines-euengage-2.pdf (2017).
  23. Martín, X. Tools for improving service-learning projects. RIDAS Ibero-American Journal of Learning and Service. 14, 61-84 (2022).
  24. Pickeral, T., Lennon, T., Piscatelli, J. ServiceLearning policies and practices: A researchbased advocacy paper. , National Service Learning Clearinghouse. https://www.ecs.org/clearinghouse/78/58/7858.pdf (2008).
  25. PuigRovira, J. M., MartínGarcía, X., RubioSerrano, L. How to evaluate service learning projects. Voices of Education. 2 (4), 122-132 (2017).
  26. RubioSerrano, L., PuigRovira, J. M., MartínGarcía, X., PalosRodríguez, J. Analyzing, Rethinking, and Improving Projects: A Rubric for Self-Assessment of Service-Learning Experiences. Profesorado, Journal of Curriculum and Teacher Training. 19 (1), 111-126 (2015).
  27. Hallinger, P., Narong, D. K. A bibliometric review of service learning research, 1950-2022. J Experiential Educ. 47 (4), 566-590 (2024).
  28. LópezdeArana, E., Higuera, P. A., Carvajal, H. O. Design and validation of a questionnaire for self-assessment of university service-learning experiences. Educ XX1. 23 (1), (2020).
  29. CruzRamírez, M., RúaVásquez, J. A. Emergence and development of the Delphi method: a scientometric perspective. Biblios J Librarianship Inf Sci. 71, 90-107 (2018).
  30. Donohoe, H., Stellefson, M., Tennant, B. Advantages and limitations of the eDelphi technique: Implications for health education researchers. Am J Health Educ. 43 (1), 38-46 (2012).
  31. von der Gracht, H. A. Consensus measurement in Delphi studies: Review and implications for future quality assurance. Technol Forecast Soc Change. 79 (8), 1525-1536 (2012).
  32. Bakieva, M., Meliá, J. M. J., GonzálezSuch, J., Barajas, Y. E. L. Teacher collegiality: logical validation of the teacher self-assessment instrument in Spain and Mexico. Studies on Education. 34, 99-127 (2018).
  33. Gil, B., PascualEzama, D. The Delphi methodology as a technique for studying content validity. Ann Psychol. 28 (3), 1011-1020 (2012).
  34. Abal, F. J. P., Auné, S. E., Lozzia, G. S., Attorresi, H. F. Functioning of the Central Category in Confidence Items for Mathematics. Evaluate Magazine. 17 (2), (2017).
  35. Shulman, L. S., Elstein, A. S. Studies of problem solving, judgment, and decision making: Implications for educational research. Rev Res Educ. 3, 3-42 (1975).
  36. Bardach, E., Patashnik, E. M. A Practical Guide for Policy Analysis: The Eightfold Path to More Effective Problem Solving. , CQ Press. Washington, D.C. (2023).
  37. Marsh, H. W., Morin, A. J. S., Parker, P. D., Kaur, G. Exploratory structural equation modeling: An integration of the best features of exploratory and confirmatory factor analysis. Annu Rev Clin Psychol. 10 (1), 85-110 (2014).
  38. LorenzoSeva, U., Ferrando, P. J. Robust Promin: A method for diagonally weighted factor rotation. Liberabit. 25 (1), 99-106 (2019).
  39. SánchezCabrero, R., SandovalMena, M., SaezSuanes, G. P., Prado, E. L. A. Design and validation of the classroom climate for an inclusive education questionnaire (CCIEQ). Environ Soc Psychol. 9 (5), (2024).
  40. WMA Declaration of Helsinki-Ethical principles for medical research involving human subjects At . , World Medical Association. At https://www.wma.net/policies-post/wma-declaration-of-helsinki-ethical-principles-for-medical-research-involving-human-subjects (2013).
  41. Schreiber, J. B. Issues and recommendations for exploratory factor analysis and principal component analysis. Res Soc Admin Pharmacy. 17 (5), 1004-1011 (2021).
  42. Ferrando, P. J., HernándezDorado, A. A simple twostep procedure for fitting fully unrestricted exploratory factor analytic solutions with correlated residuals. Struct Eq Modeling: A Multidiscip J. 31 (3), 420-428 (2024).
  43. Hu, L., Bentler, P. M. Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Struct Eq Modeling: A Multidiscip J. 6 (1), 1-55 (1999).
  44. LorenzoSeva, U., Ferrando, P. J. MSA: The forgotten index for identifying inappropriate items before computing exploratory item factor analysis. Methodology. 17 (4), 296-306 (2021).
  45. MartínAntón, L. J., Almedia, L. S., SáizManzanares, M. C., ÁlvarezCañizo, M., Carbonero, M. A. Psychometric properties of the academic procrastination scale in Spanish university students. Assess Eval High Educ. 48 (5), 642-656 (2023).
  46. SánchezCabrero, R., Lópezde Arana Prado, E., Aramburuzabala, P., Cerrillo, R. Dataset on the validation and standardization of the questionnaire for the selfassessment of servicelearning experiences in higher education (QaSLu). Data. 9 (9), 108(2024).
  47. Almenara, J. C. University teacher training in ICT. Application of Delphi Method for the selection of training content. Educ XX1. 17 (1), 111-132 (2014).
  48. GeorgeReyes, C. E., TrujilloLiñán, L. Application of the Modified Delphi Method for the validation of a questionnaire on the incorporation of ICT in teaching practice. Ibero American Journal of Eductaional Evaluation. 11 (1), 113-135 (2018).
  49. LópezMeneses, E. J., BernalBravo, C., LeivaOlivencia, J. J., MartínPadilla, A. H. Validation of the CUVOMOOC® educational tool for assessing digital observatories on MOOCs using the Delphi Method. Virtual Campuses. 7 (1), 95-110 (2018).
  50. Hung, H. L., Altschuld, J. W., Lee, Y. F. Methodological and conceptual issues confronting a crosscountry Delphi study of educational program evaluation. Eval Program Planning. 31 (2), 191-198 (2008).
  51. Linstone, H., Turoff, M. Delphi: A brief look backward and forward. Technol Forecast Soc Change. 78, 1712-1719 (2011).
  52. Rowe, G., Wright, G. The Delphi technique: Past, present, and future prospects - Introduction to the special issue. Technol Forecast Soc Change. 78 (9), 1487-1490 (2011).
  53. Steurer, J. The Delphi method: An efficient procedure to generate knowledge. Skeletal Radiol. 40 (8), 959-961 (2011).
  54. Aramburuzabala, P., Gezuraga, M., LópezdeArana, E. How to approach evaluation in Service-Learning projects . Service-Learning: The Challenges of Evaluation. Chapter 9, 27-37 (2018).
  55. PuigRovira, J. M. 11 Key Ideas: How to Implement a Service-Learning Project. , Grao, Barcelona. (2015).
  56. Eyler, J., Giles, D. E. Where's the Learning in ServiceLearning. JosseyBass Higher and Adult Education Series. , JosseyBass, Inc. San Francisco, CA. (1999).

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Nachdrucke und Genehmigungen

Genehmigung beantragen, um den Text oder die Abbildungen dieses JoVE-Artikels zu verwenden

Genehmigung beantragen

Schlagwörter

Bewertung des Service LearningInstrumentenvalidierungqualitative Validierungexplorative Faktorenanalysekonfirmatorische Faktorenanalysepsychometrische EvaluationFragebogenentwicklung

Verwandte Artikel