Qualitative und quantitative Validierung von Instrumenten mit Bewertungsskalen zur Bewertung der Qualität von universitärem Service-Learning

Im aufstrebenden Bereich des universitären Service-Learning fehlen standardisierte Instrumente, die Reliabilität und Validität, sowohl qualitativ als auch quantitativ, miteinander verbinden und kurz genug sind, um leicht anwendbar zu sein. Die Einbeziehung von Ratings und Skalen ermöglicht einen Vergleich zwischen Fachleuten, um die Qualität des universitären Service-Learning zu bewerten. Derzeit gibt es kein anderes Instrument, das dies erreicht.

QaSLu ist das erste Instrument, das im Rahmen eines strengen qualitativen und quantitativen Validierungsprozesses entwickelt wurde, der vom Prinzip der Sparsamkeit geleitet wird. Er ist kurz, aber wissenschaftlich äußerst robust. Dieses Protokoll ebnet den Weg für neue wissenschaftliche Instrumente, die valide, robust und praktisch sind.

Nicht nur für Service-Learning, sondern auch im Bildungsbereich im Allgemeinen. Wir planen, neue Ratings und Skalen für andere verschiedene Gruppen zu erstellen und die teilnehmende Stichprobe zu erweitern, um die Bewertung von QaSLu zu verbessern und sie in verschiedenen Kontexten nützlich zu machen. Erstellen Sie zunächst den ersten Entwurf einer QaSLu auf einem Desktop.

Führen Sie eine Inhaltsanalyse von Elementen aus primären Tools durch, die für die Bewertung von Service-Learning-Erfahrungen anerkannt sind. Überprüfen Sie Elemente aus internationalen Tools, die Qualitätsstandards definieren, und aus den primären Rubriken, die von der Service-Learning-Expertengemeinschaft anerkannt werden. Kategorisieren Sie alle Elemente nach den Phasen, die an der Gestaltung der Service-Learning-Erfahrung beteiligt sind, z. B. Design, Implementierung und Bewertung.

Kategorisieren Sie dann alle Elemente nach der Anwendung von Service-Learning, z. B. Anfangsphase, Planung, Ausführung, Abschluss und Replikation. Wählen Sie eine große Stichprobe von Expertinnen und Experten für universitäres Service-Learning aus, um den Instrumentenentwurf zu evaluieren. Konfigurieren Sie die endgültige Expertengruppe, um das endgültige Instrument zur Bewertung der USL zu bewerten, mit dem Ziel, eine Liste von Experten mit akademischer und beruflicher, geografischer und geschlechtlicher Vielfalt zu erstellen.

Sobald Sie die Daten von den Experten in Runde 1 erhalten haben, berechnen Sie den Kendall-Konkordanzkoeffizienten für die Relevanz, indem Sie nacheinander auf Analysieren, Nichtparametrische Tests, Legacy-Dialoge und K bezogene Beispiele klicken. Wählen Sie unter Testtyp die Option Kendalls W aus. Wählen Sie dann alle Antworten der Experten hinsichtlich Relevanz und Klarheit aus.

Verschieben Sie Elemente in die Liste Testvariablen, und klicken Sie auf OK, um die Analyse auszuführen. Nachdem Sie das Expertenfeedback von Runde 2 erhalten haben, bewerten Sie den Konkordanzkoeffizienten von Kendall früher neu und entfernen Sie Elemente, die als höchst irrelevant eingestuft wurden. Formulierung von Items, die als sehr relevant, aber unklar erachtet werden, um die Formulierung und Genauigkeit zu verbessern und die endgültige Version des Fragebogens für die Selbstbewertung von Erfahrungen im universitären Service-Lernen, QaSLu-45, zu erhalten.

Sobald ausreichend ausgefüllte Fragebögen vorliegen, beurteilen Sie die interne Konsistenz des Fragebogens mit Hilfe des Statistiksoftwarepakets eins. Klicken Sie auf Analysieren, gefolgt von Skalieren und dann auf Zuverlässigkeitsanalyse. Wählen Sie im Dialogfeld Alpha aus, übertragen Sie dann alle relevanten Variablen in das Dialogfeld Zuverlässigkeitsanalyse und klicken Sie auf OK, um die Ausgabe zu generieren.

Führen Sie eine explorative Faktorenanalyse in der ersten Statistiksoftware durch, indem Sie Analysieren öffnen und dann auf Dimensionsreduktion und dann auf Faktor klicken. Übertragen Sie im Dialogfeld "Faktorenanalyse" alle Fragebogenelemente in das Feld Variablen, drücken Sie dann auf Deskriptive und KMO und Bartlett-Sphärizitätstest und wählen Sie Univariate Deskriptive aus. Klicken Sie auf Weiter.

Drücken Sie anschließend auf Extraktion und wählen Sie Hauptkomponenten als Extraktionsmethode aus. Aktivieren Sie die Optionen für Lösung des nicht gedrehten Faktors und Scree-Diagramm, klicken Sie dann auf Weiter und drücken Sie OK, um die Ausgabe zu generieren. Identifizieren Sie die Elemente, die entfernt werden sollen und eine umgekehrte Beziehung zur Hauptkomponente aufweisen.

Unter Verwendung der Komponentenmatrix, die aus den Ergebnissen der explorativen Faktorenanalyse erhalten wurde, markieren Sie Elemente mit negativen Ladungen auf den Hauptfaktor und schließen Sie sie aus der reduzierten, optimierten Einzelfaktor-Version von QaSLu aus. Führen Sie als Nächstes eine konfirmatorische Faktorenanalyse mit dem zweiten statistischen Softwarepaket durch, um die Güte der Anpassung des Ein-Faktoren-Modells zu bewerten. Wählen Sie "Daten lesen", klicken Sie im Dialogfeld "Beispiel" auf "Durchsuchen" und wählen Sie die zuvor erstellte ASCII-Datendatei aus.

Stellen Sie sicher, dass die Anzahl der Teilnehmer und Variablen unter Größe der Datenmatrizen grün angezeigt wird. Drücken Sie nun auf Einzelgruppen-Dataset öffnen und kehren Sie zum Hauptmenü zurück. Klicken Sie im Hauptmenü auf Analyse konfigurieren, aktivieren Sie dann im Dialogmenü die Option Bestätigende Faktorenanalyse und klicken Sie im Konfigurationsfenster CFA:Faktoranalyse auf Bestätigen.

Übernehmen Sie die Standardeinstellungen und klicken Sie auf Bestätigen, um zum Hauptmenü zurückzukehren. Wenn die Meldung, Konfirmatorische Faktorenanalyse, fertig ist! erscheint, klicken Sie auf die Schaltfläche Berechnen und warten Sie auf die Ergebnisse.

Öffnen Sie als Nächstes das zweite Statistiksoftwarepaket, um eine robuste, ungewichtete Analyse des explorativen Faktors der kleinsten Quadrate durchzuführen. Wählen Sie "Daten lesen" aus, klicken Sie dann im Dialogfeld "Beispiel" auf "Durchsuchen" und wählen Sie die zuvor erstellte ASCII-Datei aus. Die Anzahl der Teilnehmer und Variablen wird im Abschnitt Größe der Datenmatrizen grün angezeigt.

Klicken Sie nun auf das Symbol Einzelgruppen-Datensatz öffnen, um zum Hauptmenü zurückzukehren. Klicken Sie im Hauptmenü auf Analyse konfigurieren, wählen Sie dann im Dialogmenü Explorative Faktorenanalyse aus und klicken Sie auf die Schaltfläche Bestätigen. Wählen Sie im Menü Konfiguration der explorativen Faktorenanalyse die Elemente aus, die eine inverse Beziehung zur Hauptkomponente aufweisen, und verschieben Sie sie in das Feld Ausgeschlossene Variablen.

Aktivieren Sie nun die Optionen Pearson-Korrelationsmatrix und Parallele Analyse, legen Sie die Anzahl der Faktoren oder Komponenten auf 1 fest, und wählen Sie Robuste Faktorenanalyse aus. Klicken Sie auf Bestätigen, um zum Hauptmenü zurückzukehren, und klicken Sie dann auf Berechnen, um die Ergebnisse zu generieren. Um zu entfernende Elemente zu identifizieren, die ein Maß für die Angemessenheit der Stichprobe oder einen MSA-Wert von weniger als 0,49 aufweisen, überprüfen Sie die Ergebnisse der RULS-explorativen Faktorenanalyse mit dem zweiten Statistiksoftwarepaket, insbesondere die Indizes für den Artikelstandort und die Angemessenheit des Artikels, und schließen Sie sie aus der reduzierten optimierten Einzelfaktorversion von QaSLu aus.

Erstellen Sie eine neue Variable in einem Statistiksoftwarepaket ohne die entfernten Elemente, indem Sie das Menü "Transformieren" auswählen und auf "Variable berechnen" klicken. Benennen Sie die neue Variable als SUMME 27, wählen Sie dann die Funktion SUMME aus und vervollständigen Sie den numerischen Ausdruck mit der optimierten Elementliste. Klicken Sie auf OK, um die neue Variable SUM 27 zu generieren.

Berechnen Sie die Perzentile für SUM 27, indem Sie Analysieren auswählen, gefolgt von Deskriptive Statistiken und Häufigkeiten. Verschieben Sie SUM 27 in das Feld Variablen und klicken Sie dann auf das Symbol Statistiken. Wählen Sie Perzentile aus, und fügen Sie 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 und 99 hinzu.

Klicken Sie auf Weiter und dann auf OK, um Perzentile zu generieren. Wiederholen Sie den Perzentilvorgang für jede Bewertungsskala, indem Sie auf das Symbol "Datei aufteilen" klicken, die entsprechende Variable auswählen und dann "Ausgabe nach Gruppen organisieren" auswählen. Klicken Sie auf die Pfeilschaltfläche und drücken Sie OK, um gruppierte Perzentile für SUM 27 zu generieren.

Um eine Tabelle für jede Bewertungsskala zu erstellen, fügen Sie zunächst eine Titelzeile und Zeilen für die Stufen "Niedrig", "Mittel/Niedrig", "Mittel", "Mittel/Hoch" und "Hoch" mit den angegebenen Perzentil-Unterzeilen hinzu. Fügen Sie in der Titelzeile eine Spalte "Ebene", eine Spalte "Perzentil" und zusätzliche Spalten für die Bedingungen der ausgewählten Variablen hinzu. Vervollständigen Sie jede Tabelle mit Bewertungsbereichen, die den berechneten Perzentilen zugeordnet sind.

Die Ergebnisse der teilnehmenden Stichprobe werden etablierten Vergleichen unterzogen, die auf den in der Studie verwendeten Bewertungsskalen basieren. Die verschiedenen Ränge für jede Kategorie setzten sich aus den Zwischenpunkten zwischen ihnen zusammen. Zum Beispiel wurde das 50. Perzentil aus den Werten des 45. Perzentils und des 54. Perzentils ermittelt.

Alle Ränge mit Ausnahme des 1. und 99. Perzentils zeigen perfekt begrenzte Bereiche, die dem 4. und 95. Perzentil zuzüglich möglicher Punkteanpassungen entsprechen. Jede dieser Skalen ermöglicht es, die Punktzahlen jedes perspektivischen Benutzers zu vergleichen, indem die entsprechende Bewertungsskala entsprechend ihren Merkmalen ausgewählt wird.