validazione qualitativa e quantitativa di strumenti con scale di valutazione finalizzate alla valutazione della qualità del service-learning di Ateneo

Nel campo emergente del service-learning universitario, mancano strumenti standardizzati che coniughino affidabilità e validità, sia qualitativa che quantitativa, e sufficientemente brevi da essere facilmente utilizzati. L'incorporazione di rating e scale consente il confronto tra professionisti per valutare la qualità dell'apprendimento dei servizi universitari. Attualmente, non esiste un altro strumento in grado di raggiungere questo obiettivo.

QaSLu è il primo strumento creato attraverso un rigoroso processo di validazione qualitativa e quantitativa guidato dal principio di parsimonia. È breve, ma estremamente solido dal punto di vista scientifico. Questo protocollo apre le basi per nuovi strumenti scientifici validi, solidi e pratici.

Non solo per il service-learning, ma anche nel campo dell'istruzione in generale. Abbiamo in programma di creare nuovi rating e scale per altri gruppi diversi e di espandere il campione partecipante per migliorare la valutazione di QaSLu e renderla utile in contesti diversi. Per iniziare, crea la prima bozza di un QaSLu su un desktop.

Condurre un'analisi del contenuto degli elementi degli strumenti primari riconosciuti per la valutazione delle esperienze di apprendimento dei servizi. Esamina gli elementi degli strumenti internazionali che definiscono gli standard di qualità e delle rubriche primarie riconosciute dalla comunità di esperti di service-learning. Categorizza tutti gli elementi in base alle fasi coinvolte nella progettazione dell'esperienza di apprendimento dei servizi, come la progettazione, l'implementazione e la valutazione.

Quindi categorizza tutti gli elementi in base all'applicazione del service-learning, come la fase iniziale, la pianificazione, l'esecuzione, la chiusura e la replica. Selezionare un ampio campione di esperti in service-learning universitario per valutare la bozza dello strumento. Configurare il gruppo di esperti finale per valutare lo strumento definitivo per la valutazione dell'USL, puntando a un elenco di esperti con diversità accademica e professionale, diversità geografica e diversità di genere.

Una volta ricevuti i dati degli esperti del round 1, calcola il coefficiente di concordanza di Kendall per la pertinenza facendo clic in sequenza su Analizza, Test non parametrici, Dialoghi legacy e Campioni correlati K. Scegli W di Kendall in Tipo di test. Quindi seleziona tutte le risposte degli esperti in merito a pertinenza e chiarezza.

Spostare gli elementi nell'elenco Variabili di test e fare clic su OK per eseguire l'analisi. Dopo aver ricevuto il feedback degli esperti del round 2, rivaluta il coefficiente di concordanza di Kendall fatto in precedenza e rimuovi gli elementi classificati come altamente irrilevanti. Riformulare gli elementi considerati altamente rilevanti ma non chiari per migliorare la formulazione e la precisione per produrre la versione finale del Questionario per l'autovalutazione delle esperienze di apprendimento dei servizi universitari, QaSLu-45.

Una volta ottenuto un numero sufficiente di questionari compilati, valutare la coerenza interna del questionario utilizzando il pacchetto software statistico uno. Fare clic su Analizza, quindi su Scala, quindi su Analisi dell'affidabilità. Selezionate Alpha nella finestra di dialogo, quindi trasferite tutte le variabili rilevanti nella finestra di dialogo Analisi affidabilità (Reliability Analysis) e fate clic su OK per generare l'output.

Eseguire l'analisi fattoriale esplorativa nel pacchetto software statistico uno aprendo Analizza, quindi fare clic su Riduzione dimensionale, seguito da Fattore. Nella finestra di dialogo Analisi fattoriale, trasferire tutti gli elementi del questionario nella casella Variabili, quindi premere Descrittivi e KMO e test di sfericità di Bartlett e selezionare Descrittivi univariati. Fai clic su Continua.

Quindi, premi Estrazione e seleziona Componenti principali come metodo di estrazione. Selezionare le opzioni per Soluzione fattoriale non ruotata e Grafico ghiaione, quindi fare clic su Continua e premere OK per generare l'output. Identificare gli elementi da rimuovere che mostrano una relazione inversa con il componente principale.

Utilizzando la matrice dei componenti ottenuta nei risultati dell'analisi fattoriale esplorativa, contrassegnare gli elementi con carichi negativi sul fattore principale ed escluderli dalla versione ridotta e ottimizzata a fattore singolo di QaSLu. Successivamente, eseguire l'analisi fattoriale di conferma con il pacchetto software statistico due per valutare la bontà dell'adattamento del modello a un fattore. Selezionare Leggi dati, fare clic su Sfoglia nella finestra di dialogo Esempio e selezionare il file di dati ASCII creato in precedenza.

Verificare che il numero di partecipanti e variabili sia visualizzato in verde in Dimensioni delle matrici di dati. Ora premi Apri set di dati a gruppo singolo e torna al menu principale. Fare clic su Configura analisi nel menu principale, quindi selezionare Analisi fattoriale di conferma nel menu di dialogo e fare clic su Conferma, nella finestra di configurazione CFA:Analisi fattoriale.

accettare le impostazioni predefinite e fare clic su Conferma per tornare al menu principale. Quando il messaggio, l'analisi fattoriale di conferma è pronta! , fare clic sul pulsante Calcola e attendere i risultati.

Quindi, apri il pacchetto software statistico due per eseguire una robusta analisi fattoriale esplorativa dei minimi quadrati non ponderata. Seleziona Leggi dati, quindi fai clic su Sfoglia nella finestra di dialogo Esempio e scegli il file ASCII creato in precedenza. Il numero di partecipanti e le variabili verranno visualizzati in verde nella sezione Dimensione delle matrici di dati.

Ora, fai clic sull'icona Apri set di dati a gruppo singolo per tornare al menu principale. Nel menu principale, fare clic su Configura analisi, quindi selezionare Analisi fattoriale esplorativa nel menu di dialogo e fare clic sul pulsante Conferma. Nel menu Configurazione analisi fattoriale esplorativa (Exploratory Factor Analysis Configuration), scegliete gli elementi identificati come aventi una relazione inversa con il componente principale e spostateli nella casella Variabili escluse (Excluded variables).

A questo punto, controllare le opzioni Matrice di correlazione di Pearson e Analisi parallela, impostare Numero di fattori o componenti su 1 e selezionare Analisi fattoriale robusta. Fare clic su Conferma per tornare al menu principale, quindi fare clic su Calcola per generare i risultati. Per identificare gli elementi da rimuovere che hanno una misura di adeguatezza del campionamento o un punteggio MSA inferiore a 0,49, esaminare i risultati ottenuti dall'analisi fattoriale esplorativa RULS con il pacchetto software statistico due, in particolare la posizione dell'elemento e gli indici di adeguatezza dell'elemento, ed escluderli dalla versione ridotta ottimizzata a fattore singolo di QaSLu.

Creare una nuova variabile nel pacchetto software statistico senza gli elementi eliminati selezionando il menu Trasforma e premendo Calcola variabile. Assegnare alla nuova variabile il nome SUM 27, quindi selezionare la funzione SUM e completare l'espressione numerica con l'elenco di elementi ottimizzato. Fare clic su OK per generare la nuova variabile, SUM 27.

Calcola i percentili per SUM 27 selezionando Analizza, seguito da Statistiche descrittive e Frequenze. Sposta SUM 27 nella casella Variabili, quindi fai clic sull'icona Statistiche. Selezionare i percentili e aggiungere 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 e 99.

Fare clic su Continua, quindi su OK per generare i percentili. Ripeti la procedura percentile per ogni scala di valutazione facendo clic sull'icona Dividi file e scegliendo ciascuna variabile pertinente, quindi seleziona Organizza output per gruppi. Fare clic sul pulsante freccia e premere OK per generare percentili raggruppati per SUM 27.

Per creare una tabella per ogni scala di valutazione, aggiungere prima una riga del titolo e le righe per i livelli Basso, Medio/Basso, Medio, Medio/Alto e Alto con le sottorighe percentili specificate. Nella riga del titolo aggiungere una colonna Livello, una colonna Percentile e altre colonne per le condizioni della variabile selezionata. Completa ogni tabella con intervalli di punteggio mappati ai percentili calcolati.

I risultati ottenuti dal campione partecipante vengono presentati a confronti consolidati basati sulle scale di valutazione utilizzate nello studio. I diversi gradi per ogni categoria erano costituiti dai punti intermedi tra di loro. Ad esempio, il 50° percentile è stato ottenuto dai punteggi del 45° percentile e del 54° percentile.

Tutti i ranghi, tranne il 1° e il 99° percentile, mostrano intervalli perfettamente delimitati corrispondenti al 4° e al 95° percentile più eventuali aggiustamenti del punteggio. Ognuna di queste scale consente di confrontare i punteggi di ciascun utente prospettico selezionando la scala di valutazione appropriata in base alle proprie caratteristiche.