validazione qualitativa e quantitativa di strumenti con scale di valutazione finalizzate alla valutazione della qualità del service-learning di Ateneo

Sommario

Questo articolo delinea il protocollo per la validazione qualitativa e quantitativa di uno strumento di service-learning universitario, seguendo il criterio della parsimonia per creare la versione più robusta e ottimale possibile. A questo scopo vengono utilizzati il metodo di convalida qualitativa Delphi e l'analisi fattoriale esplorativa dei minimi quadrati non ponderati, come metodo di ottimizzazione quantitativa degli elementi.

Abstract

Il Service-Learning (SL) è diventato una metodologia di apprendimento molto efficace negli ultimi anni, colmando il divario tra teoria e pratica e contestualizzando l'apprendimento in scenari del mondo reale. È stato implementato con successo in tutti i livelli di istruzione superiore, con conseguenti notevoli miglioramenti nelle competenze degli studenti universitari. Tuttavia, come metodologia trasformativa, la SL è ancora nelle prime fasi di sviluppo in termini di metodi di valutazione. Di conseguenza, vi è l'urgente necessità di progettare e validare strumenti di misura affidabili e, soprattutto, validi, poiché l'applicazione della SL a contesti del mondo reale è il suo valore primario. Questo articolo dimostra come progettare e validare in modo ottimale gli strumenti di SL universitari per valutare la qualità delle esperienze di SL a livello universitario dal punto di vista dei professori universitari, guidati dal principio di parsimonia. Il metodo Delphi modificato online, l'analisi fattoriale esplorativa dei minimi quadrati non ponderati robusti e l'analisi fattoriale di conferma sono stati applicati per creare un nuovo strumento, il QaSLu-27, convalidato attraverso un campione di 16 esperti che utilizzano il metodo Delphi modificato online e 118 docenti universitari che implementano progetti SL. I risultati mostrano condizioni psicometriche ottimali per il nuovo strumento (W = 0,11; α = 0,92; CMIN/DF=1,027; CFI= 0,979; WRMR= 0,0985; RMSEA= 0,046), portando allo sviluppo di nuove scale di rating che consentono di confrontare i futuri utenti di questa metodologia, considerando le loro caratteristiche attributive e demografiche. La progettazione di nuovi strumenti convalidati, in grado di essere utilizzati nel mondo reale e di consentire la creazione di scale, sarà molto utile per misurare l'implementazione di nuove esperienze in SL, per valutare i loro progressi, i loro partecipanti, i loro manager e i loro monitor, contribuendo all'affermazione di questo campo di studi nell'attuale quadro accademico e nella generazione di nuove conoscenze scientifiche.

Introduzione

Il Service-Learning (SL), un approccio educativo che integra l'apprendimento accademico con il servizio alla comunità, ha guadagnato sempre più riconoscimenti nell'educazione contemporanea. Questo approccio pedagogico consente agli studenti di applicare le conoscenze acquisite in classe alle sfide del mondo reale, promuovendo al contempo la responsabilità civica e l'impegno della comunità¹. L'importanza della SL nell'istruzione attuale non può essere sopravvalutata, in quanto fornisce agli studenti competenze professionali pratiche, promuove l'impegno civico e fornisce una comprensione più profonda delle questioni sociali².

La recente ricerca sulla SL è cresciuta in modo significativo, alimentata dal crescente riconoscimento del suo potenziale per migliorare sia l'apprendimento accademico che il coinvolgimento della comunità. Questa crescita è guidata dalla crescente domanda di modelli educativi che non solo promuovano lo sviluppo accademico, ma affrontino anche le sfide sociali³. Gli studenti hanno esplorato i diversi impatti della SL, dalla promozione della giustizia sociale alla coltivazione del senso civico tra gli studenti⁴. Inoltre, la ricerca sul service-learning si è sempre più concentrata sulla sua applicazione in campi specifici come le STEM, l'assistenza sanitaria e le scienze ambientali, dove la risoluzione dei problemi nel mondo reale è fondamentale ^5,6,7. Man mano che il corpo della letteratura si espande, i ricercatori stanno anche iniziando a esplorare come il service-learning possa colmare efficacemente il divario tra teoria e pratica in modi che siano significativi sia per gli studenti che per le comunità che servono⁸.

Tuttavia, nonostante il suo ruolo crescente, rimangono sfide significative nella misurazione dell'efficacia dei programmi SL⁹. Esistono varie proposte sotto forma di rubrica, come quelle di Furco¹⁰, Martín et ^al.11, Lorenzo e Belando-Montoro¹², Shek et ^al.13, o Lu e Lambright¹⁴, che, nonostante la loro comprovata utilità negli studi sul campo, non sono ancora state validate. D'altra parte, ci sono altre proposte, come quelle di Escofet-Roig et ^al.15, Rodríguez-Izquierdo¹⁶, León-Carrascosa et ^al.17, Ruiz-Ordoñez et ^al.18, Santos-Pastor et ^al.19, o Gul et ^al.20 che mancano di convalida qualitativa o presentano validazioni quantitative molto limitate. Altre carenze osservate nei precedenti strumenti di valutazione sono la mancanza di ottimizzazione dei fattori e degli elementi per rispettare il principio di parsimonia e la completa mancanza di scale di valutazione. Questa situazione è comune nei nuovi campi scientifici ed è il processo naturale attraverso il quale tutte le aree di studio passano per ottenere strumenti ottimali per un uso diffuso.

Al momento della creazione del Questionario per l'Autovalutazione delle Esperienze di Service-Learning Universitario (QaSLu), uno strumento per valutare la qualità delle esperienze di SL a livello universitario dal punto di vista dei docenti universitari, gli strumenti più riconosciuti che hanno definito gli standard per garantire la qualità delle esperienze di SL sono stati i seguenti: Campo (2015)²¹, Europe Engage (2017)²², GREM (2014)²³, RMC Research Corporation (2008)²⁴, Puig-Rovira, Martín e Rubio-Serrano (2017)²⁵ e Rubio-Serrano, Puig-Rovira, Martín e Palos (2015)²⁶. Sebbene ora esistano strumenti aggiuntivi, gli attuali strumenti di misurazione spesso non riescono a catturare adeguatamente i risultati di apprendimento ampi e sfumati associati a questi programmi, soprattutto in termini di crescita personale a lungo termine, impatto sulla comunità, con alcuni risultati eccessivamente generali o non basati su rigorosi quadri scientifici ^9,27. Questa lacuna negli strumenti di misurazione ostacola una comprensione completa e l'ottimizzazione dell'impatto della SL sia sugli studenti che sulle comunità.

Il passo successivo per far progredire la ricerca SL prevede lo sviluppo di strumenti di misurazione scientificamente rigorosi. Questi strumenti dovrebbero essere progettati non solo per catturare i risultati accademici, ma anche per valutare l'impatto personale e sociale che SL può avere sugli studenti e sulle comunità che servono. La nostra ricerca mira a colmare questa lacuna creando uno strumento fondato sul rigore scientifico, che offra una valutazione più completa dei progetti SL e guidi la loro futura attuazione.

Oltre a realizzare lo strumento, questo verrà validato, prima qualitativamente e poi quantitativamente. Per la convalida iniziale, verrà utilizzato il metodo Delphi online modificato²⁸. Il termine "modificato" si riferisce alla proposta di Cabero di limitare il metodo Delphi a due cicli di consultazione, evitando così l'abbandono tra i membri del gruppo di esperti. Il termine "online" è stato introdotto da Cruz-Ramírez e Rúa-Vásquez²⁹ per evidenziare che le consultazioni venivano condotte via e-mail, poiché Internet aiuta a superare alcune limitazioni inerenti alla Delphi tradizionale, come il pensiero di gruppo o l'influenza delle opinioni dominanti degli esperti, che potrebbero influenzare la selezione degli elementi^30,31.

Utilizzando il metodo Delphi online modificato, verranno valutati due tipi di validità: la validità del costrutto, seguendo il processo delineato nello studio³² di Bakieva et al., in cui vengono consultati esperti sulla rilevanza di ciascun elemento, e la validità del contenuto, basata sul lavoro di Gil e Pascual-Ezama³³, che valuta la chiarezza di ciascun elemento attraverso la consultazione di esperti.

Agli esperti verrà fornita una scala Likert contenente quattro opzioni di risposta (nessuna, poca, abbastanza, molta, molta). Non introducendo alcuna alternativa di risposta intermedia, gli esperti sono tenuti a prendere una posizione definitiva a favore o contro ciascun punto³⁴, facilitando così il processo decisionale sull'opportunità di mantenere o rimuovere gli elementi del questionario.

Per quanto riguarda la validazione quantitativa, si basa sulla legge della parsimonia, un principio fondamentale della scienza che afferma che, dato un problema scientifico, a parità di condizioni, la soluzione più breve è preferibile^35,36. Pertanto, la ricerca dello strumento valido più breve e ottimizzato offre le stesse garanzie scientifiche, essendo più pratico, esportabile e generale per l'uso quotidiano in contesti reali senza rinunciare all'affidabilità o alla validità. L'analisi fattoriale di conferma (CFA)³⁷ e l'analisi fattoriale esplorativa dei minimi quadrati non ponderati robusti (RULS)^38,39 saranno utilizzate come tecniche analitiche per ridurre gli elementi non necessari e convalidare la struttura finale dello strumento. Gli indici di idoneità e affidabilità sono utilizzati come indicatori della validità della nuova struttura rispetto alla precedente, prendendo come riferimento il mantenimento o il miglioramento dell'affidabilità e della validità dello strumento ottimizzato entro i livelli che garantiscono l'adeguatezza e la robustezza della nuova struttura del questionario ridotto e ottimizzato.

Protocollo

Questo protocollo è stato approvato eticamente nel 2020 dalla Commissione Nazionale per la Ricerca Scientifica e Tecnologica del Cile (CONICYT Fondecyt/Initiation) con il numero di approvazione: 11170623. Un gruppo di esperti esterni ha esaminato e convalidato l'intero processo. In conformità con la Dichiarazione di Helsinki⁴⁰, i partecipanti sono stati tenuti a fornire il consenso informato scritto per partecipare allo studio, ed è stato chiaramente comunicato che non sarebbero stati coinvolti in alcuna condizione sperimentale.

1. Progettare la prima bozza di un QaSLu

1. Condurre un'analisi dei contenuti degli elementi provenienti dagli strumenti primari riconosciuti per la valutazione delle esperienze di SL. Per raggiungere questo obiettivo, sono stati esaminati gli elementi degli strumenti internazionali che definiscono gli standard per garantire la qualità delle esperienze SL, nonché le principali rubriche riconosciute dalla comunità di esperti SL.
   NOTA: Come risultato di questa revisione, QaSLu affronta esplicitamente la giustizia sociale, un focus caratteristico della SL europea.
2. Categorizzare tutti gli elementi in base alle fasi coinvolte nella progettazione delle esperienze di SL (1. Progettazione, 2. Attuazione, 3. Valutazione) e l'applicazione delle esperienze di SL (A. Fase iniziale, B. Pianificazione, C. Esecuzione, D. Chiusura e replica).
   NOTA: Per garantire l'affidabilità della categorizzazione, è stato utilizzato l'accordo assoluto tra i valutatori, accettando solo quelle categorizzazioni in cui tutti gli autori erano d'accordo.
3. Selezionare gli elementi finali per la prima bozza dello strumento di valutazione del Service-Learning di Ateneo (USL).
   1. Innanzitutto, eliminare gli elementi duplicati all'interno di ogni categoria, sia nelle fasi relative alla progettazione che all'applicazione delle esperienze SL.
   2. In secondo luogo, vengono rimossi gli elementi non pertinenti che non sono in linea con gli obiettivi del nuovo strumento.
   3. Infine, creare o adattare gli elementi per soddisfare la popolazione target (facoltà universitaria) e gli obiettivi dello studio (valutare la qualità delle esperienze SL).
      NOTA: QaSLu è progettato per l'apprendimento dei servizi universitari. Mentre la maggior parte degli strumenti ha valutato la qualità della SL a livello universitario, alcuni elementi degli strumenti precedenti hanno dovuto essere riformulati e sono stati creati nuovi elementi per garantire che QaSLu fosse completamente adattato al contesto universitario.
4. Progetta la prima bozza del questionario per raggiungere gli obiettivi dello studio.
   NOTA: La bozza di QaSLu è stata creata utilizzando Microsoft Word per facilitare la condivisione e la modifica. Inizialmente, consisteva in 54 item a cui si rispondeva tramite una scala Likert a 5 punti (Mai, Raramente, A volte, Quasi sempre, Sempre). Il questionario è stato progettato tenendo conto di un singolo fattore o struttura di componenti principali in modo che il suo punteggio finale potesse essere utilizzato per confrontare gli utenti in base alle loro caratteristiche per mezzo di scale di valutazione standardizzate.

2. Selezione del gruppo di esperti per il metodo Delphi

1. Seleziona un ampio campione di esperti in USL che potrebbero valutare lo strumento progettato in precedenza. In questo processo, stabilire i criteri essenziali di inclusione: 1. Un minimo di quattro anni di esperienza nella ricerca e nella progettazione/implementazione di esperienze USL; 2. Appartenenza ad un organo accademico universitario; e 3. Essere un dottorando o titolare di un dottorato.
   NOTA: Sulla base dei criteri di inclusione, è stata creata una lista di 20 esperti che potrebbero svolgere un ruolo di primo piano nella comunità USL.
2. Invia un'e-mail a tutti gli esperti selezionati nella fase 2.1, spiegando gli obiettivi della ricerca, le fasi del metodo Delphi, le tempistiche previste, i criteri di inclusione e chiedendo la loro disponibilità e volontà a partecipare al processo di convalida, insieme alla loro accettazione del consenso informato scritto.
   NOTA: Tutti gli esperti hanno accettato di partecipare.
3. Configurare il gruppo di esperti finale per valutare lo strumento definitivo per la valutazione dell'USL. Stabilire i nuovi criteri di inclusione in base alle caratteristiche degli esperti che hanno accettato di partecipare. La configurazione finale del gruppo di esperti mirava a: 1. Diversità accademica e professionale, cioè rappresentanza di diversi strati accademici; 2. Diversità geografica nei luoghi in cui sono state condotte le esperienze SL; e 3. Diversità di genere.
   NOTA: Sedici esperti della USL si sono impegnati e hanno completato il processo nella sua interezza. L'ultimo gruppo di esperti era composto per il 75% da donne e per il 25% da uomini.

3. Validazione qualitativa del questionario QaSLu tramite il Metodo Delphi Online Modificato

1. Inviare un'e-mail a ciascun membro del gruppo di esperti con un modello per valutare gli elementi della prima bozza dello strumento di valutazione USL, insieme alle relative istruzioni (Round 1 del Metodo Delphi).
   NOTA: Gli esperti valutano la pertinenza (validità del costrutto) e la chiarezza (validità del contenuto) di ciascun elemento utilizzando una scala Likert a 4 punti, dove 1 rappresenta "non pertinente o non chiaro" e 4 rappresenta "molto pertinente o molto chiaro". Accanto a ogni elemento, c'è una casella per valutare la pertinenza e un'altra per chiarezza, in cui gli esperti devono valutare ogni elemento su una scala da 1 a 4. Al di sotto di queste caselle, un'ulteriore sezione consente loro di spiegare qualitativamente la loro valutazione e suggerire eventuali revisioni degli item (si veda un esempio di bozza del questionario fornito come Supplementary File 1). Non includendo alcuna opzione di risposta intermedia, gli esperti sono stati costretti a prendere una posizione definitiva, che ha facilitato il processo decisionale in merito al mantenimento o alla rimozione degli elementi del questionario.
2. Raccogli le risposte degli esperti per il Round 1 della consultazione Delphi in un unico file.
   NOTA: Agli esperti sono state concesse 2 settimane per completare la valutazione della pertinenza (validità del costrutto) e della chiarezza (validità del contenuto) dei 54 elementi del modello.
3. Calcola il coefficiente di Kendall per determinare il livello di accordo tra le risposte degli esperti in merito a pertinenza e chiarezza.
   1. Per prima cosa accedi al menu Analizza > test non parametrici > finestre di dialogo legacy > esempi correlati a K (vedi Figura 1). Seleziona tutte le risposte degli esperti in merito a pertinenza e chiarezza. Fallo separatamente, prima la pertinenza e poi la chiarezza.
   2. Spostare gli elementi nella casella di riepilogo Variabili di test. Nella sezione Tipo di test, seleziona l'opzione W di Kendall. Infine, fare clic su OK per eseguire l'analisi e ottenere i risultati corrispondenti.
      NOTA: L'analisi di concordanza ha rivelato che c'era un accordo statisticamente significativo tra gli esperti intervistati sulla pertinenza (validità del costrutto) e sulla chiarezza (validità del contenuto).
4. Valutare la validità del costrutto (pertinenza) e la validità del contenuto (chiarezza).
   1. Esecuzione di un'analisi descrittiva utilizzando il pacchetto software statistico 1. Innanzitutto, selezionare il menu Analizza > Statistiche descrittive > Frequenze e, nella finestra di dialogo Frequenze , selezionare i punteggi di pertinenza per tutti gli elementi dello strumento e aggiungerli alla casella Variabili facendo clic sull'icona della freccia.
   2. Quindi, fare clic sull'icona Statistiche , selezionare la casella Percentili e aggiungere i percentili 25, 50 e 75 alla finestra di dialogo Frequenze: Statistiche , quindi fare clic su Continua per tornare alla finestra di dialogo Frequenze .
   3. Infine, fare clic sull'icona OK per generare i percentili desiderati per ciascun elemento (vedere la Figura 2). Dopo l'output, andare su Analizza > statistiche descrittive > Descrittivo e, nella finestra di dialogo Descrittivi , selezionare i punteggi di chiarezza per tutti gli elementi dello strumento e aggiungerli alla casella Variabili facendo clic sull'icona della freccia (vedere la Figura 3). Infine, fare clic su OK per generare i risultati.
5. Rimuovi tutti gli elementi che il 75% degli esperti considera altamente irrilevanti e riformula gli elementi che sono stati valutati come altamente rilevanti ma poco chiari.
   NOTA: Dopo il primo giro di consultazioni, 10 punti sono stati rimossi dalla bozza iniziale di QaSLu: i punti 4, 5, 9, 16, 27, 45, 51, 52, 53 e 54. Inoltre, sono stati riformulati 16 elementi della prima bozza di QaSLu: elementi 1, 2, 10, 13, 14, 15, 23, 30, 31, 33, 37, 41, 42, 43, 48 e 49. La riformulazione si è basata sui suggerimenti degli esperti.
6. Preparare un rapporto sui risultati per il Round 1 della consultazione che includa quanto segue: 1. Il risultato relativo al livello di accordo sulla rilevanza o sulla validità del costrutto (coefficiente di Kendall); 2. I criteri decisionali stabiliti; 3. Il numero di articoli convalidati; 4. Il numero di articoli rimossi; 5. Il numero di prodotti riformulati ancora in fase di revisione; e 6. La versione modificata dello strumento per la valutazione della USL.
   NOTA: Lo scopo della stesura di questo rapporto era quello di informare il gruppo di esperti senza sovraccaricarlo di dati eccessivi e senza influenzare le loro valutazioni future.
7. Inviare un'e-mail a ciascun membro del gruppo di esperti con il rapporto sui risultati del Round 1 della consultazione, insieme a un modello per valutare gli elementi riformulati nella versione modificata dello strumento per la valutazione delle USL, con istruzioni specifiche (Round 2 del Metodo Delphi).
   NOTA: Gli esperti valutano la chiarezza (validità del contenuto) di ogni elemento riformulato utilizzando una scala Likert a 4 punti, dove 1 rappresenta "non pertinente o non chiaro" e 4 rappresenta "molto pertinente o molto chiaro". Accanto a ciascun item, c'è un riquadro per la chiarezza della valutazione con un numero da 1 a 4, seguito da un'altra sezione in cui possono spiegare qualitativamente la loro valutazione e proporre eventuali ulteriori revisioni dell'item (vedi una bozza di esempio del questionario fornito come Supplementary File 2). Non introducendo alcuna opzione di risposta intermedia, gli esperti sono stati costretti a prendere una posizione definitiva, a favore o contro gli articoli. Ciò ha facilitato il processo decisionale in merito all'inclusione o all'esclusione di elementi dal questionario.
8. Raccogli le risposte degli esperti nel Round 2 della consultazione Delphi in un unico file.
   NOTA: Agli esperti sono state nuovamente concesse due settimane per completare la loro valutazione della chiarezza (validità del contenuto) dei 16 elementi del modello.
9. Ripetere i passaggi descritti in 3.3, ma questa volta selezionare solo i punteggi di chiarezza per gli elementi riformulati dello strumento e incorporarli nella casella Variabili.
10. Ripetere i passaggi in 3.4, rimuovendo tutti gli elementi che sono stati valutati come altamente chiari dal 75% degli esperti.
    NOTA: A seguito del secondo ciclo di consultazioni, sono stati eliminati i seguenti punti: punti 1, 23, 31 e 41.
11. Includere diversi elementi di controllo con l'obiettivo di valutare la coerenza interna in futuro (si consiglia di includere circa un elemento di controllo ogni 10 elementi).
    NOTA: A questa versione dello strumento sono stati aggiunti quattro elementi di controllo.
12. Preparare un rapporto sui risultati per il Round 2 della consultazione, che includa quanto segue: 1. Il risultato relativo al livello di accordo sulla chiarezza o sulla validità del contenuto (coefficiente di Kendall); 2. I criteri decisionali stabiliti; 3. Il numero di articoli convalidati; 4. Il numero di elementi eliminati; 5. Il numero di elementi inclusi come elementi di controllo; e 6. La versione modificata del QaSLu-45 (41 elementi convalidati + 4 elementi di controllo).
    NOTA: La versione finale del questionario è stata strutturata come segue: 1) Scopo del questionario, consenso informato scritto e istruzioni; 2) Organizzazione o istituzione, sesso, età, livello di istruzione e anni di esperienza professionale nell'apprendimento dei servizi dell'intervistato (queste informazioni non consentono l'identificazione dei partecipanti); 3) Dati sull'esperienza di service-learning; 4) 45 item per l'autovalutazione delle esperienze di service-learning; e 5) Apprezzamento per la partecipazione (una bozza di esempio del questionario è fornita come File supplementare 3).
13. Inviare il rapporto sui risultati del secondo ciclo di consultazione al gruppo di esperti, contenente la versione finale del questionario progettato (QaSLu-45), e ringraziarli per la loro partecipazione al Metodo Delphi online modificato.

Figura 1: Calcolo del coefficiente di Kendall nel pacchetto software statistico 1. (1) Fare clic sull'icona K Campioni correlati; (2) Seleziona la W di Kendall; (3) fare clic sull'icona OK. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 2: Estrazione dei percentili nel pacchetto software statistico 1. (1) Fare clic sull'icona Frequenze; (2) Fare clic sull'icona Statistiche; (3) nella finestra di dialogo Frequenze: Statistiche, aggiungere i percentili. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 3: Estrazione di descrizioni nel pacchetto software statistico 1. (1) Fare clic sull'icona Descrittivo; (2) aggiungere la/e variabile/i; (3) fare clic sull'icona OK.

4. Adattamento del questionario alle specifiche online di un server sicuro

1. Vai alla pagina principale della piattaforma software-as-a-service (SaaS) con un server privato (vedi Tabella dei materiali) come utente registrato. Tale registrazione deve essere completata in anticipo fornendo i dati personali. Una volta registrato, seleziona Crea il tuo sondaggio da zero (vedi Figura 4).
2. Crea la prima pagina, che deve includere l'accettazione obbligatoria del consenso informato per procedere.
3. Crea la seconda pagina con le domande attributive dei partecipanti, che verranno utilizzate nella ricerca come variabili di intervento o di controllo nella ricerca.
   NOTA: Questo studio include l'analisi di tre variabili quantitative discrete e cinque variabili categoriali nominali. Di seguito è riportata la descrizione operativa di queste otto variabili incluse nello studio:
   Sesso: Una variabile nominale, attributiva e dicotomica con due livelli (maschio/femmina).
   Età: una variabile quantitativa discreta che determina l'età del partecipante allo studio.
   USL Experience: una variabile quantitativa discreta che misura l'esperienza di service-learning del partecipante. La scala parte da 0, che rappresenta meno di un anno di esperienza nell'apprendimento dei servizi (che non equivale a "nessuna esperienza"), senza alcun limite massimo.
   Livello accademico: Una variabile nominale, dicotomica, con due livelli (PhD/Non PhD), che riflette se il partecipante possiede un dottorato professionale.
   Organizzazione Collaboratrice per l'Attività USL: Una variabile nominale con cinque livelli (Centri Sociali, ONG, Fondazioni, Scuole, Alleanze con Istituti di Istruzione Superiore o Università, Amministrazioni Pubbliche Governative, Centri per anziani e altri centri sanitari). Questa variabile identifica il tipo di organizzazione o istituzione con cui il partecipante collabora nell'esperienza di service-learning.
   Gruppo target dell'attività USL: Una variabile nominale con cinque livelli (Gruppi con disabilità, Studenti, Minoranze etniche, Anziani, Gruppi svantaggiati a rischio sociale). Questa variabile identifica il gruppo beneficiario principale dell'attività di service-learning.
   Modalità di intervento per l'attività USL: Una variabile nominale dicotomica (esclusivamente in presenza / Include attività online in tutto o in parte). Questa variabile indica se l'attività di service-learning coinvolge una componente online.
4. Crea diverse pagine per il questionario precedentemente progettato, comprese le domande e le possibili risposte, attraverso la piattaforma SaaS con un server privato.
5. Dopo aver creato e salvato l'indagine (vedi il questionario finale nel File Supplementare 2), torna al menu principale della piattaforma, seleziona il questionario e clicca sull'icona Apri > Chiudi Sondaggio Pubblico per renderlo disponibile ai partecipanti. Quindi, fare clic sull'icona Ottieni un collegamento all'indagine , scegliendo tra diverse opzioni per l'accesso dei partecipanti (ad esempio, un collegamento incorporato in un'e-mail o su un sito Web, un iframe su un sito Web, un pop-up su un sito Web o un collegamento fornito ai computer di un call center, vedere la Figura 5).
   NOTA: La versione finale del questionario è stata strutturata come segue: 1) Scopo del questionario, consenso informato scritto e istruzioni; 2) Dettagli del partecipante (istituzione o organizzazione, età, sesso, livello di istruzione e anni di esperienza professionale nell'apprendimento dei servizi). Queste informazioni garantiscono l'anonimato dei partecipanti; 3) Dati sull'esperienza di service-learning; 4) 45 item per l'autovalutazione delle esperienze di service-learning; e 5) Una sezione che esprime gratitudine per la partecipazione.

Figura 4: Creazione del questionario da zero. (1) Fare clic sull'icona Nuovo sondaggio ; (2) Seleziona Crea la tua indagine da zero. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 5: Progettazione del questionario. (1) Modifica l'indagine; (2) Aggiungere e configurare pagine e domande; (3-5) Sviluppa pagine, domande e risposte. Clicca qui per visualizzare una versione più grande di questa figura.

5. Metodo di campionamento

1. Esamina tutti gli atti delle conferenze organizzate dalla Rete Spagnola di Service-Learning Universitario negli ultimi 3 anni. Compila un elenco di autori che hanno lavorato sul service-learning negli ultimi anni e raccogli i loro indirizzi email.
   NOTA: Il campionamento è stato incidentale e opportunistico.
2. Invia una mail a tutti gli autori invitandoli a partecipare allo studio. Inviare nuovamente l'e-mail una e due settimane dopo.
   NOTA: L'e-mail incoraggiava i destinatari a inoltrarla ai contatti che potrebbero essere interessati a partecipare. Pertanto, il metodo di campionamento incidentale è stato integrato da una tecnica di campionamento a palla di neve.
3. Accedi alla pagina principale della piattaforma SaaS come utente registrato, seleziona il questionario creato e clicca su Risultati. Nel menu a comparsa, fare clic sull'icona Questionario per accedere direttamente ai questionari compilati. Eliminare eventuali risposte incomplete o errate attraverso la piattaforma SaaS (vedere la Figura 6).
4. Una volta che i questionari raggiungono il numero minimo richiesto di partecipanti (>100), dopo aver escluso le risposte incomplete, accedere alla pagina principale della piattaforma SaaS come utente registrato, selezionare il questionario e fare clic sull'icona Apri/Chiudi sondaggio pubblico per chiudere il sondaggio e impedire qualsiasi ulteriore partecipazione (vedere nuovamente il passaggio 1 nella Figura 5 ).
   NOTA: Hanno partecipato un totale di 118 educatori provenienti da 43 istituti di istruzione superiore, di cui il 67,80% si è identificato come donna e il 32,20% come uomo. L'età media era di 46,16 anni (DS = 9,60), con un'età compresa tra i 24 e i 65 anni. Per quanto riguarda i titoli accademici, una maggioranza significativa (76,3%) era in possesso di un dottorato, mentre i restanti partecipanti avevano almeno un diploma di laurea. In termini di esperienza di service-learning, la media è stata di 6,69 anni (SD = 5,39 anni), con la più bassa registrata a sei mesi e la più alta a 34 anni. Le istituzioni con cui le università dei partecipanti hanno collaborato includevano centri educativi (comprese altre università), centri sociali, centri per anziani, centri sanitari, ONG, fondazioni e agenzie governative come municipi e consigli. Sono stati formati partenariati di apprendimento dei servizi con due tipi di istituzioni: i centri di istruzione formale, che comprendono il 50,85% del campione, e i centri di educazione non formale, che comprendono il restante 49,15%. Per quanto riguarda la modalità delle esperienze di service-learning, il 64,41% è stato in presenza, mentre il 35,59% ha coinvolto una qualche forma di attività virtuale.

Figura 6: Ottenimento di un link al sondaggio. (1) Aprire il sondaggio; (2) Fare clic sull'icona Ottieni un collegamento al sondaggio ; (3) Selezionare il metodo desiderato. Clicca qui per visualizzare una versione più grande di questa figura.

6. Validazione quantitativa del questionario mediante analisi fattoriale

1. Accedere alla pagina principale della piattaforma SaaS come utente registrato, selezionare il sondaggio creato e fare clic sull'icona Risultati . Nel menu a comparsa, fare clic su Esporta e selezionare le opzioni del report dettagliato (formato foglio di calcolo avanzato), in Testo, con estensione di valori separati da virgole (.csv) (vedere la Figura 7). Una volta che i partecipanti hanno completato i questionari, esporta i dati in un account di posta elettronica in formato .csv, assicurandoti che siano archiviati in un luogo sicuro, privato e protetto.
2. Aprire il pacchetto software statistico 1 (vedere Tabella dei materiali) e selezionare il menu File > Importa dati > dati CSV. Scegli il file .csv salvato in precedenza. Questo processo trasforma i dati anonimi nel formato di analisi richiesto per il pacchetto software statistico 1 (vedi Figura 8).
3. Seleziona le variabili da analizzare statisticamente (Sesso, Età, Titolo di studio, Organizzazione collaborativa dell'attività USL, Gruppo target dell'attività USL, Modalità di intervento per l'attività USL e i 45 item dal QaSLu) e rimuovi tutti i dati irrilevanti importati attraverso il file .sav generato dal pacchetto software statistico 1.
4. Valutare la coerenza interna del questionario QaSLu-45 utilizzando Alpha di Cronbach con il pacchetto software statistico 1. A tale scopo, selezionare il menu Analizza > Scala > Analisi dell'affidabilità e trasferire tutte le variabili rilevanti nella finestra di dialogo Analisi dell'affidabilità . Infine, fare clic sul pulsante OK per generare l'output desiderato (vedere la Figura 9).
   NOTA: Il questionario ha dimostrato un'elevata affidabilità e coerenza interna, misurata dall'alfa di Cronbach (α = 0,917).
5. Eseguire l'analisi fattoriale esplorativa utilizzando il pacchetto software statistico 1.
   1. Per eseguire questa analisi, selezionare il menu Analizza > Fattore di > riduzione quota. Nella finestra di dialogo Analisi fattoriale , selezionare tutti gli elementi del questionario, quindi fare clic su Descrittivi e selezionare Descrittivi univariati e KMO e Test di sfericità di Bartlett.
   2. Fare clic su Continua per tornare al menu principale della finestra di dialogo Analisi fattoriale . Quindi, fai clic su Estrazione e seleziona Componenti principali come metodo di estrazione.
   3. Selezionare le opzioni per Soluzione fattoriale non ruotata e Grafico ghiaioso, quindi fare nuovamente clic su Continua per tornare al menu principale della finestra di dialogo Analisi fattoriale . Infine, fare clic sull'icona OK per generare l'output (vedere la Figura 10).
      NOTA: L'importanza del test di sfericità di Bartlett (χ2 = 2689,72; p = 0,00) e del test di adeguatezza del campionamento di Kaiser-Meyer-Olkin (KMO) (KMO = 0,793) confermano l'adeguatezza di questa analisi fattoriale a causa del forte design degli item e del campionamento per la convalida di QaSLu-45. I risultati dell'analisi delle componenti principali hanno rivelato 13 componenti con autovalori superiori a 1,0, che spiegano il 69,95% della varianza totale. Tuttavia, il grafico dei ghiaioni (vedi Figura 11) mostra che la prima componente ha una rilevanza così sproporzionata che l'importanza delle componenti rimanenti diventa trascurabile. Pertanto, si consiglia di ridurre il QaSLu-45 a un singolo componente, ottenendo così un punteggio finale unico per il QaSLu-45 progettato.
6. Convertire il file dei risultati del questionario, escluse le variabili di attributo, nel formato fisso ASCII (dat), compatibile con il pacchetto software statistico 2 (vedi Tabella dei materiali).
   1. Per prima cosa rimuovi tutte le variabili di attributo, lasciando solo gli elementi del questionario come variabili nel pacchetto software statistico 1. Quindi, selezionare il menu File > Esporta dati > testo fisso (vedere la Figura 12).
   2. Salvare il file in una posizione sicura con un nome riconoscibile. Questo processo trasforma i dati anonimi nel formato richiesto per l'analisi nel pacchetto software statistico 2.
7. Eseguire l'analisi dei fattori di conferma (CFA) con il pacchetto software statistico 2 per determinare la bontà dell'idoneità per il modello a fattore singolo del questionario.
   1. Per eseguire questa analisi, selezionare Leggi dati, quindi nella finestra di dialogo Campione fare clic su Sfoglia e selezionare il file ASCII creato in precedenza. Il numero di partecipanti e le variabili verranno visualizzati in verde nella sezione Dimensione delle matrici di dati .
   2. Quindi, fai clic sull'icona Apri set di dati a gruppo singolo e torna al menu principale del pacchetto software statistico 2. Nel menu principale, fare clic su Configura analisi. Nel menu della finestra di dialogo , selezionare Analisi fattoriale di conferma e fare clic sul pulsante Conferma .
   3. Nella finestra CFA: Configurazione analisi fattoriale , accettare le impostazioni predefinite e fare clic su Conferma per tornare al menu principale. Infine, nel menu principale verrà visualizzato il messaggio "Analisi fattoriale di conferma pronta"; quindi, fare clic sul pulsante Calcola (vedere la Figura 13) e attendere i risultati.
      NOTA: Gli articoli QaSLu-45 hanno dimostrato un'eccellente robustezza e robustezza di adattamento come valutato dalle misure di adattamento del modello CFA. Secondo il criterio suggerito da Kelley, l'indice di adattamento comparativo degli elementi QaSLu-45 era >0,95 (CFI = 0,973) poiché la differenza minima-massima tra CFA/gradi di libertà era compresa tra 1 e 3 (CMIN/DF = 1,053), l'errore quadratico medio di approssimazione era <0,06 (RMSEA = 0,042) e il residuo quadratico medio ponderato era <1,0 (WRMR = 0,0978).

Figura 7: Esportazione dei dati da utilizzare nei pacchetti software statistici 1 e 2. (1) Fare clic sull'icona Risultati ; (2) Fare clic sull'icona Questionari ; (3) Seleziona Testo e CSV nell'opzione Dettagliato. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 8: Importazione di dati in un pacchetto software statistico 1. Seleziona il menu File > Importa dati > dati CSV. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 9: Valutazione della coerenza interna del questionario. Selezionare il menu Analizza > Scala > Analisi affidabilità. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 10: Esecuzione dell'analisi fattoriale esplorativa con il pacchetto software statistico 1. (1) Fare clic sull'icona Fattori; (2) Fare clic sull'icona Descrittivi ; (3) Selezionare il test di sfericità di KMO e Bartlett nell'opzione Dettagliato; (4) Fare clic sull'icona Estrazione ; (5) Selezionare Grafico ghiaione nell'opzione Dettagliato; (6) fare clic sull'icona OK . Clicca qui per visualizzare una versione più grande di questa figura.

Figura 11: Grafico dei sedimenti dell'analisi fattoriale delle componenti principali sulla versione iniziale di 45 item. Si noti come il componente numero 1, secondo l'analisi fattoriale esplorativa, si distingua enormemente rispetto al resto, evidenziando che la sua rilevanza è molto maggiore rispetto a quella del resto dei componenti combinati, verificando che la struttura a singolo fattore sia la più appropriata per il questionario. Questa tabella è stata ripubblicata da López-de-Arana Prado et ^al.9. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 12: Conversione del file dei risultati in formato ASCII in formato fisso. (1) Fare clic sull'icona Testo fisso ; (2) Selezionare ASCII fisso nel menu Salva come; (3) fare clic sull'icona Salva . Clicca qui per visualizzare una versione più grande di questa figura.

Figura 13: Esecuzione dell'analisi fattoriale di conferma con il pacchetto software statistico 2. (1) Fare clic sull'icona Leggi dati ; (2) Selezionare il file ASCII nel menu Esempio; (3) Fare clic sull'icona Apri set di dati a gruppo singolo ; (4) Fare clic sull'icona Configura analisi ; (5) Selezionare Analisi fattoriale di conferma nell'opzione Dettagliata; (6) fare clic sull'icona OK ; (7) fare clic sull'icona Calcola . Clicca qui per visualizzare una versione più grande di questa figura.

7. Ottimizzazione del questionario per un singolo componente principale, riducendo gli item in eccesso secondo il principio di parsimonia

1. Identificare gli elementi da rimuovere nella versione ottimizzata del questionario che hanno una relazione inversa con il componente principale.
   1. Esaminare la matrice dei componenti ottenuta nel passaggio 6.5 utilizzando il pacchetto software statistico 1 per determinare quali elementi presentano una relazione inversa con il fattore principale. Escludere questi elementi dalla versione ridotta e ottimizzata del questionario per un singolo fattore.
      NOTA: Sulla base della matrice dei punteggi di ciascun elemento per il componente principale, gli elementi 6, 16, 28 e 35 sono stati scartati dalla configurazione finale perché mostravano una relazione inversa con il componente principale. Poiché il questionario offre un unico punteggio finale, gli item inversi dovrebbero essere eliminati, poiché mascherano le reali differenze tra gli utenti del questionario.
2. Esegui una robusta analisi fattoriale dei minimi quadrati non ponderati (RULS) con il pacchetto software statistico 2.
   1. Per eseguire questa analisi, selezionare Leggi dati, quindi nella finestra di dialogo Campione, fare clic su Sfoglia e selezionare il file ASCII precedentemente creato. Il numero di partecipanti e le variabili verranno visualizzati in verde nella sezione Dimensione delle matrici di dati .
   2. Quindi, fai clic sull'icona Apri set di dati a gruppo singolo e torna al menu principale del pacchetto software statistico 2. Nel menu principale, fare clic su Configura analisi. Nel menu della finestra di dialogo , selezionare Analisi fattoriale esplorativa e fare clic sul pulsante Conferma .
   3. Nel menu di configurazione dell'analisi fattoriale esplorativa , selezionare le voci con una relazione inversa con il componente principale in base all'analisi fattoriale esplorativa condotta con il pacchetto software statistico 1 e spostarle nella casella con la casella delle variabili escluse.
   4. Quindi selezionare le opzioni Matrice di correlazione di Pearson e Analisi parallela , modificare il numero di fattori/componenti su 1 e selezionare Analisi fattoriale robusta (vedere la Figura 14). Infine, fai clic sul pulsante Conferma per tornare al menu principale e quindi fai clic su Calcola per generare i risultati.
3. Identificare gli elementi da rimuovere dalla versione ottimizzata del questionario che hanno una misura di adeguatezza del campionamento (MSA) inferiore a 0,49 MSA. A tal fine, è necessario esaminare i risultati ottenuti dall'analisi fattoriale esplorativa RULS con il pacchetto software statistico 2, in particolare gli indici di ubicazione e adeguatezza degli articoli.
   NOTA: L'analisi fattoriale esplorativa RULS suggerisce di scartare 14 elementi per adattare il progetto a un singolo componente principale: 1, 4, 7, 8, 9, 11, 18, 20, 23, 25, 31, 38, 41 e 42. Ciò si traduce in una configurazione finale di 27 item, ottimizzata per un singolo componente principale, con un'elevata robustezza psicometrica associata. Questa versione è stata chiamata QaSLu-27 (una bozza di esempio del questionario è fornita come File Supplementare 4).

Figura 14: Esecuzione di robusti minimi quadrati non ponderati con il pacchetto software statistico 2. (1) Fare clic sull'icona Leggi dati ; (2) Selezionare il file ASCII nel menu Esempio; (3) Fare clic sull'icona Apri set di dati a gruppo singolo ; (4) Fare clic sull'icona Configura analisi ; (5) Selezionare Analisi fattoriale esplorativa nell'opzione Dettagliata; (6) Controllare le opzioni Matrice di correlazione di Pearson e Analisi parallela ; (7) Modificare il numero di fattori/componenti a 1; (8) selezionare l'analisi fattoriale robusta nelle opzioni; (9) fare clic sul pulsante Conferma ; (10) Fare clic sull'icona Calcola . Clicca qui per visualizzare una versione più grande di questa figura.

8. Revisione dell'adeguatezza delle proprietà psicometriche del QaSLu-27 rispetto al QaSLu-45.

1. Riapplicare il passaggio 6.4, escludendo dall'analisi tutti gli elementi che non fanno parte della versione ottimizzata del questionario.
2. Riapplicare il passaggio 6.5, escludendo dall'analisi tutti gli elementi che non fanno parte della versione ottimizzata del questionario.
3. Riapplicare il passaggio 6.7, escludendo dall'analisi tutti gli elementi che non fanno parte della versione ottimizzata del questionario.
4. Confrontare l'adeguatezza delle proprietà psicometriche della versione ottimizzata del questionario con la versione originale in formato tabellare.
   NOTA: Un miglioramento significativo è stato osservato nel KMO Sampling Adequacy Test (KMO = 0,863) e nel Bartlett's Sphericity Test (χ2 = 1447,76; p = 0,000). L'analisi fattoriale delle componenti principali con QaSLu-27 ha rivelato sette componenti con autovalori > 1,0, che rappresentano il 65,59% della varianza totale. Le robuste statistiche sulla bontà dell'adattamento, determinate utilizzando il CFA, hanno mostrato risultati leggermente migliorati e l'affidabilità misurata dall'alfa di Cronbach è aumentata (α = 0,92), nonostante il QaSLu-27 contenesse solo 27 elementi invece di 45. Questi risultati supportano la conclusione che la validità e la robustezza della configurazione finale sono significativamente superiori a quelle della versione da 45 elementi.

9. Sviluppo di scale di valutazione

1. Crea una nuova variabile sommando i punteggi di tutti gli elementi nella versione ottimizzata del questionario.
   1. Selezionare il menu Trasforma > Calcola variabile e denominare la nuova variabile come SUM27 nella finestra di dialogo Calcola variabile .
   2. Selezionare la funzione Somma e completare l'espressione numerica, includendo gli elementi della versione ottimizzata del questionario. Infine, fare clic sull'icona OK per generare la nuova variabile SUM27 (vedere la Figura 15).
2. Calcola i diversi percentili del risultato finale dalla versione ottimizzata del questionario.
   1. Selezionare il menu Analizza > Statistiche descrittive > Frequenze e, nella finestra di dialogo Frequenze , selezionare la variabile SUM27 e spostarla nella casella Variabile/i facendo clic sull'icona a forma di freccia.
   2. Quindi, fare clic sull'icona Statistiche , selezionare Percentili e aggiungere i seguenti percentili: 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 e 99. Fare clic sull'icona Continua per tornare alla finestra di dialogo Frequenze. Infine, fare clic sull'icona OK per generare i percentili desiderati per SUM27 (vedere la Figura 1).
   3. Ripetere questo processo per ogni scala di valutazione applicando filtri in base alle variabili aggiunte. Per fare ciò, fai clic sull'icona Dividi file , seleziona ogni variabile nominale o ordinale considerata rilevante, scegli Organizza output per gruppi, fai clic sull'icona della freccia e, infine, fai clic sull'icona OK per generare i percentili desiderati per SUM27, filtrati per ciascuna variabile.
3. Creare una tabella per ogni scala di valutazione.
   1. Creare una riga per i titoli delle tabelle, seguita da una riga per Basso (con righe secondarie per i percentili 1, 10 e 20), Medio/Basso (con righe secondarie per i percentili 30 e 40), Medio (percentile 50), Medio/Alto (con righe secondarie per i percentili 60 e 70) e Alto (con righe secondarie per i percentili 80, 90 e 99).
   2. Nella riga del titolo, crea diverse colonne: la prima con l'etichetta Livello (con i nomi dei livelli elencati di seguito), la seconda con l'etichetta Percentile (con ogni percentile elencato di seguito) e, dalla terza colonna in poi, elenca i nomi delle diverse condizioni della variabile selezionata per ogni tabella.
   3. Completa la tabella con l'intervallo di punteggio per i percentili calcolati in precedenza. Ovvero, Percentile 1 = 0 -, Percentile 4, Percentile 10 = Percentile 5 - Percentile 14, Percentile 20 = Percentile 15 - Percentile 24, Percentile 30 = Percentile 25 - Percentile 34, Percentile 40 = Percentile 35 - Percentile 44, Percentile 50 = Percentile 54, Percentile 60 = Percentile 55 - Percentile 64, Percentile 70 = Percentile 85 - Percentile 74, Percentile 75 - Percentile 84, Percentile 90 = Percentile 85 - Percentile 94, e Percentile 99 = Percentile 95 -Percentile 99. Ripetere questo processo per ogni scala di valutazione con le variabili nominali o ordinali selezionate.

Figura 15: Creazione di una nuova variabile sommando i punteggi di tutti gli elementi nel pacchetto software statistico 1. (1) Fare clic sull'icona Calcola variabile ; (2) Selezionare la funzione Somma; (3) completare l'espressione numerica con tutti gli elementi; (4) Assegnare un nome alla nuova variabile; (5) fare clic sull'icona OK . Clicca qui per visualizzare una versione più grande di questa figura.

Risultati

Seguendo questo rigoroso protocollo di validazione quali-quantitativa, abbiamo sviluppato uno strumento robusto, ottimizzato e parsimonioso per l'autovalutazione delle esperienze universitarie di service-learning, denominato QaSLu (Questionnaire for the Self-Assessment of Service-Learning Experiences in Higher Education). Questo strumento finale ha ricevuto l'approvazione qualitativa da 16 esperti di SL secondo il metodo Delphi, con due cicli di consultazioni online e adattamenti, nonché...

Discussione

I metodi utilizzati per la validazione degli strumenti offrono diversi vantaggi. Il metodo Delphi ha facilitato la raccolta di informazioni da un gruppo di esperti, consentendo l'organizzazione sistematica di queste informazioni per l'analisi. Ha permesso la selezione e il perfezionamento delle risposte sulla base di stime e suggerimenti di esperti 32,47,48,49....

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Encuestafacil.com Saas	Encuestafacil.com	2025	Software as a Service nel Encuestafacil.com server di dati privato
Analisi fattoriale	Universitat Rovira i Virgili	12.06.07	Pacchetto software utilizzato nell'analisi fattoriale dei dati
Pacchetto statistico per le scienze sociali (SPSS)	IBM	24	Pacchetto software utilizzato nell'analisi statistica dei dati