Valutazione dell'impegno in aula, dell'espressione riflessiva e dell'intenzione prosociale degli studenti universitari mediante osservazione comportamentale e learning analytics

Sommario

Questo protocollo integra l'osservazione in aula, la scrittura riflessiva, la misurazione dell'intenzione prosociale e l'analisi didattica per valutare l'impegno comportamentale, l'espressione riflessiva e i risultati dell'apprendimento orientato al sociale negli studenti universitari durante un arco temporale di 4 settimane. Il protocollo specifica l'approvazione etica, il contenuto degli strumenti, il flusso di lavoro del software, la gestione dei dati mancanti, le procedure di risoluzione dei problemi e l'interpretazione di risultati rappresentativi, inclusi i vincoli osservati nell'implementazione.

Abstract

Per rispondere alla necessità di valutazioni multidimensionali del coinvolgimento degli studenti al di là delle metriche tradizionali, questo protocollo descrive un approccio strutturato per valutare l'impegno in aula, l'espressione riflessiva, l'attività di analisi dell'apprendimento e l'intenzione prosociale nei corsi universitari di primo livello. Il protocollo combina osservazione comportamentale basata su intervalli, scrittura riflessiva strutturata settimanale, registrazioni anonime del sistema di gestione dell'apprendimento e un questionario sull'intenzione prosociale somministrato prima e dopo. Le procedure riviste forniscono un modello riproducibile di codifica comportamentale, una rubrica per l'espressione riflessiva con esempi di punteggi, passaggi per la gestione del software e dei dati e indicazioni esplicite per la risoluzione dei problemi relativi a disaccordi tra osservatori, registrazioni della piattaforma mancanti, tassi bassi di consegna delle riflessioni, scarsa visibilità della telecamera, abbandono dei partecipanti e conoscenze preliminari non uniformi. Questo protocollo dovrebbe essere utilizzato quando i ricercatori necessitano di un metodo poco invasivo e riproducibile per combinare il comportamento in aula, l'interpretazione autopercepita degli studenti e l'attività di routine del sistema di gestione dell'apprendimento (LMS) durante l'insegnamento universitario. È meno adatto a corsi completamente asincroni privi di interazione osservabile, contesti che vietano l'osservazione indipendente o il collegamento dei dati, o studi che richiedono inferenze di tipo biometrico o sul riconoscimento delle emozioni. I risultati rappresentativi sono riportati a partire dall'applicazione empirica effettuata, dopo l'approvazione etica verificata, l'anonimizzazione dei dati del corso e la preparazione del repository.

Introduzione

La valutazione della partecipazione degli studenti nell'istruzione superiore richiede un approccio completo e basato su più fonti. Sebbene l'impegno degli studenti sia generalmente concepito come una costrutto multidimensionale che comprende comportamenti osservabili, sforzo cognitivo e interazione con l'ambiente, gli attuali approcci analitici si basano prevalentemente su dati di log superficiali, come la frequenza di accesso e le azioni registrate dal sistema¹. Questa eccessiva dipendenza rappresenta una sfida significativa per la ricerca applicata in contesti di aula. Le forme più importanti di partecipazione didattica—le interazioni dirette tra pari, la riflessione cognitiva e i contributi sociali—si verificano spesso interamente al di fuori dell'ambito limitato di visibilità della piattaforma².

La complessità dell'aula universitaria moderna si è intensificata con l'adozione di modelli pedagogici ibridi, che combinano piattaforme digitali con l'insegnamento tradizionale in presenza. Sebbene le revisioni sistematiche sull'analisi dell'apprendimento confermino che le tracce digitali offrono informazioni preziose riguardo all'allocazione del tempo, ai modelli di accesso e ai tassi di ritenzione a lungo termine, da sole queste metriche non possono determinare se l'attenzione dell'apprendente sia effettivamente efficiente o significativa³. Di conseguenza, le ricerche recenti sostengono la necessità di fondare l'analisi dell'apprendimento su quadri teorici più solidi, allineando le tracce digitali a misurazioni più ricche e dipendenti dal contesto della partecipazione, come il comportamento in aula e le attività riflessive⁴.

La scrittura riflessiva fornisce una dimensione qualitativa fondamentale a questa valutazione. Riflessioni strutturate successive alla lezione e diari registrano le interpretazioni degli studenti riguardo alle attività di apprendimento, chiariscono le difficoltà didattiche e collegano i contenuti teorici con le successive azioni pratiche. Evidenze empiriche recenti concettualizzano l'espressione riflessiva come una costruzione integrata e multicomponente, costituita da richiamo descrittivo, inferenza analitica, rappresentazione autoriferita e generalizzazione del significato⁵. Inoltre, studi indicano che fornire agli studenti un'assistenza riflessiva ripetuta rafforza gradualmente la loro capacità di introspezione; all'aumentare della frequenza delle riflessioni strutturate durante il corso, migliorano contemporaneamente le competenze esplorative autonome degli studenti⁶.

Un secondo limite significativo della ricerca attuale sull'engagement è la frequente marginalizzazione della socializzazione in aula. Mentre gli studi esistenti enfatizzano fortemente il comportamento o la cognizione individuale, le aule universitarie funzionano come ambienti di apprendimento intrinsecamente sociali, in cui gli studenti si influenzano reciprocamente attraverso la collaborazione e interazioni reciproche. Evidenze emergenti dimostrano che il clima in aula e le strutture di partecipazione sono fortemente correlate a comportamenti prosociali e a una mentalità orientata al contributo—esiti che rimangono sottoinvestigati rispetto a metriche tradizionali della performance accademica o della soddisfazione degli studenti. Il comportamento prosociale negli ambienti accademici non è semplicemente un sottoprodotto di stati emotivi o di stress; piuttosto, è strettamente legato al modo in cui gli studenti si posizionano all'interno delle attività di apprendimento collettivo⁷. Pertanto, misurare l'intenzione prosociale rappresenta una lente adeguata per determinare se l'engagement in aula vada oltre il semplice completamento di compiti isolati, favorendo comportamenti cooperativi e incoraggianti anche al di fuori dell'ambiente didattico immediato⁸.

Questi sviluppi concettuali sottolineano la necessità di un quadro integrato per la raccolta di evidenze, implementato all'interno di un singolo arco temporale didattico. Un disegno basato su più fonti attenua i limiti derivanti dall'uso di una singola metrica, permettendo la validazione incrociata tra diversi modi di partecipazione e rivelando come gli studenti interpretino le proprie attività post-lezione al fine di promuovere l'apprendimento autonomo⁹. Mentre le valutazioni riflessive catturano lo stato cognitivo interno dell'apprendente, l'ancoraggio di queste autovalutazioni a tracce comportamentali oggettive migliora significativamente l'interpretabilità dei dati sull'apprendimento. Attualmente, mancano protocolli pratici, pronti per l'uso in aula, che integrino in modo fluido l'osservazione sistematica del comportamento, la rendicontazione riflessiva strutturata e gli strumenti di analisi dell'apprendimento per un'implementazione routinaria nelle università.

Per affrontare queste carenze metodologiche, questo articolo presenta un protocollo di valutazione progettato per misurare contemporaneamente l'impegno in classe, l'espressione riflessiva e l'intenzione prosociale degli studenti universitari. Sviluppato specificamente per contesti universitari di primo livello, il protocollo offre una metodologia semplificata che richiede un carico amministrativo minimo senza compromettere la riproducibilità scientifica. Colmando il divario analitico tra comportamenti osservabili, esperienze soggettive espresse e risultati di apprendimento orientati al sociale, questo quadro concettuale risponde alla crescente richiesta di maggiore chiarezza concettuale nella ricerca sulle interazioni uomo-tecnologia negli ambienti educativi¹⁰.

Protocollo

Tutti i metodi che coinvolgevano partecipanti umani sono stati eseguiti nel rispetto della Dichiarazione di Helsinki e delle pertinenti linee guida istituzionali. Per lo studio condotto, il protocollo è stato approvato dal Comitato Etico dell'Istituto di Tecnologia di Nanchang prima dell'inizio del reclutamento (numero di approvazione: NITE778291). Da ogni studente partecipante è stato ottenuto un consenso informato scritto. Per l'analisi sono stati utilizzati esclusivamente dati aggregati anonimizzati provenienti dall'osservazione in aula, dai punteggi di riflessione, dall'analisi dell'apprendimento e dai questionari; sono stati esclusi dalla pubblicazione video delle lezioni identificabili, nomi, codici identificativi istituzionali e testi di riflessione non redatti.

1. Progettazione dello studio e selezione dei partecipanti

1. Applicare il protocollo per quattro periodi didattici consecutivi per ciascuna sezione di classe selezionata. Registrare etichette del corso anonimizzate, formato didattico, dimensione della classe, esperienza dell'insegnante con il corso e se ogni classe include lezioni frontali, lavoro di gruppo o esercitazione individuale. Prevedere un numero iniziale di iscritti compreso tra circa 180 e 210 studenti universitari di età pari o superiore a 18 anni, oppure adattare l'obiettivo della numerosità campionaria al contesto del corso.
2. Assicurarsi che tutti i partecipanti dispongano di un account istituzionale attivo per la piattaforma del corso, che parteciperanno alle lezioni osservate e che abbiano ricevuto le indicazioni preliminari normalmente fornite alla classe. Quando le conoscenze preliminari variano notevolmente, fornire un breve materiale di raccordo, un elenco di risorse pre-lezione o una revisione guidata dall'insegnante prima dell'intervallo di osservazione e registrare il supporto fornito come metadati contestuali.
3. Ottenere il consenso informato scritto da tutti gli studenti dopo aver fornito un foglio informativo scritto completo. Dichiarare chiaramente nel modulo di consenso che lo studio collega l'osservazione del comportamento in aula, la scrittura riflessiva settimanale e i registri anonimizzati della piattaforma di apprendimento.
4. Inserire nel dataset di ricerca solo gli studenti che hanno prestato consenso. Garantire che il rifiuto di partecipare non influisca sulla frequenza, sui voti, sull'accesso al corso o sulla comunicazione con l'insegnante.
   1. Spiegare prima del primo compito di riflessione quali sono gli utilizzi consentiti e vietati degli strumenti di intelligenza artificiale (AI).
      NOTA: gli strumenti di intelligenza artificiale possono essere utilizzati solo quando consentiti dalla politica del corso e unicamente a supporto generale dello studio; le consegne riflessive e le risposte relative all'intenzione prosociale devono descrivere l'esperienza personale dello studente e devono dichiarare qualsiasi eventuale aiuto fornito dall'AI.
   2. Se l'insegnante consente l'uso di strumenti di intelligenza artificiale per colmare le lacune nelle conoscenze preliminari, fornire a tutti gli studenti gli stessi prompt o risorse approvati e registrare tale supporto come adattamento del protocollo. Non utilizzare riassunti generati dall'AI come prova principale della riflessione dello studente, a meno che lo studio di validazione non valuti esplicitamente le risposte assistite dall'AI.
5. Escludere dagli studenti prima dell'analisi coloro che rifiutano il consenso, si ritirano dal corso durante il periodo del protocollo o non dispongono di dati corrispondenti tra osservazione, riflessione e registri analitici. Adottare un disegno sperimentale a misure ripetute per raccogliere dati coerenti da tre fonti distinte nel corso di un periodo di 4 settimane².

2. Acquisizione dei dati di base e gestione dell'identità

1. Designare un singolo amministratore dei dati incaricato di assegnare a ciascun partecipante che ha prestato consenso un codice alfanumerico di otto caratteri mediante un processo pseudo-casuale.
2. Creare un file di collegamento tra identità e codice dello studio contenente i nomi degli studenti, i codici istituzionali, le sezioni di classe e i numeri di studio. Conservare questo file in modo sicuro e separato rispetto ai file analitici, garantendo che rimanga completamente inaccessibile a osservatori, codificatori delle riflessioni e ricercatori.
3. Distruggere o archiviare questo file di collegamento dopo la verifica finale dei dati, in conformità con la politica istituzionale approvata sulla conservazione dei dati, mantenendo al contempo la conformità con le attuali pratiche del settore dell'istruzione superiore relative all'analisi dell'apprendimento riguardo al collegamento limitato e alla de-identificazione¹.
4. Raccogliere dati demografici di base sull'età, il genere, l'anno accademico e la specializzazione dei partecipanti durante la settimana iniziale precedente alla prima lezione osservata.
5. Utilizzare il questionario strutturato composto da sei domande sull'intenzione prosociale riportato nel File Supplementare 1 come strumento di riferimento prima della prima lezione osservata. Somministrarlo in forma elettronica tramite il sistema di gestione dell'apprendimento (LMS) o su carta, utilizzando esclusivamente il codice di studio assegnato. Gli studenti esprimono il proprio grado di accordo su una scala a 5 punti, da 1 = fortemente in disaccordo a 5 = fortemente d'accordo; calcolare il punteggio iniziale come media degli elementi completati, qualora siano stati risposti almeno cinque dei sei elementi.
6. Esportare tutti i testi riflessivi raccolti successivamente senza nomi, indirizzi e-mail o altri identificatori personali, per garantire l'anonimato completo prima dell'inizio del processo di codifica qualitativa.

3. Preparazione all'osservazione in aula

1. Pianificare osservazioni per ogni sezione della classe una volta a settimana per 4 settimane consecutive. Per una lezione standard della durata di 90 minuti, definire una finestra osservata di 70 minuti escludendo i primi 10 minuti e gli ultimi 10 minuti dalla codifica⁵.
2. Iniziare la codifica al minuto 10^o e terminare al minuto 80^o di una lezione standard della durata di 90 minuti. Questi periodi di buffer non fanno parte della finestra di osservazione di 70 minuti; pertanto, una lezione standard fornisce 70 minuti di osservazione codificata anziché una sessione di 30 minuti.
3. Escludere dal giudizio finale qualsiasi blocco didattico interrotto qualora la lezione subisca un'interruzione di durata superiore ai 5 minuti a causa di allarmi, cambi di aula o malfunzionamenti della piattaforma.
4. Considerare l'impegno in classe come una composizione osservabile di più comportamenti, registrando simultaneamente diversi indicatori comportamentali in ciascun punto di misurazione¹¹. Gli indicatori comprendono l'attenzione al compito, la partecipazione verbale, la collaborazione tra pari, la presa di appunti o l'uso di dispositivi orientati al compito, le distrazioni fuori compito e il ricorso a richieste di aiuto.
5. Organizzare la disposizione dei posti in aula per gruppi prima della prima osservazione e mantenere rigorosamente questa configurazione per l'intero periodo di 4 settimane.
6. Posizionare due osservatori esperti in punti fissi con visibilità completa dell'aula, in modo da codificare in modo indipendente. Se consentito dall'istituto e previo consenso dei partecipanti, installare due telecamere fisse nelle zone posteriore-centrale e laterale-posteriore e sincronizzarle prima della sessione.
7. Utilizzare le registrazioni video esclusivamente per la formazione degli osservatori, la verifica dell'affidabilità e la risoluzione di problemi legati alla visibilità; non usare le registrazioni video come fonte principale per la codifica e non effettuare analisi di emozioni facciali, emozioni vocali, dati biometrici o riconoscimento dell'identità.

Codifica comportamentale basata su intervalli

1. Dividere la finestra di osservazione di 70 minuti in intervalli consecutivi costituiti da una scansione visiva di 20 s seguita da un periodo di registrazione di 10 s. Se una lezione frontale, un laboratorio o una classe online richiedono una lunghezza d'intervallo diversa, riportare la struttura d'intervallo adattata e giustificarla prima dell'inizio della raccolta dati.
   NOTA: Questa struttura 20 s/10 s bilancia l'osservazione ecologica in aula con il carico di lavoro del codificatore: il periodo di scansione è sufficientemente lungo da rilevare attenzione sostenuta, collaborazione e comportamenti fuori compito, mentre il periodo di registrazione riduce il carico mnemonico e favorisce decisioni binarie coerenti.
2. Scansionare un gruppo chiaramente definito di massimo dieci studenti per intervallo in un ciclo continuo basato sulla disposizione dei posti a sedere.
3. Utilizzare criteri specifici di scansione per prevenire incongruenze tra codificatori causate da definizioni operative poco precise⁴. Codificare sei indicatori binari a livello studentesco durante ogni scansione. Questi includono attenzione al compito, partecipazione verbale, collaborazione tra pari, appunti o uso di dispositivi orientati al compito, distrazione fuori compito e comportamento di richiesta di aiuto.
4. Contrassegnare un indicatore come "1" se il comportamento designato si verifica in qualsiasi momento durante la scansione di 20 s. In caso contrario, contrassegnarlo come "0". Codificare l'intervallo come mancante se uno studente non è visibile per almeno 10 s della scansione.
5. Registrare l'attenzione al compito quando uno studente orienta lo sguardo verso l'insegnante, i compiti assegnati, le informazioni presentate o i compagni impegnati in discussioni relative al compito per almeno 5 secondi consecutivi. Codificare la partecipazione verbale per qualsiasi contributo udibile e pertinente al compito.
6. Codificare la collaborazione tra pari quando gli studenti partecipano a scambi visibili basati sul compito, a risoluzione congiunta di problemi o a spiegazioni reciproche. Registrare appunti o uso di dispositivi orientati al compito per scrittura attiva, digitazione o interazione digitale con il materiale didattico.
7. Contrassegnare la distrazione fuori compito se uno studente partecipa a conversazioni non correlate, uso non accademico di dispositivi o disimpegno prolungato per almeno 5 secondi consecutivi. Registrare la richiesta di aiuto quando uno studente chiede esplicitamente chiarimenti o assistenza all'insegnante o ai compagni.
8. Calcolare il punteggio comportamentale settimanile per ogni studente come il numero totale di giudizi positivi diviso per tutte le valutazioni valide. Calcolare successivamente le medie su 4 settimane per tutti e sei gli indicatori.
9. Calcolare un indice combinato di coinvolgimento osservato in aula (OCEI) per lo studente i nella settimana w utilizzando il modello matematico predeterminato: OCEI_iw = [Attenzione al compito_iw + Partecipazione verbale_iw + Collaborazione tra pari_iw + Appunti o uso di dispositivi orientati al compito_iw + (1 - Distrazione fuori compito_iw)]/5.
10. Mantenere la richiesta di aiuto come variabile analitica indipendente poiché può rappresentare sia una richiesta costruttiva di chiarimento sia una difficoltà con il contenuto didattico, a seconda del contesto¹². Fare riferimento a Figura 1 per il flusso dello studio e a Tabella 1 per gli indici di osservazione e le regole di codifica.

5. Formazione dell'osservatore e valutazione dell'affidabilità

1. Eseguire una formazione per gli osservatori mediante una sessione di addestramento manuale della durata di 60 minuti ed effettuare tre turni di calibrazione prima dell'inizio del programma formale.
2. Effettuare il primo turno di calibrazione utilizzando la codifica guidata di un video di aula non relativo allo studio. Completare i due turni successivi come codifiche indipendenti di video diversi non relativi allo studio, seguite da confronti statistici diretti con il codificatore senior.
3. Iniziare la raccolta formale dei dati solo quando il valore di Kappa di Cohen raggiunge o supera 0,75 e l'accordo totale tra valutatori supera l'85%.
4. Applicare una verifica della deriva a doppio cieco sul 10% delle sessioni complete e su un segmento randomizzato di 10 minuti delle sessioni rimanenti durante l'intero protocollo della durata di 4 settimane.
5. Ricalibrare il team di codifica entro 72 ore e rieseguire la verifica delle sessioni interessate prima del blocco dei dati qualora il valore di Kappa scenda al di sotto di 0,70 per qualsiasi indicatore. Fornire continuamente feedback ed organizzare esercitazioni di calibrazione per mantenere stabile nel tempo l'affidabilità della valutazione¹³.

6. Raccolta e valutazione dell'espressione riflessiva

1. Chiedere agli studenti di consegnare un testo riflessivo strutturato (da 100 a 350 parole) per ogni lezione osservata, producendo 4 contributi per partecipante nell'arco del protocollo di 4 settimane.
2. Rendere disponibili i quesiti per la riflessione tramite LMS o modulo cartaceo entro 2 ore dalla lezione osservata, chiudendo la finestra di consegna 72 ore dopo. Il modulo deve mostrare il campo dell'ID dello studio e i seguenti tre quesiti nello stesso ordine per tutti gli studenti:
   1. Indicare i momenti in cui si sono sentiti maggiormente e minormente coinvolti durante la lezione.
   2. Spiegare le cause contestuali, incluse la difficoltà del compito, le conoscenze pregresse, l'interazione di gruppo, la spiegazione dell'insegnante o l'uso della piattaforma.
   3. Descrivere in che modo la loro partecipazione ha influenzato l'atmosfera in classe e quali azioni future intendono intraprendere.
      NOTA: Conservare i contributi inferiori a 100 parole, ma contrassegnarli nel database come a basso contenuto informativo. Contrassegnare anche i contributi che omettono il quesito sul coinvolgimento, sulle cause contestuali o sull'azione futura/impatto sociale, poiché tali omissioni influiscono sulla valutazione della qualità della riflessione e sulla segnalazione della fattibilità.
3. Assegnare due valutatori anonimi per esaminare i contributi secondo specificità descrittiva, profondità analitica, orientamento all'autoregolazione e significato sociale-prosociale.
   1. Valutare ogni dimensione utilizzando una scala a 4 punti in cui 0 indica assenza, 1 indica evidenza debole o vaga, 2 indica evidenza chiara ma limitata e 3 indica evidenza forte ed elaborata. Ad esempio, la profondità analitica viene assegnata con punteggio 0 quando non viene fornita alcuna motivazione, 1 quando lo studente afferma soltanto che l'attività era difficile, 2 quando lo studente collega la difficoltà a un concetto specifico o a una condizione in aula e 3 quando lo studente spiega l'interazione tra conoscenze pregresse, discussione tra pari, feedback dell'insegnante e una strategia di apprendimento pianificata. Tabella 2 e File Supplementare 1 forniscono esempi di livello di punteggio per tutte e quattro le dimensioni riflessive.
4. Avviare la valutazione formale solo dopo aver ottenuto un coefficiente di correlazione intraclasse di almeno 0,80 per ciascuna dimensione sui testi pilota¹⁴.
5. Rivalutare casualmente il 15% delle riflessioni dello studio durante il protocollo per controllare eventuali deriva nei giudizi dei valutatori. Valutare i testi riflessivi sulla base di queste metriche qualitative multidimensionali, piuttosto che basarsi esclusivamente sulla lunghezza del testo o sulla frequenza delle parole.
6. Sviluppare o adattare la griglia di valutazione dell'espressione riflessiva attraverso una revisione da parte di almeno due ricercatori nel campo dell'educazione e di un docente del corso. Sottoporre a prova la griglia su 20-30 riflessioni non appartenenti allo studio, rivedere i descrittori ambigui e documentare la versione finale della griglia prima dell'inizio della codifica formale.
7. Somministrare il questionario sull'intenzione prosociale riportato nel File Supplementare 1. Chiedere agli studenti di esprimere il grado di disponibilità ad aiutare i compagni in difficoltà, condividere risorse per l'apprendimento, contribuire in modo costruttivo alle discussioni, incoraggiare i pari, agire con equità durante i compiti di gruppo e migliorare il clima di apprendimento in classe. Utilizzare una scala a 5 punti che va da 1 (in totale disaccordo) a 5 (in totale accordo). Calcolare il punteggio medio quando almeno cinque dei sei elementi sono completati e riportare l'alfa di Cronbach per le somministrazioni iniziale e finale del protocollo.

Estrazione di analisi sull'apprendimento

1. Assegnare un amministratore esterno per estrarre i dati di analisi dell'apprendimento dopo la Settimana 4 per evitare qualsiasi contaminazione dei processi di osservazione e riflessione.
2. Impostare la finestra di estrazione dalle 00:00 del giorno della prima lezione osservata alle 23:59 dell'ultimo giorno della finestra finale di riflessione.
3. Estrarre soltanto le variabili predeterminate necessarie per il protocollo. Registrare il numero di giorni attivi sulla piattaforma, le visualizzazioni distinte di risorse, la proporzione di risorse assegnate aperte, la quantità di risposte nei forum di discussione pubblicate, la media del tasso di completamento dei video e la puntualità nella consegna dei compiti.
4. Pulire le esportazioni grezze rimuovendo gli account degli insegnanti e degli assistenti didattici, i record duplicati, gli eventi di prova e i punti dati al di fuori dell'intervallo temporale stabilito.
5. Definire un giorno attivo come qualsiasi data del calendario contenente almeno un accesso autenticato al corso seguito da un'interazione significativa, come l'apertura di file, la visione di video o la pubblicazione di risposte.
6. Contare le aperture uniche delle risorse ignorando i ricaricamenti duplicati che si verificano entro un intervallo di 60 s. Determinare il tasso di completamento dei video troncando la frazione visualizzata rispetto al tempo programmato alle 01:00, quindi calcolando la media su tutti gli elementi multimediali assegnati.
7. Calcolare la puntualità nella consegna dei compiti in base alla proporzione di attività consegnate prima delle scadenze programmate. Calcolare la proporzione di accessi notturni come rapporto tra gli eventi significativi verificatisi tra le 00:00 e le 06:00 e il numero totale di attività significative nel periodo di osservazione. Fare affidamento su queste metriche basate sul tempo e sul contributo per ottenere informazioni più ricche rispetto alla semplice accumulazione di log¹⁵.
8. Utilizzare un flusso di lavoro predeterminato per la gestione dei dati provenienti dall'esportazione del sistema di gestione dell'apprendimento. Salvare l'esportazione originale come file di sola lettura, creare una copia di lavoro anonimizzata, rimuovere gli account degli insegnanti e degli assistenti didattici, eliminare eventi duplicati o di prova e conservare un registro di elaborazione con il conteggio delle righe dopo ogni passaggio di pulizia.
9. Eseguire la pulizia dei dati in un foglio elettronico o successivamente e l'analisi statistica in R versione 4.4.0 o successiva, o software equivalente.
   1. In un foglio elettronico, seguire i passaggi descritti nei punti 7.9.1.1–7.9.1.2.
      1. Importare i file CSV anonimizzati utilizzando Dati > Ottieni dati > Da testo/CSV e utilizzare Dati > Rimuovi duplicati per eliminare le righe duplicate di ID studio/ora/evento.
      2. Applicare il Filtro per escludere gli account degli insegnanti o degli assistenti didattici e i record fuori finestra, e salvare un registro di elaborazione con il conteggio delle righe dopo ogni passaggio.
   2. In R, seguire i passaggi descritti nei punti 7.9.2.1–7.9.2.3.
      1. Importare i file con readr::read_csv(), ristrutturare i record settimanali con dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer() e tidyr::pivot_wider().
      2. Calcolare il kappa di Cohen con irr::kappa2(), i coefficienti di correlazione intraclasse (ICC) con psych::ICC() e l'alfa di Cronbach con psych::alpha().
      3. Adattare modelli lineari corretti per sezione con stats::lm(); utilizzare lme4::lmer() quando è richiesto un effetto casuale dell'intercetta per sezione di classe predeterminata e utilizzare lme4::glmer(family = binomial) soltanto per esiti binari. Archiviare lo script esatto e le versioni dei pacchetti insieme ai materiali di sottomissione.
10. Utilizzare la seguente sequenza di analisi riproducibile.
    1. Calcolare le proporzioni di osservazione per studente-settimana, calcolare l'OCEI utilizzando la formula del punto 4.9 e unire i punteggi di riflessione settimanali per ID studio e settimana.
    2. Raggruppare le variabili di analisi dell'apprendimento nell'identica finestra di 4 settimane, esaminare la mancanza di dati per fonte, calcolare statistiche descrittive e stime di affidabilità e adattare i modelli di associazione predeterminati.
    3. Non aggiungere predittori non pianificati dopo aver esaminato i risultati, a meno che non siano etichettati come esplorativi.
11. (Facoltativo) Per garantire trasparenza, depositare uno script di analisi anonimizzato, un codebook, moduli di codifica vuoti, tracce di riflessione, rubrica di valutazione delle riflessioni e questionario prosociale nel repository pubblico o nei materiali supplementari. Non depositare video grezzi identificabili delle lezioni, nomi, ID istituzionali o testi di riflessione non censurati.

8. Misurazione post-protocollo e integrazione del set di dati

1. Somministrare nuovamente lo strumento per l'intenzione prosociale immediatamente dopo la conclusione dell'ultima finestra di riflessione.
2. Chiedere agli studenti di valutare la propria disponibilità ad aiutare i compagni di classe, condividere risorse, contribuire in modo costruttivo alle discussioni, incoraggiare i pari, agire con equità e migliorare il clima di apprendimento su una scala compresa tra 1 (totalmente in disaccordo) e 5 (totalmente d'accordo). Calcolare il punteggio totale post-protocollo di ciascun individuo facendo la media delle risposte, a condizione che abbiano risposto ad almeno cinque dei sei elementi.
3. Unire i file delle osservazioni, i punteggi di riflessione e i record delle analisi di apprendimento utilizzando l'ID dello studio anonimizzato. Costruire due dataset finali da questa unione per creare un file principale a livello di partecipante e un file in formato lungo a livello settimanale.
4. Non imputare gli intervalli di osservazione mancanti causati dall'invisibilità dello studente, né le riflessioni settimanali mancanti dovute alla mancata consegna. Contrassegnare le riflessioni parzialmente completate, le variabili di analisi di apprendimento incomplete, le riflessioni con scarso contenuto informativo e gli ID di studio non abbinati prima dell'analisi.
5. Utilizzare l'analisi dei casi completi per modelli di associazione predeterminati, riportare il numero di casi esclusi per ciascun modello ed effettuare un controllo di sensibilità confrontando studenti inclusi ed esclusi in base alle variabili di base disponibili.
6. Mantenere l'intenzione prosociale come misura primaria dell'esito, al fine di riflettere gli atteggiamenti di sostegno e collaborazione che sottendono i cambiamenti strutturali nella partecipazione degli studenti universitari.

9. Risoluzione dei problemi e adattamenti del protocollo

1. Se due osservatori non concordano per più di una categoria binaria nello stesso gruppo di studenti o se il kappa di Cohen scende al di sotto di 0,70 per un qualsiasi indicatore, sospendere la valutazione formale per la sessione interessata, rivedere le definizioni operative, completare un segmento di ricalibrazione della durata di 10 minuti e ricodificare l'intervallo interessato prima del blocco dei dati.
2. Se le esportazioni della piattaforma sono incomplete, documentare il campo mancante, richiedere una seconda esportazione all'amministratore esterno e mantenere lo studente nei riassunti di osservazione/riflessione, escludendo tuttavia la variabile analitica non disponibile dai modelli che richiedono tale campo.
3. Se meno dell'80% delle riflessioni previste viene consegnato entro 48 ore dall'apertura del compito, inviare un promemoria neutro all'intera classe, estendere il supporto tecnico per eventuali problemi di accesso e riportare separatamente i conteggi finali delle consegne tempestive, in ritardo e mancanti.
4. Se più del 10% degli studenti in un gruppo non è visibile per almeno metà della finestra di scansione, codificare gli intervalli interessati come mancanti e fare affidamento sui registri dell'osservatore in tempo reale piuttosto che tentare di inferire il comportamento da video ostruiti.
5. Se uno studente si ritira, rifiuta ulteriore partecipazione o non dispone di dati collegabili tra le diverse fonti, rimuovere tale studente dai modelli di associazione collegati, ma mantenere i conteggi aggregati sulla fattibilità del protocollo quando consentito dall'approvazione etica.
6. Se più studenti segnalano che una sezione è difficile da comprendere, l'insegnante deve fornire la normale risposta pedagogica, come una breve ripetizione della spiegazione, un esempio svolto, una discussione tra pari o una risorsa di approfondimento. Registrare questo evento come un fatto contestuale poiché può influenzare la richiesta di aiuto, la profondità della riflessione e l'attività sulla piattaforma.
7. Adattare la dimensione del gruppo di studenti, la lunghezza degli intervalli, i solleciti alla riflessione e le variabili analitiche al formato didattico, mantenendo tuttavia la stessa logica relativa agli indicatori comportamentali predeterminati, ai registri anonimizzati, alla codifica indipendente e alle regole trasparenti per i dati mancanti.
8. Considerare la bassa affidabilità, l'elevata percentuale di dati mancanti, la limitata profondità della riflessione, il debole cambiamento prosociale e il debole accordo tra i flussi di dati come risultati informativi dell'implementazione piuttosto che come fallimenti del protocollo. Riportare tali risultati e spiegare se essi riflettono il contesto della classe, limitazioni degli strumenti o problemi di acquisizione dei dati.

Risultati

Inclusione dei partecipanti, completezza dei dati e affidabilità dei punteggi
Un gruppo iniziale di 204 studenti provenienti da tutte le sezioni del corso è stato invitato a partecipare, con un totale di 198 soggetti che hanno fornito il consenso. Successivamente, 14 casi sono stati esclusi a causa dell'abbandono del corso durante il periodo del protocollo o per collegamento incompleto dei dati tra le registrazioni di osservazione, riflessione e piattaforma. Di conseguenza, il campione finale per l'analisi ha incluso 184 studenti. Le caratteristiche dei partecipanti, le percentuali settimanali di completamento e la completezza complessiva dei dati sono riportate nella Tabella 3.

Durante il programma della durata di 4 settimane, sono state osservate 24 sessioni di classe, generando un registro sincronizzato di analisi dell'apprendimento per ciascun partecipante. Dei 736 report riflessivi previsti, 701 sono stati consegnati entro la finestra di 72 ore, 18 sono stati consegnati in ritardo e 17 sono risultati mancanti. Alla fine, 171 studenti hanno completato con successo tutte le riflessioni settimanali in tempo utile. Le analisi dell'apprendimento sono state estratte completamente per gli ultimi 184 partecipanti, dopo aver filtrato gli account degli istruttori, le voci duplicate e le attività al di fuori della finestra temporale.

La codifica osservazionale è rimasta altamente stabile per tutta la durata del protocollo. L'affidabilità tra valutatori per i sei indici comportamentali dell'osservazione in classe ha mostrato valori di kappa di Cohen compresi tra 0,76 e 0,84, con un accordo complessivo durante i test di controllo superiore all'86%. Per i punteggi di espressione riflessiva, i coefficienti di correlazione intra-classe (ICC) relativi alle quattro dimensioni sono variati tra 0,82 e 0,89. Tabella 4 presenta le statistiche descrittive e gli indici di affidabilità delle variabili principali dello studio.

Osservazione del comportamento in aula
I comportamenti osservati in aula hanno mostrato un miglioramento graduale durante il protocollo della durata di 4 settimane. Come illustrato in Figura 2, l'attenzione al compito, la partecipazione verbale e la collaborazione tra pari sono risultati significativamente più elevati alla quarta settimana rispetto alle settimane iniziali. In particolare, la partecipazione verbale è aumentata da 0,18 ± 0,09 nella prima settimana a 0,24 ± 0,10 alla quarta settimana (p < 0,05). La collaborazione tra pari è aumentata in modo analogo da 0,29 ± 0,11 a 0,35 ± 0,12 (p = 0,006). L'attenzione al compito ha mostrato un miglioramento altamente significativo, passando da 0,71 ± 0,12 a 0,76 ± 0,11 (p < 0,001).

Al contrario, la presa di appunti orientata al compito o l'uso di dispositivi ha mostrato solo aumenti marginali settimanali che non hanno raggiunto la significatività statistica (p = 0.08). Il comportamento di richiesta di aiuto è rimasto costantemente basso per tutto il periodo di osservazione, senza mostrare un effetto temporale significativo (p = 0.21). Le distrazioni fuori compito sono diminuite significativamente da 0,14 ± 0,08 nella settimana 1 a 0,11 ± 0,07 nella settimana 4 (p = 0,03). Nel complesso, l'Indice Composito di Impegno in Aula Osservato è aumentato significativamente da 0,52 ± 0,10 durante la prima settimana a 0,58 ± 0,11 nell'ultima settimana (p < 0,001).

Espressioni riflessive durante il protocollo di 4 settimane
L'espressione riflessiva è evoluta nel corso del periodo di studio, anche se l'entità del cambiamento ha mostrato variazioni tra le sue sottodimensioni. Come mostrato in Figura 3, il punteggio totale della riflessione è aumentato da 7,2 ± 1,9 alla settimana 1 alla settimana 4 (p < 0,001).

La profondità analitica è risultata notevolmente maggiore alla fine della settimana 4 rispetto alle prime due settimane (p < 0,001). Analogamente, il significato sociale-prosociale è aumentato da 1,08 ± 0,55 a 1,54 ± 0,60 (p < 0,001) e l'orientamento autorregolativo è cresciuto da 1,42 ± 0,63 a 1,69 ± 0,65 (p < 0,05). Al contrario, la specificità descrittiva ha mostrato un lieve incremento, da 2,14 ± 0,57 a 2,24 ± 0,55, che non è risultato statisticamente significativo (p = 0,09).

Le consegne hanno registrato una media compresa tra 223 e 231 parole per voce lungo tutto il protocollo. Dei 736 resoconti riflessivi previsti, 18 sono stati consegnati in ritardo e 17 sono risultati mancanti; le voci con informazioni limitate e le risposte che omettevano il contesto causale o la domanda relativa all'azione futura/all'impatto sociale sono state segnalate nel database. Questi casi sono stati mantenuti come indicatori di fattibilità ed esclusi soltanto dai modelli specifici per la qualità delle riflessioni settimanali quando non è stato possibile assegnare il punteggio pertinente.

Schemi di analisi dell'apprendimento durante il periodo di studio
Le metriche relative all'attività sulla piattaforma hanno mostrato una notevole varianza interindividuale nel corso del periodo di quattro settimane, come illustrato in Figura 4.

Nell'intero periodo, gli studenti hanno registrato in media 9,7 ± 2,4 giorni attivi sulla piattaforma. Il numero medio di visualizzazioni di risorse distinte è stato di 27,3 ± 8,6, con gli studenti che hanno aperto una proporzione media dello 0,81 ± 0,14 delle risorse assegnate. Inoltre, il numero medio di risposte nei forum di discussione è stato di 4,8 ± 2,7. La puntualità media nelle consegne e la percentuale media di completamento dei video sono state rispettivamente di 0,86 ± 0,18 e 0,79 ± 0,17. La proporzione di accessi alla piattaforma durante le ore notturne ha avuto una media dello 0,12 ± 0,09.

È degno di nota che le risposte nei dibattiti e la puntualità nelle consegne degli elaborati hanno mostrato correlazioni positive più marcate con altri indicatori di partecipazione, nonostante la distribuzione ampia dei punteggi relativi alla puntualità.

Associazione incrociata tra osservazioni, riflessioni e dati di apprendimento
Le tre fonti di dati hanno mostrato associazioni significative, sebbene non uniformi. Come mostrato in Figura 5, gli studenti con indici di coinvolgimento in classe osservati più elevati tendevano a ottenere punteggi totali di riflessione più alti. Nel modello aggiustato per sezione, il coinvolgimento in classe osservato prediceva positivamente il punteggio totale della riflessione (β = 0.34, p < 0.001).

Tra le variabili di analisi dell'apprendimento, le risposte nei forum di discussione e la puntualità nella consegna degli elaborati erano correlate in modo significativo e positivo alla qualità della riflessione. Come specificato nella Tabella 5, le risposte nei forum di discussione hanno predetto in modo positivo il punteggio totale della riflessione (β = 0.19, p = 0.013), così come la puntualità nella consegna degli elaborati (β = 0.17, p = 0.028). Sebbene il numero grezzo di visualizzazioni delle risorse e la proporzione di risorse assegnate aperte mostrassero inizialmente associazioni positive, queste correlazioni si sono notevolmente indebolite dopo l'aggiustamento per variabili di confondimento. La proporzione di accessi notturni non ha mostrato alcuna associazione significativa con il punteggio totale della riflessione (p = 0.18).

I dati hanno inoltre rivelato lievi correlazioni incrociate tra il comportamento osservato in classe e specifiche attività sulla piattaforma; ad esempio, le visualizzazioni grezze delle risorse erano correlate solo marginalmente con l'Indice di Coinvolgimento in Classe Osservato. Inoltre, gli studenti che partecipavano più frequentemente alle discussioni di gruppo mostravano una comunicazione verbale più elevata, mentre coloro che presentavano una migliore regolazione comportamentale manifestavano minore procrastinazione nelle consegne dei compiti.

Modifiche nell'intenzione prosociale
L'intenzione prosociale ha mostrato un incremento significativo dal valore iniziale al post-trattamento. Il punteggio medio dell'intenzione prosociale è aumentato da 3,61 ± 0,53 al basale a 3,84 ± 0,50 dopo il protocollo della durata di 4 settimane (p < 0,001). Figura 6 illustra la distribuzione accoppiata e le associazioni aggiustate.

Nel modello finale aggiustato, un indice osservato di impegno in classe più elevato ha predetto un aumento maggiore dell'intenzione prosociale dopo il protocollo rispetto al valore basale (β = 0.21, p < 0,05). Tra le dimensioni riflessive, il significato sociale-prosociale ha esercitato l'effetto indipendente più rilevante sull'intenzione prosociale post-protocollo (β = 0,29, p < 0,001). Sebbene la partecipazione verbale abbia mostrato una correlazione positiva non aggiustata con gli esiti prosociali nel post-test, questa associazione ha perso significatività statistica dopo il controllo dei valori basali (p = 0,09). Infine, la frequenza di accesso serale non si è rivelata correlata all'intenzione prosociale post-protocollo (p = 0,27).

Vincoli di implementazione osservati e risultati nulli
Lo studio implementato ha prodotto diversi risultati subottimali ma informativi, piuttosto che insuccessi che richiedessero l'interruzione del protocollo. Nessuna sessione osservata è stata esclusa a causa di un kappa dell'osservatore inferiore a 0,70, nessun campo di analisi delle attività di apprendimento è rimasto non disponibile dopo l'esportazione finale e nessun problema di visibilità ha superato la soglia di mancata risposta prestabilita. I vincoli osservati erano concentrati nel completamento delle riflessioni e nei risultati comportamentali nulli o marginali: 18 riflessioni sono state inviate in ritardo, 17 riflessioni previste erano mancanti, la presa di appunti e l'uso del dispositivo orientati al compito hanno mostrato solo un aumento marginale (p = 0,08), la richiesta di aiuto non ha mostrato un effetto temporale significativo (p = 0,21) e l'accesso notturno non è risultato associato al punteggio totale delle riflessioni né all'intenzione prosociale post-protocollo.

Questi risultati sono stati mantenuti perché descrivono la fattibilità di implementazione e le condizioni al contorno del protocollo. Riflessioni tardive o mancanti sono state riportate nei riepiloghi sul flusso dei partecipanti e sulla completezza dei dati; associazioni marginali o nulle sono state riportate senza omissioni selettive; e le procedure di risoluzione dei problemi nella sezione Protocollo specificano come gestire in futuri impieghi eventuali fallimenti ipotetici, come deriva dell'osservatore, visibilità ostruita o campi LMS mancanti.

I file di analisi anonimizzati, il dizionario dei dati, gli script di analisi, i moduli di codifica vuoti, i promemoria per la riflessione, la rubrica di valutazione della riflessione e il questionario sull'intenzione prosociale sono stati depositati in Zenodo: https://zenodo.org/records/20607517. I video originali delle lezioni, i nomi, gli ID istituzionali e i testi di riflessione non oscurati non sono stati resi pubblicamente disponibili.

Figura 1: Flusso di lavoro dello studio e protocollo di integrazione dati da fonti multiple. (A) Reclutamento dei partecipanti, raccolta del consenso e assegnazione dell'ID di studio in due corsi universitari di laurea triennale e sei sezioni di classe. (B) Ciclo di raccolta dati della durata di 4 settimane: osservazione settimanale in aula, compito di scrittura riflessiva e finestra sincronizzata di acquisizione dei dati analitici sull'apprendimento. (C) Tre flussi paralleli di dati: osservazione del comportamento in aula, valutazione delle espressioni riflessive e registrazioni anonimizzate della piattaforma di apprendimento. (D) Costruzione del dataset principale a livello di partecipante e del database longitudinale a livello settimanale, che producono gli output principali della ricerca: indice di coinvolgimento osservato in aula, punteggio di riflessione e intenzione prosociale. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 2: Variazioni settimanali nei comportamenti osservati in classe durante il protocollo della durata di 4 settimane. (A) Attenzione rivolta al compito. (B) Partecipazione verbale. (C) Collaborazione tra pari. (D) Presa di appunti orientata al compito o utilizzo di dispositivi finalizzati al compito. (E) Distrazione non correlata al compito. (F) Ricerca di aiuto. I valori sono punteggi proporzionali a livello studentesco calcolati settimanalmente, derivati da osservazioni in classe basate su intervalli temporali. I punti indicano le medie settimanali, mentre le barre di errore indicano le deviazioni standard. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 3: Variazioni settimanali nell'espressione riflessiva nei quattro elaborati riflessivi. (A) Specificità descrittiva. (B) Profondità analitica. (C) Orientamento autoriflessivo. (D) Significato sociale-prosociale. (E) Punteggio totale di riflessione. I punteggi di riflessione sono stati assegnati da due valutatori in cieco utilizzando la griglia predeterminata. I punti indicano le medie settimanali e i baffi indicano le deviazioni standard. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 4: Distribuzione degli indicatori di analisi dell'apprendimento durante la finestra di studio di 4 settimane. (A) Giorni attivi sulla piattaforma di apprendimento. (B) Visualizzazioni delle risorse. (C) Proporzione di risorse assegnate aperte. (D) Risposte pubblicate nei forum di discussione. (E) Tasso medio di completamento dei video. (F) Puntualità nella consegna degli elaborati. (G) Proporzione di accessi notturni. Tutti i valori sono stati calcolati sulla stessa finestra di 4 settimane utilizzata per l'osservazione in aula e la scrittura riflessiva. I grafici a violino mostrano le distribuzioni a livello di studente, mentre i grafici a scatola indicano le mediane e i range interquartili. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 5: Associazioni tra impegno osservato in aula, espressione riflessiva e indicatori selezionati di learning analytics. (A) Associazione tra l'Indice di Impegno Osservato in Aula e il punteggio totale della riflessione. (B) Associazione tra le risposte pubblicate nei dibattiti e il punteggio totale della riflessione. (C) Associazione tra la puntualità nella consegna degli elaborati e il punteggio totale della riflessione. (D) Associazione tra la partecipazione verbale e il punteggio totale della riflessione. Le linee di tendenza rappresentano associazioni lineari stimate; le fasce ombreggiate indicano intervalli di confidenza al 95%. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 6: Variazione dell'intenzione prosociale e le sue associazioni con l'impegno in aula e il significato riflessivo. (A) Distribuzione accoppiata dei punteggi di intenzione prosociale a livello basale e successivo al protocollo. Le linee collegano i punteggi pre/post appaiati dello stesso studente. (B) Associazione tra l'Indice di Impegno Osservato in Aula e l'intenzione prosociale successiva al protocollo, aggiustando per il punteggio basale. (C) Associazione tra significato sociale-prosociale e intenzione prosociale successiva al protocollo. (D) Associazione tra partecipazione verbale e intenzione prosociale successiva al protocollo. Le fasce ombreggiate nei pannelli B-D indicano intervalli di confidenza al 95%. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Tabella 1: Indicatori e regole di codifica per l'osservazione in classe a livello studentesco. La tabella illustra le definizioni operative e i criteri di codifica relativi all'attenzione al compito, alla partecipazione verbale, alla collaborazione tra pari, alla presa di appunti o all'uso di dispositivi finalizzati al compito, alle distrazioni fuori compito e alla richiesta di aiuto. La finestra di codifica di 70 min, il ciclo di scansione di 20 s e registrazione di 10 s, la procedura di scansione per cluster, la regola per la mancata visibilità e la formula OCEI sono descritte nella sezione Protocollo. Cliccare qui per scaricare questa tabella.

Tabella 2: Quadro di valutazione delle espressioni riflessive, esempi per livello di punteggio e definizioni operative delle variabili dell'analisi didattica. La tabella illustra la griglia di valutazione per i testi riflessivi, inclusi esempi di punteggi 0, 1, 2 e 3 per ciascuna dimensione riflessiva e le definizioni operative delle variabili estratte dall'analisi didattica. I componenti riflessivi comprendono specificità descrittiva, profondità analitica, orientamento autoriflessivo, significato sociale-prosociale, punteggio complessivo della riflessione, conteggio delle parole e stato di consegna. L'analisi didattica comprende giorni attivi, visualizzazioni di risorse, proporzione di risorse assegnate aperte, risposte pubblicate nei forum di discussione, tasso medio di completamento dei video, puntualità nella consegna dei compiti e proporzione di accessi notturni. Cliccare qui per scaricare questa tabella.

Tabella 3: Caratteristiche dei partecipanti, flusso di inclusione e completezza dei dati. La tabella riassume l'idoneità dei partecipanti, i tassi di consenso, i criteri di esclusione, la dimensione finale del campione e la completezza dei dati provenienti dalle tre fonti di dati. Vengono riportate le caratteristiche demografiche basali insieme al numero previsto di contributi riflessivi, consegne entro il termine, consegne in ritardo, contributi mancanti ed estrazioni riuscite di dati di learning analytics. I valori sono espressi come n (%) salvo diversa indicazione. Gli arrotondamenti possono determinare che le percentuali non si sommino esattamente al 100%. In conformità con il protocollo, i contributi in ritardo vengono archiviati ma esclusi dalle analisi specifiche per settimana. L'estrazione completa dei dati di learning analytics indica il recupero riuscito di record anonimizzati relativi alla finestra di studio, dopo la rimozione dei profili degli istruttori, delle voci duplicate e degli eventi al di fuori della finestra temporale. Cliccare qui per scaricare questa tabella.

Tabella 4: Statistiche descrittive e indici di affidabilità delle variabili principali dello studio. La tabella presenta valori medi specifici per ciascuna settimana, deviazioni standard e indici di affidabilità relativi al comportamento osservato in classe, all'espressione riflessiva, alle analisi didattiche e all'intenzione prosociale. L'affidabilità dei dati raccolti tramite osservazione in classe è valutata mediante il kappa di Cohen. L'affidabilità della valutazione delle riflessioni è espressa come coefficienti di correlazione intraclasse (ICC) per i testi valutati due volte. La coerenza interna della misura dell'intenzione prosociale è riportata utilizzando l'alfa di Cronbach. Le variabili relative alle analisi didattiche sono calcolate sullo stesso periodo di 4 settimane utilizzato per osservazioni e riflessioni. Fare clic qui per scaricare questa tabella.

Tabella 5: Associazioni multivariate tra impegno osservato in classe, espressione riflessiva, analisi didattica e intenzione prosociale. La tabella illustra i modelli inferenziali utilizzati nelle analisi principali. Riporta i predittori multivariati del punteggio totale della riflessione, i predittori aggiustati dell'intenzione prosociale post-protocollo (aggiustati per i livelli basali) e alcune associazioni non aggiustate selezionate. I valori β rappresentano coefficienti di regressione non standardizzati. Per tutte le stime vengono forniti errori standard (SE), intervalli di confidenza al 95% (CI) e valori p. Cliccare qui per scaricare questa tabella.

Discussione

Questo studio propone un protocollo pratico che integra osservazione comportamentale, scrittura riflessiva e analisi dell'apprendimento per indagare in modo esaustivo la partecipazione, l'espressione di sé e la consapevolezza prosociale degli studenti universitari all'interno di un singolo arco temporale didattico. Catturando diverse dimensioni dell'impegno, questo approccio tripartito risponde alle critiche recenti nella ricerca sull'istruzione superiore, secondo cui le metriche basate sul tempo di utilizzo e il monitoraggio basato su sensori sono insufficienti se valutati in isolamento¹. Durante il protocollo della durata di 4 settimane, l'impegno visibile in aula è migliorato in modo significativo. In particolare, la partecipazione verbale e la collaborazione tra pari sono aumentate insieme all'attenzione compiti, mentre la richiesta di aiuto e la presa di appunti focalizzata sul compito hanno mostrato modifiche minime. Questi cambiamenti comportamentali indicano che, man mano che gli studenti si abituano all'ambiente didattico, il loro impegno evolve verso una partecipazione più strategica, socialmente interattiva e orientata al contributo¹⁶.

Da un punto di vista incentrato sul metodo, il valore del protocollo dipende da un'implementazione rigorosa piuttosto che dall'osservazione di risultati uniformemente positivi. Il flusso di lavoro rivisto sottolinea quindi una formula OCEI predeterminata, osservazioni indipendenti, elaborazione software documentata, esempi di griglie valutative, soglie di affidabilità e regole esplicite per i dati mancanti. Queste aggiunte hanno lo scopo di rendere il protocollo riproducibile in contesti didattici ordinari in cui i registri della piattaforma, la frequenza degli studenti, la visibilità della videocamera e la qualità delle riflessioni sono imperfetti.

Il protocollo deve essere interpretato anche in base al formato. In corsi di grandi dimensioni, gli osservatori potrebbero aver bisogno di gruppi più piccoli e rotanti e di un periodo di calibrazione più lungo; nelle classi online, l'osservazione del comportamento potrebbe basarsi sui registri delle interazioni e sulla partecipazione visibile piuttosto che sulla scansione dell'ambiente; nei laboratori, il comportamento relativo alla sicurezza potrebbe richiedere un indicatore aggiuntivo; e in aule culturalmente diversificate, i solleciti di riflessione e gli elementi relativi all'intenzione prosociale devono essere verificati per chiarezza linguistica e appropriatezza culturale prima dell'utilizzo.

La scrittura riflessiva fornisce un livello aggiuntivo di comprensione di questi schemi comportamentali. I punteggi totali di riflessione hanno mostrato un andamento costantemente crescente durante il protocollo, con i miglioramenti più evidenti nella profondità analitica e nel significato sociale-prosociale. Piuttosto che limitarsi a riferire gli eventi in aula, gli studenti hanno dimostrato una crescente capacità di analizzare le situazioni didattiche da una prospettiva più ampia e socialmente consapevole. Questo risultato è in linea con scoperte recenti secondo cui compiti ripetuti e strutturati di riflessione favoriscono la costruzione di significati di ordine superiore e un discorso basato sulla conoscenza, anche quando il volume testuale a livello superficiale rimane relativamente costante⁹. Di conseguenza, la scrittura riflessiva nell'istruzione superiore va considerata un costrutto multidimensionale, all'interno del quale competenze relative all'interpretazione, al trasferimento e alla proiezione autoriflessiva si sviluppano a ritmi diversi nel tempo⁵.

L'integrazione degli strumenti di learning analytics giustifica ulteriormente la necessità di un protocollo basato su più fonti. Azioni sostanziali, come le risposte alle discussioni e la puntualità nella consegna degli elaborati, si sono rivelate indicatori molto più informativi dell'impegno rispetto al semplice volume di attività. Al contrario, l'accesso alla piattaforma durante le ore notturne non ha mostrato alcuna associazione significativa né con la qualità della riflessione né con l'intenzione prosociale. Questi risultati confermano ricerche precedenti che mettono in guardia contro un'eccessiva dipendenza da metriche semplici, come la frequenza o gli accessi, per valutare il coinvolgimento degli studenti⁴. I nostri risultati indicano che gli studenti che interagiscono in modo costruttivo con i materiali del corso sviluppano una maggiore capacità di riflessione; tuttavia, l'attività di base sulla piattaforma non rispecchia perfettamente l'impegno osservabile in aula. L'overlap moderato—piuttosto che una ridondanza eccessiva—tra osservazione, riflessione e analisi convalida quindi l'uso di strategie di misurazione composite rispetto a inferenze indipendenti basate su una singola fonte¹⁷.

Un contributo secondario di questa ricerca è l'ampliamento degli esiti valutati oltre le metriche standard di partecipazione. L'intenzione prosociale ha mostrato un aumento misurabile dal pre-test al post-test, evidenziando le associazioni più forti tra gli studenti che hanno espresso temi sociali e prosociali nelle loro riflessioni e che hanno mantenuto un profilo di interazione esteso. Questo risultato è coerente con le attuali ricerche nell'istruzione superiore, che ritengono le caratteristiche cooperative e orientate al contributo parte integrante delle interazioni in aula, piuttosto che semplici effetti collaterali⁸. Inoltre, questi risultati sostengono la concezione delle aule come sistemi sociali complessi. Quando gli studenti valutano attivamente il proprio contributo relativo alla comunità di apprendimento, il loro comportamento tende a spostarsi da una semplice conformità verso un coinvolgimento costruttivo e prosociale¹⁸.

Queste conclusioni offrono spunti praticabili per la progettazione didattica. Il protocollo proposto non richiede sensori specializzati né sistemi di monitoraggio invasivi. Basandosi esclusivamente su osservazioni intervallate, riflessioni strutturate settimanali e dati standard della piattaforma del corso, questa combinazione fornisce una soluzione altamente fattibile per ambienti di insegnamento universitario che richiedono prove formative trasparenti di coinvolgimento, ma che non dispongono di infrastrutture tecnologiche avanzate. Recentemente, i modelli pedagogici incentrati sulle comunità di apprendimento e sull'insegnamento basato sulla creazione di valore suggeriscono che riposizionare gli studenti come co-progettisti attivi, piuttosto che consumatori passivi, infonde una maggiore significatività alla partecipazione nell'istruzione superiore¹⁹. La nostra evidenza empirica, secondo cui gli indicatori legati al contributo si raggruppano strettamente con la qualità della riflessione e con l'intenzione prosociale—molto più di quanto accada con il semplice traffico sulla piattaforma—supporta fortemente questo cambiamento pedagogico.

È necessario riconoscere diversi limiti. Primo, poiché il protocollo è progettato per un numero limitato di sezioni didattiche, la sua trasferibilità ad ambienti basati su laboratorio, dominati da lezioni, completamente asincroni online o culturalmente diversi richiede un'adeguata adattamento pianificato e nuove verifiche di affidabilità. Secondo, l'intenzione prosociale viene misurata tramite autovalutazione e deve essere interpretata come un'intenzione dichiarata piuttosto che come una verità oggettiva diretta del comportamento. Terzo, l'analisi dell'apprendimento registra solo le attività mediate dalla piattaforma e potrebbe non cogliere la preparazione offline, il supporto informale tra pari e lo studio assistito da intelligenza artificiale non dichiarato. Quarto, la finestra di osservazione di 4 settimane permette di identificare modelli di implementazione a breve termine, ma potrebbe non catturare traiettorie di sviluppo più lunghe. Infine, i valori rappresentativi su 4 settimane devono essere interpretati come evidenze contestuali di implementazione piuttosto che come stime causali generalizzabili²⁰.

Le ricerche future dovrebbero estendere questo quadro concettuale in diverse direzioni. Riprodurre il protocollo in diversi ambiti disciplinari accademici e in diverse modalità didattiche rappresenta un passo fondamentale successivo. Inoltre, sono necessari follow-up longitudinali per determinare se queste pratiche riflessive a breve termine generino atteggiamenti prosociali duraturi o benefici comportamentali sostenuti. Studi futuri potrebbero inoltre confrontare questo quadro osservativo con metodologie alternative, come la valutazione tra pari, l'analisi degli artefatti a livello di gruppo o l'analisi delle sequenze di eventi. Tuttavia, nella sua forma attuale, questo protocollo fornisce un meccanismo operativo solido per effettuare una triangolazione tra ciò che gli studenti fanno in classe, come interpretano tali azioni successivamente e come si posizionano socialmente all'interno dell'ambiente di apprendimento più ampio.

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Scheda di codifica per l'osservazione in aula	Interno	Sei indicatori comportamentali binari	Codifica basata su intervalli di attenzione al compito, partecipazione verbale, collaborazione tra pari, uso di dispositivi/appunti orientati al compito, distrazione fuori compito e richiesta di aiuto.
GraphPad Prism	Graphpad	Versione 10.2.3	Generazione di diagrammi di flusso, grafici delle tendenze settimanali, grafici di distribuzione e figure di associazione.
Sistema istituzionale di gestione dell'apprendimento/piattaforma del corso	Università ospitante	Sistema esistente di account LMS istituzionale	Raccolta di analisi dell'apprendimento anonimizzate.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	Generazione di diagrammi di flusso, grafici delle tendenze settimanali, grafici di distribuzione e figure di associazione.
R	Fondazione R		ggplot2 3.5.1
Software per fogli di calcolo	Società Microsoft	Microsoft Excel 365 v2402	Inserimento dati, pulizia, verifiche di anonimizzazione e unione dei dataset di osservazione, riflessione e analisi.
SPSS Statistics	IBM Corp	Versione 26.0	Software per analisi statistiche; statistiche descrittive, confronti a misure ripetute, kappa di Cohen, ICC, alfa di Cronbach, correlazioni e modelli di regressione.