Valutazione dell'impegno in aula, dell'espressione riflessiva e dell'intenzione prosociale degli studenti universitari mediante osservazione comportamentale e learning analytics

Sommario

Questo protocollo integra l'osservazione in aula, la scrittura riflessiva, la misurazione dell'intenzione prosociale e l'analisi didattica per valutare l'impegno comportamentale, l'espressione riflessiva e i risultati dell'apprendimento orientato al sociale negli studenti universitari durante un arco temporale di 4 settimane. Il protocollo specifica l'approvazione etica, il contenuto degli strumenti, il flusso di lavoro del software, la gestione dei dati mancanti, le procedure di risoluzione dei problemi e l'interpretazione di risultati rappresentativi, inclusi i vincoli osservati nell'implementazione.

Abstract

Per rispondere alla necessità di valutazioni multidimensionali del coinvolgimento degli studenti al di là delle metriche tradizionali, questo protocollo descrive un approccio strutturato per valutare l'impegno in aula, l'espressione riflessiva, l'attività di analisi dell'apprendimento e l'intenzione prosociale nei corsi universitari di primo livello. Il protocollo combina osservazione comportamentale basata su intervalli, scrittura riflessiva strutturata settimanale, registrazioni anonime del sistema di gestione dell'apprendimento e un questionario sull'intenzione prosociale somministrato prima e dopo. Le procedure riviste forniscono un modello riproducibile di codifica comportamentale, una rubrica per l'espressione riflessiva con esempi di punteggi, passaggi per la gestione del software e dei dati e indicazioni esplicite per la risoluzione dei problemi relativi a disaccordi tra osservatori, registrazioni della piattaforma mancanti, tassi bassi di consegna delle riflessioni, scarsa visibilità della telecamera, abbandono dei partecipanti e conoscenze preliminari non uniformi. Questo protocollo dovrebbe essere utilizzato quando i ricercatori necessitano di un metodo poco invasivo e riproducibile per combinare il comportamento in aula, l'interpretazione autopercepita degli studenti e l'attività di routine del sistema di gestione dell'apprendimento (LMS) durante l'insegnamento universitario. È meno adatto a corsi completamente asincroni privi di interazione osservabile, contesti che vietano l'osservazione indipendente o il collegamento dei dati, o studi che richiedono inferenze di tipo biometrico o sul riconoscimento delle emozioni. I risultati rappresentativi sono riportati a partire dall'applicazione empirica effettuata, dopo l'approvazione etica verificata, l'anonimizzazione dei dati del corso e la preparazione del repository.

Introduzione

La valutazione della partecipazione degli studenti nell'istruzione superiore richiede un approccio completo e basato su più fonti. Sebbene l'impegno degli studenti sia generalmente concepito come una costrutto multidimensionale che comprende comportamenti osservabili, sforzo cognitivo e interazione con l'ambiente, gli attuali approcci analitici si basano prevalentemente su dati di log superficiali, come la frequenza di accesso e le azioni registrate dal sistema¹. Questa eccessiva dipendenza rappresenta una sfida significativa per la ricerca applicata in contesti di aula. Le forme più importanti di partecipazione didattica—le interazioni dirette tra pari, la riflessione cognitiva e i contributi sociali—si verificano spesso interamente al di fuori dell'ambito limitato di visibilità della piattaforma².

La complessità dell'aula universitaria moderna si è intensificata con l'adozione di modelli pedagogici ibridi, che combinano piattaforme digitali con l'insegnamento tradizionale in presenza. Sebbene le revisioni sistematiche sull'analisi dell'apprendimento confermino che le tracce digitali offrono informazioni preziose riguardo all'allocazione del tempo, ai modelli di accesso e ai tassi di ritenzione a lungo termine, da sole queste metriche non possono determinare se l'attenzione dell'apprendente sia effettivamente efficiente o significativa³. Di conseguenza, le ricerche recenti sostengono la necessità di fondare l'analisi dell'apprendimento su quadri teorici più solidi, allineando le tracce digitali a misurazioni più ricche e dipendenti dal contesto della partecipazione, come il comportamento in aula e le attività riflessive⁴.

La scrittura riflessiva fornisce una dimensione qualitativa fondamentale a questa valutazione. Riflessioni strutturate successive alla lezione e diari registrano le interpretazioni degli studenti riguardo alle attività di apprendimento, chiariscono le difficoltà didattiche e collegano i contenuti teorici con le successive azioni pratiche. Evidenze empiriche recenti concettualizzano l'espressione riflessiva come una costruzione integrata e multicomponente, costituita da richiamo descrittivo, inferenza analitica, rappresentazione autoriferita e generalizzazione del significato⁵. Inoltre, studi indicano che fornire agli studenti un'assistenza riflessiva ripetuta rafforza gradualmente la loro capacità di introspezione; all'aumentare della frequenza delle riflessioni strutturate durante il corso, migliorano contemporaneamente le competenze esplorative autonome degli studenti⁶.

Un secondo limite significativo della ricerca attuale sull'engagement è la frequente marginalizzazione della socializzazione in aula. Mentre gli studi esistenti enfatizzano fortemente il comportamento o la cognizione individuale, le aule universitarie funzionano come ambienti di apprendimento intrinsecamente sociali, in cui gli studenti si influenzano reciprocamente attraverso la collaborazione e interazioni reciproche. Evidenze emergenti dimostrano che il clima in aula e le strutture di partecipazione sono fortemente correlate a comportamenti prosociali e a una mentalità orientata al contributo—esiti che rimangono sottoinvestigati rispetto a metriche tradizionali della performance accademica o della soddisfazione degli studenti. Il comportamento prosociale negli ambienti accademici non è semplicemente un sottoprodotto di stati emotivi o di stress; piuttosto, è strettamente legato al modo in cui gli studenti si posizionano all'interno delle attività di apprendimento collettivo⁷. Pertanto, misurare l'intenzione prosociale rappresenta una lente adeguata per determinare se l'engagement in aula vada oltre il semplice completamento di compiti isolati, favorendo comportamenti cooperativi e incoraggianti anche al di fuori dell'ambiente didattico immediato⁸.

Questi sviluppi concettuali sottolineano la necessità di un quadro integrato per la raccolta di evidenze, implementato all'interno di un singolo arco temporale didattico. Un disegno basato su più fonti attenua i limiti derivanti dall'uso di una singola metrica, permettendo la validazione incrociata tra diversi modi di partecipazione e rivelando come gli studenti interpretino le proprie attività post-lezione al fine di promuovere l'apprendimento autonomo⁹. Mentre le valutazioni riflessive catturano lo stato cognitivo interno dell'apprendente, l'ancoraggio di queste autovalutazioni a tracce comportamentali oggettive migliora significativamente l'interpretabilità dei dati sull'apprendimento. Attualmente, mancano protocolli pratici, pronti per l'uso in aula, che integrino in modo fluido l'osservazione sistematica del comportamento, la rendicontazione riflessiva strutturata e gli strumenti di analisi dell'apprendimento per un'implementazione routinaria nelle università.

Per affrontare queste carenze metodologiche, questo articolo presenta un protocollo di valutazione progettato per misurare contemporaneamente l'impegno in classe, l'espressione riflessiva e l'intenzione prosociale degli studenti universitari. Sviluppato specificamente per contesti universitari di primo livello, il protocollo offre una metodologia semplificata che richiede un carico amministrativo minimo senza compromettere la riproducibilità scientifica. Colmando il divario analitico tra comportamenti osservabili, esperienze soggettive espresse e risultati di apprendimento orientati al sociale, questo quadro concettuale risponde alla crescente richiesta di maggiore chiarezza concettuale nella ricerca sulle interazioni uomo-tecnologia negli ambienti educativi¹⁰.

Protocollo

Tutti i metodi che coinvolgevano partecipanti umani sono stati eseguiti nel rispetto della Dichiarazione di Helsinki e delle pertinenti linee guida istituzionali. Per lo studio condotto, il protocollo è stato approvato dal Comitato Etico dell'Istituto di Tecnologia di Nanchang prima dell'inizio del reclutamento (numero di approvazione: NITE778291). Da ogni studente partecipante è stato ottenuto un consenso informato scritto. Per l'analisi sono stati utilizzati esclusivamente dati aggregati anonimizzati provenienti dall'osservazione in aula, dai punteggi di riflessione, dall'analisi dell'apprendimento e dai questionari; sono stati esclusi dalla pubblicazione video delle lezioni identificabili, nomi, codici identificativi istituzionali e testi di riflessione non redatti.

1. Progettazione dello studio e selezione dei partecipanti

1. Applicare il protocollo per quattro periodi didattici consecutivi per ciascuna sezione di classe selezionata. Registrare etichette del corso anonimizzate, formato didattico, dimensione della classe, esperienza dell'insegnante con il corso e se ogni classe include lezioni frontali, lavoro di gruppo o esercitazione individuale. Prevedere un numero iniziale di iscritti compreso tra circa 180 e 210 studenti universitari di età pari o superiore a 18 anni, oppure adattare l'obiettivo della numerosità campionaria al contesto del corso.
2. Assicurarsi che tutti i partecipanti dispongano di un account istituzionale attivo per la piattaforma del corso, che parteciperanno alle lezioni osservate e che abbiano ricevuto le indicazioni preliminari normalmente fornite alla classe. Quando le conoscenze preliminari variano notevolmente, fornire un breve materiale di raccordo, un elenco di risorse pre-lezione o una revisione guidata dall'insegnante prima dell'intervallo di osservazione e registrare il supporto fornito come metadati contestuali.
3. Ottenere il consenso informato scritto da tutti gli studenti dopo aver fornito un foglio informativo scritto completo. Dichiarare chiaramente nel modulo di consenso che lo studio collega l'osservazione del comportamento in aula, la scrittura riflessiva settimanale e i registri anonimizzati della piattaforma di apprendimento.
4. Inserire nel dataset di ricerca solo gli studenti che hanno prestato consenso. Garantire che il rifiuto di partecipare non influisca sulla frequenza, sui voti, sull'accesso al corso o sulla comunicazione con l'insegnante.
   1. Spiegare prima del primo compito di riflessione quali sono gli utilizzi consentiti e vietati degli strumenti di intelligenza artificiale (AI).
      NOTA: gli strumenti di intelligenza artificiale possono essere utilizzati solo quando consentiti dalla politica del corso e unicamente a supporto generale dello studio; le consegne riflessive e le risposte relative all'intenzione prosociale devono descrivere l'esperienza personale dello studente e devono dichiarare qualsiasi eventuale aiuto fornito dall'AI.
   2. Se l'insegnante consente l'uso di strumenti di intelligenza artificiale per colmare le lacune nelle conoscenze preliminari, fornire a tutti gli studenti gli stessi prompt o risorse approvati e registrare tale supporto come adattamento del protocollo. Non utilizzare riassunti generati dall'AI come prova principale della riflessione dello studente, a meno che lo studio di validazione non valuti esplicitamente le risposte assistite dall'AI.
5. Escludere dagli studenti prima dell'analisi coloro che rifiutano il consenso, si ritirano dal corso durante il periodo del protocollo o non dispongono di dati corrispondenti tra osservazione, riflessione e registri analitici. Adottare un disegno sperimentale a misure ripetute per raccogliere dati coerenti da tre fonti distinte nel corso di un periodo di 4 settimane².

2. Acquisizione dei dati di base e gestione dell'identità

1. Designare un singolo amministratore dei dati incaricato di assegnare a ciascun partecipante che ha prestato consenso un codice alfanumerico di otto caratteri mediante un processo pseudo-casuale.
2. Creare un file di collegamento tra identità e codice dello studio contenente i nomi degli studenti, i codici istituzionali, le sezioni di classe e i numeri di studio. Conservare questo file in modo sicuro e separato rispetto ai file analitici, garantendo che rimanga completamente inaccessibile a osservatori, codificatori delle riflessioni e ricercatori.
3. Distruggere o archiviare questo file di collegamento dopo la verifica finale dei dati, in conformità con la politica istituzionale approvata sulla conservazione dei dati, mantenendo al contempo la conformità con le attuali pratiche del settore dell'istruzione superiore relative all'analisi dell'apprendimento riguardo al collegamento limitato e alla de-identificazione¹.
4. Raccogliere dati demografici di base sull'età, il genere, l'anno accademico e la specializzazione dei partecipanti durante la settimana iniziale precedente alla prima lezione osservata.
5. Utilizzare il questionario strutturato composto da sei domande sull'intenzione prosociale riportato nel File Supplementare 1 come strumento di riferimento prima della prima lezione osservata. Somministrarlo in forma elettronica tramite il sistema di gestione dell'apprendimento (LMS) o su carta, utilizzando esclusivamente il codice di studio assegnato. Gli studenti esprimono il proprio grado di accordo su una scala a 5 punti, da 1 = fortemente in disaccordo a 5 = fortemente d'accordo; calcolare il punteggio iniziale come media degli elementi completati, qualora siano stati risposti almeno cinque dei sei elementi.
6. Esportare tutti i testi riflessivi raccolti successivamente senza nomi, indirizzi e-mail o altri identificatori personali, per garantire l'anonimato completo prima dell'inizio del processo di codifica qualitativa.

3. Preparazione all'osservazione in aula

1. Pianificare osservazioni per ogni sezione della classe una volta a settimana per 4 settimane consecutive. Per una lezione standard della durata di 90 minuti, definire una finestra osservata di 70 minuti escludendo i primi 10 minuti e gli ultimi 10 minuti dalla codifica⁵.
2. Iniziare la codifica al minuto 10^o e terminare al minuto 80^o di una lezione standard della durata di 90 minuti. Questi periodi di buffer non fanno parte della finestra di osservazione di 70 minuti; pertanto, una lezione standard fornisce 70 minuti di osservazione codificata anziché una sessione di 30 minuti.
3. Escludere dal giudizio finale qualsiasi blocco didattico interrotto qualora la lezione subisca un'interruzione di durata superiore ai 5 minuti a causa di allarmi, cambi di aula o malfunzionamenti della piattaforma.
4. Considerare l'impegno in classe come una composizione osservabile di più comportamenti, registrando simultaneamente diversi indicatori comportamentali in ciascun punto di misurazione¹¹. Gli indicatori comprendono l'attenzione al compito, la partecipazione verbale, la collaborazione tra pari, la presa di appunti o l'uso di dispositivi orientati al compito, le distrazioni fuori compito e il ricorso a richieste di aiuto.
5. Organizzare la disposizione dei posti in aula per gruppi prima della prima osservazione e mantenere rigorosamente questa configurazione per l'intero periodo di 4 settimane.
6. Posizionare due osservatori esperti in punti fissi con visibilità completa dell'aula, in modo da codificare in modo indipendente. Se consentito dall'istituto e previo consenso dei partecipanti, installare due telecamere fisse nelle zone posteriore-centrale e laterale-posteriore e sincronizzarle prima della sessione.
7. Utilizzare le registrazioni video esclusivamente per la formazione degli osservatori, la verifica dell'affidabilità e la risoluzione di problemi legati alla visibilità; non usare le registrazioni video come fonte principale per la codifica e non effettuare analisi di emozioni facciali, emozioni vocali, dati biometrici o riconoscimento dell'identità.

Codifica comportamentale basata su intervalli

1. Dividere la finestra di osservazione di 70 minuti in intervalli consecutivi costituiti da una scansione visiva di 20 s seguita da un periodo di registrazione di 10 s. Se una lezione frontale, un laboratorio o una classe online richiedono una lunghezza d'intervallo diversa, riportare la struttura d'intervallo adattata e giustificarla prima dell'inizio della raccolta dati.
   NOTA: Questa struttura 20 s/10 s bilancia l'osservazione ecologica in aula con il carico di lavoro del codificatore: il periodo di scansione è sufficientemente lungo da rilevare attenzione sostenuta, collaborazione e comportamenti fuori compito, mentre il periodo di registrazione riduce il carico mnemonico e favorisce decisioni binarie coerenti.
2. Scansionare un gruppo chiaramente definito di massimo dieci studenti per intervallo in un ciclo continuo basato sulla disposizione dei posti a sedere.
3. Utilizzare criteri specifici di scansione per prevenire incongruenze tra codificatori causate da definizioni operative poco precise⁴. Codificare sei indicatori binari a livello studentesco durante ogni scansione. Questi includono attenzione al compito, partecipazione verbale, collaborazione tra pari, appunti o uso di dispositivi orientati al compito, distrazione fuori compito e comportamento di richiesta di aiuto.
4. Contrassegnare un indicatore come "1" se il comportamento designato si verifica in qualsiasi momento durante la scansione di 20 s. In caso contrario, contrassegnarlo come "0". Codificare l'intervallo come mancante se uno studente non è visibile per almeno 10 s della scansione.
5. Registrare l'attenzione al compito quando uno studente orienta lo sguardo verso l'insegnante, i compiti assegnati, le informazioni presentate o i compagni impegnati in discussioni relative al compito per almeno 5 secondi consecutivi. Codificare la partecipazione verbale per qualsiasi contributo udibile e pertinente al compito.
6. Codificare la collaborazione tra pari quando gli studenti partecipano a scambi visibili basati sul compito, a risoluzione congiunta di problemi o a spiegazioni reciproche. Registrare appunti o uso di dispositivi orientati al compito per scrittura attiva, digitazione o interazione digitale con il materiale didattico.
7. Contrassegnare la distrazione fuori compito se uno studente partecipa a conversazioni non correlate, uso non accademico di dispositivi o disimpegno prolungato per almeno 5 secondi consecutivi. Registrare la richiesta di aiuto quando uno studente chiede esplicitamente chiarimenti o assistenza all'insegnante o ai compagni.
8. Calcolare il punteggio comportamentale settimanile per ogni studente come il numero totale di giudizi positivi diviso per tutte le valutazioni valide. Calcolare successivamente le medie su 4 settimane per tutti e sei gli indicatori.
9. Calcolare un indice combinato di coinvolgimento osservato in aula (OCEI) per lo studente i nella settimana w utilizzando il modello matematico predeterminato: OCEI_iw = [Attenzione al compito_iw + Partecipazione verbale_iw + Collaborazione tra pari_iw + Appunti o uso di dispositivi orientati al compito_iw + (1 - Distrazione fuori compito_iw)]/5.
10. Mantenere la richiesta di aiuto come variabile analitica indipendente poiché può rappresentare sia una richiesta costruttiva di chiarimento sia una difficoltà con il contenuto didattico, a seconda del contesto¹². Fare riferimento a Figura 1 per il flusso dello studio e a Tabella 1 per gli indici di osservazione e le regole di codifica.

5. Formazione dell'osservatore e valutazione dell'affidabilità

1. Eseguire una formazione per gli osservatori mediante una sessione di addestramento manuale della durata di 60 minuti ed effettuare tre turni di calibrazione prima dell'inizio del programma formale.
2. Effettuare il primo turno di calibrazione utilizzando la codifica guidata di un video di aula non relativo allo studio. Completare i due turni successivi come codifiche indipendenti di video diversi non relativi allo studio, seguite da confronti statistici diretti con il codificatore senior.
3. Iniziare la raccolta formale dei dati solo quando il valore di Kappa di Cohen raggiunge o supera 0,75 e l'accordo totale tra valutatori supera l'85%.
4. Applicare una verifica della deriva a doppio cieco sul 10% delle sessioni complete e su un segmento randomizzato di 10 minuti delle sessioni rimanenti durante l'intero protocollo della durata di 4 settimane.
5. Ricalibrare il team di codifica entro 72 ore e rieseguire la verifica delle sessioni interessate prima del blocco dei dati qualora il valore di Kappa scenda al di sotto di 0,70 per qualsiasi indicatore. Fornire continuamente feedback ed organizzare esercitazioni di calibrazione per mantenere stabile nel tempo l'affidabilità della valutazione¹³.

6. Raccolta e valutazione dell'espressione riflessiva

1. Chiedere agli studenti di consegnare un testo riflessivo strutturato (da 100 a 350 parole) per ogni lezione osservata, producendo 4 contributi per partecipante nell'arco del protocollo di 4 settimane.
2. Rendere disponibili i quesiti per la riflessione tramite LMS o modulo cartaceo entro 2 ore dalla lezione osservata, chiudendo la finestra di consegna 72 ore dopo. Il modulo deve mostrare il campo dell'ID dello studio e i seguenti tre quesiti nello stesso ordine per tutti gli studenti:
   1. Indicare i momenti in cui si sono sentiti maggiormente e minormente coinvolti durante la lezione.
   2. Spiegare le cause contestuali, incluse la difficoltà del compito, le conoscenze pregresse, l'interazione di gruppo, la spiegazione dell'insegnante o l'uso della piattaforma.
   3. Descrivere in che modo la loro partecipazione ha influenzato l'atmosfera in classe e quali azioni future intendono intraprendere.
      NOTA: Conservare i contributi inferiori a 100 parole, ma contrassegnarli nel database come a basso contenuto informativo. Contrassegnare anche i contributi che omettono il quesito sul coinvolgimento, sulle cause contestuali o sull'azione futura/impatto sociale, poiché tali omissioni influiscono sulla valutazione della qualità della riflessione e sulla segnalazione della fattibilità.
3. Assegnare due valutatori anonimi per esaminare i contributi secondo specificità descrittiva, profondità analitica, orientamento all'autoregolazione e significato sociale-prosociale.
   1. Valutare ogni dimensione utilizzando una scala a 4 punti in cui 0 indica assenza, 1 indica evidenza debole o vaga, 2 indica evidenza chiara ma limitata e 3 indica evidenza forte ed elaborata. Ad esempio, la profondità analitica viene assegnata con punteggio 0 quando non viene fornita alcuna motivazione, 1 quando lo studente afferma soltanto che l'attività era difficile, 2 quando lo studente collega la difficoltà a un concetto specifico o a una condizione in aula e 3 quando lo studente spiega l'interazione tra conoscenze pregresse, discussione tra pari, feedback dell'insegnante e una strategia di apprendimento pianificata. Tabella 2 e File Supplementare 1 forniscono esempi di livello di punteggio per tutte e quattro le dimensioni riflessive.
4. Avviare la valutazione formale solo dopo aver ottenuto un coefficiente di correlazione intraclasse di almeno 0,80 per ciascuna dimensione sui testi pilota¹⁴.
5. Rivalutare casualmente il 15% delle riflessioni dello studio durante il protocollo per controllare eventuali deriva nei giudizi dei valutatori. Valutare i testi riflessivi sulla base di queste metriche qualitative multidimensionali, piuttosto che basarsi esclusivamente sulla lunghezza del testo o sulla frequenza delle parole.
6. Sviluppare o adattare la griglia di valutazione dell'espressione riflessiva attraverso una revisione da parte di almeno due ricercatori nel campo dell'educazione e di un docente del corso. Sottoporre a prova la griglia su 20-30 riflessioni non appartenenti allo studio, rivedere i descrittori ambigui e documentare la versione finale della griglia prima dell'inizio della codifica formale.
7. Somministrare il questionario sull'intenzione prosociale riportato nel File Supplementare 1. Chiedere agli studenti di esprimere il grado di disponibilità ad aiutare i compagni in difficoltà, condividere risorse per l'apprendimento, contribuire in modo costruttivo alle discussioni, incoraggiare i pari, agire con equità durante i compiti di gruppo e migliorare il clima di apprendimento in classe. Utilizzare una scala a 5 punti che va da 1 (in totale disaccordo) a 5 (in totale accordo). Calcolare il punteggio medio quando almeno cinque dei sei elementi sono completati e riportare l'alfa di Cronbach per le somministrazioni iniziale e finale del protocollo.

Estrazione di analisi sull'apprendimento

1. Assegnare un amministratore esterno per estrarre i dati di analisi dell'apprendimento dopo la Settimana 4 per evitare qualsiasi contaminazione dei processi di osservazione e riflessione.
2. Impostare la finestra di estrazione dalle 00:00 del giorno della prima lezione osservata alle 23:59 dell'ultimo giorno della finestra finale di riflessione.
3. Estrarre soltanto le variabili predeterminate necessarie per il protocollo. Registrare il numero di giorni attivi sulla piattaforma, le visualizzazioni distinte di risorse, la proporzione di risorse assegnate aperte, la quantità di risposte nei forum di discussione pubblicate, la media del tasso di completamento dei video e la puntualità nella consegna dei compiti.
4. Pulire le esportazioni grezze rimuovendo gli account degli insegnanti e degli assistenti didattici, i record duplicati, gli eventi di prova e i punti dati al di fuori dell'intervallo temporale stabilito.
5. Definire un giorno attivo come qualsiasi data del calendario contenente almeno un accesso autenticato al corso seguito da un'interazione significativa, come l'apertura di file, la visione di video o la pubblicazione di risposte.
6. Contare le aperture uniche delle risorse ignorando i ricaricamenti duplicati che si verificano entro un intervallo di 60 s. Determinare il tasso di completamento dei video troncando la frazione visualizzata rispetto al tempo programmato alle 01:00, quindi calcolando la media su tutti gli elementi multimediali assegnati.
7. Calcolare la puntualità nella consegna dei compiti in base alla proporzione di attività consegnate prima delle scadenze programmate. Calcolare la proporzione di accessi notturni come rapporto tra gli eventi significativi verificatisi tra le 00:00 e le 06:00 e il numero totale di attività significative nel periodo di osservazione. Fare affidamento su queste metriche basate sul tempo e sul contributo per ottenere informazioni più ricche rispetto alla semplice accumulazione di log¹⁵.
8. Utilizzare un flusso di lavoro predeterminato per la gestione dei dati provenienti dall'esportazione del sistema di gestione dell'apprendimento. Salvare l'esportazione originale come file di sola lettura, creare una copia di lavoro anonimizzata, rimuovere gli account degli insegnanti e degli assistenti didattici, eliminare eventi duplicati o di prova e conservare un registro di elaborazione con il conteggio delle righe dopo ogni passaggio di pulizia.
9. Eseguire la pulizia dei dati in un foglio elettronico o successivamente e l'analisi statistica in R versione 4.4.0 o successiva, o software equivalente.
   1. In un foglio elettronico, seguire i passaggi descritti nei punti 7.9.1.1–7.9.1.2.
      1. Importare i file CSV anonimizzati utilizzando Dati > Ottieni dati > Da testo/CSV e utilizzare Dati > Rimuovi duplicati per eliminare le righe duplicate di ID studio/ora/evento.
      2. Applicare il Filtro per escludere gli account degli insegnanti o degli assistenti didattici e i record fuori finestra, e salvare un registro di elaborazione con il conteggio delle righe dopo ogni passaggio.
   2. In R, seguire i passaggi descritti nei punti 7.9.2.1–7.9.2.3.
      1. Importare i file con readr::read_csv(), ristrutturare i record settimanali con dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer() e tidyr::pivot_wider().
      2. Calcolare il kappa di Cohen con irr::kappa2(), i coefficienti di correlazione intraclasse (ICC) con psych::ICC() e l'alfa di Cronbach con psych::alpha().
      3. Adattare modelli lineari corretti per sezione con stats::lm(); utilizzare lme4::lmer() quando è richiesto un effetto casuale dell'intercetta per sezione di classe predeterminata e utilizzare lme4::glmer(family = binomial) soltanto per esiti binari. Archiviare lo script esatto e le versioni dei pacchetti insieme ai materiali di sottomissione.
10. Utilizzare la seguente sequenza di analisi riproducibile.
    1. Calcolare le proporzioni di osservazione per studente-settimana, calcolare l'OCEI utilizzando la formula del punto 4.9 e unire i punteggi di riflessione settimanali per ID studio e settimana.
    2. Raggruppare le variabili di analisi dell'apprendimento nell'identica finestra di 4 settimane, esaminare la mancanza di dati per fonte, calcolare statistiche descrittive e stime di affidabilità e adattare i modelli di associazione predeterminati.
    3. Non aggiungere predittori non pianificati dopo aver esaminato i risultati, a meno che non siano etichettati come esplorativi.
11. (Facoltativo) Per garantire trasparenza, depositare uno script di analisi anonimizzato, un codebook, moduli di codifica vuoti, tracce di riflessione, rubrica di valutazione delle riflessioni e questionario prosociale nel repository pubblico o nei materiali supplementari. Non depositare video grezzi identificabili delle lezioni, nomi, ID istituzionali o testi di riflessione non censurati.

8. Misurazione post-protocollo e integrazione del set di dati

1. Somministrare nuovamente lo strumento per l'intenzione prosociale immediatamente dopo la conclusione dell'ultima finestra di riflessione.
2. Chiedere agli studenti di valutare la propria disponibilità ad aiutare i compagni di classe, condividere risorse, contribuire in modo costruttivo alle discussioni, incoraggiare i pari, agire con equità e migliorare il clima di apprendimento su una scala compresa tra 1 (totalmente in disaccordo) e 5 (totalmente d'accordo). Calcolare il punteggio totale post-protocollo di ciascun individuo facendo la media delle risposte, a condizione che abbiano risposto ad almeno cinque dei sei elementi.
3. Unire i file delle osservazioni, i punteggi di riflessione e i record delle analisi di apprendimento utilizzando l'ID dello studio anonimizzato. Costruire due dataset finali da questa unione per creare un file principale a livello di partecipante e un file in formato lungo a livello settimanale.
4. Non imputare gli intervalli di osservazione mancanti causati dall'invisibilità dello studente, né le riflessioni settimanali mancanti dovute alla mancata consegna. Contrassegnare le riflessioni parzialmente completate, le variabili di analisi di apprendimento incomplete, le riflessioni con scarso contenuto informativo e gli ID di studio non abbinati prima dell'analisi.
5. Utilizzare l'analisi dei casi completi per modelli di associazione predeterminati, riportare il numero di casi esclusi per ciascun modello ed effettuare un controllo di sensibilità confrontando studenti inclusi ed esclusi in base alle variabili di base disponibili.
6. Mantenere l'intenzione prosociale come misura primaria dell'esito, al fine di riflettere gli atteggiamenti di sostegno e collaborazione che sottendono i cambiamenti strutturali nella partecipazione degli studenti universitari.

9. Risoluzione dei problemi e adattamenti del protocollo

1. Se due osservatori non concordano per più di una categoria binaria nello stesso gruppo di studenti o se il kappa di Cohen scende al di sotto di 0,70 per un qualsiasi indicatore, sospendere la valutazione formale per la sessione interessata, rivedere le definizioni operative, completare un segmento di ricalibrazione della durata di 10 minuti e ricodificare l'intervallo interessato prima del blocco dei dati.
2. Se le esportazioni della piattaforma sono incomplete, documentare il campo mancante, richiedere una seconda esportazione all'amministratore esterno e mantenere lo studente nei riassunti di osservazione/riflessione, escludendo tuttavia la variabile analitica non disponibile dai modelli che richiedono tale campo.
3. Se meno dell'80% delle riflessioni previste viene consegnato entro 48 ore dall'apertura del compito, inviare un promemoria neutro all'intera classe, estendere il supporto tecnico per eventuali problemi di accesso e riportare separatamente i conteggi finali delle consegne tempestive, in ritardo e mancanti.
4. Se più del 10% degli studenti in un gruppo non è visibile per almeno metà della finestra di scansione, codificare gli intervalli interessati come mancanti e fare affidamento sui registri dell'osservatore in tempo reale piuttosto che tentare di inferire il comportamento da video ostruiti.
5. Se uno studente si ritira, rifiuta ulteriore partecipazione o non dispone di dati collegabili tra le diverse fonti, rimuovere tale studente dai modelli di associazione collegati, ma mantenere i conteggi aggregati sulla fattibilità del protocollo quando consentito dall'approvazione etica.
6. Se più studenti segnalano che una sezione è difficile da comprendere, l'insegnante deve fornire la normale risposta pedagogica, come una breve ripetizione della spiegazione, un esempio svolto, una discussione tra pari o una risorsa di approfondimento. Registrare questo evento come un fatto contestuale poiché può influenzare la richiesta di aiuto, la profondità della riflessione e l'attività sulla piattaforma.
7. Adattare la dimensione del gruppo di studenti, la lunghezza degli intervalli, i solleciti alla riflessione e le variabili analitiche al formato didattico, mantenendo tuttavia la stessa logica relativa agli indicatori comportamentali predeterminati, ai registri anonimizzati, alla codifica indipendente e alle regole trasparenti per i dati mancanti.
8. Considerare la bassa affidabilità, l'elevata percentuale di dati mancanti, la limitata profondità della riflessione, il debole cambiamento prosociale e il debole accordo tra i flussi di dati come risultati informativi dell'implementazione piuttosto che come fallimenti del protocollo. Riportare tali risultati e spiegare se essi riflettono il contesto della classe, limitazioni degli strumenti o problemi di acquisizione dei dati.

Risultati

Inclusione dei partecipanti, completezza dei dati e affidabilità dei punteggi
Un gruppo iniziale di 204 studenti provenienti da tutte le sezioni del corso è stato invitato a partecipare, con un totale di 198 soggetti che hanno fornito il consenso. Successivamente, 14 casi sono stati esclusi a causa dell'abbandono del corso durante il periodo del protocollo o per collegamento incompleto dei dati tra le registrazioni di osservazione, riflessione e piattaforma. Di conseguenza, il campione finale per l'a...

Discussione

Questo studio propone un protocollo pratico che integra osservazione comportamentale, scrittura riflessiva e analisi dell'apprendimento per indagare in modo esaustivo la partecipazione, l'espressione di sé e la consapevolezza prosociale degli studenti universitari all'interno di un singolo arco temporale didattico. Catturando diverse dimensioni dell'impegno, questo approccio tripartito risponde alle critiche recenti nella ricerca sull'istruzione superiore, secondo cui le metriche basate sul tempo di utilizzo e il monitor...

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Scheda di codifica per l'osservazione in aula	Interno	Sei indicatori comportamentali binari	Codifica basata su intervalli di attenzione al compito, partecipazione verbale, collaborazione tra pari, uso di dispositivi/appunti orientati al compito, distrazione fuori compito e richiesta di aiuto.
GraphPad Prism	Graphpad	Versione 10.2.3	Generazione di diagrammi di flusso, grafici delle tendenze settimanali, grafici di distribuzione e figure di associazione.
Sistema istituzionale di gestione dell'apprendimento/piattaforma del corso	Università ospitante	Sistema esistente di account LMS istituzionale	Raccolta di analisi dell'apprendimento anonimizzate.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	Generazione di diagrammi di flusso, grafici delle tendenze settimanali, grafici di distribuzione e figure di associazione.
R	Fondazione R		ggplot2 3.5.1
Software per fogli di calcolo	Società Microsoft	Microsoft Excel 365 v2402	Inserimento dati, pulizia, verifiche di anonimizzazione e unione dei dataset di osservazione, riflessione e analisi.
SPSS Statistics	IBM Corp	Versione 26.0	Software per analisi statistiche; statistiche descrittive, confronti a misure ripetute, kappa di Cohen, ICC, alfa di Cronbach, correlazioni e modelli di regressione.