Framework AI spiegabile per accuratezza, equità e percezione degli studenti nella valutazione della scrittura in inglese

Summary

Questo studio sviluppa un quadro di valutazione a tre livelli e un modello di mediazione dell'equità per valutare i sistemi di scrittura inglese assistiti dall'IA. Utilizzando 764 campioni interlinguistici, i risultati mostrano disparità di accuratezza, bias di equità contro studenti non nativi (specialmente il livello di competenza del cinese A2) e la percezione dell'equità come mediatore chiave della soddisfazione degli utenti, offrendo implicazioni teoriche e pratiche.

Abstract

Nel contesto della trasformazione digitale educativa globale, la valutazione automatica della scrittura (AWE) è stata ampiamente adottata grazie ai suoi vantaggi in tempo reale e standardizzati; Tuttavia, i tradizionali quadri orientati all'accuratezza spesso trascurano le preoccupazioni sull'equità e le percezioni degli studenti, limitando così la trasparenza e il valore educativo. Per affrontare questa limitazione, questa ricerca propone un framework di IA spiegabile (XAI) progettato per fornire feedback trasparente e interpretabile, permettendo agli studenti di comprendere e fidarsi della valutazione automatizzata, e integra un modello di validazione multilivello, il Three-Level Evaluation Framework (TLEF), che comprende accuratezza tecnica, equità di gruppo e individuale, e percezione degli studenti, insieme al AI Fairness Mediation Model (AFMM). Utilizzando campionamenti casuali stratificati, sono stati raccolti dati da 764 studenti multilingue (madrelingua inglese, cinese e spagnolo) attraverso i livelli A2 a C1 del Common European Framework of Reference for Languages (CEFR) da A2 a C1 attraverso compiti di scrittura, doppia valutazione da parte di IA ed esperti umani, e questionari strutturati. Invece di elencare i singoli test, sono state impiegate analisi statistiche multiple per esaminare validità, equità e la relazione studente-percezione. Le analisi statistiche hanno combinato correlazione con errore quadratico medio radice (RMSE), test di probabilità equalizzata e modellazione delle equazioni strutturali (SEM). I risultati rivelano che, sebbene il sistema di valutazione della scrittura assistita dall'IA (AWE) (Criterio ETS) raggiunga la validità complessiva (r = 0,82), rimangono disparità significative: i madrelingua cinesi mostrano la più bassa concordanza con i valutatori umani (0,72) e la RMSE più alta (mediana 2,15), i bias di equità sono più marcati ai livelli di competenza più bassi (ΔEO = 0,15 per gli studenti A2), e la percepita equità media pienamente il legame tra accuratezza percepita e soddisfazione dello studente, con competenza nella moderazione della sensibilità alla giustizia. Riformulando equità e percezione come dimensioni essenziali della spiegabilità, la ricerca rafforza la base teorica dell'AWE e offre un percorso pratico per aumentare la trasparenza, l'equità e l'accettazione sociale nelle tecnologie educative.

Introduction

L'intensa globalizzazione dell'istruzione e delle tecnologie digitali ha aumentato la necessità di valutare scientificamente e credibilmente il livello di scrittura in inglese per l'insegnamento delle lingue, lo sviluppo accademico e l'avanzamento^{professionale 1}. Le valutazioni convenzionali della scrittura, come praticate dalla valutazione umana, possono misurare aspetti soggettivi della scrittura come la completezza dell'argomentazione e l'adeguatezza^{culturale 2}, ma sono soggette a lunghi tempi di consegna, elevati costi di manodopera e pregiudizi dovuti all'esperienza e alle inclinazi....

Protocol

Il processo di approvazione etica e reclutamento dei partecipanti, inclusa l'amministrazione del saggio, il doppio punteggio da parte di ETS Criterion ed esperti, la valutazione della percezione dello studente e l'analisi statistica, sono riassunti in questa sezione. Evidenzia come accuratezza, equità e modellazione della percezione basata su SEM siano integrate in una pipeline unificata di validazione XAI. Il framework di valutazione AWE guidato da XAI è illustrato nella Figura 1.

Procedura:

La procedura prevedeva diversi passaggi. ....

Results

La sezione presenta i risultati della ricerca basati su cinque dimensioni analitiche: disegno sperimentale, caratteristiche dei partecipanti, accuratezza dei punteggi, valutazione dell'equità e modellazione dell'apprendimento e della percezione. Gli esiti includono la performance statistica, le differenze tra i gruppi, le disparità di equità e la mediazione e moderazione basate sul SEM.

Configurazione sperimentale

I.......

Discussion

La ricerca ha esplorato un sistema AWE sotto un approccio a tre livelli, comprendendo accuratezza tecnica, equità di gruppo e individuale, percezione dello studente, e ha identificato che la validità complessiva e le differenze sistematiche tra i gruppi sono presenti simultaneamente. Sono state osservate forti correlazioni tra AI e valutazioni degli esperti (aggregato r = 0,82), ma sono state osservate differenze per sottogruppo (nativo r = 0,89 vs. non nativo r = 0,76; Cinese r = 0,72; .......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
forte	Server criptati e controllati per l'accesso per la memorizzazione di dati anonimizzati.	Server istituzionali	STORAGE-002
Sistema Criterio ETS	Sistema di valutazione della scrittura assistita dall'IA utilizzato per valutare i compiti di scrittura.	Servizio di Test Educativi (ETS)	ETS-001
Strumenti di Analisi di Equità e Accuratezza	Strumenti per RMSE, Equalized Odds e analisi statistica.	Script personalizzati/pacchetti di statistiche	TOOL-FA-001
Valutazioni Esperti Umani	Valutazioni indipendenti fornite da tre linguisti con oltre 10 anni di esperienza.	Valutatori interni	HR-EXP-003
Questionario di percezione dello studente	Un questionario di 8 item su equità e soddisfazione, valutato su una scala Likert di 7 punti.	Sviluppo interno	QUES-008
Software Statistico (R 4.3.1)	Utilizzato per l'analisi dei dati, incluso il SEM (Structural Equation Modeling).	Fondazione R	R-SW-431
Dati di campionamento casuale stratificato	Dati raccolti da 764 studenti multilingue tra i livelli CEFR da A2 a C1.	Partecipanti allo studio	DATA-764
Prompt per compiti di scrittura	Tre argomenti standardizzati su globalizzazione, istruzione online ed etica dell'IA.	Piattaforma basata su Moodle	PROMPT-003