$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Tutti i software e gli strumenti utilizzati nello studio sono elencati nella Tabella dei Materiali.
Criteri di valutazione
La classificazione della valutazione adottata nel presente studio riguarda due domini principali, ovvero la fluidità e la correttezza, che incorporano tutti i requisiti per una valutazione completa della scrittura in inglese come lingua straniera (EFL). Queste dimensioni sono pensate per misurare i punti chiave della qualità della scrittura che aiutano a comunicare efficacemente e a dimostrare competenze linguistiche. Il modulo Fluency misura naturalezza, espressività e coerenza nella scrittura misurando la fluidità delle idee e quanto bene vengono utilizzate le parole e la struttura delle frasi. Il modulo Correttezza mira a precisione grammaticale, impeccabilità meccanica e conformità alle convenzioni standard inglesi e, ipoteticamente, misura e conta l'errore della lingua su diversi livelli. (vedi Tabella 1)
Definizione del compito
Seguendo le condizioni della valutazione automatica della scrittura degli studenti che imparano la lingua inglese, il presente studio suggerisce un nuovo modello di sistema di valutazione della scrittura inglese assistita da computer per EG. Rispetto agli studi precedenti, che sono stati limitati dall'ambito dei sistemi automatizzati di valutazione della scrittura, il sistema proposto aiuterà a risolvere tali limitazioni attraverso l'introduzione di tecniche innovative di deep learning per consentire agli utenti un livello di analisi linguistica, ambito di modifica e analisi di feedback a livello di sistema basata sull'ampia elaborazione dei dati. Operando su due degli indicatori più significativi di una composizione, ovvero la fluidità (quanto il pezzo sia naturale, coerente ed espressivo), o la correttezza (quanto sia scritto correttamente il testo, pieno di errori grammaticali, meccanici e linguistici), con i componenti separati delle reti neurali, il sistema a doppio modello deve effettuare numerose valutazioni. Inoltre, identifica errori a diversi livelli linguistici, raccomanda misure correttive e fornisce feedback in forma di elenco per permettere agli utenti di migliorare l'apprendimento linguistico degli studenti in modo metodico. Per descrivere il processo di calcolo del sistema di valutazione automatica assistita da computer, suggeriamo il seguente modello matematico nelle formule (1)–(4) (vedi Tabella 2).
(1)
(2)
(3)
(4)
dove: Punteggio finale = il punteggio composito della valutazione della scrittura; W1 = peso assegnato al punteggio di fluenza; w2 = peso assegnato al punteggio di correttezza; Sf = punteggio di fluidità basato sul BERT (normalizzato a [0, 1]); Sc = punteggio di correttezza del decadimento esponenziale; λ = costante di decadimento che controlla la penalità di errore; σ(x) = funzione di attivazione sigmoide logistica; ErrorRatio = rapporto di errori rispetto al totale dei token nel testo. I punteggi di fluidità sono normalizzati a [0, 1] dalla funzione sigmoide logistica σ(x), mentre la funzione di decadimento esponenziale viene utilizzata per valutare la correttezza e imporre una penalità appropriata sulla frequenza degli errori.
Architettura e progettazione del sistema
La sua architettura di sistema utilizza un sistema a due modelli con un'architettura di elaborazione parallela, in cui l'analisi dei saggi di input viene eseguita in parallelo tramite percorsi di valutazione paralleli. I moduli di Fluency e Correttezza, a loro volta, forniscono i rispettivi punteggi, e il punteggio composito finale è la media ponderata dei due sotto-punteggi. Il modulo di correttezza offre anche suggerimenti sul rilevamento e correzione degli errori, oltre alla valutazione (vedi Figura 1).
Il modulo di fluidità
La fluidità della scrittura può essere definita come la natura o il modello di uso di una lingua riguardo alla scelta corretta del vocabolario, alla varietà della struttura delle frasi, alla complessità sintattica, alla coerenza, ecc.4. I modelli di valutazione della fluidità catturano le idee trasmesse senza balbettare o risultare goffe, suonando approssimativamente al tipo nativista di tendenze comunicative. La misurazione tradizionale della fluidità si basa su scale, evidenziando le preoccupazioni di affidabilità tra i valutatori. Il sistema proposto supera questo svantaggio includendo reti neurali basate su BERT per indurre automaticamente coerenza semantica e naturalità linguistica attraverso una profonda comprensione situazionale. Questa decisione architettonica è stata presa considerando i punti di forza del BERT, che si è dimostrato efficace nell'identificazione delle relazioni contestuali e dei modelli semantici necessari nella misurazione della fluidità. Le sequenze di input vengono inserite nel sistema e passate attraverso 12 strati di trasformatore con autoattenzione multi-testa per identificare dipendenze a lungo raggio e relazioni contestuali (vedi Figura 2).
Il meccanismo dell'attenzione sarebbe il seguente:
(5)
Siano Q, K e V le matrici che rappresentano rispettivamente interrogy, key e value, e d e k le dimensioni dei vettori chiave. L'embedding del token CLS è quello sommario, che registra la coerenza semantica complessiva dell'intera sequenza di input.
Il calcolo del punteggio di fluidità è il seguente:
(6)
In cui hCLS è l'embedding del token BERT [CLS], e Wreg, sono breg i parametri della testa di regressione, e σ è la funzione di attivazione sigmoid che normalizza l'output a [0, 1].
Il modulo di correttezza
La valutazione della correttezza si concentra sull'accuratezza grammaticale, l'accuratezza meccanica e l'aderenza alle convenzioni inglesi standard. Questa dimensione affronta gli aspetti tecnici della scrittura, inclusi sintassi, morfologia, punteggiatura e accuratezza ortografica. La componente di correttezza non solo valuta il numero di errori linguistici, ma esamina anche l'impatto sulla qualità complessiva del testo. A differenza della valutazione della fluidità, che enfatizza la coerenza semantica e il flusso naturale, il modulo di valutazione della correttezza richiede un'identificazione precisa degli errori e una correzione sistematica. Il modulo distingue tra diversi tipi di errore, ne valuta la gravità e fornisce correzioni mirate per supportare il miglioramento dell'apprendimento. La perdita di correttezza utilizza il modello FLAN-T5, che è stato ricalibrato per individuare e correggere errori grammaticali. Questa scelta è influenzata dalla trasformabilità testo-testo di T5, che permette al sistema non solo di trovare errori, ma anche di eseguire correzioni rilevanti all'interno di un unico sistema. Il sistema è una forma encoder-decodificatore, e il testo viene alimentato sotto forma di questa trasformazione: (vedi Figura 3)
(7)
L'elemento encoder genera rappresentazioni contestuali che non solo catturano le tendenze grammaticali ma anche potenziali aree di guasto:
(8)
Con l'aiuto della generazione di variazioni grammaticali appropriate su errori falsamente identificati, il decodificatore genera sequenze corrette:
(9)
Questo tipo di elaborazione bidirezionale permette al sistema di avere la consapevolezza dei contesti degli errori e di come tali contesti debbano essere corretti, così che gli indizi siano semanticamente coerenti ma si concentrino su eventuali correzioni grammaticali.
Quantificazione dell'errore e algoritmo di punteggio
Il punteggio di accuratezza confrontava la scrittura originale con la versione corretta della scrittura, considerando gli errori linguistici e la gravità basati sulla posizione all'interno del testo e sull'interferenza con il significato. Questo metodo cattura la distinzione tra tipi di errori rispetto all'impatto sulla comprensione testuale del testo. La relazione tra frequenza degli errori e scarsa qualità del testo è stata sottolineata in modo logaritmico nel sistema di valutazione. Un passaggio fondamentale nel confronto a token tra il testo originale e quello corretto sono due gradi di confronto basati sulla tecnica bit a bit dell'allineamento delle stringhe. La seconda fase riguarda l'identificazione e la classificazione dei tipi di errori basandosi su alcune tassonomie linguistiche note che differenziano errori grammaticali (concordanza soggetto-verbo, coerenza temporale e affidabilità della struttura sintattica), errori meccanici (maiuscolo, punteggiatura e ortografia) e errori d'uso (scelta delle parole, espressione idiomatica e appropriatezza dei registri). La terza fase è il calcolo del rapporto di errore basato sulla lunghezza totale del testo. Il quarto passo sfrutta l'algoritmo di punteggio del decadimento esponenziale che trasforma i rapporti di errori in punteggi di correttezza direttamente interpretabili per approssimare la dipendenza non additiva e non lineare tra frequenza degli errori e qualità del testo.
Il trattamento matematico del processo di quantificazione degli errori inizia con il calcolo del rapporto degli errori installato, che fornisce un tasso di installazione degli errori normalizzato, il che a sua volta consente un confronto equo di testi di diverse lunghezze:
(10)
(11)
È stato stabilito un parametro di calibrazione di 2,5 su base empirica, validandolo completamente con giudizi di esperti umani, in modo che la funzione di punteggio possa offrire risultati in linea con la comprensione umana in relazione al calo della qualità del testo con l'aumento della frequenza degli errori. Impostare questo valore di parametro in questo modo garantisce che qualsiasi testo con un basso tasso di errore (Error_Ratio < 0,1) abbia un punteggio di correttezza elevato, poiché segue fedelmente le regole dell'inglese standard; qualsiasi testo con un tasso di errore moderato (0,1 < Error_Ratio ≤ 0,3) ha un punteggio intermedio di correttezza, indicando che ci sono alcune preoccupazioni linguistiche che tuttavia non sono del tutto disastrose, e qualsiasi testo con un alto tasso di errore (Error_Ratio > 0,3) ha ottenuto un basso punteggio di correttezza perché ci sono preoccupazioni linguistiche critiche che influenzano significativamente la possibilità di comprensione.
L'algoritmo di punteggio della correttezza per la valutazione della correttezza tiene sistematicamente conto di tutti gli errori individuati e fissati dal sistema basato su T5 come elementi di penalità nel calcolo del rapporto finale di errore. Il meccanismo di penalità utilizzato per gli errori grammaticali è rappresentato dalla diminuzione esponenziale della crescita del proporzio di errore verso valori elevati, il che significa che la qualità del testo è molto scarsa, e diventa 100 quando il rapporto di errore è uguale a 0, il che significa che non vengono rilevati assolutamente errori. È un uso perfetto delle convenzioni standard inglesi. Tale relazione matematica garantisce che il codice di correttezza offra una distinzione significativa all'interno dell'intero spettro dei livelli di competenza linguistica e sia reattivo a piccoli progressi successivi, che indicano acquisizioni reali.
Dataset: corpus di formazione e valutazione
I dati di addestramento di qualità e portata sufficienti sono fondamentali per le prestazioni del sistema a doppio modello. Il presente studio ha utilizzato un dataset ben progettato di testi scritti dagli studenti per sviluppare e valutare il modello, prodotto utilizzando diversi compiti di scrittura. Il campione comprendeva 45 studenti universitari pakistani maschi e 45 donne con un'età media di 19 anni, che studiavano 'Inglese Funzionale' come corso obbligatorio. Ogni studente ha scritto otto saggi per otto settimane, inclusi pre-test, saggi di intervento e occasioni post-esame. Agli studenti era permesso di scrivere da 400 a 450 parole per ogni compito di scrittura. Le statistiche dei set di dati forniscono le seguenti caratteristiche:
70.500 parole
Lunghezza media delle frasi: 15,7 parole (SD = 3,2)
L'intervallo di vocabolario (rapporto tipo-token): 0,64 (SD 0,08) Densità di errore grammaticale: 2,3 in 100 parole (SD = 1,1)
La giustificazione e la garanzia della qualità dei dati selezionati
Il dataset scelto era guidato da alcune considerazioni importanti che hanno permesso la ricchezza e la rilevanza per il lavoro di ricerca sulla valutazione automatica della scrittura. Per cominciare, la popolazione studentesca di Economia è stata selezionata per la sua natura, simile a quella degli studenti di EFL nell'istruzione superiore pakistana, permettendo così la presentazione di esempi di scrittura più autentici che riflettono situazioni reali. In secondo luogo, l'istituzione dell'intervallo massimo e minimo potenziale di parole, 400–450 parole, è stata informata dai dati di studi pilota che questo intervallo è linguisticamente abbastanza complesso da essere analizzato in modo affidabile da una macchina, e rimaneva allo stesso tempo di dimensioni gestibili in termini di valutazioni umane coerenti. Ciascuna delle composizioni è stata valutata da tre insegnanti di inglese formati (affidabilità inter-valutatori κ = 0,847, dimensione di fluidità, e 0,823, dimensione di correttezza) su scale standardizzate di valutazione di fluidità e correttezza di 10 punti. La formazione dei valutatori umani era rigorosa e dipendeva da criteri di valutazione sviluppati per le valutazioni scritte IELTS e TOEFL. I dati consistono in un dataset annotato da un uomo, che può essere utilizzato nell'addestramento e nella validazione di modelli da addestrare su dati annotati da umani.
Procedure di pre-elaborazione e validazione dei dati
Il dataset veniva pre-elaborato sistematicamente e prevedeva la normalizzazione del testo, la tokenizzazione del testo con il tokenizzatore BERT WordPiece e la validazione della qualità. Coloro che hanno inviato lavori incompleti e prodotto testo plagiato non sono stati inclusi per determinare l'integrità dei dati. Gli ultimi dati sono stati suddivisi casualmente in addestramento (70%, n = 189), validazione (15%, n = 41) e set di test (15%, n = 40) tramite campionamento stratificato per bilanciare i livelli di competenza e il tipo di compiti. Analisi linguistica di un ampio corpus di riferimento contenente testi accademici professionalmente curati, articoli di giornali e saggi pubblicati, per circa 50 milioni di parole. Questo corpus fornisce i modelli linguistici necessari per eseguire i test di fluidità e assiste nelle procedure di rilevamento degli errori confrontandoli con l'uso standard. Nel corpus di riferimento, i passaggi prima della preelaborazione e dell'indicizzazione sono la tokenizzazione, il taggaggio delle parti del discorso, l'analisi sintattica e l'etichettatura semantica per facilitare un accesso efficiente durante la valutazione in tempo reale.
Strategia di addestramento con modello di fluidità
Viene proposto un sistema di ottimizzazione sequenziale per addestrare i dati a raggiungere la fluidità. La formazione utilizzava funzionalità all'avanguardia, tra cui la programmazione adattiva del tasso di apprendimento, la dimensione progressiva del batch e metodi avanzati di regolarizzazione che prevengono il sovrafitting durante il progredire della formazione, mantenendo così l'efficacia del modello nell'identificare schemi linguistici indicatori della fluidità linguistica. La velocità di apprendimento è 5 × 10-4 con un programma di decadimento lineare, configurato per garantire che la convergenza rimanga stabile e non oscilli attorno ai valori ottimali dei parametri. Questa velocità di apprendimento viene scelta tramite la ricerca a griglia in [1 x 10-6, 1 x 10-4], con 5 x 10-5 che rappresenta il compromesso più appropriato tra velocità di convergenza e stabilità. L'addestramento reale sarà limitato a sole 3 epoche, una configurazione ottimizzata sulla base dei benefici empirici tramite il tracciamento delle perdite di validazione per prevenire l'overfitting senza impedire aggiornamenti sufficienti dei parametri che rendano l'apprendimento efficace. È stato effettuato un arresto precoce dei meccanismi con una pazienza di 2 epoche e un delta minimo di 0,001 per prevenire il degrado.
L'ottimizzazione viene effettuata dall'ottimizzatore AdamW, con scelte semplificate come β₁ = 0,9 (momento di movimento, che controlla esponenzialmente il decadimento delle stime del primo momento), β₂ = 0,999 (stima del secondo momento, che controlla esponenzialmente il decadimento delle stime del secondo momento) e ε = 1 × 10⁻8 (termine di stabilità numerica). La regolarizzazione del decadimento dei pesi (λ = 0,01) impedisce che le magnitudini dei parametri crescano eccessivamente, con questo valore selezionato tramite analisi delle prestazioni di validazione su tutto l'intervallo [0,001, 0,1]. Il monitoraggio complesso è in grado di monitorare varie metriche durante l'addestramento per garantire le migliori prestazioni di un modello ed evitare il sovrafitting. Nel quadro di monitoraggio sono inclusi:
Tracciamento delle perdite: la perdita di addestramento e validazione viene monitorata in ogni epoca, e la cessazione anticipata avviene automaticamente quando la perdita da validazione non migliora più durante due epoche consecutive.
Metriche di prestazione: I dati di validazione vengono utilizzati per calcolare i coefficienti di correlazione di Pearson tra i punteggi previsti e reali ogni 100 passaggi di addestramento.
Rilevamento gradiente: Le norme di gradiente vengono monitorate per rilevare gradienti di nulance ed esplosione, e a una norma di gradiente di 1.0 viene applicato il clipping di gradiente.
Programmazione del tasso di apprendimento: Diminuzione del tasso di apprendimento basata sulla validazione (fattore = 0,5) nel caso in cui venga rilevata una squadra di più di un'epoca.
Correlazione alla regolarizzazione: Tassi di ablazione (0,1 per BERT, 0,3 per la testa di regressione) sono stati riscontrati tramite ablazione sistematica. Durante il processo di addestramento vengono utilizzati diversi metodi di regolarizzazione basati sulla prevenzione dell'overfitting: (1) regolarizzazione del dropout utilizzando tassi di dropout ottimizzati per tipo di strato nella rete, (2) decadimento del peso come spiegato sopra, (3) arresto precoce, determinato dalla performance di validazione, e (4) aumento dei dati basato sulla parafrasi del 15 percento degli esempi di addestramento tramite metodi di retrotraduzione. I checkpoint del modello con le migliori prestazioni venivano salvati dopo ogni epoca e i modelli con il punteggio più alto venivano selezionati in base ai punteggi di correlazione di validazione. La funzione di perdita utilizzata nella parte di valutazione della fluidità è l'Errore Quadratico Medio (MSE), che è la funzione principale del compito di regressione ovvero la previsione dei punteggi di fluenza continua. La formulazione della perdita è matematicamente data come:
(12)
N è la dimensione totale del campione di allenamento, y_pred, i è il punteggio di fluidità previsto del campione i-esimo, e y_true, i è il corrispondente punteggio di verità di base dato dagli esperti valutatori umani. Questa perdita è molto utile per scoraggiare quadraticamente l'errore effettivo di previsione, in modo che errori maggiori comportino una penalità maggiore, ed è anche differenziabile. Il meccanismo di pianificazione della velocità di apprendimento è altamente avanzato con un processo bifasico, e inizia con una fase di riscaldamento lineare, seguita da un processo sistematico di decadimento per creare caratteristiche di convergenza ottimali. Questo avviene nella fase di riscaldamento, in cui la velocità di apprendimento parte da zero e cambia gradualmente fino alla velocità massima, dopodiché i parametri del modello vengono ottimizzati rispetto al dataset di addestramento. L'espressione matematica della fase di riscaldamento è:
(13)
Dopo la fase di riscaldamento, il tasso di apprendimento diminuisce in modo lineare sistematico per evitare il superamento dei valori ottimali dei parametri e si traduce in una convergenza costante. Matematicamente, la fase di decadimento si legge come:
(14)
In cui t è il passaggio di allenamento corrente, lr max è la velocità massima di apprendimento raggiunta durante il riscaldamento, il riscaldamento è il numero di passaggi assegnati alla fase di riscaldamento e il totale è il numero totale di passi di allenamento in tutte le epoche. La procedura di pianificazione menzionata garantisce un apprendimento aggressivo del modello ai livelli inferiori e stabilità ai livelli di convergenza.
Strategia di addestramento del modello di correttezza
Il modello di correttezza si basava sulla strategia di apprendimento tramite trasferimento utilizzando il modello FLAN-T5 pre-addestrato per sfruttare tutte le conoscenze grammaticali disponibili secondo necessità. Questo mirava a esaminare la comprensione generale della lingua così come le informazioni specifiche sugli errori commessi dagli studenti ESL. Il metodo di apprendimento tramite trasferimento utilizzava il checkpoint pszemraj/flan-t5-grande-grammatica-sintesi come modello base, con diversi vantaggi degni di nota in termini di correttezza. Poiché il modello è già addestrato e possiede una grande capacità di comprensione linguistica formata in vari campi del testo, si adatterà a molti stili di scrittura e argomenti di scrittura. In particolare, è stata effettuata una messa a punto specifica per grammatica su grandi dataset di correzione che coprono molteplici tipi di errori grammaticali come si riscontrano nella scrittura in seconda lingua. Inoltre, il checkpoint comprende potenti sistemi di rilevamento degli errori che vengono testati contro i diversi tipi di errori (cioè errori morfologici, errori sintattici e semantici), creando uno standard perfetto di confronto con i parametri innati di test di correzione dello studio.
Il processo di adattamento del dominio riflette le modifiche sistematiche dei parametri che non alterano le capacità generali di comprensione linguistica del modello pre-addestrato, ma introducono le caratteristiche specifiche della soluzione di valutazione della scrittura. Questo processo di adattamento ha la derivazione matematica come:
(15)
Qui θpre-addestrato rappresenta i parametri del modello pre-addestrato che codifica la comprensione generale del linguaggio e la conoscenza grammaticale, eil dominio Δθ rappresenta gli aggiornamenti specifici dei parametri appresi dal compito di valutazione della scrittura target. Gli aggiornamenti specifici per dominio vengono calcolati tramite ottimizzazione basata su gradiente sul dataset target, assicurando che il modello sviluppi una sensibilità specifica al compito ai tipi di errore comuni nella scrittura EFL senza compromettere le sue capacità linguistiche più ampie.
Esperimenti con confronti
Per dimostrare la funzionalità dell'EG, si propone il coefficiente di correlazione di Pearson come valore chiave della misurazione, che determina la connessione lineare tra i punteggi automatizzati e l'esperienza umana. Il coefficiente di correlazione si trova tramite la formula:
(16)
Dove xi rappresenta i punteggi automatici, rappresenta le valutazioni umane, e 
e 
sono le rispettive medie. Il coefficiente di correlazione varia da −1 a 1, con valori vicini a 1 che indicano una forte relazione positiva tra valutazione automatica e valutazione umana.
(17)
(18)
(19)
Confronti di modelli di base
Per valutare le prestazioni dell'EG e dimostrarne la superiorità rispetto ai metodi esistenti, vengono effettuati confronti approfonditi con approcci AWE consolidati e tradizionali a metrica singola. Questi confronti di base sono essenziali per validare il valore aggiunto dell'architettura EG e dimostrare che l'integrazione della valutazione della fluidità e della correttezza fornisce miglioramenti misurabili rispetto ad approcci che si concentrano isolatamente sulle singole dimensioni. La selezione dei modelli di base copre quattro categorie di AWE, ognuna riflettendo un orientamento distinto su come la scrittura dovrebbe essere valutata. Il primo utilizza un unico modello basato sul BERT per valutare la fluidità. Questi modelli utilizzano architetture a transformer per valutare i modelli testuali di fluidità e coerenza. La seconda categoria, inserita nelle metodologie linguistiche tradizionali, si concentra su sistemi basati su regole per il rilevamento degli errori grammaticali. Pertanto, l'attenzione è rimasta sulla correttezza, trascurando altri aspetti legati alla qualità della scrittura, come la coesione e i contenuti. La terza categoria sono i sistemi AWE basati su caratteristiche, che includono indicatori di complessità linguistica—come la lunghezza variazionale delle frasi, la diversificazione del lessico e la complessità sintattica per generare punteggi complessivi di qualità. Il quarto prende in considerazione i sistemi ibridi combinando varie caratteristiche linguistiche superficiali, spesso utilizzando metodi di ensemble o medie ponderate. Questi modelli non raggiungono il livello di sofisticazione integrata raggiunto dalle architetture neurali EG. Le prestazioni di base del modello vengono valutate con tre dimensioni principali. Il primo misura l'allineamento dei voti generati dal sistema con le valutazioni degli esperti umani formati (insegnanti di inglese) utilizzando rubriche standardizzate. Il secondo determina la generalizzabilità, identificando se la performance rimane coerente in tre saggi con argomenti e complessità diversi. La terza dimensione si basa sull'affidabilità predittiva, valutando l'accuratezza e la stabilità della valutazione tramite strumenti statistici come l'errore assoluto medio, l'errore quadratico medio e l'analisi degli intervalli di confidenza. Collettivamente, queste dimensioni stabiliscono un quadro solido per il confronto e mettono in evidenza la superiorità dei sistemi EG, in particolare nel raggiungere maggiore precisione e stabilità rispetto agli approcci tradizionali.
Gruppi sperimentali e di controllo
Questo studio ha coinvolto 90 studenti universitari di Economia che stavano studiando un corso funzionale di inglese in due classi intatte. I dati sono stati prelevati in tre occasioni: pre-test, intervento e post-test per monitorare i progressi nell'accuratezza e nella fluidità della scrittura nel tempo. Questo studio su soggetti umani è stato approvato dal Consiglio Consultivo Dipartimentale della COMSATS University Islamabad, Campus di Lahore, Pakistan. I partecipanti sono stati esposti a due condizioni: il feedback umano tradizionale e il feedback supportato dal computer. Il gruppo di controllo era composto da 45 studenti, che ricevevano il tradizionale feedback scritto da un insegnante di inglese formato. I partecipanti hanno ricevuto feedback scritti sui saggi degli studenti sotto forma di voti olistici, identificazione degli errori e raccomandazioni sotto forma di commenti di un docente su come migliorare il lavoro. Il gruppo sperimentale, a sua volta, includeva 45 studenti che venivano istruiti allo stesso modo in classe, ma la scrittura degli studenti veniva integrata da un rapido feedback automatico fornito dall'EG, che forniva loro le informazioni diagnostiche, sia in termini di fluidità che di correttezza, entro circa 30 secondi dalla consegna.
Questo studio è stato condotto nell'arco di 8 settimane, durante le quali è stato effettuato un pre-test (Settimana 1) per determinare la performance iniziale di scrittura dei soggetti del test prima che agli studenti venisse effettuato un intervento. Feedback basato su computer con marcatori semantici NLP nel gruppo sperimentale e valutazione degli insegnanti nel gruppo di controllo sono stati forniti ai partecipanti per sei settimane. Infine, il post-test (nella settimana 8) è stato condotto per comprendere la differenza tra le misure di accuratezza pre- e post-test e i punteggi di fluidità. Per ottenere risultati simili in comparabilità, è stato chiesto ai rispondenti di svolgere compiti simili per iscritto ad ogni periodo di valutazione, minimizzando così le potenziali variabili di confusione della difficoltà del compito e della familiarità con i contenuti nella scrittura. Per garantire che i prompt di scrittura siano coerenti con il livello di difficoltà, oltre a stabilire la validità del contenuto, i prompt sono stati scelti in modo coerente. Gli argomenti per i saggi sono stati scelti sulla base del fatto che gli studenti coprono vari ambiti di contenuto per evitare effetti di pratica e noia da parte dei partecipanti dal dover svolgere un compito simile per un lungo periodo di tempo.
Durante la fase pre-test, ai partecipanti è stato chiesto di scrivere un saggio di 400–450 parole e di scrivere sugli obiettivi accademici e professionali. Questo compito descrittivo si basava su esperienze personali e proiezioni future, il che implica la necessità di organizzare la scrittura, fornire esempi chiari e formulare una dichiarazione logica di obiettivi personali e motivazioni. Il compito di scrittura per interventi si basava su diversi argomenti, come scrivere della routine quotidiana della vita, hobby, viaggi, il primo giorno all'università, giorni memorabili della vita e momenti di amicizia. Il prompt post-test era collegato all'argomento 'Effetto della tecnologia sulla comunicazione' e la lunghezza richiesta era di 400–450 parole.