Uitleg AI-kader voor nauwkeurigheid, eerlijkheid en leerlingperceptie in Engelse schrijfbeoordeling

Summary

Deze studie ontwikkelt een drielaags evaluatiekader en een eerlijkheidsbemiddelingsmodel om AI-ondersteunde Engelse schrijfsystemen te beoordelen. Met behulp van 764 cross-linguïstische steekproeven tonen resultaten nauwkeurigheidsverschillen, rechtvaardigheidsbias tegen niet-moedertaalleerlingen (vooral Chinees A2-vaardigheidsniveau) en eerlijkheidsperceptie als de belangrijkste bemiddelaar van de gebruikerstevredenheid, wat theoretische en praktische implicaties biedt.

Abstract

In de context van wereldwijde digitale transformatie van onderwijs is geautomatiseerde schrijfevaluatie (AWE) breed toegepast vanwege de realtime en gestandaardiseerde voordelen; Traditionele nauwkeurigheidsgerichte kaders negeren echter vaak gelijkheidszorgen en de percepties van leerlingen, waardoor transparantie en onderwijswaarde worden beperkt. Om deze beperking aan te pakken, stelt dit onderzoek een uitlegbaar AI (XAI)-framework voor, ontworpen om transparante en interpreteerbare feedback te bieden, zodat leerlingen geautomatiseerde evaluatie kunnen begrijpen en vertrouwen, en integreert het een multi-level validatiemodel, het Three-Level Evaluation Framework (TLEF), dat technische nauwkeurigheid, groeps- en individuele gelijkheid en perceptie van leerlingen omvat, samen met het AI Fairness Mediation Model (AFMM). Met behulp van gelaagde willekeurige steekproeven werden gegevens verzameld van 764 meertalige leerlingen (moedertaalsprekers van het Engels, Chinees en Spaans) over het Common European Framework of Reference for Languages (CEFR) niveaus A2 tot C1, via schrijfopdrachten, dubbele scoring door AI- en menselijke experts, en gestructureerde vragenlijsten. In plaats van individuele tests op te sommen, werd meervoudige statistische analyses gebruikt om validiteit, eerlijkheid en de relatie tussen leerling en perceptie te onderzoeken. Statistische analyses combineerden correlatie, wortelgemiddelde kwadraatfout (RMSE), geëgaliseerde kanstoetsen en structurele vergelijkingsmodellering (SEM). De bevindingen tonen aan dat hoewel het AI-ondersteunde schrijfevaluatiesysteem (AWE) (ETS Criterion) algehele validiteit behaalt (r = 0,82), er aanzienlijke verschillen blijven: Chinese moedertaalsprekers tonen de laagste overeenstemming met menselijke beoordelaars (0,72) en de hoogste RMSE (mediaan 2,15), eerlijkheidsbiases zijn het meest uitgesproken bij lagere vaardigheidsniveaus (ΔEO = 0,15 voor A2-leerlingen), en waargenomen eerlijkheid bemiddelt volledig de relatie tussen waargenomen nauwkeurigheid en leerdertevredenheid, waarbij vaardigheid de fairness en sensitiviteit matigt. Door eerlijkheid en perceptie te herformuleren als essentiële dimensies van verklaarbaarheid, versterkt het onderzoek de theoretische basis van AWE en biedt het een praktische weg om transparantie, gelijkheid en sociale acceptatie in onderwijstechnologieën te vergroten.

Introduction

De intensieve globalisering van onderwijs en digitale technologieën heeft de noodzaak vergroot om het schrijfniveau in het Engels wetenschappelijk en geloofwaardig te evalueren voor taalonderwijs, academische ontwikkeling en^{loopbaanbevordering}. Conventionele schrijfbeoordelingen, zoals toegepast door menselijke beoordeling, kunnen subjectieve aspecten van schrijven meten zoals de grondigheid van argumentatie en culturele geschiktheid², maar zijn gevoelig voor lange doorlooptijden, hoge arbeidskosten en vooringenomenheid door beoordelaarservaring en -voorkeuren

Protocol

Het ethische goedkeurings- en participatiewervingsproces, inclusief essayadministratie, dubbele beoordeling door ETS Criterion en experts, evaluatie van leerlingperceptie en statistische analyse, worden in deze sectie samengevat. Het benadrukt hoe nauwkeurigheid, eerlijkheid en SEM-gebaseerde perceptiemodellering zijn geïntegreerd in een uniforme XAI-validatiepijplijn. Het door XAI aangedreven AWE-evaluatiekader wordt geïllustreerd in Figuur 1.

Procedure:

De procedure bestond uit verschillende stappen. Eerst werd IRB-goedkeuring verk....

Results

De sectie presenteert de onderzoeksresultaten op basis van vijf analytische dimensies: experimenteel ontwerp, deelnemerskenmerken, nauwkeurigheid van scores, eerlijkheidsbeoordeling en modellering van leren en perceptie. De uitkomsten omvatten statistische prestaties, groepsverschillen, billijkheidsverschillen en SEM-gebaseerde mediation en moderatie.

Experimentele opstelling

De belangrijkste softwarestappen waren h.......

Discussion

Het onderzoek onderzocht een AWE-systeem onder een drielaagse benadering, met technische nauwkeurigheid, groeps- en individuele eerlijkheid en perceptie door lerende, en stelde vast dat de algehele validiteit en systematische groepsverschillen tegelijkertijd aanwezig zijn. Er waren sterke correlaties tussen AI- en expertbeoordelingen (aggregate r = 0,82), maar er werden verschillen waargenomen per subgroep (native r = 0,89 vs. niet-native r = 0,76; Chinees r = 0,72; Tabel 6). De verdelin.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Data Storage System	Encrypted, access-controlled servers for storing anonymized data.	Institutional servers	STORAGE-002
ETS Criterion System	AI-assisted writing evaluation system used for scoring the writing tasks.	Educational Testing Service (ETS)	ETS-001
Fairness and Accuracy Analysis Tools	Tools for RMSE, Equalized Odds, and statistical analysis.	Custom scripts/stat packages	TOOL-FA-001
Human Expert Ratings	Independent ratings provided by three linguists with over 10 years of experience.	In-house raters	HR-EXP-003
Learner Perception Questionnaire	An 8-item questionnaire on fairness and satisfaction, rated on a 7-point Likert scale.	In-house developed	QUES-008
Statistical Software (R 4.3.1)	Used for data analysis, including SEM (Structural Equation Modeling).	R Foundation	R-SW-431
Stratified Random Sampling Data	Data collected from 764 multilingual learners across CEFR levels A2 to C1.	Study participants	DATA-764
Writing Task Prompts	Three standardized essay topics on globalization, online education, and AI ethics.	Moodle-based platform	PROMPT-003