Een abonnement op JoVE is vereist om deze inhoud te bekijken. Log in of start vandaag met uw gratis proefperiode.
Onderzoeksartikel
Deze studie ontwikkelt een drielaags evaluatiekader en een eerlijkheidsbemiddelingsmodel om AI-ondersteunde Engelse schrijfsystemen te beoordelen. Met behulp van 764 cross-linguïstische steekproeven tonen resultaten nauwkeurigheidsverschillen, rechtvaardigheidsbias tegen niet-moedertaalleerlingen (vooral Chinees A2-vaardigheidsniveau) en eerlijkheidsperceptie als de belangrijkste bemiddelaar van de gebruikerstevredenheid, wat theoretische en praktische implicaties biedt.
In de context van wereldwijde digitale transformatie van onderwijs is geautomatiseerde schrijfevaluatie (AWE) breed toegepast vanwege de realtime en gestandaardiseerde voordelen; Traditionele nauwkeurigheidsgerichte kaders negeren echter vaak gelijkheidszorgen en de percepties van leerlingen, waardoor transparantie en onderwijswaarde worden beperkt. Om deze beperking aan te pakken, stelt dit onderzoek een uitlegbaar AI (XAI)-framework voor, ontworpen om transparante en interpreteerbare feedback te bieden, zodat leerlingen geautomatiseerde evaluatie kunnen begrijpen en vertrouwen, en integreert het een multi-level validatiemodel, het Three-Level Evaluation Framework (TLEF), dat technische nauwkeurigheid, groeps- en individuele gelijkheid en perceptie van leerlingen omvat, samen met het AI Fairness Mediation Model (AFMM). Met behulp van gelaagde willekeurige steekproeven werden gegevens verzameld van 764 meertalige leerlingen (moedertaalsprekers van het Engels, Chinees en Spaans) over het Common European Framework of Reference for Languages (CEFR) niveaus A2 tot C1, via schrijfopdrachten, dubbele scoring door AI- en menselijke experts, en gestructureerde vragenlijsten. In plaats van individuele tests op te sommen, werd meervoudige statistische analyses gebruikt om validiteit, eerlijkheid en de relatie tussen leerling en perceptie te onderzoeken. Statistische analyses combineerden correlatie, wortelgemiddelde kwadraatfout (RMSE), geëgaliseerde kanstoetsen en structurele vergelijkingsmodellering (SEM). De bevindingen tonen aan dat hoewel het AI-ondersteunde schrijfevaluatiesysteem (AWE) (ETS Criterion) algehele validiteit behaalt (r = 0,82), er aanzienlijke verschillen blijven: Chinese moedertaalsprekers tonen de laagste overeenstemming met menselijke beoordelaars (0,72) en de hoogste RMSE (mediaan 2,15), eerlijkheidsbiases zijn het meest uitgesproken bij lagere vaardigheidsniveaus (ΔEO = 0,15 voor A2-leerlingen), en waargenomen eerlijkheid bemiddelt volledig de relatie tussen waargenomen nauwkeurigheid en leerdertevredenheid, waarbij vaardigheid de fairness en sensitiviteit matigt. Door eerlijkheid en perceptie te herformuleren als essentiële dimensies van verklaarbaarheid, versterkt het onderzoek de theoretische basis van AWE en biedt het een praktische weg om transparantie, gelijkheid en sociale acceptatie in onderwijstechnologieën te vergroten.
De intensieve globalisering van onderwijs en digitale technologieën heeft de noodzaak vergroot om het schrijfniveau in het Engels wetenschappelijk en geloofwaardig te evalueren voor taalonderwijs, academische ontwikkeling enloopbaanbevordering. Conventionele schrijfbeoordelingen, zoals toegepast door menselijke beoordeling, kunnen subjectieve aspecten van schrijven meten zoals de grondigheid van argumentatie en culturele geschiktheid2, maar zijn gevoelig voor lange doorlooptijden, hoge arbeidskosten en vooringenomenheid door beoordelaarservaring en -voorkeuren
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Het ethische goedkeurings- en participatiewervingsproces, inclusief essayadministratie, dubbele beoordeling door ETS Criterion en experts, evaluatie van leerlingperceptie en statistische analyse, worden in deze sectie samengevat. Het benadrukt hoe nauwkeurigheid, eerlijkheid en SEM-gebaseerde perceptiemodellering zijn geïntegreerd in een uniforme XAI-validatiepijplijn. Het door XAI aangedreven AWE-evaluatiekader wordt geïllustreerd in Figuur 1.
Procedure:
De procedure bestond uit verschillende stappen. Eerst werd IRB-goedkeuring verk....
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
De sectie presenteert de onderzoeksresultaten op basis van vijf analytische dimensies: experimenteel ontwerp, deelnemerskenmerken, nauwkeurigheid van scores, eerlijkheidsbeoordeling en modellering van leren en perceptie. De uitkomsten omvatten statistische prestaties, groepsverschillen, billijkheidsverschillen en SEM-gebaseerde mediation en moderatie.
Experimentele opstelling
De belangrijkste softwarestappen waren het instellen van ETS Criterion via.......
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Het onderzoek onderzocht een AWE-systeem onder een drielaagse benadering, met technische nauwkeurigheid, groeps- en individuele eerlijkheid en perceptie door lerende, en stelde vast dat de algehele validiteit en systematische groepsverschillen tegelijkertijd aanwezig zijn. Er waren sterke correlaties tussen AI- en expertbeoordelingen (aggregate r = 0,82), maar er werden verschillen waargenomen per subgroep (native r = 0,89 vs. niet-native r = 0,76; Chinees r = 0,72; Tabel 6). De verdelin.......
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
De auteur heeft geen belangenconflicten om te melden.
| Naam | Bedrijf | Catalogusnummer | Opmerkingen |
|---|---|---|---|
| Gegevensopslagsysteem | Gecodeerde, toegangsgecontroleerde servers voor het opslaan van geanonimiseerde gegevens. | Institutionele servers | STORAGE-002 |
| ETS-criteriumsysteem | AI-ondersteund schrijfevaluatiesysteem dat wordt gebruikt voor het scoren van de schrijftaken. | Educational Testing Service (ETS) | ETS-001 |
| Gereedschappen voor eerlijkheids- en nauwkeurigheidsanalyse | Gereedschappen voor RMSE, Equalized Odds en statistische analyse. | Aangepaste scripts/statistische pakketten | TOOL-FA-001 |
| Beoordelingen door menselijke experts | Onafhankelijke beoordelingen door drie taalkundigen met meer dan 10 jaar ervaring. | Interne beoordelaars | HR-EXP-003 |
| Vragenlijst over perceptie van leerlingen | Een vragenlijst met 8 items over eerlijkheid en tevredenheid, beoordeeld op een 7-punts Likert-schaal. | Intern ontwikkeld | QUES-008 |
| Statistisch software (R 4.3.1) | Gebaten voor gegevensanalyse, inclusief SEM (Structurele vergelijkingsmodellering). | R Foundation | R-SW-431 |
| Gegevens van gestratificeerde willekeurige steekproeven | Gegevens verzameld van 764 meertalige leerlingen met CEFR-niveaus A2 tot C1. | Studiedeelnemers | DATA-764 |
| Vragen voor schrijftaken | Drie gestandaardiseerde essayonderwerpen over globalisering, online onderwijs en AI-ethiek. | Moodle-gebaseerd platform | PROMPT-003 |
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Dit artikel is gepubliceerd
Video binnenkort beschikbaar