Cadre d’IA explicable pour la précision, l’équité et la perception de l’apprenant dans l’évaluation de l’écriture en anglais

Summary

Cette étude développe un cadre d’évaluation à trois niveaux et un modèle de médiation de l’équité pour évaluer les systèmes d’écriture anglaise assistés par IA. En utilisant 764 échantillons interlinguistiques, les résultats montrent des disparités de précision, un biais d’équité envers les apprenants non natifs (en particulier le niveau de compétence A2 du chinois), et la perception de l’équité comme médiateur clé de la satisfaction des utilisateurs, offrant des implications théoriques et pratiques.

Abstract

Dans le contexte de la transformation numérique éducative mondiale, l’évaluation automatisée de l’écriture (AWE) a été largement adoptée en raison de ses avantages en temps réel et standardisés ; Cependant, les cadres traditionnels axés sur la précision négligent souvent les préoccupations d’équité et la perception des apprenants, limitant ainsi la transparence et la valeur éducative. Pour répondre à cette limitation, cette recherche propose un cadre d’IA explicable (XAI) conçu pour fournir un retour transparent et interprétable, permettant aux apprenants de comprendre et de faire confiance à l’évaluation automatisée, et intègre un modèle de validation multiniveau, le Three-Level Evaluation Framework (TLEF), couvrant la précision technique, l’équité collective et individuelle, ainsi que la perception des apprenants, ainsi que le modèle de médiation de l’équité par IA (AFMM). En utilisant un échantillonnage aléatoire stratifié, des données ont été collectées auprès de 764 apprenants multilingues (locuteurs natifs de l’anglais, du chinois et de l’espagnol) à travers les niveaux A2 à C1 du Cadre européen commun de référence pour les langues (CECR) à travers des tâches d’écriture, des évaluations doubles par l’IA et des experts humains, ainsi que des questionnaires structurés. Au lieu de lister des tests individuels, plusieurs analyses statistiques ont été employées pour examiner la validité, l’équité et la relation apprenant-perception. Les analyses statistiques combinaient corrélation, erreur quadratique moyenne (RMSE), tests d’égalité des chances et modélisation structurelle des équations (SEM). Les résultats révèlent que, bien que le système d’évaluation assistée par l’écriture assistée par IA (AWE) (critère ETS) atteigne une validité globale (r = 0,82), des disparités significatives subsistent : les locuteurs natifs chinois montrent la plus faible concordance avec les évaluateurs humains (0,72) et la RMSE la plus élevée (médiane 2,15), les biais d’équité sont les plus prononcés à des niveaux de compétence plus faibles (ΔEO = 0,15 pour les apprenants A2), et que l’équité perçue médie pleinement le lien entre la précision perçue et la satisfaction de l’apprenant, avec une maîtrise modérant la sensibilité à l’équité. En reformulant l’équité et la perception comme des dimensions essentielles de l’explicabilité, la recherche renforce le fondement théorique de l’AWE et offre une voie pratique pour accroître la transparence, l’équité et l’acceptation sociale dans les technologies éducatives.

Introduction

La mondialisation intensive de l’éducation et des technologies numériques a accru le besoin d’évaluer scientifiquement et de manière crédible le niveau d’écriture en anglais pour l’enseignement des langues, le développement académique et l’avancement professionnel¹. Les évaluations d’écriture conventionnelles, telles que pratiquées par l’évaluation humaine, peuvent mesurer des aspects subjectifs de l’écriture comme la rigueur de l’argumentation et l’adéquation culturelle², mais sont sujettes à de longs délais de révision, à des coûts de main-d’œuvre élevés et à des biais dus à l’expérien....

Protocol

Le processus d’approbation éthique et de recrutement des participants, incluant l’administration des dissertations, la double notation par ETS Criterion et les experts, l’évaluation de la perception des apprenants et l’analyse statistique, sont résumés dans cette section. Il met en lumière comment la précision, l’équité et la modélisation de perception basée sur le SEM sont intégrées dans un pipeline unifié de validation XAI. Le cadre d’évaluation AWE piloté par XAI est illustré à la Figure 1.

Procédure :

La procédure comportait plus....

Results

La section présente les résultats de la recherche basés sur cinq dimensions analytiques : la conception expérimentale, les caractéristiques des participants, la précision des notations, l’évaluation de l’équité et la modélisation de l’apprentissage et de la perception. Les résultats incluent la performance statistique, les différences de groupe, les disparités d’équité, ainsi que la médiation et la modération basées sur le MEV.

Installation expérimenta.......

Discussion

La recherche a exploré un système AWE selon une approche à trois niveaux, englobant la précision technique, l’équité du groupe et de l’individu, ainsi que la perception de l’apprenant, et a identifié que la validité globale et les différences systématiques entre groupes sont présentes simultanément. Il y avait de fortes corrélations entre l’IA et les évaluations des experts (r = 0,82 global), mais des différences ont été observées par sous-groupe (r natif = 0,89 vs. r non natif r = 0,76 .......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
données fort	Serveurs chiffrés et contrôlés d’accès pour stocker des données anonymisées.	Serveurs institutionnels	STORAGE-002
système de critères ETS	Système d’évaluation de l’écriture assisté par IA utilisé pour noter les tâches d’écriture.	Service de tests éducatifs (ETS)	ETS-001
<et de la précision fort>	Outils pour RMSE, Equalized Odds et analyse statistique.	Scripts/packages de statistiques personnalisés	TOOL-FA-001
Évaluations Experts Humains	Évaluations indépendantes fournies par trois linguistes ayant plus de 10 ans d’expérience.	Évaluateurs internes	HR-EXP-003
Questionnaire de perception de l’apprenant	Un questionnaire de 8 items sur l’équité et la satisfaction, évalué sur une échelle Likert de 7 points.	Développement interne	QUES-008
logiciel statistique (R 4.3.1)	Utilisé pour l’analyse de données, y compris le SEM (modélisation structurelle des équations).	Fondation R	R-SW-431
fortes	Données recueillies auprès de 764 apprenants multilingues des niveaux CECR A2 à C1.	Participants à l’étude	DATA-764
Writing Task Prompts	Trois sujets standardisés d’essais sur la mondialisation, l’éducation en ligne et l’éthique de l’IA.	Plateforme basée sur Moodle	PROMPT-003