Un cadre dynamique de retour correctionif écrit intégrant la livraison par agent IA pour un support structuré et itératif des essais

Résumé

Cette étude évalue le STEP-DWCF-R (Structured, Tiers, Evidence-driven Process for Dynamic Written Corrective Feedback with Robotic AI Agent) afin d’améliorer la performance en rédaction de l’IELTS grâce à l’IA en plusieurs tours et à des révisions soutenues par l’enseignant.

Résumé

Les systèmes automatisés de retour d’écriture sont courants, mais la plupart livrent des commentaires statiques et fragmentés qui offrent un support limité pour la révision. Cette étude évalue le cadre STEP-DWCF-R (Processus structuré, à niveaux, guidé par des preuves pour un retour correctionif écrit dynamique avec agent IA robotique), dans lequel un retour généré par l’IA, modéré par un enseignant, est délivré via un agent IA robotique à travers plusieurs cycles itératifs au cours d’un cycle de tâche d’une semaine. Dans un essai quasi-expérimental de huit semaines, 32 apprenants EFL ont été randomisés soit pour un retour correctionnel écrit traditionnel (un cycle par tâche), soit pour STEP-DWCF-R. Les deux groupes ont réalisé les essais de la tâche 2 de l’IELTS au départ et après le test, qui ont été anonymisés, randomisés et notés par deux évaluateurs indépendants (ICC = 0,86–0,93). Des modèles linéaires à effets mixtes ont démontré que le groupe STEP-DWCF-R présentait des gains significativement plus importants dans le score global de bande (Δ = 1,03 contre 0,31 bande) et sur les quatre dimensions analytiques, avec la plus grande amélioration observée en Cohérence et Cohésion. Les données de processus ont indiqué que les apprenants STEP-DWCF-R ont effectué en moyenne 2,26 tours de révision par tâche, avec une diminution linéaire du nombre d’erreurs sur chaque tour. Ces résultats suggèrent que le cadre intégré STEP-DWCF-R, englobant le retour généré par l’IA, la modération des enseignants et la livraison d’agents robotiques itératifs par IA, est associé à une amélioration accrue de la rédaction IELTS que le retour traditionnel à un seul tour, pointant vers des applications pratiques pour le retour dynamique amélioré par IA dans les contextes EFL.

Introduction

Le retour d’information correctif écrit (WCF) reste central dans la pédagogie de l’écriture de niveau 2. Les preuves montrent que la WCF globale améliore la précision des apprenants au fil du temps et, lorsqu’elle est alignée avec la pratique en classe, peut coexister avec des approches ciblées réalisables dans des contextes ^{authentiques 1,2,3}. Des études récentes en classe montrent des gains durables en précision et fluidité grâce à une WCF soutenue et complète. Les recherches sur le périmètre de rétroaction avertissent que les enseignants devraient cibler les formulaires de manière stratégique plutôt que de tout noter 4,5,6,7,8,9. Parallèlement, l’évaluation automatisée de l’écriture (AWE) et le retour d’information écrit automatisé (AWCF) ont connu une croissance rapide. Les résultats sont mitigés : certaines études montrent des progrès en réussite des tâches et en amplitude grammaticale avec des programmes de type AWCF ou Criterion, tandis que d’autres ne trouvent aucun avantage significatif par rapport aux retours réservés à l’enseignant ou notent des révisions principalement locales et superficielles. Pour refléter cette hétérogénéité, nous triangulons délibérément entre plusieurs études AWCF plutôt que de nous appuyer sur une seule source^{10, 11, 12, 13}.

Les croyances des apprenants sur qui fournit un retour d’information sont également importantes : des travaux quasi-expérimentaux sur la source perçue indiquent que la performance et la confiance peuvent changer lorsque des retours identiques sont présentés comme « enseignant » versus « automatisé », soulignant la nécessité de prendre en compte les effets de perception dans les conceptions AWCF^14,15. Pour élargir cette ligne, des études émergentes suggèrent que les robots éducatifs, en raison de leur présence incarnée, peuvent également agir comme fournisseurs de retours, influençant potentiellement l’engagement et la confiance des apprenants de manière^{distinctive 16}.

Une ligne de recherche complémentaire, le retour correctionnel écrit dynamique (DWCF), met l’accent sur des cycles de rétroaction fréquents, gérables et complets avec codage et révision rapide. Les preuves issues de plusieurs milieux suggèrent que le DWCF améliore de manière fiable la précision (avec des effets fréquents sur la fluidité), bien que les résultats puissent varier selon les objectifs du cours et la population^{d’apprenants 17, 18, 19, 20}. Enfin, les premières études sur le retour d’information médié par l’IA générative rapportent une parité avec les retours des enseignants sur les résultats d’écriture et les bénéfices potentiels lorsqu’elles sont associées à des orientations métalinguistiques explicites, ce qui encourage une intégration plus étroite du retour humain et du retour IA dans les contextes L2^21,22.

Pour relever ces défis, nous proposons le cadre STEP-DWCF-R (Structured, Tiers, Evidence-driven Process for Dynamic Written Corrective Feedback with Robotic AI Agent), un système de rétroaction DWCF à plusieurs étapes novateur, conçu pour fournir un support d’écriture structuré, itératif et orienté processus. Notre système exploite la puissance prédictive et générative des grands modèles de langage (LLM), avec une diffusion via une interface d’agent IA robotique et la modération des enseignants, pour segmenter les problèmes d’écriture complexes en catégories gérables, fournir des retours via plusieurs phases d’interaction, et évaluer son efficacité à l’aide de métriques basées sur les résultats et les processus. En transformant le retour en un processus structuré et interactif, STEP-DWCF-R fait progresser le support automatisé de l’écriture, passant de la correction d’erreurs statique à un système plus engageant, intégré et orienté vers l’apprentissage.

Nos contributions reposent sur trois avancées intégrées. Tout d’abord, nous proposons un schéma structuré de représentation par rétroaction qui catégorise les erreurs (par exemple, grammaire, cohérence) afin que la rétroaction LLM fournie par l’IA robotique soit à la fois exploitable et pédagogiquement interprétable. Deuxièmement, nous introduisons un processus itératif en plusieurs étapes qui séquence les retours à travers le langage, la structure et le raisonnement à travers plusieurs cycles afin de réduire la charge cognitive et d’approfondir l’engagement. Troisièmement, nous étendons l’évaluation au-delà des scores post-scores pour inclure des indicateurs orientés processus tels que la réduction des erreurs et l’adoption des retours, offrant une vision plus riche de l’impact de l’apprentissage. Les cadres WCF représentent les premières tentatives de systématisation du retour correctionnel écrit dans la technologie éducative. Issus de l’Évaluation Automatisée de la Rédaction (AWE) et de la Correction Automatisée des Essais (AES), ces systèmes mettaient l’accent sur la détection d’erreurs et la maîtrise avec^{un score de 13,14}. Leur contribution réside dans la scalabilité : des milliers d’apprenants pourraient recevoir des retours sans le goulot d’étranglement de la notation humaine. Cependant, ces cadres fournissaient généralement des commentaires statiques et fragmentés, tels que des corrections grammaticales, des suggestions lexicales ou des scores globaux que les apprenants peinaient à transformer en révisions^{significatives} 23,24,25,26.

Au fil du temps, la recherche sur la WCF a évolué pour inclure davantage d’approches médiatisées par la technologie. Ces systèmes plus récents cherchaient à saisir des aspects plus larges de l’écriture en tirant parti des méthodes de calcul^13,21. Plus récemment, le champ d’action s’est encore élargi avec les technologies intégrées, où les robots éducatifs ont commencé à agir comme des sources de retour dans des contextes d’écriture ou de tutorat. Leur présence physique et leurs possibilités interactives introduisent de nouvelles dynamiques de confiance, d’engagement et de motivation des apprenants. Pourtant, malgré ces évolutions, l’orientation dominante de la WCF est restée axée sur les résultats ^8,27 : produire des scores ou des commentaires isolés de manière one-shot. Sur le plan pédagogique, cette orientation est en désaccord avec l’évaluation formative, où le retour d’information doit accompagner la révision à travers les brouillons et soutenir l’engagement^{métacognitif} 16,28,29,30,31. Ainsi, la frontière conceptuelle de la WCF révèle un vide durable : le retour est fourni, mais non structuré ou séquencé pour guider les processus d’apprentissage.

En réponse à ces limites, les chercheurs ont commencé à explorer des approches plus dynamiques pour rédiger des retours. Les premières recherches ont mis en avant l’importance des cycles de rétroaction itératifs, où les apprenants révisent plusieurs fois sous des directives^{structurées 17,32}. La catégorisation structurée des erreurs a également été proposée pour améliorer l’interprétabilité des retours et l’aligner sur les objectifs pédagogiques^33,34. La notion de cadre DWCF consolide ces orientations en intégrant trois principes de conception : des schémas d’erreur explicites, une livraison progressive et itérative, et des métriques d’évaluation orientées^{processus 19,35}. Plutôt que de submerger les étudiants avec une masse de corrections à la fois, le DWCF répartit l’attention sur plusieurs niveaux d’écriture — précision superficielle, cohérence structurelle et profondeur argumentative — à travers des tours^{successifs 17,33}. L’évaluation s’étend au-delà des scores finaux pour inclure des indicateurs de processus tels que les taux de réduction des erreurs, l’adoption de rétroaction et la profondeur de révision^{10, 19, 25}. Malgré ses promesses, les applications pratiques du DWCF restent rares, et la plupart des études ne la mettent en œuvre pas dans des contextes à grande échelle, médiés par la technologie 10,36,37. Cette lacune met en lumière la nécessité de cadres qui non seulement théorisent la DWCF, mais démontrent également sa faisabilité dans des contextes éducatifs réels. La figure 1 montre le cadre théorique plus large de la DWCF proposé dans la littérature. La figure fournit une justification générale de la manière dont le retour correctionif écrit dynamique peut fonctionner à plusieurs niveaux, incluant à la fois les résultats mesurés (par exemple, précision, cohérence) et les concepts théorisés mais non mesurés dans la présente étude (par exemple, réduction de l’anxiété écrite, fluidité et complexité). Il est inclus pour une orientation théorique plutôt que comme modèle direct de cet essai. Les éléments correspondant aux résultats et aux métriques de processus analysés ici sont indiqués dans la figure ; D’autres voies sont illustratives et n’ont pas été évaluées dans cette étude.

L’émergence des LLM et des systèmes multimodaux offre un moyen puissant d’opérationnaliser le DWCF à grande échelle. Les LLM, avec leurs capacités zero-shot et few-shot, peuvent générer des retours contextuels sans formation spécifique à la^{tâche 21,22}. Des expériences récentes suggèrent leur potentiel pour la segmentation directive, le raffinement par étapes et la génération d’explications, qui s’alignent étroitement avec les principes du DWCF 13,37,38,39. Des recherches complémentaires sur la collaboration humain–IA ont montré que les boucles itératives d’engagement, d’adaptation et d’adoption sélective des retours IA peuvent améliorer à la fois la qualité de l’adoption et de la révision^25,30. Lorsque ces processus sont incarnés par des robots, l’interaction a le potentiel théorique de devenir multimodale — combinant geste, voix et présence — ce qui peut renforcer la perception et la motivation de l’apprenant⁴⁰.

Ancrés dans la Zone de Développement Proximal (ZPD⁾⁴¹, l’Hypothèse d’Entrée⁴² et la Théorie de l’Acquisition^{de Compétences 43}, nous positionnons STEP-DWCF-R comme un contrôleur qui relie le soutien à l’apprenant, le traitement des entrées et le développement des compétences. Concrètement, la listation liée à des rubriques, les listes consolidées en temps opportun et les cycles d’IA, humains et robots modérés par plusieurs tours par les enseignants fonctionnent à une couche d’intégration qui médiatise la révision et produit les points observables analysés ici (IELTS Overall et TR/CC/LR/GRA ; rondes, prise d’envoi, erreurs persistantes, temps). Des concepts tels que la réduction de l’anxiété liée à l’écriture sont théorisés mais pas mesurés dans cet essai.

Protocole

Ce protocole a été approuvé par le Comité d’éthique de l’École d’éducation primaire, Shangrao Preschool Education College. Tous les participants étaient des adultes (≥18 ans) et avaient donné un consentement éclairé écrit avant l’étude.

1. Conception de l’étude

REMARQUE : En raison des contraintes de la classe d’EFL disponible (nombre total d’inscriptions N = 32), les participants ont été répartis en deux groupes de 16 chacun. Cette taille d’échantillon, bien que modeste, a été jugée suffisante pour une étude pilote compte tenu de la conception pré-post-sujet interne et des tailles d’effet élevées attendues selon les études antérieures du^DWCF 17,18,19,20.

1. Randomisez les participants en deux groupes (n = 16 chacun) en utilisant une randomisation simple. Générez la séquence d’allocation à l’aide d’une liste de nombres aléatoires générée par ordinateur. Dissimulez l’attribution à l’instructeur jusqu’à la fin de l’évaluation de base.
2. Assurez-vous que les deux groupes sont enseignés par le même enseignant en utilisant les mêmes supports et les mêmes heures de contact.
3. Fournir un retour soit par correction humaine directe (WCF), soit via le flux de travail STEP-DWCF-R, où les retours de l’IA et des enseignants sont présentés via un agent IA robotique.

2. Tâches d’écriture

1. Administrez un essai de base pour la tâche 2 de l’IELTS en semaine 1 dans les conditions de l’examen (≥250 mots, 40 min).
2. Effectuez six tâches d’écriture hebdomadaires (semaines 2 à 7). Pour chaque tâche :
   1. Dans WCF, fournissez un tour de retours humains sur l’essai.
   2. Dans STEP-DWCF-R, générez un retour d’information IA, modérez-le avec un enseignant humain, et demandez à l’agent IA robotique de présenter le retour de manière interactive à l’apprenant.
   3. Dans le STEP-DWCF-R, répétez le cycle de rétroaction STEP-DWCF-R pendant 2 à 3 tours jusqu’à la fin de la révision.
3. Administrez un essai post-test IELTS Task 2 en semaine 8 dans les mêmes conditions d’examen. Suivez le même calendrier hebdomadaire pour chaque tâche dans les deux groupes. Fournir un retour d’information du premier tour dans les 24 heures suivant la soumission du brouillon dans le STEP-DWCF-R. Exiger que les apprenants révisent et soumettent à nouveau dans les 48 heures. Suivez le même calendrier pour les tours suivants et terminez tous les cycles dans la fenêtre hebdomadaire.

3. Flux de travail de retour d’information

1. Traiter chaque brouillon d’apprenant avec l’API GPT-5 (modèle = « gpt-5 », température = 0,7, max_output_tokens = 2048) pour générer des retours détaillés répartis sur quatre catégories fixes : grammaire, vocabulaire, organisation et raisonnement. L’invite système exacte et le schéma de sortie JSON sont fournis dans le dépôt open source (https://github.com/YifangGaoinPG/Dynamic-Writing-Correction-Feedback/blob/main/evaluate.py, fonction build_prompt() et normalize_reasoning()).
2. Modérer les retours générés par l’IA selon les critères suivants : supprimer les faux positifs ou les commentaires inexacts ; ajouter des questions critiques manquées en accord avec la grille IELTS ; Veillez à ce que les commentaires soient exploitables et encourageants ; et maintiennent la cohérence avec le schéma à quatre catégories. Consignez manuellement les décisions de modération.
3. Enregistrez les retours modérés au format JSON et téléchargez-les dans l’interface de l’agent IA robotique (une application web Flask légère).
4. Présentez vos retours via l’interface web. Affichez des tableaux structurés pour chaque catégorie (résumé, numéros et conseils de révision). Consignez les accusés de réception et les demandes de clarification des apprenants via les journaux système. Demandez aux apprenants de réviser et de soumettre à nouveau leurs brouillons. Répétez le cycle jusqu’à trois fois par tâche.
5. Vérification et dépannage.
   1. Vérifiez la génération de feedback efficace par l’IA en confirmant que la sortie est valide en JSON contenant les quatre catégories requises : grammaire, vocabulaire, organisation et raisonnement. Confirmez la fin de la modération des enseignants en veillant à ce que les faux positifs aient été supprimés, que les problèmes manquants aient été ajoutés et que le fichier JSON modéré ait été sauvegardé.
   2. Téléchargez le fichier JSON modéré sur l’interface d’agent IA robotique basée sur Flask via le point de terminaison de téléchargement. Confirmez le téléchargement réussi via le message de confirmation de l’interface et l’entrée du journal de la base de données. Enregistrez automatiquement les resoumissions des apprenants via les journaux de soumission des formulaires.
   3. Traiter les sorties IA non conformes (par exemple, JSON mal formé, catégories manquantes ou retour d’information inexact) en utilisant les fonctions ensure_json() et normalize_reasoning(). Régénérez la sortie API avec des paramètres d’invite ajustés selon les besoins. Corrigez manuellement le JSON lors de la modération de l’enseignant, si nécessaire, afin de vous assurer que les quatre catégories sont présentes avant le téléchargement.
      REMARQUE : Des exemples de retours bruts sur l’IA, des versions modérées par l’enseignant et la sortie de l’interface livrée sont disponibles dans le dépôt (données/dossier et carnets/).

4. Mesure des résultats

1. Définissez le critère principal comme le changement du score global de l’IELTS (de la semaine 1 à la semaine 8).
2. Définissez les résultats secondaires comme des changements dans la réponse à la tâche, la cohérence et la cohésion, la ressource lexicale, ainsi que la plage grammaticale et la précision.
3. Assignez deux évaluateurs indépendants ayant de l’expérience dans la notation de la tâche 2 de l’IELTS pour évaluer tous les essais. Retirez les noms et identifiants de groupe de tous les essais. Randomisez l’ordre des essais et les évaluateurs à l’aveugle selon les devoirs de groupe et le moment donné. Utilisez la même consigne de la tâche 2 de l’IELTS pour la première semaine de départ et la semaine 8 après l’examen. Résoudre les désaccords de notation supérieurs à 0,5 bande par la discussion jusqu’à ce qu’un consensus soit atteint. Évaluer la fiabilité inter-évaluateurs à l’aide du coefficient de corrélation intraclasse des mesures moyennes (ICC[2,2]).

5. Mesure du procédé

1. Notez le nombre de tours de révision par tâche.
2. Enregistrement de la réception des retours (adoptés, modifiés, refusés) par les apprenants.
3. Suivez les erreurs persistantes entre les cycles.
4. Notez le temps de retour des enseignants, le temps de livraison du robot et le temps de révision des apprenants.

6. Analyse des données

1. Ajustez les modèles linéaires à effets mixtes avec les interactions Groupe, Temps et Groupe × Temps.
2. Appliquer des modèles à effets mixtes généralisés pour les mesures de processus.
3. Rapportez les tailles d’effet, les intervalles de confiance à 95 % et les valeurs p ajustées.
4. Effectuez des vérifications de robustesse avec ANCOVA, des modèles spécifiques à chaque évaluateur et des SE robustes.

7. Disponibilité du code

Tout le code, les invites, les schémas JSON et les exemples de fichiers d’implémentation nécessaires pour reproduire le système STEP-DWCF-R sont disponibles librement sur https://github.com/YifangGaoinPG/Dynamic-Writing-Correction-Feedback.

Résultats

Expériences et analyses

Les 32 apprenants ont fourni des données de référence. Les données post-test étaient disponibles pour 16 apprenants dans chaque groupe (WCF et STEP-DWCF-R ; Figure 2). La chronologie de l’étude et les mesures sont présentées à la Figure 3, et le flux de retour de retour de bout en bout est illustré à la Figure 4. Les paramètres expérimentaux de mise en place et de mise en œuvre de notre système d’IA sont présentés dans le Tableau 1. Les analyses suivaient le plan prédéfini avec intention de traiter. Nous évaluons d’abord l’équivalence de base (Tableau 2), puis rapportons le critère principal (Figure 5 et Tableau 3), suivi des résultats secondaires (Tableau 4) avec des contrôles de robustesse et de fiabilité.

Équivalence de base

Au départ (semaine 1), les groupes étaient descriptivement similaires sur les covariables prédéfinies, incluant les données démographiques et la performance à la rédaction de l’IELTS avant tout retour (Tableau 2). Les scores individuels des composantes IELTS sont attribués par étapes de 0,5 bande, tandis que les rapports de tableau signifient par groupe. Les moyennes globales de la semaine 1 (WCF = 5,625, STEP-DWCF-R = 5,500) sont calculées à partir des mêmes tableaux utilisés pour générer la Figure 5. Nous ne réalisons pas de tests d’hypothèse au départ ; tout déséquilibre résiduel est traité par la conception pré-post-pos et le terme Group × Time dans le modèle à effets mixtes, et une comparaison post-test ajustée à la base est rapportée dans la section Protocole.

Résultat primaire

La figure 5 résume les changements avant et post, tandis que les tableaux 3 et 5 rapportent les estimations des modèles et l’obtention après le test. Au départ (semaine 1), les moyennes de groupe étaient de 5,625 pour la WCF et 5,500 pour le STEP-DWCF-R, ce qui donne une différence de groupe non significative de −0,125 bandes (SE = 0,133, t = − 0,939, df = 29,90, p = 0,355, IC à 95 % [−0,397, 0,147]). La référence du tableau 3 estime donc la moyenne de la semaine 1 du WCF à 5,625 avec un IC à 95 % [5,419, 5,831] (SE = 0,097, df = 15). De la semaine 1 à la semaine 8, la WCF s’est améliorée de 0,3125 bande (SE = 0,128, t = 2,44, df = 15, p = 0,028, IC à 95 % [0,039, 0,586] ; effet standardisé dans le groupe dz = 0,61). L’étape DWCF-R s’est améliorée de 1,0313 bandes (SE = 0,140, t = 7,34, df = 15, p = 2,44 × 10−6, IC à 95 % [0,732, 1,331] ; dz = 1,84). Le contraste linéaire des effets mixtes pour l’interaction temps du groupe × — c’est-à-dire la différence dans les différences — était de 0,7188 bandes (SE = 0,190, t = 3,78, df = 29,75, p = 0,0007, IC 95 % [0,330, 1,107] ; Tableau 3), indiquant des gains plus importants sous STEP-DWCF-R. Au post-test (semaine 8), les moyennes marginales estimées favorisaient STEP-DWCF-R de 0,5938 bandes (test de Welch sur les moyennes de groupe : SE = 0,115, t = 5,16, df = 29,74, p = 1,50 × 10⁻⁵, IC à 95 % [0,359, 0,829]). Conformément à cela, le tableau des résultats (Tableau 5) montre qu’à la semaine 8, 13 % des apprenants WCF ont atteint un ≥ global de 6,5 et 0 % ≥ 7,0 (décomptes 2/16 et 0/16), tandis que 81 % des apprenants STEP-DWCF-R ont atteint ≥ 6,5 et 25 % ont atteint ≥ 7,0 (comptages 13/16 et 4/16). Le tableau 3 rapporte les estimations correspondantes de l’effet fixe et leur incertitude.

Résultats au niveau dimensionnel

Le tableau 4 résume les changements avant la publication à travers les quatre dimensions de la Tâche 2. La réponse à la tâche (TR) a montré un gain de Δ = 0,25 bande sous WCF contre Δ = 0,95 sous STEP-DWCF-R, donnant ΔΔ = 0,70 avec IC à 95 % [0,28, 1,12] et p ajusté par Holm = 0,006. La cohérence et la cohésion (CC) ont montré le plus grand contraste : WCF Δ = 0,30, STEP-DWCF-R Δ = 1,15, donc ΔΔ = 0,85 (IC 95 % [0,44, 1,26], adj-p = 0,002). La ressource lexicale (LR) suivait le même schéma avec WCF Δ = 0,35 et STEP-DWCF-R Δ = 0,95, donnant ΔΔ = 0,60 (IC à 95 % [0,18, 1,02], adj-p = 0,012). La plage grammaticale et la précision (GRA) améliorées de Δ = 0,25 en WCF et Δ = 0,97 dans STEP-DWCF-R ; le ΔΔ = 0,72 donnait un IC à 95 % de [0,31, 1,13] avec ADJ-p = 0,004. Dans les quatre dimensions, les contrastes Group×Time favorisaient STEP-DWCF-R après l’ajustement de Holm–Bonferroni.

Preuves de procédure

Les figures 6 et 7 visualisent les résultats du processus principal. Entre les semaines 2 et 7, le STEP-DWCF-R a effectué en moyenne 2,26 tours de révision par tâche (IC à 95 % [2,17, 2,35] ; n = 96), tandis que le WCF était de 1,00 tour pour toutes les tâches (n = 96). La différence moyenne était de 1,26 coups (IC à 95 % [1,17, 1,35]) ; un test de Mann–Whitney a confirmé la séparation des distributions (U = 9216, z = 11,97, p < 10⁻³⁰). Au sein du STEP-DWCF-R, les comptages d’erreurs moyens ont diminué par tour : 13,78 au premier tour (IC à 95 % [13,02, 14,54] ; n = 96), 8,94 au deuxième tour (IC à 95 % [8,42, 9,46] ; n = 96), et 6,16 au troisième tour (IC à 95 % [5,20, 7,12] ; n = 25). Une tendance linéaire adaptée aux observations par tour a estimé une baisse de 4,14 erreurs par tour (IC à 95 % [3,51, 4,78] en magnitude absolue ; p < 10⁻¹²). Les mesures de captation de rétroaction et de temps sur la tâche ne sont pas codées dans les figures 6 et 7 et sont donc indiquées dans le tableau 7.

Fiabilité et robustesse

L’accord entre évaluateurs pour les essais de la semaine 1 et de la semaine 8 était bon à excellent. Deux évaluateurs formés ont noté tous les scripts indépendamment et ont été aveuglés par le groupe et le temps ; en utilisant les mesures moyennes du coefficient de corrélation intraclasse (ICC[2,2]) sur les moyennes de l’évaluateur, la fiabilité variait de 0,86 à 0,93 pour l’ensemble global, et les quatre dimensions ainsi que toutes les limites inférieures de confiance à 95 % dépassaient 0,80 (Tableau 6). Les contrôles diagnostiques pour le modèle primaire à effets mixtes ont indiqué des résidus approximativement normaux sans hétéroscédasticité matérielle, et les modèles adaptés aux résumés de processus au niveau de la tâche ont montré une dispersion proche de un. Les analyses de sensibilité basées sur le même ensemble de données semaine 1/semaine 8 ont donné des inférences cohérentes : une régression linéaire comparant les groupes post-test tout en ajustant pour les scores de base a estimé une différence ajustée entre groupes de 0,575 bande à la semaine 8 (IC 95 % [0,336, 0,814], p = 3,15 × 10⁻⁵), et un modèle mixte spécifique à chaque évaluateur incluant un effet aléatoire pour l’évaluateur et utilisant des scores non moyens ont produit une estimation Group × Time de 0,72 bande (IC 95 % [0,33, 1.11], p = 0,0007), alignée avec le tableau 3. Les résultats sont restés inchangés lors de l’utilisation d’erreurs standard robustes et lorsque les analyses étaient limitées à des cas complets, renforçant la conclusion que STEP-DWCF-R produit des gains pré-post-postérieur plus importants que la WCF.

Résultats qualitatifs

Pour l’analyse qualitative, nous avons examiné les traces de révision STEP-DWCF-R sur les six tâches ainsi que les réflexions écrites de fin de cours des 16 participants du groupe STEP-DWCF-R. Deux codeurs ont codé indépendamment les matériaux en utilisant un cadre déductif ciblé basé sur les quatre catégories de rétroaction (grammaire, vocabulaire, organisation, raisonnement) et les justifications d’absorption. L’accord intercodeurs était substantiel avec le kappa de Cohen de 0,78, et les désaccords étaient résolus par discussion.

L’analyse a révélé cinq thèmes clés : l’adoption suivait un schéma étape, les apprenants résolvant les caractéristiques de surface avant d’aborder l’organisation et le raisonnement ; les éléments spécifiques à chaque étendue et liés à la grille étaient plus exploitables et fréquemment adoptés que les suggestions narratives ; La complémentarité IA-enseignant a façonné la priorité, avec des signaux qui se chevauchent augmentant la concentration et la modération enseignante résolvant les conflits ; Les bénéfices ont atteint leur pic tôt, avec la réutilisation des modèles d’organisation et des schémas lexicaux notés sur les nouvelles consignes ; et les apprenants ont adapté leurs stratégies à travers les tâches. Ces thèmes éclairent la dynamique du processus explorée dans la section preuves de procédé. La captation de la rétroaction, les erreurs persistantes et les mesures du temps sur la tâche ont également été enregistrées. Un résumé de ces indicateurs de processus supplémentaires est présenté dans le Tableau 7.

Interprétation des résultats représentatifs

Pris ensemble, les données sur les résultats et le processus indiquent que le cadre STEP-DWCF-R est associé à une amélioration de la rédaction IELTS plus importante que le retour traditionnel à une seule ronde. Le résultat principal montre une différence de différence entre les groupes de 0,72 bandes, le groupe STEP-DWCF-R s’améliorant de 1,03 bande au total contre 0,31 dans le groupe WCF. Cet avantage était cohérent dans les quatre dimensions analytiques, avec le plus grand contraste en cohérence et cohésion à 0,85 bande, suggérant que le retour structuré, lié à la grille et multi-étapes, a particulièrement facilité le développement organisationnel. Les preuves du processus indiquent en outre que l’engagement itératif sous-tend cet avantage. Les apprenants STEP-DWCF-R ont complété en moyenne 2,26 tours de révision par tâche, et le nombre d’erreurs a diminué linéairement d’environ 4,1 erreurs par tour. Par exemple, un cycle de flux de travail représentatif comprenait GPT-5 générant des retours JSON structurés dans les quatre catégories, suivi d’une modération enseignante pour éliminer les faux positifs et améliorer l’actionnabilité, puis une diffusion ultérieure via l’interface d’agent IA robotique pour une révision multi-tours par les apprenants. Ces résultats confirment la faisabilité et l’efficacité potentielle du flux de travail intégré multi-composantes combinant un retour généré par IA, la modération des enseignants et la livraison d’agents robotiques par IA itérative, mais ils ne doivent pas être interprétés comme une preuve d’un seul composant isolément. Le déséquilibre de dose de 2 à 3 tours par rapport à un seul cycle et la taille modeste de l’échantillon de 32 signifient que les gains observés reflètent l’effet combiné d’opportunités accrues de révision et de retour structuré. Ces résultats doivent être considérés comme des preuves pilotes prometteuses en attente de confirmation dans des essais plus larges contrôlés par composants.

Figure 1. Cadre théorique du DWCF (rétroaction corrective écrite dynamique). Le chiffre fournit une justification plus large de la manière dont le DWCF pourrait fonctionner ; il est inclus pour l’orientation plutôt que comme un modèle direct de cet essai. Les éléments correspondant aux résultats et aux métriques de processus analysés ici sont indiqués dans la figure ; D’autres parcours sont illustratifs et n’ont pas été évalués. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Figure 2. Diagramme de flux CONSORT des participants. Trente-deux apprenants ont été évalués pour leur éligibilité ; aucun n’a été exclu. Tous les participants ont donné leur consentement et ont ensuite été randomisés dans un ratio 1:1 soit dans le groupe WCF (n = 16), soit dans le groupe DWCF (n = 16). Tous les participants randomisés ont reçu l’intervention allouée ; Il n’y a eu aucune perte de suivi ni d’arrêt, et les 32 ont tous été inclus dans l’analyse finale. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Figure 3. Chronologie et mesures de l’étude. L’essai a duré 8 semaines : au W1, les participants ont complété la tâche IELTS 2 de référence et ont été notés ; six tâches d’écriture hebdomadaires étaient administrées de W2 à W7 (Tâche 1–Tâche 6), avec des retours spécifiques au groupe (WCF ou DWCF) et des révisions après chaque tâche. Les mesures de processus, y compris les rondes de révision, la prise de retours, le taux d’erreur persistante et le temps de travail sur la tâche, ont été enregistrées pour chaque tâche durant W2–W7. Au W8, la tâche 2 de l’IELTS post-test a été administrée et notée. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Figure 4. Flux de retours de bout en bout. Les apprenants produisent un premier brouillon surveillé, puis reçoivent des retours spécifiques au groupe : WCF (un tour de retour humain) ou STEP-DWCF-R (retour généré par IA avec modération enseignante, délivré via des agents IA robotiques, impliquant 2 à 3 tours itératifs). Les apprenants effectuent une ou plusieurs rondes de révision en conséquence. Le résultat est le score de la bande de la tâche 2 de l’IELTS ; Les mesures de processus incluent le nombre de manches, la captation de rétroaction (adoptée/modifiée/refusée), le taux d’erreur persistante et le temps passé sur la tâche. Le système enregistre les identifiants au niveau des items, la catégorie/sévérité, la source (IA vs. humain vs. robot), les actions de modération et l’état d’acceptation. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Figure 5. Évolution de la bande globale de l’IELTS de la semaine 1 à la semaine 8 par groupe. Les points donnent les moyennes estimées du groupe avec des intervalles de confiance à 95 %, et les trajectoires indiquent un gain plus important sous le STEP-DWCF-R . Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 6. Rondes de révision par tâche par groupe (semaines 2–7). Les points de données représentent les tours de révision individuels des tâches pour les groupes WCF (bleu) et STEP-DWCF-R (orange). Les lignes horizontales et les barres d’erreur indiquent des moyennes de groupe avec des intervalles de confiance à 95 %. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Figure 7. Nombre moyen d’erreur par cycle dans le STEP-DWCF-R avec IC à 95 %. Les points indiquent les moyennes d’erreurs à chaque tour de rétroaction (tour 1, tour 2, tour 3), et les lignes verticales représentent des intervalles de confiance (IC) à 95 %. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Composant	Spécification
Matériel	PC avec Intel(R) Core(TM) 12e génération i7-12700H (2,30 GHz), 32 Go de RAM, GPU Nvidia RTX 3080Ti (16 Go)
Système d’exploitation	Windows 11
Backend	Flask~2.1 (Python~3.10)
Frontend	Modèles Jinja2 rendus par serveur
Modèles d’IA	API OpenAI GPT-5 (pour la génération de rétroaction), post-traitement basé sur le schéma
Ordonnanceur de rétroaction	Contrôleur personnalisé gérant le retour multi-étapes (3 cycles)
Schéma d’erreur	Grammaire, vocabulaire, organisation, raisonnement
Contrôle de version	GitHub
Exploitation forestière	Enregistrement automatique des soumissions, des retours et des révisions pour analyse

Tableau 1 : Paramètres de mise en place et de mise en œuvre expérimentaux. Les spécifications techniques du système de rétroaction IA, incluant la configuration matérielle, le système d’exploitation, les cadres backend et frontend, les paramètres des modèles IA, le planificateur de rétroaction, les catégories de schémas d’erreur, le contrôle des versions et l’infrastructure de journalisation.

Variable	WCF (n=16)	STEP-DWCF-R (n=16)
Âge (années), moyenne (SD)	20.9 (1.5)	21.1 (1.6)
Femme, n ( %)	9 (56%)	8 (50%)
Préparation préalable à l’IELTS (oui), n ( %)	7 (44%)	6 (38%)
Années d’enseignement préalable en écriture	3.1 (1.2)	3.2 (1.1)
Base IELTS Globale (groupe)	5.625 (0.387)	5.500 (0.365)
Baseline TR (groupe)	5.56 (0.50)	5.50 (0.50)
Baseline CC (groupe)	5.62 (0.49)	5.53 (0.49)
LR de base (groupe)	5.60 (0.46)	5.52 (0.46)
Baseline GRA (groupe)	5.56 (0.48)	5.49 (0.45)

Tableau 2 : Caractéristiques de référence des participants par groupe (semaine 1). Variables démographiques et performance de rédaction de la tâche 2 du International English Language Testing System (IELTS) avant le test pour les groupes WCF et STEP-DWCF-R. Les valeurs sont la moyenne (écart-type) ou n ( %).

Effet fixe	Estimation	SE	df	t	p	IC à 95 %
Intercept (WCF, Semaine~1)	5.625	0.097	15	58.1	<.001	[5.419, 5.831]
Groupe (STEP-DWCF-R vs. WCF)	-0.125	0.133	29.9	-0.939	.355	[-0.397, 0.147]
Temps (Semaine~8 vs. Semaine~1)	0.3125	0.128	15	2.44	.028	[0.039, 0.586]
Groupe × Temps	0.7188	0.19	29.75	3.78	.0007	[0.330, 1.107]

Tableau 3 : Modèle linéaire à effets mixtes pour la bande globale de l’IELTS à partir des scores de la semaine 1/semaine 8. Estimations à effets fixes, erreurs standard (SE), degrés de liberté (df), valeurs t, valeurs p et intervalles de confiance (IC) à 95 % pour les termes d’interaction et de modèles Group × Time.

Dimension	WCF Δ (bandes)	STEP-DWCF-R Δ (bandes)	ΔΔ (IC 95 %)	ADJ-P
Réponse à la tâche (TR)	0.25	0.95	0.70 (0.28, 1.12)	.006
Cohérence et cohésion (CC)	0.3	1.15	0.85 (0.44, 1.26)	.002
Ressource lexicale (LR)	0.35	0.95	0.60 (0.18, 1.02)	.012
Étendue grammaticale et précision (GRA)	0.25	0.97	0.72 (0.31, 1.13)	.004

Tableau 4 : Résultats au niveau de la dimension (Tâche 2) : changements avant et après et différences entre groupes. Changements pré-post-changement (Δ) et différences dans les différences (ΔΔ) avec intervalles de confiance (IC) à 95 % et des valeurs p ajustées en Holm pour la réponse à la tâche (TR), la cohérence et la cohésion (CC), la ressource lexicale (LR), ainsi que la plage et la précision grammaticales (GRA).

Seuil	WCF ( %)	STEP-DWCF-R ( %)
Au total ≥ 6,5	13	81
Au ≥ global 7,0	0	25

Tableau 5 : Niveau de l’étreinte après l’examen (semaine 8). Proportion d’apprenants dans les groupes WCF et STEP-DWCF-R atteignant des seuils globaux de score IELTS d’au moins 6,5 et au moins 7,0.

Conséquences	ICC	IC à 95 %
Globalisation	0.91	[0.86, 0.94]
Réponse à la tâche (TR)	0.88	[0.82, 0.92]
Cohérence et cohésion (CC)	0.9	[0.85, 0.94]
Ressource lexicale (LR)	0.89	[0.83, 0.93]
Étendue grammaticale et précision (GRA)	0.87	[0.80, 0.91]

Tableau 6 : Fiabilité inter-évaluateurs pour les résultats IELTS. Deux évaluateurs aveugles sur N = 64 essais (semaine 1 et semaine 8 combinées). Mesure en moyenne les coefficients de corrélation intra-classe (ICC[2,2]) avec des intervalles de confiance (IC) à 95 % pour les scores globaux et dimensionnels.

Mesure	Groupe WCF	Groupe STEP-DWCF-R
Tours de révision par tâche	1	2.26
Taux d’adoption de rétroaction (adopté ou modifié, %)	68.5	82.3
Taux d’erreur persistant après la dernière manche ( %)	67.4	45.6
Temps de modération de l’enseignant (minimum par tâche)	23.5	13.8
Délai de livraison de l’agent IA (minimum par tâche)	—	3.9
Temps de révision de l’apprenant (minimum par tâche)	44.8	71.2
Temps total de retour + révision (min/tâche)	68.3	88.9

Tableau 7 : Moyennes sur 96 tâches (6 tâches × 16 apprenants). Les taux d’adoption et d’erreur persistante ont été calculés au niveau du point de rétroaction. Les mesures de temps étaient enregistrées via les journaux des enseignants et les horodatages du système. Le délai de livraison de l’agent IA n’est pas applicable au groupe WCF.

Discussion

Cette étude a comparé le STEP-DWCF-R, un cadre dynamique de rétroaction corrective écrite multi-composantes avec un agent IA robotique, avec un WCF à un seul cycle dans un cours d’écriture IELTS de huit semaines. Le step-dwcf-R a permis de réaliser des gains plus importants avant la post-production de la bande globale et sur TR, CC, LR et GRA. Les apprenants sous STEP-DWCF-R ont également effectué plus de cycles de révision et ont montré une réduction plus rapide des erreurs, les modèles estimant une baisse d’environ 4,1 erreurs par tour. La plus grande amélioration a été la cohérence et la cohésion (ΔΔ = 0,85), indiquant que le retour structuré lié à la grille d’évaluation favorise une organisation et une précision de plus haut niveau. Ces résultats s’alignent avec des recherches antérieures du DWCF montrant que le retour d’information itératif et complet améliore la précision de l’écriture au^{fil du temps 14,15,16,17}.

Le flux de travail STEP-DWCF-R comprend trois étapes critiques. Premièrement, le système d’IA génère des retours détaillés répartis dans quatre catégories (Grammaire, Vocabulaire, Organisation, Raisonnement) à l’aide d’un schéma JSON contraint et d’une consigne systémique standardisée. Deuxièmement, un enseignant modère les résultats pour éliminer les faux positifs, ajouter les points critiques manqués en accord avec la grille IELTS, garantir une formulation exploitable et encourageante, et maintenir la cohérence avec le schéma en quatre catégories. Cette étape de modération sert de principal mécanisme de dépannage, corrigeant les hallucinations ou les sur-notes de l’IA qui pourraient autrement submerger les apprenants. Notamment, le temps de modération par tâche par enseignant était plus faible dans STEP-DWCF-R que dans WCF (13,8 min contre 23,5 min), car l’IA générait le retour structuré initial et l’enseignant ne le modérait que par l’enseignant. Troisièmement, les retours modérés sont transmis via l’interface d’agent robotique IA en ligne, qui enregistre les accusés de réception et les resoumissions des apprenants sur plusieurs tours.

Comparé aux approches existantes, STEP-DWCF-R répond à des limites distinctes. Le WCF conventionnel à un seul tour reste limité par le temps de l’instructeur et offre généralement peu d’opportunités de révision soutenue. Les outils automatisés d’évaluation de la rédaction offrent une évolutivité mais livrent souvent des commentaires statiques et fragmentés que les apprenants peinent à traduire en révisions significatives^{20, 21, 22}. Les premières études sur les DWCF ont démontré l’efficacité des cycles de rétroaction à plusieurs tours, mais leur dépendance à des corrections rédigées par l’instructeur a soulevé des inquiétudes de faisabilité dans les grandes classes^{14, 15, 16, 17}. Les études récentes sur le retour génératif en IA rapportent une parité avec les retours des enseignants sur les résultats d’écriture, mais sans modération structurée ni livraison^{itérative 18,19}. STEP-DWCF-R combine l’évolutivité de l’IA avec la supervision de l’enseignant et la livraison itérative d’agents IA robotiques, réduisant ainsi la charge de travail des enseignants tout en augmentant la fréquence des révisions.

Nous reconnaissons plusieurs limites. La taille relativement faible de l’échantillon (N = 32) limite la généralisabilité de nos résultats, et l’étude doit être considérée comme une étude pilote. Les deux conditions différaient en termes de dosage de rétroaction : le groupe WCF n’a reçu qu’une seule série de rétroaction par tâche, tandis que le groupe STEP-DWCF-R a subi 2 à 3 tours itératifs. Par conséquent, la performance supérieure du groupe STEP-DWCF-R reflète les effets combinés de plusieurs cycles de révision, de retour généré par l’IA et de modération des enseignants, plutôt que l’effet isolé de l’agent IA robotique ou de sa modalité de diffusion. L’agent IA robotique est une interface entièrement virtuelle basée sur le web, donc ses effets ne peuvent pas être démêlés de ceux de la structure itérative elle-même. Le retour d’information humain multimodal (par exemple, parole plus geste) n’a pas été inclus comme condition de contrôle car ce n’est pas une pratique standard dans les classes d’écriture classiques d’anglais langue étrangère et nécessiterait un paradigme expérimental distinct. Les études futures devraient inclure des groupes témoins assortis par dosage (par exemple, des retours de l’enseignant sur plusieurs rondes) afin de mieux démêler ces composantes.

Malgré ces limitations, le cadre STEP-DWCF-R propose des orientations pratiques pour l’enseignement de l’écriture assistée par IA. Son architecture modulaire permet l’intégration dans les systèmes de gestion de l’apprentissage pour les cours d’anglais langue étrangère à grande échelle, et le schéma structuré en quatre catégories pourrait être adapté à l’écriture académique ou à des genres spécifiques à une discipline. De futures itérations pourraient explorer la livraison multimodale pour tirer parti des avantages théoriques de l’engagement des agents incarnés, bien que le projet pilote actuel établisse la faisabilité d’une collaboration itérative IA-enseignant basée sur le texte. Néanmoins, le schéma cohérent à travers les mesures de résultats, les indicateurs de processus et la forte fiabilité inter-évaluateurs soutiennent la faisabilité et l’efficacité potentielle de cette approche multi-composantes dans des contextes EFL similaires.

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Flask (Web Framework)	Pallets Projects	https://flask.palletsprojects.com	Version 2.1; utilisé pour l'interface web de l'agent IA robotique
API GPT-5	OpenAI	https://platform.openai.com	Modèle gpt-5, température=0,7; pour la génération de retour JSON structuré
Jinja2	Pallets Projects	https://jinja.palletsprojects.com	Modèles rendus côté serveur pour l'interface web
Python	Python Software Foundation	https://www.python.org	Version 3.10; scripting côté serveur
Windows 11	Microsoft	https://www.microsoft.com/windows	Système d'exploitation pour le système de retour IA