Ein dynamisches schriftliches Korrekturfeedback-Framework, das KI-Agentenlieferung für strukturierte und iterative Essay-Unterstützung integriert

Zusammenfassung

Diese Studie vergleicht STEP-DWCF-R (Structured, Tiered, Evidence-Driven Process for Dynamic Written Corrective Feedback with Robotic AI Agent) zur Verbesserung der IELTS-Schreibleistung durch mehrrundige KI und von Lehrkräften unterstützte Überarbeitungen.

Zusammenfassung

Automatisierte Schreib-Feedbacksysteme sind weit verbreitet, doch die meisten liefern statische, fragmentierte Kommentare, die nur begrenzte Unterstützung für Überarbeitungen bieten. Diese Studie bewertet das STEP-DWCF-R-Framework (Structured, Tiered, Evidence-driven Process for Dynamic Written Corrective Feedback with Robotic AI Agent), bei dem KI-generiertes Feedback, moderiert von einem Lehrer, über mehrere iterative Runden innerhalb eines einwöchigen Aufgabenzyklus über mehrere iterative Runden verteilt wird. In einer achtwöchigen quasi-experimentellen Studie wurden 32 EFL-Lernende entweder auf traditionelles schriftliches Korrekturfeedback (eine Runde pro Aufgabe) oder auf STEP-DWCF-R randomisiert. Beide Gruppen erstellten IELTS Task 2 Essays am Ausgangspunkt und nach dem Test, die anonymisiert, randomisiert und von zwei unabhängigen Bewertern bewertet wurden (ICC = 0,86–0,93). Lineare Mixed-Effects-Modelle zeigten, dass die STEP-DWCF-R-Gruppe signifikant größere Zuwächse im Gesamtbandwert (Δ = 1,03 vs. 0,31 Bänder) und in allen vier analytischen Dimensionen aufwies, wobei die größte Verbesserung in Kohärenz und Kohäsion beobachtet wurde. Prozessdaten zeigten, dass STEP-DWCF-R-Lernende durchschnittlich 2,26 Wiederholungsrunden pro Aufgabe absolvierten, wobei die Fehleranzahl linear über die Runden hinweg abnahm. Diese Ergebnisse deuten darauf hin, dass das integrierte STEP-DWCF-R-Framework, das KI-generiertes Feedback, Lehrermoderation und iterative robotische KI-Agentenlieferung umfasst, mit einer größeren Verbesserung des IELTS-Schreibens als traditionelles Einrunden-Feedback verbunden ist, was auf praktische Anwendungen für KI-gestütztes dynamisches Feedback in EFL-Kontexten hinweist.

Einleitung

Schriftliches korrigierendes Feedback (WCF) bleibt zentral für die L2-Schreibpädagogik. Belege zeigen, dass umfassende WCF die Genauigkeit der Lernenden im Laufe der Zeit verbessert und, wenn es mit der Praxis im Klassenzimmer abgestimmt ist, mit fokussierten Ansätzen koexistieren kann, die in authentischen Kontexten praktikabel^{sind 1,2,3}. Aktuelle Studien im Klassenzimmer zeigen nachhaltige Verbesserungen in Genauigkeit und Sprachflüssigkeit durch anhaltende, umfassende WCF. Forschungen zum Feedback-Umfang warnen, dass Lehrkräfte Formulare strategisch ansteuern sollten, anstatt alles^mit 4,5,6,7,8,9 zu bewerten. Parallel dazu haben automatisierte Schreibbewertung (AWE) und automatisiertes schriftliches Korrekturfeedback (AWCF) rasch zugenommen. Die Ergebnisse sind gemischt: Einige Studien zeigen Fortschritte bei der Aufgabenerreichung und im grammatikalischen Bereich mit AWCF- oder Criterion-Programmen, während andere keinen signifikanten Vorteil gegenüber reiner Lehrerrückmeldung finden oder überwiegend lokale, oberflächliche Überarbeitungen anmerken. Um diese Heterogenität widerzuspiegeln, triangulieren wir bewusst mehrere AWCF-Studien, anstatt uns auf eine einzige Quelle zu stützen^{: 10,11,12,13}.

Auch die Überzeugungen der Lernenden darüber, wer Feedback gibt, sind von Bedeutung: Quasi-experimentelle Arbeit zur wahrgenommenen Quelle zeigt, dass Leistung und Vertrauen sich verschieben können, wenn identisches Feedback als "Lehrer" statt "automatisiert" dargestellt wird, was die Notwendigkeit unterstreicht, Wahrnehmungseffekte in AWCF-Designs^{zu berücksichtigen 14,15}. Ausgehend von dieser Linie deuten neue Studien darauf hin, dass Bildungsroboter aufgrund ihrer verkörperten Präsenz auch als Feedbackgeber fungieren können, was das Engagement und Vertrauen der Lernenden auf besondere Weise beeinflussen kann¹⁶.

Eine ergänzende Forschungsrichtung, dynamisches schriftliches korrektives Feedback (DWCF), legt Wert auf häufige, handhabbare und umfassende Rückmeldungszyklen mit Codierung und schneller Überarbeitung. Belege aus verschiedenen Kontexten deuten darauf hin, dass DWCF die Genauigkeit zuverlässig verbessert (mit häufigen Auswirkungen auf die Sprachflüssigkeit), wobei die Ergebnisse je nach Kursziel und Lernpopulation variieren können^{: 17,18,19,20}. Schließlich berichten frühe Studien zu generativ-KI-vermitteltem Feedback von Parität mit Lehrerfeedback zu Schreibergebnissen und potenziellen Vorteilen, wenn sie mit expliziter metalinguistischer Anleitung kombiniert werden, was eine engere Integration von menschlichem und KI-Feedback in L2-Kontexten motiviert^21,22.

Um diese Herausforderungen zu bewältigen, schlagen wir das STEP-DWCF-R (Structured, Tiered, Evidence-driven Process for Dynamic Written Corrective Feedback with Robotic AI Agent) vor, ein neuartiges mehrstufiges DWCF-Feedbacksystem, das strukturierte, iterative und prozessorientierte Schreibunterstützung bietet. Unser System nutzt die prädiktive und generative Kraft von Large Language Models (LLMs), mit Bereitstellung über eine robotische KI-Agentenschnittstelle und Lehrermoderation, um komplexe Schreibthemen in handhabbare Kategorien zu segmentieren, Feedback über mehrere Interaktionsrunden zu geben und deren Wirksamkeit sowohl anhand ergebnisbasierter als auch prozessbasierter Kennzahlen zu bewerten. Durch die Umwandlung von Feedback in einen strukturierten und interaktiven Prozess erweitert STEP-DWCF-R die automatisierte Schreibunterstützung von statischer Fehlerkorrektur hin zu einem ansprechenderen, verkörperten und lernorientierten System.

Unsere Beiträge konzentrieren sich auf drei integrierte Fortschritte. Zunächst schlagen wir ein strukturiertes Feedback-Repräsentationsschema vor, das Fehler (z. B. Grammatik, Kohärenz) kategorisiert, sodass robotergeneriertes, von KI-Agenten geliefertes LLM-Feedback sowohl umsetzbar als auch pädagogisch interpretierbar ist. Zweitens führen wir einen iterativen mehrstufigen Prozess ein, der Rückkopplungen über Sprache, Struktur und Argumentation über mehrere Runden hinweg sequenziert, um die kognitive Belastung zu verringern und das Engagement zu vertiefen. Drittens erweitern wir die Evaluation über Post-Scores hinaus auf prozessorientierte Kennzahlen wie Fehlerminderung und Feedback-Übernahme und bieten so einen reichhaltigeren Einblick in die Lernwirkung. WCF-Rahmenwerke stellen die frühesten Versuche dar, schriftliches Korrekturfeedback innerhalb der Bildungstechnologie zu systematisieren. Diese Systeme stammen aus der automatisierten Schreibbewertung (AWE) und der automatisierten Aufsatzbewertung (AES) und legten den Schwerpunkt auf Fehlererkennung und Kompetenzbewertung^{mit 13,14}. Ihr Beitrag liegt in der Skalierbarkeit: Tausende von Lernenden könnten Feedback erhalten, ohne den Engpass einer menschlichen Bewertung zu erhalten. Diese Frameworks lieferten jedoch typischerweise statische und fragmentierte Kommentare wie Grammatikprüfungen, lexikalische Vorschläge oder globale Ergebnisse, die die Lernenden schwer in sinnvolle Überarbeitungen umwandeln konnten – 23,24,25,26.

Im Laufe der Zeit entwickelte sich die WCF-Forschung weiter, um mehr technologievermittelte Ansätze einzubeziehen. Diese neueren Systeme versuchten, breitere Aspekte des Schreibens durch den Einsatz von rechnergestützten Methoden^abzufangen. In jüngerer Zeit hat sich der Umfang durch verkörperte Technologien weiter ausgeweitet, bei denen Bildungsroboter als Feedbackgeber in schriftlichen oder Nachhilfekontexten fungieren. Ihre physische Präsenz und interaktiven Möglichkeiten bringen neue Dynamiken von Vertrauen, Engagement und Lernmotivation mit sich. Trotz dieser Entwicklungen blieb die dominierende Ausrichtung der WCF ergebnisorientiert ^8,27: Punktzahlen oder isolierte Kommentare werden in einer einmaligen Phase produziert. Pädagogisch ist diese Ausrichtung nicht mit der formativen Bewertung übereinstimmend, wobei Feedback die Überarbeitung über Entwürfe hinweg unterstützen und metakognitives Engagement unterstützen^sollte 16,28,29,30,31. Daher offenbart die konzeptionelle Grenze von WCF eine anhaltende Lücke: Feedback wird gegeben, aber nicht strukturiert oder sequenziert, um Lernprozesse zu steuern.

Als Reaktion auf diese Einschränkungen haben Wissenschaftler begonnen, dynamischere Ansätze zum Schreiben von Feedback zu erkunden. Frühe Untersuchungen hoben die Bedeutung iterativer Rückkopplungszyklen hervor, bei denen Lernende mehrfach unter gerüsteter Anleitung wiederholen^17,32. Strukturierte Fehlerkategorisierung wurde ebenfalls vorgeschlagen, um die Interpretierbarkeit von Feedback zu verbessern und es mit den pädagogischen Zielen^{abzustimmen 33,34}. Der Begriff eines DWCF-Rahmens konsolidiert diese Richtungen, indem es drei Designprinzipien einbettet: explizite Fehlerschemata, gestufte und iterative Auslieferung sowie prozessorientierte Evaluationsmetriken^19,35. Anstatt die Studierenden mit einer Vielzahl von Korrekturen auf einmal zu überfordern, verteilt DWCF die Aufmerksamkeit über Schreibebenen – oberflächliche Genauigkeit, strukturelle Kohärenz und argumentative Tiefe – durch aufeinanderfolgende Runden^17,33. Die Bewertung geht über die Endwerte hinaus und umfasst Prozessindikatoren wie Fehlerminderungsraten, Feedback-Akzeptanz und^{Revisionstiefe} 10,19,25. Trotz seines Versprechens bleiben die praktischen Anwendungen von DWCF spärlich, und die meisten Studien verfehlen es, es in groß angelegten, technologievermittelten Kontexten in Betrieb zu nehmen⁽10,36,37). Diese Lücke unterstreicht die Notwendigkeit von Rahmenwerken, die nicht nur DWCF theoretisieren, sondern auch dessen Machbarkeit in realen Bildungseinrichtungen demonstrieren. Abbildung 1 zeigt den breiteren theoretischen Rahmen des DWCF, der in der Literatur vorgeschlagen wird. Die Abbildung liefert eine allgemeine Begründung dafür, wie dynamisches schriftliches korrektives Feedback auf mehreren Ebenen funktionieren kann, einschließlich gemessener Ergebnisse (z. B. Genauigkeit, Kohärenz) als auch theoretischer, aber nicht gemessener Konstrukte in der vorliegenden Studie (z. B. Reduzierung, Flüssigkeit und Komplexität von Schreibangst). Sie ist aus theoretischer Orientierung enthalten und nicht als direktes Modell dieses Versuchs. Elemente, die den hier analysierten Ergebnissen und Prozesskennzahlen entsprechen, sind in der Abbildung dargestellt; Andere Signalwege sind anschaulich und wurden in dieser Studie nicht untersucht.

Das Aufkommen von LLMs und multimodalen Systemen bietet ein kraftvolles Mittel, DWCF in großem Maßstab zu operationalisieren. LLMs können mit ihren Zero-Shot- und Few-Shot-Fähigkeiten kontextsensitives Feedback ohne aufgabenspezifisches Training^{generieren 21,22}. Jüngste Experimente deuten auf ihr Potenzial für direktive Segmentierung, gestufte Verfeinerung und Erklärungsgenerierung hin, die eng mit den Prinzipien von DWCF 13,37,38,39 übereinstimmen. Komplementäre Forschung in der Zusammenarbeit zwischen Mensch und KI hat gezeigt, dass iterative Schleifen aus der Auseinandersetzung, Anpassung und selektiven Anwendung von KI-Feedback sowohl die Akzeptanz als auch die Überarbeitungsqualität verbessern können^25,30. Wenn diese Prozesse durch Roboter verkörpert werden, hat die Interaktion theoretisch das Potenzial, multimodal zu werden – indem Gesten, Stimme und Präsenz kombiniert werden – was die Wahrnehmung und Motivation der Lernenden weiter verbessern^kann.

Verwurzelt in der Zone of Proximal Development (ZPD)⁴¹, der Input-Hypothese⁴² und der Skill Acquisition^{Theory 43} positionieren wir STEP-DWCF-R als einen Controller, der Lernunterstützung, Input-Verarbeitung und Fähigkeitsentwicklung verbindet. Konkret arbeiten die mit Rubriken verknüpfte Itemisierung, zeitnahe konsolidierte Listen und mehrrundige, von Lehrkräften moderierte KI-, Mensch- und Roboterzyklen auf einer Integrationsschicht, die die Überarbeitung vermittelt und die hier analysierten beobachtbaren Endpunkte liefert (IELTS Overall und TR/CC/LR/GRA; Runden, Aufnahme, persistente Fehler, Zeit). Konstrukte wie die Reduzierung von Schreibangst werden in dieser Studie theoretisch, aber nicht gemessen.

Protokoll

Dieses Protokoll wurde vom Ethikausschuss der Grundschulschule des Shangrao Preschool Education College genehmigt. Alle Teilnehmer waren Erwachsene (≥18 Jahre) und gaben vor Beginn der Studie eine schriftliche informierte Einwilligung ab.

1. Studiendesign

HINWEIS: Aufgrund der Einschränkungen des verfügbaren EFL-Klassenraums (Gesamtzahl N = 32) wurden die Teilnehmer zufällig in zwei Gruppen zu je 16 Personen eingeteilt. Diese Stichprobengröße, obwohl bescheiden, wurde aufgrund des prä-post-designorientierten Konzepts innerhalb des Subjekts und erwarteter großer Effektgrößen basierend auf früheren DWCF-Studien 17,18,19,20 als ausreichend für eine Pilotstudie eingestuft.

1. Randomisieren Sie die Teilnehmer in zwei Gruppen (n = 16 jeweils) mittels einfacher Randomisierung. Erzeugen Sie die Zuteilungssequenz mithilfe einer computergenerierten Zufallszahlenliste. Verbergen Sie die Zuweisung vor dem Ausbilder, bis die Basisbewertung abgeschlossen ist.
2. Stellen Sie sicher, dass beide Gruppen vom selben Lehrer mit identischen Materialien und Kontaktstunden unterrichtet werden.
3. Geben Sie Feedback entweder durch direkte menschliche Korrektur (WCF) oder über den STEP-DWCF-R-Workflow, bei dem KI- und Lehrerfeedback über einen robotischen KI-Agenten präsentiert wird.

2. Schreibaufgaben

1. Führen Sie in Woche 1 unter Prüfungsbedingungen einen Basisaufsatz zu IELTS Task 2 (≥250 Wörter, 40 Min).
2. Führen Sie sechs wöchentliche Schreibaufgaben durch (Wochen 2–7). Für jede Aufgabe:
   1. Im WCF geben Sie eine Runde menschliches Feedback zum Aufsatz.
   2. In STEP-DWCF-R generieren Sie KI-Feedback, moderieren Sie es mit einem menschlichen Lehrer und weisen Sie den robotischen KI-Agenten an, das Feedback interaktiv an den Lernenden zu übermitteln.
   3. In STEP-DWCF-R wiederholt man den STEP-DWCF-R-Feedbackzyklus für 2–3 Runden, bis die Überarbeitung abgeschlossen ist.
3. Führen Sie in Woche 8 einen IELTS Task 2-Aufsatz nach dem Test unter denselben Prüfungsbedingungen durch. Folgen Sie für jede Aufgabe in beiden Gruppen demselben einwöchigen Kalender. Geben Sie innerhalb von 24 Stunden nach Einreichung des Entwurfs das Feedback für Runde 1 in STEP-DWCF-R ein. Verlangen Sie von den Lernenden, innerhalb von 48 Stunden zu überarbeiten und erneut einzureichen. Folgen Sie demselben Zeitplan für die folgenden Runden und schließen Sie alle Zyklen innerhalb des wöchentlichen Zeitfensters ab.

3. Feedback-Workflow

1. Bearbeiten Sie jeden Lernentwurf mit der GPT-5-API (Modell = "GPT-5", Temperatur = 0,7, max_output_tokens = 2048), um detailliertes Feedback über vier feste Kategorien zu erhalten: Grammatik, Vokabular, Organisation und Argumentation. Der genaue Systemprompt und das JSON-Ausgabeschema werden im Open-Source-Repository bereitgestellt (https://github.com/YifangGaoinPG/Dynamic-Writing-Correction-Feedback/blob/main/evaluate.py, Funktion build_prompt() und normalize_reasoning()).
2. Moderieren Sie das KI-generierte Feedback nach folgenden Kriterien: Entfernen von Fehlalarmen oder ungenauen Kommentaren; übersehene kritische Punkte hinzufügen, die mit der IELTS-Rubrik übereinstimmen; Sicherstellen, dass Kommentare umsetzbar und ermutigend sind; und die Konsistenz mit dem Vier-Kategorien-Schema aufrechtzuerhalten. Protokolliere Moderationsentscheidungen manuell.
3. Speichere das moderierte Feedback im JSON-Format und lade es auf die robotische KI-Agentenoberfläche (eine leichte Flask-Webanwendung) hoch.
4. Geben Sie Feedback über die Weboberfläche. Zeigen Sie strukturierte Tabellen für jede Kategorie an (Zusammenfassung, Probleme und Überarbeitungstipps). Erfassen Sie Lernbestätigungen und Erläuterungsanfragen über Systemprotokolle. Weisen Sie die Lernenden an, ihre Entwürfe zu überarbeiten und erneut einzureichen. Wiederhole den Zyklus bis zu dreimal pro Aufgabe.
5. Verifizierung und Fehlersuche.
   1. Überprüfen Sie die erfolgreiche KI-Feedbackgenerierung, indem Sie bestätigen, dass das Ergebnis gültig JSON ist und alle vier erforderlichen Kategorien enthält: Grammatik, Vokabular, Organisation und Argumentation. Bestätigen Sie den Abschluss der Lehrermoderation, indem Sie sicherstellen, dass Fehlalarme entfernt wurden, fehlende Probleme hinzugefügt und die moderierte JSON-Datei gespeichert wurde.
   2. Laden Sie die moderierte JSON-Datei über den Upload-Endpunkt auf die Flask-basierte Roboter-KI-Agenten-Schnittstelle hoch. Bestätigen Sie den erfolgreichen Upload über die Bestätigungsmeldung der Schnittstelle und den Eintrag in das Datenbankprotokoll. Erneute Einreichungen der Lernenden automatisch über Formularabgabeprotokolle aufzeichnen.
   3. Verarbeiten Sie nicht konforme KI-Ausgaben (z. B. fehlgeleitetes JSON, fehlende Kategorien oder ungenaues Feedback) mit den Funktionen ensure_json() und normalize_reasoning(). Regeneriere die API-Ausgabe mit angepassten Prompt-Parametern nach Bedarf. Korrigieren Sie das JSON während der Lehrermoderation bei Bedarf manuell, um sicherzustellen, dass alle vier Kategorien vor dem Hochladen vorhanden sind.
      HINWEIS: Beispiele für rohes KI-Feedback, von Lehrern moderierte Versionen und die bereitgestellte Schnittstellenausgabe sind im Repository verfügbar (Daten-/Ordner und Notizbücher).

4. Ergebnismessung

1. Definieren Sie das primäre Ergebnis als die Änderung des IELTS-Gesamtbandpunkts (Woche 1 bis Woche 8).
2. Definieren Sie sekundäre Ergebnisse als Veränderungen in Aufgabenantwort, Kohärenz und Kohäsion, lexikalischer Ressource sowie grammatikalischer Bandbreite und Genauigkeit.
3. Weisen Sie zwei unabhängige Bewerter mit Erfahrung in der Bewertung der IELTS-Aufgabe 2 alle Essays zu. Entferne Namen und Gruppenkennungen aus allen Aufsätzen. Randomisieren Sie die Reihenfolge des Aufsatzes und prüfen Sie blinde Bewerter auf Gruppenaufgabe und Zeitpunkt. Verwenden Sie denselben IELTS Task 2 Prompt sowohl für den Wochen-1-Baseline als auch für Woche 8 nach dem Test. Diskutieren Sie Punktendifferenzen über 0,5 Bändern durch Diskussion, bis ein Konsens erreicht ist. Bewertung der Inter-Rater-Zuverlässigkeit anhand des intraklassischen Korrelationskoeffizienten mit Durchschnittsmaßen (ICC[2,2]).

5. Prozessmessung

1. Protokolliere die Anzahl der Überarbeitungsrunden pro Aufgabe.
2. Aufzeichnung der Aufnahme von Feedback (übernommen, modifiziert, abgelehnt) durch Lernende.
3. Verfolgen Sie persistente Fehler zwischen den Zyklen.
4. Erfassen Sie die Zeit des Lehrerfeedbacks, die Roboter-Lieferzeit und die Lerner-Wiederholungszeit.

6. Datenanalyse

1. Lineare Mixed-Effects-Modelle mit Gruppen-, Zeit- und Gruppen-×-Zeit-Interaktionen anpassen.
2. Verallgemeinerte Mixed-Effects-Modelle für Prozessmaße anwenden.
3. Berichtseffektgrößen, 95%-Konfidenzintervalle und angepasste p-Werte.
4. Führen Sie Robustheitsprüfungen mit ANCOVA, bewerterspezifischen Modellen und robusten SEs durch.

7. Code-Verfügbarkeit

Sämtlicher Code, Prompts, JSON-Schemata und Beispielimplementierungsdateien, die zur Reproduktion des STEP-DWCF-R-Systems erforderlich sind, sind offen verfügbar bei https://github.com/YifangGaoinPG/Dynamic-Writing-Correction-Feedback.

Ergebnisse

Experimente und Analyse

Alle 32 Lernenden lieferten Basisdaten. Nach-Testdaten lagen für 16 Lernende in jeder Gruppe zur Verfügung (WCF und STEP-DWCF-R; Abbildung 2). Der Studienzeitplan und die Messungen sind in Abbildung 3 dargestellt, und der End-to-End-Feedback-Workflow ist in Abbildung 4 dargestellt. Die experimentellen Aufbau- und Implementierungsparameter für unser KI-System sind in Tabelle 1 dargestellt. Die Analysen folgten dem vorgegebenen Plan mit Intention-to-treat. Zunächst bewerten wir die Baseline-Äquivalenz (Tabelle 2), dann berichten wir das primäre Endergebnis (Abbildung 5 und Tabelle 3), gefolgt von sekundären Endpunkten (Tabelle 4) mit Robustheits- und Zuverlässigkeitsprüfungen.

Basisäquivalenz

Zu Beginn (Woche 1) waren die Gruppen beschreibend ähnlich bei vorgegebenen Kovariaten, einschließlich Demografie und IELTS-Schreibleistung, bevor jegliches Feedback vorlag (Tabelle 2). Einzelne IELTS-Komponentenwerte werden in 0,5-Band-Schritten vergeben, während die Tabelle Gruppenmittelwerte angibt. Die Gesamtmittelwerte der Woche 1 (WCF = 5,625, STEP-DWCF-R = 5,500) werden aus denselben Arrays berechnet, die zur Erstellung von Abbildung 5 verwendet wurden. Wir führen keine Hypothesentests zu Beginn durch; etwaige Restungleichgewichte werden durch das Pre-Post-Design und den Group × Time-Term im Mixed-Effects-Modell behoben, und ein nach dem Test angepasster Vergleich für den Baseline wird im Abschnitt Protokoll berichtet.

Hauptergebnis

Abbildung 5 fasst die Veränderungen vor der Nachfolge zusammen, während Tabelle 3 und Tabelle 5 Modellschätzungen und die Erreichung nach dem Test zeigen. Zu Beginn (Woche 1) lagen die Gruppenmittelwerte bei 5,625 für WCF und 5,500 für STEP-DWCF-R, was eine nicht-signifikante Gruppendifferenz von −0,125 Bändern ergab (SE = 0,133, t = − .939, df = 29,90, p = .355, 95%-KI [−0,397, 0,147]). Die Basislinie in Tabelle 3 schätzt daher den WCF-Durchschnitt der Woche 1 bei 5,625 mit 95 % KI [5,419, 5,831] (SE = 0,097, df = 15). Von Woche 1 bis Woche 8 verbesserte sich der WCF um 0,3125 Bänder (SE = 0,128, t = 2,44, df = 15, p = 0,028, 95%-KI [0,039, 0,586]; standardisierter Gruppen-Effekt dz = 0,61). STEP-DWCF-R verbesserte sich um 1,0313 Bänder (SE = 0,140, t = 7,34, df = 15, p = 2,44 × 10−6, 95 % KI [0,732, 1,331]; dz = 1,84). Der lineare Mixed-Effects-Kontrast für die Gruppe×-Zeit-Interaktion – also die Differenz-in-Differenzen – betrug 0,7188 Bänder (SE = 0,190, t = 3,78, df = 29,75, p = 0,0007, 95%-KI [0,330, 1,107]; Tabelle 3), die größere Gewinne unter STEP-DWCF-R anzeigen. Nach dem Test (Woche 8) begünstigten die geschätzten marginalen Mittelwerte STEP-DWCF-R um 0,5938 Bänder (Welch-Test auf Gruppenmitteln: SE = 0,115, t = 5,16, df = 29,74, p = 1,50 × 10⁻⁵, 95%-KI [0,359, 0,829]). Im Einklang damit zeigt die Erwerbstabelle (Tabelle 5), dass in Woche 8 13 % der WCF-Lernenden das Gesamt-≥ 6,5 erreichten und 0 % ≥ 7,0 erreichten (Zählungen 2/16 und 0/16), während 81 % der STEP-DWCF-R-Lernenden ≥ 6,5 und 25 % ≥ 7,0 erreichten (Zählungen 13/16 und 4/16). Tabelle 3 zeigt die entsprechenden Fixed-Effect-Schätzungen und deren Unsicherheit.

Ergebnisse auf Dimensionsebene

Tabelle 4 fasst die Änderungen vor der Nachbearbeitung über die vier Dimensionen von Aufgabe 2 zusammen. Task Response (TR) zeigte einen Gewinn von Δ = 0,25 Bändern unter WCF gegenüber Δ = 0,95 unter STEP-DWCF-R, was ΔΔ = 0,70 mit 95 % KI [0,28, 1,12] und Holm-bereinigtes p = 0,006 ergibt. Kohärenz und Kohäsion (CC) zeigten den größten Kontrast: WCF Δ = 0,30, STEP-DWCF-R Δ = 1,15, daher ΔΔ = 0,85 (95%-KI [0,44, 1,26], adj-p = .002). Lexical Resource (LR) folgte demselben Muster mit WCF Δ = 0,35 und STEP-DWCF-R Δ = 0,95, was ΔΔ = 0,60 ergab (95%-KI [0,18, 1,02], adj-p = 0,012). Grammatical Range and Accuracy (GRA) verbessert um Δ = 0,25 in WCF und Δ = 0,97 in STEP-DWCF-R; das resultierende ΔΔ = 0,72 trug ein 95%-KI von [0,31, 1,13] mit adj-p = .004. In allen vier Dimensionen bevorzugten die Gruppen×Zeit-Kontraste STEP-DWCF-R nach der Holm–Bonferroni-Anpassung.

Prozessnachweise

Abbildung 6 und Abbildung 7 visualisieren die Kernergebnisse des Prozesses. In den Wochen 2–7 absolvierte STEP-DWCF-R durchschnittlich 2,26 Revisionsrunden pro Aufgabe (95 % KI [2,17, 2,35]; n = 96), während WCF für alle Aufgaben 1,00 Runden betrug (n = 96). Der mittlere Unterschied betrug 1,26 Runden (95 % KI [1,17, 1,35]); ein Mann–Whitney-Test bestätigte die Trennung der Verteilungen (U = 9216, z = 11,97, p < 10⁻³⁰). Innerhalb von STEP-DWCF-R sanken die mittleren Fehlerzählungen um Runde: 13,78 in Runde 1 (95%-KI [13,02, 14,54]; n = 96), 8,94 in Runde 2 (95%-KI [8,42, 9,46]; n = 96) und 6,16 in Runde 3 (95%-KI [5,20, 7,12]; n = 25). Ein linearer Trend, der auf Beobachtungen pro Runde angepasst wurde, schätzte einen Rückgang von 4,14 Fehlern pro Runde (95 % KI [3,51, 4,78] in absoluter Größe; p < 10⁻¹²). Messgrößen der Rückkopplungsaufnahme und der Zeit auf Aufgabe sind in Abbildung 6 und Abbildung 7 nicht kodiert und werden daher in Tabelle 7 dargestellt.

Zuverlässigkeit und Robustheit

Die Einigung zwischen den Bewertern für die Aufsätze der Woche 1 und Woche 8 war gut bis ausgezeichnet. Zwei ausgebildete Bewerter bewerteten alle Skripte unabhängig voneinander und waren blind für Gruppen und Zeit; unter Verwendung des intraklassischen Korrelationskoeffizienten (ICC[2,2]) auf den Bewertungsmitteln lag die Zuverlässigkeit zwischen 0,86–0,93 über die Gesamtwerte, die vier Dimensionen hinweg und alle unteren 95%-Konfidenzgrenzen überschritten 0,80 (Tabelle 6). Diagnostische Überprüfungen des primären Mixed-Effects-Modells zeigten ungefähr normale Residuen ohne Materialheteroscedastizität, und Modelle, die auf Aufgabenebene Prozesszusammenfassungen angepasst sind, zeigten eine Dispersion nahe bei einem. Sensitivitätsanalysen basierend auf demselben Datensatz aus Woche 1/Woche 8 ergaben konsistente Schlussfolgerungen: Eine lineare Regression, die Gruppen nach dem Test verglich und gleichzeitig für Baseline-Werte adjustierte, schätzte einen bereinigten Unterschied zwischen den Gruppen von 0,575 Bändern in Woche 8 (95 % KI [0,336, 0,814], p = 3,15 × 10⁻⁵), und ein bewerterspezifisches gemischtes Modell, das einen zufälligen Effekt für den Bewerter enthielt und nicht gemittelte Werte verwendete, ergab eine Gruppen-×-Zeitschätzung von 0,72 Bändern (95 % KI [0,33, 1.11], p = .0007), ausgerichtet mit Tabelle 3. Die Ergebnisse blieben unverändert, wenn robuste Standardfehler verwendet wurden und Analysen auf vollständige Fälle beschränkt waren, was die Schlussfolgerung verstärkt, dass STEP-DWCF-R größere Vor-Post-Gewinne erzielt als WCF.

Qualitative Ergebnisse

Für die qualitative Analyse untersuchten wir STEP-DWCF-R-Überarbeitungsüberprüfungen über alle sechs Aufgaben hinweg sowie schriftliche Abschlussreflexionen der 16 Teilnehmer der STEP-DWCF-R-Gruppe. Zwei Programmierer kodierten die Materialien unabhängig voneinander mit einem fokussierten deduktiven Rahmen, der auf den vier Rückkopplungskategorien (Grammatik, Vokabular, Organisation, Schlussfolgerung) und Aufnahmebegründungen basiert. Die Einigung zwischen den Codierern war mit Cohens Kappa von 0,78 erheblich, und Meinungsverschiedenheiten wurden durch Diskussionen beigelegt.

Die Analyse zeigte fünf zentrale Themen: Die Aufnahme folgte einem gestuften Muster, bei dem die Lernenden Oberflächenmerkmale auflösten, bevor sie sich mit Organisation und Schlussfolgerung befassten; Span-spezifische, mit Rubriken verknüpfte Aufgaben waren umsetzbarer und häufiger übernommen als narrative Vorschläge; Die Komplementarität zwischen KI und Lehrkräften prägte Prioritäten, wobei sich überlappende Signale den Fokus erhöhten und die Lehrermoderation Konflikte löste; Die Vorteile erreichten früh ihren Höhepunkt, mit der Wiederverwendung von Organisationsvorlagen und lexikalischen Mustern, die in neuen Prompts vermerkt wurden; und die Lernenden passten Strategien über Aufgaben hinweg an. Diese Themen informieren die Prozessdynamiken, die im Abschnitt Prozesse-Evidenz untersucht werden. Auch Rückkopplungsaufnahmen, persistierende Fehler und Time-on-Task-Messungen wurden erfasst. Eine Zusammenfassung dieser zusätzlichen Prozessindikatoren ist in Tabelle 7 dargestellt.

Interpretation repräsentativer Ergebnisse

Zusammen zeigen die Ergebnisse und Prozessdaten, dass das STEP-DWCF-R-Framework mit einer größeren Verbesserung des IELTS-Schreibens als traditionelles Einrunden-Feedback verbunden ist. Das primäre Ergebnis zeigt eine Unterschiedsdifferenz zwischen den Gruppen von 0,72 Bändern, wobei sich die STEP-DWCF-R-Gruppe insgesamt um 1,03 Bänder verbessert, verglichen mit 0,31 Bändern in der WCF-Gruppe. Dieser Vorteil war in allen vier analytischen Dimensionen konsistent, wobei der größte Unterschied in Kohärenz und Kohäsion bei 0,85 Bändern lag, was darauf hindeutet, dass strukturiertes, mit Rubriken verknüpftes, mehrstufiges Feedback die Organisationsentwicklung besonders unterstützte. Prozessbelege deuten zudem darauf hin, dass iteratives Engagement diesem Vorteil zugrunde liegt. STEP-DWCF-R-Lernende absolvierten durchschnittlich 2,26 Überarbeitungsrunden pro Aufgabe, und die Fehleranzahl sank linear um etwa 4,1 Fehler pro Runde. So beinhaltete beispielsweise ein repräsentativer Workflow-Zyklus GPT-5, das strukturiertes JSON-Feedback in den vier Kategorien generierte, gefolgt von Lehrermoderation zur Beseitigung von Fehlalarmen und Verbesserung der Handlungsfähigkeit sowie der anschließenden Durchführung über die robotische KI-Agentenschnittstelle für mehrrundige Lerner-Überarbeitung. Diese Ergebnisse stützen die Machbarkeit und potenzielle Wirksamkeit des integrierten Multi-Komponenten-Workflows, der KI-generiertes Feedback, Lehrermoderation und iterative robotische KI-Agentenlieferung kombiniert, sollten jedoch nicht als Beweis für eine einzelne Komponente isoliert interpretiert werden. Das Dosisungleichgewicht von 2–3 Runden im Vergleich zu einer Runde und die moderate Stichprobengröße von 32 bedeuten, dass die beobachteten Gewinne den kombinierten Effekt von erhöhten Revisionsmöglichkeiten und strukturiertem Feedback widerspiegeln. Diese Ergebnisse sollten als vielversprechende Pilotbelege betrachtet werden, die in größeren, komponentenkontrollierten Studien auf Bestätigung warten.

Abbildung 1. Theoretischer Rahmen des DWCF (dynamisches schriftliches korrektives Feedback). Die Abbildung liefert eine umfassendere Begründung dafür, wie DWCF funktionieren könnte; es ist zur Orientierung und nicht als direktes Modell dieser Studie enthalten. Elemente, die den hier analysierten Ergebnissen und Prozesskennzahlen entsprechen, sind in der Abbildung dargestellt; andere Wege sind illustrativ und wurden nicht bewertet. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 2. CONSORT-Flussdiagramm der Teilnehmer. Zweiunddreißig Lernende wurden auf ihre Berechtigung geprüft; keiner wurde ausgeschlossen. Alle Teilnehmer gaben ihre Zustimmung und wurden dann im Verhältnis 1:1 entweder in die WCF-Gruppe (n = 16) oder die DWCF-Gruppe (n = 16) randomisiert. Alle randomisierten Teilnehmer erhielten die zugewiesene Intervention; Es gab keine Verluste durch Nachverfolgung oder Einstellungen, und alle 32 wurden in die Endanalyse aufgenommen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 3. Studienzeitplan und Maßnahmen. Die Studie erstreckte sich über 8 Wochen: In W1 schlossen die Teilnehmer die Ausgangs-IELTS-Aufgabe 2 ab und wurden bewertet; sechs wöchentliche Schreibaufgaben wurden von W2 bis W7 (Aufgabe 1–Aufgabe 6) durchgeführt, mit gruppenspezifischem Feedback (WCF oder DWCF) und Überarbeitungen nach jeder Aufgabe. Prozessmaße, darunter Überarbeitungsrunden, Rückmeldung, persistent-Fehlerrate und Einsatzzeit, wurden für jede Aufgabe während W2–W7 protokolliert. Im W8 wurde die IELTS Task 2 nach dem Test durchgeführt und bewertet. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 4. End-to-End-Feedback-Workflow. Die Lernenden erstellen einen beaufsichtigten ersten Entwurf und erhalten dann gruppenspezifisches Feedback: WCF (eine menschliche Rückmeldungsrunde) oder STEP-DWCF-R (KI-GENERIERTES Feedback mit Lehrermoderation, bereitgestellt über robotische KI-Agenten, mit 2–3 iterativen Runden). Die Lernenden schließen die Wiederholungsrunden entsprechend ab. Das Ergebnis ist der IELTS Task 2 Bandpunkt; Zu den Prozessmaßen gehören die Anzahl der Runden, die Aufnahme von Rückmeldungen (übernommen/modifiziert/abgelehnt), die Fehlerquote und die Zeit für die Aufgabe. Das System protokolliert die Item-Level-IDs, Kategorie/Schwere (KI vs. Mensch vs. Roboter), Moderationsmaßnahmen und den Uptake-Status. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 5. Änderung des IELTS-Gesamtbandes von Woche 1 auf Woche 8 nach Gruppe. Die Punkte geben die geschätzten Gruppenmittelwerte mit 95%-Konfidenzintervallen an, und die Trajektorien zeigen einen größeren Gewinn unter STEP-DWCF-R Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 6. Überarbeitungsrunden pro Aufgabe nach Gruppe (Wochen 2–7). Datenpunkte repräsentieren einzelne Aufgabenüberprüfungsrunden für die WCF (blau) und STEP-DWCF-R (orange) Gruppen. Horizontale Linien und Fehlerbalken zeigen Gruppenmittelwerte mit 95%igen Konfidenzintervallen an. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 7. Mittlere Fehlerzählungen pro Runde innerhalb von STEP-DWCF-R mit 95 % KI. Punkte zeigen die mittleren Fehlerzahlen in jeder Rückkopplungsrunde an (Runde 1, Runde 2, Runde 3), und vertikale Linien stellen 95%-Konfidenzintervalle (KI) dar. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Komponente	Spezifikation
Hardware	PC mit Intel(R) Core(TM) i7-12700H der 12. Generation (2,30 GHz), 32 GB RAM, NVIDIA RTX 3080Ti GPU (16 GB)
Betriebssystem	Windows 11
Backend	Flask~2.1 (Python~3.10)
Frontend	Jinja2 server-renderte Vorlagen
KI-Modelle	OpenAI GPT-5 API (für Feedback-Generierung), schemabasierte Nachbearbeitung
Feedback-Scheduler	Benutzerdefinierter Controller verwaltet mehrstufige Rückkopplung (3 Zyklen)
Fehlerschema	Grammatik, Wortschatz, Organisation, Schlussfolgerung
Versionskontrolle	GitHub
Holzeinschlag	Automatische Protokollierung von Einreichungen, Feedback und Überarbeitungen zur Analyse

Tabelle 1: Experimentelle Aufbau- und Implementierungsparameter. Technische Spezifikationen des KI-Feedbacksystems, einschließlich Hardwarekonfiguration, Betriebssystem, Backend- und Frontend-Frameworks, KI-Modelleinstellungen, Feedback-Scheduler, Fehlerschema-Kategorien, Versionskontrolle und Logging-Infrastruktur.

Variable	WCF (n=16)	STEP-DWCF-R (n=16)
Alter (Jahre), Mittelwert (SD)	20.9 (1.5)	21.1 (1.6)
Weiblich, n (%)	9 (56%)	8 (50%)
Vorherige IELTS-Vorbereitung (ja), n (%)	7 (44%)	6 (38%)
Jahre vorherigen Schreibunterrichts	3.1 (1.2)	3.2 (1.1)
Baseline IELTS Overall (Band)	5.625 (0.387)	5.500 (0.365)
Baseline TR (Band)	5.56 (0.50)	5.50 (0.50)
Baseline CC (Band)	5.62 (0.49)	5.53 (0.49)
Baseline LR (Band)	5.60 (0.46)	5.52 (0.46)
Baseline GRA (Band)	5.56 (0.48)	5.49 (0.45)

Tabelle 2: Ausgangsmerkmale der Teilnehmer nach Gruppe (Woche 1). Demografische Variablen und Vortest des International English Language Testing System (IELTS) Task 2 Schreibleistung für die WCF- und STEP-DWCF-R-Gruppen. Die Werte sind Mittelwert (Standardabweichung) oder n (%).

Feste Wirkung	Schätzung	SE	DF	t	p	95%-KI
Intercept (WCF, Woche~1)	5.625	0.097	15	58.1	<.001	[5.419, 5.831]
Gruppe (STEP-DWCF-R vs. WCF)	-0.125	0.133	29.9	-0.939	.355	[-0.397, 0.147]
Zeit (Woche~8 vs. Woche~1)	0.3125	0.128	15	2.44	.028	[0.039, 0.586]
Gruppe × Zeit	0.7188	0.19	29.75	3.78	.0007	[0.330, 1.107]

Tabelle 3: Lineares Mixed-Effects-Modell für das IELTS-Gesamtband aus den Ergebnissen von Woche 1/Woche 8. Fixed-Effect-Schätzungen, Standardfehler (SE), Freiheitsgrade (df), t-Werte, p-Werte und 95%-Konfidenzintervalle (KIs) für die Interaktions- und Modellterme der Gruppe × Zeit.

Dimension	WCF Δ (Bands)	STEP-DWCF-R Δ (Bänder)	ΔΔ (95 % KI)	ADJ-P
Aufgabenantwort (TR)	0.25	0.95	0.70 (0.28, 1.12)	.006
Kohärenz und Kohäsion (CC)	0.3	1.15	0.85 (0.44, 1.26)	.002
Lexikalische Ressource (LR)	0.35	0.95	0.60 (0.18, 1.02)	.012
Grammatikalischer Umfang und Genauigkeit (GRA)	0.25	0.97	0.72 (0.31, 1.13)	.004

Tabelle 4: Ergebnisse auf Dimensionsebene (Aufgabe 2): Veränderungen vor der Post und Unterschiede zwischen Gruppen. Vor-post-Änderungen (Δ) und Differenz-in-Differenzen (ΔΔ) mit 95%-Konfidenzintervallen (KI) und Holm-adjustierten p-Werten für Aufgabenantwort (TR), Kohärenz und Kohäsion (CC), lexikalische Ressourcen (LR) sowie grammatikalische Bandbreite und Genauigkeit (GRA).

Schwelle	WCF (%)	STEP-DWCF-R (%)
Gesamt ≥ 6,5	13	81
Gesamt ≥ 7,0	0	25

Tabelle 5: Banderreichung nach dem Test (Woche 8). Anteil der Lernenden in den WCF- und STEP-DWCF-R-Gruppen, die IELTS erreichen: Gesamtmarkwerte im Bandbereich liegen bei mindestens 6,5 und mindestens 7,0.

Ergebnis	ICC	95%-KI
Gesamtergebnis	0.91	[0.86, 0.94]
Aufgabenantwort (TR)	0.88	[0.82, 0.92]
Kohärenz und Kohäsion (CC)	0.9	[0.85, 0.94]
Lexikalische Ressource (LR)	0.89	[0.83, 0.93]
Grammatikalischer Umfang und Genauigkeit (GRA)	0.87	[0.80, 0.91]

Tabelle 6: Inter-Rater-Zuverlässigkeit für IELTS-Ergebnisse. Zwei blinde Bewerter zu N = 64 Essays (Woche 1 und Woche 8 zusammen). Mittelwert misst intraklassen Korrelationskoeffizienten (ICC[2,2]) mit 95%-Konfidenzintervallen (KI) für Gesamt- und Dimensionswerte.

Maß	WCF Group	STEP-DWCF-R Gruppe
Überarbeitungsrunden pro Aufgabe	1	2.26
Rückkopplungsaufnahmerate (übernommen oder verändert, %)	68.5	82.3
Persistente Fehlerquote nach der letzten Runde (%)	67.4	45.6
Lehrer-Moderationszeit (mindestens pro Aufgabe)	23.5	13.8
KI-Agenten-Lieferzeit (mindestens pro Aufgabe)	—	3.9
Lerner-Wiederholungszeit (minimum pro Aufgabe)	44.8	71.2
Gesamtzeit für Feedback + Überarbeitung (Min/Aufgabe)	68.3	88.9

Tabelle 7: Bedeutet über 96 Aufgaben (6 Aufgaben × 16 Lernende). Aufnahme- und persistente Fehlerraten wurden auf Rückkopplungspunkt-Ebene berechnet. Zeitmessungen wurden durch Lehrerprotokolle und Systemzeitstempel erfasst. Die Lieferzeiten eines KI-Agenten gelten nicht für die WCF-Gruppe.

Diskussion

Diese Studie verglich STEP-DWCF-R, ein mehrkomponentiges dynamisches schriftliches Korrekturfeedback-Framework, mit einem robotischen KI-Agenten mit einem ein-Runden-WCF in einem achtwöchigen IELTS-Schreibkurs. STEP-DWCF-R erzielte größere Pre-Post-Gewinne im Gesamtband sowie über TR, CC, LR und GRA hinweg. Lernende unter STEP-DWCF-R absolvierten außerdem mehr Überarbeitungsrunden und zeigten eine schnellere Fehlerreduktion, wobei Modelle einen Rückgang von etwa 4,1 Fehlern pro Runde schätzten. Die größte Verbesserung zeigte sich bei Kohärenz und Kohäsion (ΔΔ = 0,85), was darauf hindeutet, dass strukturiertes, rubrikengebundenes Feedback sowohl eine höherwertige Organisation als auch Genauigkeit fördert. Diese Ergebnisse stimmen mit früheren DWCF-Forschungen überein, die zeigen, dass iteratives, umfassendes Feedback die Schreibgenauigkeit im Laufe der Zeit verbessert 14,15,16,17.

Der STEP-DWCF-R-Workflow umfasst drei kritische Schritte. Erstens erzeugt das KI-System detailliertes Feedback über vier Kategorien (Grammatik, Vokabeln, Organisation, Argumentation) mithilfe eines eingeschränkten JSON-Schemas und eines standardisierten Systemprompts. Zweitens moderatiert ein Lehrer die Ergebnisse, um falsche Alarme zu entfernen, übersehene kritische Probleme im Einklang mit der IELTS-Rubrik hinzuzufügen, umsetzbare und ermutigende Formulierungen sicherzustellen und die Konsistenz mit dem Vier-Kategorien-Schema zu gewährleisten. Dieser Moderationsschritt dient als primärer Fehlerbehebungsmechanismus und korrigiert KI-Halluzinationen oder Überbewertungen, die die Lernenden sonst überfordern könnten. Bemerkenswert ist, dass die Moderationszeit der Lehrer pro Aufgabe in STEP-DWCF-R niedriger war als in WCF (13,8 Minuten statt 23,5 Min), weil die KI das erste strukturierte Feedback generierte und der Lehrer es nur moderierte. Drittens wird das moderierte Feedback über die webbasierte robotische KI-Agenten-Schnittstelle gegeben, die Lernbestätigungen und erneuten Einreichungen über mehrere Runden hinweg protokolliert.

Im Vergleich zu bestehenden Ansätzen adressiert STEP-DWCF-R deutliche Einschränkungen. Konventionelles Einzelrunden-WCF bleibt durch die Ausbilderzeit begrenzt und bietet in der Regel nur begrenzte Möglichkeiten für eine nachhaltige Wiederholung. Automatisierte Schreibbewertungstools bieten Skalierbarkeit, liefern aber oft statische, fragmentierte Kommentare, die Lernende kaum in sinnvolle Überarbeitungen umsetzen können (20,21,22^). Frühe DWCF-Studien zeigten die Wirksamkeit von mehrrundigen Rückkopplungszyklen, doch ihre Abhängigkeit von von Lehrkräften verfassten Korrekturen warf in großen Klassen Bedenken über die^{Machbarkeit auf}. 14,15,16,17. Jüngste generative KI-Feedbackstudien berichten von Parität mit Lehrerfeedback zu den Schreibergebnissen, jedoch ohne strukturierte Moderation oder iterative Präsentation^18,19. STEP-DWCF-R kombiniert KI-Skalierbarkeit mit Lehreraufsicht und iterativer robotischer KI-Agentenausführung, wodurch die Lehrerbelastung reduziert und die Wiederholungshäufigkeit erhöht wird.

Wir erkennen mehrere Einschränkungen an. Die relativ kleine Stichprobengröße (N = 32) begrenzt die Generalisierbarkeit unserer Ergebnisse, und die Studie sollte als Pilotstudie betrachtet werden. Die beiden Bedingungen unterschieden sich in der Rückkopplungsdosis: Die WCF-Gruppe erhielt pro Aufgabe nur eine Runde, während die STEP-DWCF-R-Gruppe 2–3 iterative Runden durchlief. Daher spiegelt die überlegene Leistung der STEP-DWCF-R-Gruppe die kombinierten Effekte mehrerer Überarbeitungszyklen, KI-generiertes Feedback und Lehrermoderation wider, und nicht den isolierten Effekt des robotischen KI-Agenten oder seiner Liefermodalität. Der robotische KI-Agent ist eine rein virtuelle webbasierte Schnittstelle, sodass seine Auswirkungen nicht von denen der iterativen Struktur selbst getrennt werden können. Multimodales menschliches Feedback (z. B. Sprache plus Gesten) wurde nicht als Kontrollbedingung aufgenommen, da es in herkömmlichen EFL-Schreibklassen keine Standardpraxis ist und ein separates experimentelles Paradigma erfordern würde. Zukünftige Studien sollten dosierungsangepasste Kontrollgruppen (z. B. mehrrundiges Lehrerfeedback) einbeziehen, um diese Komponenten weiter zu entschlüsseln.

Trotz dieser Einschränkungen bietet das STEP-DWCF-R-Framework praktische Anleitungen für KI-unterstützte Schreibunterricht. Seine modulare Architektur ermöglicht die Integration in Lernmanagementsysteme für groß angelegte EFL-Kurse, und das strukturierte Vier-Kategorien-Schema könnte für akademisches Schreiben oder fachspezifische Genres angepasst werden. Künftige Iterationen könnten multimodale Auslieferung erforschen, um die theoretischen Engagement-Vorteile verkörperter Agenten zu nutzen, wobei das aktuelle Pilotprojekt die Machbarkeit einer textbasierten iterativen KI-Lehrer-Zusammenarbeit belegt. Dennoch unterstützt das konsistente Muster zwischen Ergebnismaßen, Prozessindikatoren und die starke Inter-Rater-Zuverlässigkeit die Machbarkeit und potenzielle Wirksamkeit dieses Multi-Komponenten-Ansatzes in ähnlichen EFL-Kontexten.

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Flask (Web Framework)	Pallets Projects	https://flask.palletsprojects.com	Version 2.1; verwendet für die Webschnittstelle des robotischen KI-Agenten
GPT-5 API	OpenAI	https://platform.openai.com	Modell gpt-5, Temperatur=0,7; für die Generierung strukturierter JSON-Feedbacks
Jinja2	Pallets Projects	https://jinja.palletsprojects.com	Serverseitig gerenderte Vorlagen für die Webschnittstelle
Python	Python Software Foundation	https://www.python.org	Version 3.10; Backend-Skripting
Windows 11	Microsoft	https://www.microsoft.com/windows	Betriebssystem für KI-Feedback-System