$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Alle in der Studie verwendeten Software und Werkzeuge sind in der Materialtabelle aufgeführt.
Bewertungskriterien
Die in der vorliegende Studie verwendete Bewertungsklassifikation behandelt zwei Hauptbereiche, nämlich Sprachflüssigkeit und Korrektheit, die alle Anforderungen für eine umfassende Bewertung des Schreibens in Englisch als Fremdsprache (EFL) umfassen. Diese Dimensionen sollen die wichtigsten Punkte der Schreibqualität messen, die zur effektiven Kommunikation und zur Demonstration von Sprachkompetenz beitragen. Das Fluency-Modul misst Natürlichkeit, Ausdruckskraft und Kohärenz im Schreiben, indem es die Geschmeidigkeit von Ideen sowie die Verwendung von Wörtern und Satzstrukturen misst. Das Korrektheitsmodul zielt auf präzise grammatikalische Genauigkeit, mechanische Fehlerlosigkeit und die Einhaltung der standardisierten englischen Konventionen ab und misst und zählt hypothetisch die Fehlern der Sprache auf mehreren Ebenen. (siehe Tabelle 1)
Aufgabendefinition
Nach den Bedingungen der automatisierten Schreibbewertung von Schülern, die die englische Sprache lernen, schlägt die vorliegende Studie ein neues Modell eines computergestützten Bewertungssystems für das englische Schreiben vor. Im Vergleich zu den vorherigen Studien, die durch den Umfang automatisierter Schreibbewertungssysteme eingeschränkt waren, wird das vorgeschlagene System helfen, diese Einschränkungen durch die Einführung innovativer Deep-Learning-Techniken zu beheben, die den Nutzern ein Maß an linguistischer Analyse, Modifikationsmöglichkeiten und systemweiter Rückkopplungsanalyse auf Basis umfangreicher Datenverarbeitung ermöglichen. Ausgehend von zwei der wichtigsten Indikatoren einer Komposition, nämlich der Flüssigkeit (wie natürlich, kohärent und ausdrucksstark das Stück von Natur ist) oder Korrektheit (wie korrekt der Text mit grammatischen, mechanischen und sprachlichen Fehlern geschrieben ist), muss das Dualmodellsystem mit den einzelnen Komponenten der neuronalen Netze eine Reihe von Bewertungen durchführen. Darüber hinaus erkennt es Fehler auf verschiedenen sprachlichen Ebenen, empfiehlt Korrekturmaßnahmen und gibt Feedback in Form einer Liste, um den Nutzern zu ermöglichen, das Spracherwerb der Schüler methodisch zu verbessern. Um den Prozess der Berechnung des computergestützten automatischen Bewertungssystems zu beschreiben, schlagen wir folgendes mathematisches Modell in den Formeln (1)–(4) vor (siehe Tabelle 2).
(1)
(2)
(3)
(4)
wobei: Endpunktzahl = der zusammengesetzte Bewertungswert für das Schreiben; w1 = Gewicht, das dem Flüssigkeitswert zugewiesen wird; w2 = Gewicht, das dem Korrektheitswert zugewiesen wird; Sf = BERT-basierter Flüssigkeitsscore (normalisiert auf [0, 1]); Sc = Korrektheitsscore des exponentiellen Zerfalls; λ = Verlustkonstante Kontrollfehlerstrafe; σ(x) = logistische Sigmoid-Aktivierungsfunktion; ErrorRatio = Verhältnis von Fehlern zu Gesamtzahl der Tokens im Text. Die Flüssigkeitswerte werden durch die logistische Sigmoid-Funktion σ(x) auf [0, 1] normalisiert, während die exponentielle Zerfallsfunktion verwendet wird, um die Korrektheit zu bewerten, um eine angemessene Strafe für die Fehlerhäufigkeit zu verhängen.
Systemarchitektur und -design
Ihre Systemarchitektur verwendet ein Zweimodellsystem mit einer parallelen Verarbeitungsarchitektur, bei der die Analyse der Eingabeaufsätze parallel über parallele Auswertungswege durchgeführt wird. Die Module Flüssigkeit und Korrektheit ergeben wiederum die jeweiligen Punkte, und der endgültige zusammengesetzte Wert ist der gewichtete Durchschnitt der beiden Unterwerte. Das Korrektheitsmodul bietet neben der Wertung auch einen Vorschlag zur Fehlererkennung und -korrektur (siehe Abbildung 1).
Das Fluenzmodul
Schreibflüssigkeit kann als die Art oder das Muster der Verwendung einer Sprache in Bezug auf korrekte Vokabelwahl, Vielfalt der Satzstruktur, syntaktische Komplexität, Kohärenz usw. definiert werden. Flüssigkeitsbewertungsmodelle fangen Ideen auf, die vermittelt werden, ohne zu stottern oder unbeholfen zu wirken, und klingen ähnlich wie die nativistischen Kommunikationstrends. Die traditionelle Flüssigkeitsmessung basiert auf Skalen und hebt Bedenken hinsichtlich der Inter-Rater-Zuverlässigkeit hervor. Das vorgeschlagene System überwindet diesen Nachteil, da es ein BERT-basiertes neuronales Netzwerk enthält, das semantische Kohärenz und sprachliche Natürlichkeit automatisch durch tiefes situationsbezogenes Verständnis induziert. Diese architektonische Entscheidung wurde unter Berücksichtigung der Stärken von BERT getroffen, das sich als wirksam bei der Identifikation kontextueller Beziehungen und semantischer Muster erwiesen hat, die für die Flüssigkeitsmessung notwendig sind. Eingabesequenzen werden in das System eingespeist und durch 12 Transformatorschichten mit Multi-Head-Self-Attention geleitet, um Langstreckenabhängigkeiten und kontextuelle Beziehungen zu identifizieren (siehe Abbildung 2).
Der Mechanismus der Aufmerksamkeit wäre wie folgt:
(5)
Seien Q, K und V die Matrizen, die Abfrage, Schlüssel und Wert repräsentieren, und d sowie k die Dimensionen der Schlüsselvektoren. Die CLS-Token-Einbettung ist die Zusammenfassungs-Einbettung, die die gesamte semantische Kohärenz der gesamten Eingabesequenz dokumentiert.
Die Berechnung des Flüssigkeitswerts ist wie folgt:
(6)
Dabei ist hCLS die BERT [CLS]-Token-Einbettung und Wreg sind breg die Parameter des Regressionskopfes, und σ ist die sigmoidale Aktivierungsfunktion, die die Ausgabe auf [0, 1] normalisiert.
Das Korrektheitsmodul
Die Korrektheitsbewertung konzentriert sich auf grammatikalische Genauigkeit, mechanische Genauigkeit und die Einhaltung der standardisierten englischen Konventionen. Diese Dimension behandelt die technischen Aspekte des Schreibens, einschließlich Syntax, Morphologie, Zeichensetzung und Rechtschreibgenauigkeit. Die Korrektheitskomponente bewertet nicht nur die Anzahl der linguistischen Fehler, sondern untersucht auch die Auswirkungen auf die Gesamtqualität des Textes. Im Gegensatz zur Flüssigkeitsbewertung, die semantische Kohärenz und natürlichen Fluss betont, erfordert das Korrektheitsbewertungsmodul eine präzise Fehlererkennung und systematische Korrektur. Das Modul unterscheidet zwischen verschiedenen Fehlertypen, bewertet die Schwere und bietet gezielte Korrekturen zur Unterstützung der Lernverbesserung. Der Korrektheitsverlust verwendet das FLAN-T5-Modell, das auf die Erkennung und Korrektur grammatikalischer Fehler fein abgestimmt wurde. Diese Entscheidung basiert auf der Text-zu-Text-Transformierbarkeit von T5, die es dem System ermöglicht, nicht nur Fehler zu finden, sondern auch relevante Korrekturen innerhalb eines Systems vorzunehmen. Das System ist eine Encoder-Decoder-Form, und der Text wird in Form dieser Transformation eingespeist: (siehe Abbildung 3)
(7)
Das Encoder-Element erzeugt kontextsensitive Darstellungen, die nicht nur die grammatischen Tendenzen, sondern auch potenzielle Fehlerbereiche erfassen:
(8)
Mit Hilfe geeigneter grammatikalischer Variationen an falsch identifizierten Fehlern erzeugt der Decoder korrigierte Sequenzen:
(9)
Diese Art der Zweiseitsverarbeitung ermöglicht es dem System, die Fehlerkontexte zu wahrnehmen und wie diese korrigiert werden sollten, sodass die Hinweise semantisch kohärent sind, sich aber auf jegliche Korrektur in der Grammatik konzentrieren.
Quantifizierung von Fehlern und Bewertungsalgorithmus
Die Genauigkeit verglich die Originalschrift mit der korrekten Schreibversion, wobei die sprachlichen Fehler und die Schwere basierend auf der Position im Text und der Bedeutungsstörung berücksichtigt wurden. Diese Methode erfasst die Unterscheidung zwischen Fehlerarten im Vergleich zum Einfluss auf das textuelle Verständnis des Textes. Der Zusammenhang zwischen Fehlerhäufigkeit und schlechter Textqualität wurde im Bewertungssystem logarithmisch betont. Ein grundlegender Schritt beim Token-Vergleich des Originaltexts und des korrigierten Textes sind zwei Vergleichsgrade, die auf der bitweisen Technik der String-Ausrichtung basieren. Die zweite Stufe umfasst die Identifizierung und Klassifizierung von Fehlertypen anhand einiger bekannter linguistischer Taxonomien, die zwischen grammatikalischen Fehlern (Subjekt-Verb-Übereinstimmung, Zeitkonsistenz und Zuverlässigkeit der syntaktischen Struktur), mechanischen (Großschreibung, Zeichensetzung und Rechtschreibung) und Gebrauchsfehlern (Wortwahl, idiomatischer Ausdruck und Registerangemessenheit) unterscheiden. Die dritte Stufe ist die Berechnung des Fehlerverhältnisses basierend auf der Gesamtlänge des Textes. Der vierte Schritt nutzt den exponentiellen Zerfalls-Bewertungsalgorithmus, der die Fehlerverhältnisse in direkt interpretierbare Korrektheitswerte umwandelt, um die nicht-additive und nichtlineare Abhängigkeit zwischen Fehlerhäufigkeit und Textqualität zu approximieren.
Die mathematische Behandlung des Fehlerquantifizierungsprozesses beginnt mit der Berechnung des Fehleranteils installierter Fehler, was eine normalisierte Fehlerinstallationsrate ergibt, die wiederum einen fairen Vergleich von Texten unterschiedlicher Länge ermöglicht:
(10)
(11)
Der Kalibrierungsparameter von 2,5 wurde empirisch durch vollständige Validierung durch menschliche Expertenurteile festgelegt, sodass die Bewertungsfunktion Ergebnisse liefern kann, die mit dem menschlichen Verständnis in Bezug auf die Abnahme der Textqualität mit zunehmender Fehlerhäufigkeit übereinstimmen. Die Einstellung dieses Parameterwerts stellt sicher, dass jeder Text mit einer niedrigen Fehlerquote (Error_Ratio < 0,1) eine hohe Korrektheitsbewertung hat, da er den Regeln des Standardenglischen genau folgt; jeder Text mit moderater Fehlerquote (0,1 < Error_Ratio ≤ 0,3) hat einen Zwischenwert der Korrektheit, was darauf hinweist, dass es einige sprachliche Bedenken gibt, die dennoch nicht völlig katastrophal sind, Und jeder Text mit einer hohen Fehlerquote (Error_Ratio > 0,3) hat eine niedrige Korrektheitsbewertung erhalten, weil es kritische sprachliche Probleme gibt, die die Verständnismöglichkeiten erheblich beeinflussen.
Der Korrektheitsbewertungsalgorithmus für die Korrektheitsbewertung berücksichtigt systematisch alle vom T5-basierten System gefundenen und behobenen Fehler als Strafpunkte bei der Berechnung des endgültigen Fehlerverhältnisses. Der für grammatikalische Fehler verwendete Straf-Gutschriftsmechanismus wird durch den exponentiellen Abgang des mit dem Wachstum des Fehleranteils hin zu hohen Werten dargestellt, was bedeutet, dass die Textqualität sehr schlecht ist und bei 0 Fehlerquote auf 100 ansteigt, was bedeutet, dass absolut keine Fehler erkannt werden. Es ist eine perfekte Verwendung englischer Standardkonventionen. Eine solche mathematische Beziehung stellt sicher, dass der Korrektheitscode innerhalb des gesamten Spektrums der sprachlichen Kompetenzniveaus eine bedeutende Unterscheidung bietet und auf kleine, aufeinanderfolgende Fortschritte reagiert, die auf echte Erwerbungen hinweisen.
Datensätze: Trainings- und Evaluationskorpus
Trainingsdaten von ausreichender Qualität und Umfang sind für die Leistung des Dual-Modell-Systems von größter Bedeutung. Die aktuelle Studie nutzte einen gut gestalteten Datensatz von von Studierenden geschriebenen Texten, um das Modell zu entwickeln und zu bewerten, das durch verschiedene Schreibaufgaben erstellt wurde. Die Stichprobe bestand aus 45 männlichen und 45 weiblichen pakistanischen Universitätsstudenten mit einem Durchschnittsalter von 19 Jahren, die 'Funktionales Englisch' als Pflichtkurs belegten. Jeder Schüler schrieb acht Aufsätze über acht Wochen, darunter Vor-Test-, Interventionsaufsätze und Nachprüfungs-Veranstaltungen. Die Schüler durften für jede Schreibaufgabe 400–450 Wörter produzieren. Die Statistiken der Datensätze liefern folgende Eigenschaften:
70.500 Wörter
Mittlere Satzlänge: 15,7 Wörter (SD = 3,2)
Der Wortschatzbereich (Typ-Token-Verhältnis): 0,64 (SD 0,08) Grammatikfehlerdichte: 2,3 in 100 Wörtern (SD = 1,1)
Die Begründung und Datenqualitätssicherung der ausgewählten Daten
Der ausgewählte Datensatz wurde von einigen wichtigen Überlegungen angetrieben, die die Reichweite und Relevanz für Forschungsarbeiten zur automatisierten Schreibbewertung ermöglichten. Zunächst wurde die Studierendenschaft der Wirtschaftswissenschaften aufgrund ihrer Natur ausgewählt, ähnlich wie EFL-Lernende in der pakistanischen Hochschulbildung, wodurch authentischere Schreibproben präsentiert werden konnten, die reale Situationen widerspiegeln. Zweitens wurde die Festlegung des maximalen und minimalen potenziellen Wortbereichs von 400–450 Wörtern durch Pilotstudiendaten begründet, die zeigen, dass dieser Bereich sprachlich komplex genug ist, um zuverlässig von einer Maschine analysiert zu werden, und gleichzeitig eine handhabbare Größe in Bezug auf konsistente menschliche Bewertungen behält. Jede der Kompositionen wurde von drei ausgebildeten Englischlehrern bewertet (Inter-Rater Zuverlässigkeit κ = 0,847, Flüssigkeitsdimension und 0,823, Korrektheitsdimension) auf standardisierten 10-Punkte-Flüssigkeits- und Korrektheitsbewertungsskalen. Die Ausbildung der menschlichen Gutachter war rigoros und basierte auf entwickelten Bewertungsrastern in Bezug auf IELTS- und TOEFL-Schreibbewertungen. Die Daten bestehen aus einem menschengemachten Datensatz, der zum Training und zur Validierung von Modellen verwendet werden kann, die auf menschengemachten Daten trainiert werden.
Verfahren zur Datenvorverarbeitung und -validierung
Der Datensatz wurde systematisch vorbearbeitet und beinhaltete Textnormalisierung, das Tokenisieren des Textes mit dem BERT WordPiece-Tokenizer und Qualitätsprüfungen. Diejenigen, die unvollständige Arbeiten eingereicht und plagiierten Text produziert haben, wurden nicht einbezogen, um die Datenintegrität zu bestimmen. Die letzten Daten wurden zufällig in Training (70 %, n = 189), Validierung (15 % n = 41) und Testsätze (15 %, n = 40) durch geschichtete Stichproben unterteilt, um sie zwischen Fertigkeitsniveaus und Aufgabenarten auszubalancieren. Linguistische Analyse eines großen Nachschlagewerks, das professionell redigierte wissenschaftliche Texte, Artikel aus Zeitungen und veröffentlichte Essays enthält, mit etwa 50 Millionen Wörtern. Dieser Korpus liefert Sprachmuster, die für die Durchführung der Sprachflüssigkeitstests erforderlich sind, und unterstützt die Fehlererkennungsverfahren, indem diese mit dem Standardgebrauch verglichen werden. Im Referenzkorpus sind die Schritte vor der Vorverarbeitung und Indexierung Tokenisierung, Wortart-Tagging, Syntaxparsing und semantisches Labeling, um einen effizienten Zugriff während der Echtzeitbewertung zu erleichtern.
Trainingsstrategie des Flüssigkeitsmodells
Ein sequentielles Optimierungssystem wird vorgeschlagen, um die Daten so zu trainieren, dass sie flüssig werden. Das Training nutzte modernste Funktionen, darunter adaptive Lernratenplanung, progressive Batch-Größe und fortgeschrittene Regularisierungsmethoden, die Überanpassungen im Verlauf des Trainings verhindern und so die Effektivität des Modells bei der Erkennung sprachlicher Muster erhalten, die auf Sprachflüssigkeit hinweisen. Die Lernrate beträgt 5 × 10-4 mit einem linearen Zerfallsplan, der so konfiguriert ist, dass die Konvergenz stabil bleibt und nicht um die optimalen Parameterwerte schwankt. Diese Lernrate wird durch Gittersuche in [1 x 10-6, 1 x 10-4] gewählt, wobei 5 x 10-5 der passendste Kompromiss zwischen Konvergenzgeschwindigkeit und Stabilität darstellt. Das reale Training wird auf nur 3 Epochen beschränkt sein, eine Konfiguration, die auf der Grundlage empirischer Vorteile durch die Validierungsverlustverfolgung optimiert wurde, um Überanpassungen zu verhindern, ohne ausreichende Parameteraktualisierungen zu verhindern, um das Lernen effektiv zu machen. Eine frühzeitige Einstellung der Mechanismen mit einer Geduld von 2 Epochen und einem Mindestdelta von 0,001 wurde durchgeführt, um eine Verschlechterung zu verhindern.
Die Optimierung erfolgt durch den AdamW-Optimierer mit vereinfachten Optionen wie β₁ = 0,9 (Impuls, der den Zerfall von Erstmoment-Schätzungen exponentiell steuert), β₂ = 0,999 (Sekunden-Schätzung, die den Zerfall von Sekunden-Schätzungen exponentiell steuert) und ε = 1 × 10⁻8 (numerischer Stabilitätsterm). Die Gewichtsreduktionsregularisierung (λ = 0,01) verhindert, dass Parametergrößen übermäßig groß werden, wobei dieser Wert durch eine Validierungsleistungsanalyse über den gesamten Bereich ausgewählt wird [0,001, 0,1]. Komplexes Monitoring kann verschiedene Kennzahlen im gesamten Training überwachen, um die beste Leistung eines Modells zu gewährleisten und Überanpassungen zu vermeiden. Im Monitoring-Rahmen sind enthalten:
Verlustverfolgung: Trainings- und Validierungsverluste werden in jeder Epoche erfasst, und das frühe Stoppen erfolgt automatisch, wenn sich der Validierungsverlust in zwei aufeinanderfolgenden Epochen nicht mehr verbessert.
Leistungskennzahlen: Die Validierungsdaten werden zur Berechnung der Pearson-Korrelationskoeffizienten zwischen vorhergesagten und tatsächlichen Ergebnissen alle 100 Trainingsschritte verwendet.
Gradientenmessung: Gradientennormen werden überwacht, um verschwindende und explodierende Gradienten zu erkennen, und bei einer Gradientennorm von 1,0 wird Gradientenclipping angewendet.
Lernratenplanung: Ein validierungsbasierter Rückgang der Lernrate (Faktor = 0,5) bei mehr als einem Epochenplateau wird festgestellt.
Regularisierungsbezogen: Abbruchraten (0,1 für BERTs, 0,3 für Regressionskopf) wurden durch systematische Ablation festgestellt. Während des Trainingsprozesses werden mehrere Regularisierungsmethoden zur Verhinderung von Overfitting verwendet: (1) Dropout-Regularisierung mit optimierten Dropout-Raten pro Schichttyp im Netzwerk, (2) Gewichtsabnahme wie oben erklärt, (3) frühes Stoppen, bestimmt durch die Validierungsleistung, und (4) Datenaugmentation basierend auf Paraphrasierung von 15 Prozent der Trainingsbeispiele mit Rücktranslationsmethoden. Kontrollpunkte des am besten performenden Modells wurden nach jeder Epoche gespeichert, und die Modelle mit der höchsten Bewertung wurden anhand der Validierungskorrelationswerte ausgewählt. Die in der Flüssigkeitsbewertung verwendete Verlustfunktion ist der mittlere quadratische Fehler (MSE), die Hauptzielfunktion der Regressionsaufgabe zur Vorhersage der kontinuierlichen Flusswerte. Die mathematische Verlustformulierung wird wie folgt gegeben:
(12)
N ist die Gesamtgröße der Trainingsstichprobe, y_pred, i ist der vorhergesagte Flüssigkeitswert der i-ten Stichprobe und y_true i ist der entsprechende Ground Truth-Score, wie er von menschlichen Experten angegeben wurde. Dieser Verlust ist sehr nützlich, um den Vorhersage-tatsächlichen Fehler quadratisch zu entmutigen, sodass größere Fehler eine größere Strafe nach sich ziehen, und ist ebenfalls differenzierbar. Der Lernraten-Planungsmechanismus ist hochentwickelt, mit einem zweiphasigen Prozess und beginnt mit einer linearen Aufwärmphase, gefolgt von einem systematischen Zerfallprozess, um optimale Konvergenzmerkmale zu schaffen. Dies geschieht in der Aufwärmphase, bei der die Lernrate bei null beginnt und sich allmählich auf die maximale Rate ändert, danach werden die Modellparameter relativ zum Trainingsdatensatz optimiert. Die mathematische Darstellung der Aufwärmphase lautet:
(13)
Nach der Aufwärmphase wird die Lernrate systematisch linear abgenommen, um ein Überschreiten der optimalen Parameterwerte zu vermeiden, was zu einer stetigen Konvergenz führt. Mathematisch liest sich die Zerfallsphase wie folgt aus:
(14)
Dabei ist t der aktuelle Trainingsschritt, lr max die maximale Lernrate, die während des Aufwärmens erreicht wird, das Aufwärmen die Anzahl der Schritte, die der Aufwärmphase zugewiesen ist, und insgesamt die Gesamtzahl der Trainingsschritte über alle Epochen. Das erwähnte Planungsverfahren gewährleistet ein aggressives Lernen des Modells auf den unteren Ebenen und Stabilität auf den Konvergenzebenen.
Trainingsstrategie des Korrektheitsmodells
Das Korrektheitsmodell basierte auf der Transfer-Learning-Strategie unter Verwendung des vortrainierten FLAN-T5-Modells, um alle verfügbaren Grammatikkenntnisse bei Bedarf zu nutzen. Dies sollte das allgemeine Sprachverständnis sowie die spezifischen Informationen zu den Fehlern der ESL-Lernenden untersuchen. Die verwendete Transfer-Learning-Methode greift als Basismodell auf den Prüfpunkt pszemraj/flan-t5-groß-grammatik-Synthese zurück, mit mehreren bemerkenswerten Vorteilen hinsichtlich der Korrektheit. Da das Modell bereits trainiert ist und über eine hohe Sprachverständnisfähigkeit verfügt, die in verschiedenen Textbereichen geschult wurde, wird es sich an viele Schreibstile und Schreibthemen anpassen. Insbesondere wurde grammatikspezifische Feinabstimmung an großen Korrekturdatensätzen durchgeführt, die mehrere Arten von grammatikalischen Fehlern umfassen, wie sie auch beim Schreiben in einer Zweitsprache auftreten würden. Darüber hinaus umfasst der Checkpoint leistungsstarke Fehlererkennungssysteme, die gegen verschiedene Fehlerarten (d. h. morphologische Fehler, syntaktische und semantische Fehler) getestet werden und so einen perfekten Vergleich zu den angeborenen Korrekturtestparametern der Studie schaffen.
Der Domänenanpassungsprozess spiegelt die systematischen Parameteränderungen wider, die die allgemeinen Sprachverständnisse des vortrainierten Modells nicht verändern, sondern die spezifischen Merkmale der Lösung für die Schreibprüfung einführen. Dieser Anpassungsprozess hat die mathematische Herleitung als:
(15)
Hier repräsentiert θdie Parameter des vortrainierten Modells, das allgemeines Sprachverständnis und grammatikalisches Wissen kodiert, und derΔθ-Bereich stellt die spezifischen Parameteraktualisierungen dar, die aus der Ziel-Schreibbewertungs-Aufgabe gelernt wurden. Die domänenspezifischen Aktualisierungen werden durch gradientenbasierte Optimierung des Zieldatensatzes berechnet, wodurch sichergestellt wird, dass das Modell aufgabenspezifische Empfindlichkeit gegenüber Fehlertypen entwickelt, die im EFL-Schreiben üblich sind, ohne seine breiteren sprachlichen Fähigkeiten zu beeinträchtigen.
Experimente mit Vergleichen
Um die Funktionalität des EG zu beweisen, wird der Pearson-Korrelationskoeffizient als Schlüsselwert der Messung vorgeschlagen, der die lineare Verbindung zwischen automatisierten Werten und der Expertise des Menschen bestimmt. Der Korrelationskoeffizient wird durch die folgende Formel ermittelt:
(16)
Dabei steht xi für die automatisierten Werte, für die menschlichen Bewertungen und 
und 
sind die jeweiligen Mittelwerte. Der Korrelationskoeffizient reicht von −1 bis 1, wobei Werte nahe 1 eine starke positive Beziehung zwischen automatisierter und menschlicher Bewertung anzeigen.
(17)
(18)
(19)
Basismodellvergleiche
Um die Leistung der EG zu bewerten und ihre Überlegenheit gegenüber bestehenden Methoden zu demonstrieren, werden tiefgehende Vergleiche mit etablierten AWE- und traditionellen Single-Metrik-Ansätzen durchgeführt. Diese Basisvergleiche sind unerlässlich, um den Mehrwert der EG-Architektur zu validieren und zu zeigen, dass die Integration von Flüssigkeits- und Korrektheitsbewertung messbare Verbesserungen gegenüber Ansätzen liefert, die sich isoliert auf einzelne Dimensionen konzentrieren. Die Auswahl der Baseline-Modelle umfasst vier Kategorien von AWE, die jeweils eine eigene Ausrichtung darauf widerspiegeln, wie das Schreiben bewertet werden sollte. Die erste verfügt über ein einzelnes BERT-basiertes Modell zur Bewertung der Sprachflüssigkeit. Diese Modelle verwenden Transformer-Architekturen, um die textuellen Muster von Glattheit und Kohärenz zu bewerten. Die zweite Kategorie, eingebettet in traditionelle linguistische Methoden, konzentriert sich auf regelbasierte Systeme zur Erkennung grammatikalischer Fehler. Daher blieb der Fokus auf Korrektheit und übersah andere Aspekte der Schreibqualität, wie Kohäsion und Inhalt. Die dritte Kategorie sind feature-basierte AWE-Systeme, die Indikatoren für linguistische Komplexität einschließen – wie variationale Satzlänge, Diversifikation des Lexis und syntaktische Komplexität zur Erstellung von Gesamtqualitätswerten. Die vierte berücksichtigt hybride Systeme, indem sie verschiedene oberflächliche linguistische Merkmale kombiniert, oft unter Verwendung von Ensemble-Methoden oder gewichteten Durchschnittswerten. Diese Modelle erreichen nicht das Niveau integrierter Raffinesse, das von EG-neuronalen Architekturen erreicht wird. Die Leistung des Basismodells wird mit drei Hauptdimensionen bewertet. Die erste misst die Übereinstimmung von systemgenerierten Noten mit den Bewertungen von ausgebildeten menschlichen Experten (Englischlehrern) mittels standardisierter Bewertungsraster. Die zweite bestimmt die Generalisierbarkeit und stellt fest, ob die Leistung über drei Aufsätze mit unterschiedlichen Themen und Komplexität hinweg konstant bleibt. Die dritte Dimension basiert auf der prädiktiven Zuverlässigkeit und bewertet die Genauigkeit und Stabilität der Bewertung durch statistische Werkzeuge wie mittlerer absoluter Fehler, Wurzel-Mittelquadratfehler und Konfidenzintervallanalyse. Zusammen schaffen diese Maße einen robusten Vergleich und unterstreichen die Überlegenheit der EG-Systeme, insbesondere bei der Erreichung größerer Präzision und Stabilität als traditionelle Ansätze.
Experimentelle und Kontrollgruppen
Diese Studie umfasste 90 Bachelor-Studierende der Wirtschaftswissenschaften, die einen funktionalen Englischkurs in zwei unveränderten Kursen absolvierten. Die Daten wurden an drei Stellen erhoben: Vor-Test, Intervention und Nach-Test, um den Fortschritt der Schreibgenauigkeit und -flüssigkeit über die Zeit zu verfolgen. Diese Studie zum Menschen wurde vom Abteilungsbeirat der COMSATS University Islamabad, Lahore Campus, Pakistan, genehmigt. Die Teilnehmer wurden zwei Bedingungen ausgesetzt: traditionellem menschlichem Feedback und computergestütztem Feedback. Die Kontrollgruppe bestand aus 45 Schülern, die das traditionelle schriftliche Feedback von einem ausgebildeten Englischlehrer erhielten. Die Teilnehmer erhielten schriftliches Feedback zu den Aufsätzen der Studierenden in Form von ganzheitlichen Noten, Fehlererkennung und Empfehlungen in Form von Kommentaren eines Dozenten, wie die Arbeit verbessert werden kann. Die experimentelle Gruppe bestand ihrerseits aus 45 Schülern, die im Unterricht auf die gleiche Weise unterrichtet wurden, doch das Schreiben der Schüler wurde durch schnelles, automatisiertes Feedback des EG ergänzt, das ihnen innerhalb von etwa 30 Sekunden nach der Abgabe diagnostische Informationen sowohl in Bezug auf Flüssigkeit als auch Korrektheit lieferte.
Diese Studie wurde über eine Dauer von 8 Wochen durchgeführt, wobei ein Vortest (Woche 1) durchgeführt wurde, um die anfängliche Schreibleistung der Testpersonen zu bestimmen, bevor die Schüler eine Intervention erhielten. Computerbasiertes Feedback mit NLP-semantischen Markern in der experimentellen Gruppe und Lehrerbewertung in der Kontrollgruppe wurden den Teilnehmern sechs Wochen lang gegeben. Letztlich wurde der Post-Test (in Woche 8) durchgeführt, um den Unterschied zwischen Vor- und Nachtest-Messgrößen für Genauigkeit und Sprachflüssigkeit zu verstehen. Um ähnliche Vergleichsergebnisse zu erzielen, wurden die Befragten gebeten, in jeder Bewertungsphase ähnliche Aufgaben schriftlich zu übernehmen, um so potenzielle Störfaktoren der Schwierigkeit und Vertrautheit des Inhalts im Text zu minimieren. Um sicherzustellen, dass die Schreibanregungen mit dem Schwierigkeitsgrad übereinstimmen und gleichzeitig die Gültigkeit des Inhalts gewährleisten, wurden die Schreibanregungen so ausgewählt, dass sie kongruent sind. Die Aufsatzthemen wurden so gewählt, dass die Schüler verschiedene Fachbereiche abdecken, um Übungseffekte und Langeweile der Teilnehmer zu vermeiden, wenn sie eine ähnliche Aufgabe über längere Zeit erarbeiten müssen.
Während der Pre-Test-Phase wurden die Teilnehmer gebeten, einen Aufsatz von 400–450 Wörtern zu verfassen und über ihre akademischen und beruflichen Ziele zu schreiben. Diese beschreibende Aufgabe basierte auf persönlichen Erfahrungen und zukünftigen Projektionen, was die Notwendigkeit impliziert, das Schreiben zu organisieren, klare Beispiele zu liefern und eine logische Aussage über persönliche Ziele und Motivation zu machen. Die Interventionsschreibaufgabe basierte auf verschiedenen Themen, wie zum Beispiel über den Alltag, Hobbys, Reisen, den ersten Tag an der Universität, unvergessliche Lebenstage und Momente als beste Freundin. Die Nachprüfungs-Prompt war mit dem Thema 'Einfluss der Technologie auf die Kommunikation' verbunden, und die erforderliche Aufsatzlänge betrug 400–450 Wörter.