Dynamiczna rama poprawek piśmiennych integrująca dostarczanie poprawek przez agenta sztucznej inteligencji dla strukturalnej i iteracyjnej pomocy w pisaniu eseju

Podsumowanie

To badanie ustanawia punkt odniesienia dla STEP-DWCF-R (Ustrukturyzowany, Wielopoziomowy, Oparty na Dowodach Proces Dynamicznej Pisemnej Poprawy z Robotyczną Agencją Sztucznej Inteligencji) w celu poprawy wyników w pisaniu IELTS poprzez wielorundową poprawę wspierana przez sztuczną inteligencję i nauczyciela.

Streszczenie

Systemy automatycznej oceny pisania są powszechne, jednak większość z nich dostarcza statyczne, pofragmentowane komentarze, które zapewniają ograniczone wsparcie do poprawy. Niniejsze badanie ocenia ram STEP-DWCF-R (Structured, Tiered, Evidence-driven Process for Dynamic Written Corrective Feedback with Robotic AI Agent), w którym opinia wygenerowana przez sztuczną inteligencję, moderowana przez nauczyciela, jest dostarczana przez robotycznego agenta AI w wielu iteracyjnych rundach w ciągu jednotygodniowego cyklu zadań. W ośmiotygodniowym prawie-eksperymencie 32 uczniów języka angielskiego jako obcego zostało losowo przydzielone do tradycyjnej opinii pisemnej (jedna runda na zadanie) lub STEP-DWCF-R. Obie grupy wykonały eseje IELTS Task 2 na poziomie początkowym i końcowym, które zostały anonimowe, losowo ułożone i oceniane przez dwóch niezależnych oceniających (ICC = 0,86–0,93). Linie modeli efektów mieszanych pokazały, że grupa STEP-DWCF-R wykazała znacznie większy wzrost w ogólnym wynikach bandów (Δ = 1,03 vs. 0,31 bandów) i we wszystkich czterech wymiarach analitycznych, przy czym największą poprawę zaobserwowano w Koherencji i Spójności. Dane procesu wskazały, że uczniowie korzystający z STEP-DWCF-R wykonywali średnio 2,26 rund poprawek na zadanie, przy czym liczba błędów zmniejszała się liniowo w kolejnych rundach. Te wyniki sugerują, że zintegrowany ram STEP-DWCF-R, obejmujący opinię wygenerowaną przez sztuczną inteligencję, moderację nauczyciela i iteracyjną dostawę robotycznego agenta AI, jest związany z większymi poprawami pisania IELTS niż tradycyjna jednorundowa opinia, co wskazuje na praktyczne zastosowania dynamicznej opinii wzmocnionej sztuczną inteligencją w kontekście EFL.

Wprowadzenie

Korekta pisemna (WCF) pozostaje centralnym elementem pedagogiki pisania na poziomie L2. Dowody pokazują, że kompleksowa korekta pisemna poprawia dokładność uczniów z czasem i, gdy jest dostosowana do praktyki w klasie, może współistnieć z ukierunkowanymi podejściami, które są wykonalne w autentycznych kontekstach^1,2,3. Ostatnie badania klasowe pokazują trwałe poprawy w dokładności i płynności po zrównoważonej, kompleksowej korekcie pisemnej. Badania nad zakresem opinii ostrzegają, że nauczyciele powinni celować strategicznie w formy, zamiast zaznaczać wszystko^4,5,6,7,8,9. Równolegle, zautomatyzowana ocena pisania (AWE) i zautomatyzowana korekta pisemna (AWCF) rosły szybko. Wyniki są mieszane: niektóre badania pokazują poprawę w osiągnięciu zadań i zakresie gramatycznym z AWCF lub programami w stylu Criterion, podczas gdy inne nie znajdują żadnej znaczącej przewagi nad opinią tylko nauczyciela lub zauważają głównie lokalne, powierzchowne poprawki. Aby odzwierciedlić tę niejednorodność, celowo triangulowaliśmy wiele badań AWCF zamiast polegać na pojedynczym źródle^10,11,12,13.

Przekonania uczniów o tym, kto dostarcza korektę, również mają znaczenie: praca quasi-eksperymentalna dotycząca postrzeganego źródła wskazuje, że wydajność i zaufanie mogą się zmieniać, gdy identyczna korekta jest przedstawiana jako „nauczyciel” versus „zautomatyzowana”, podkreślając potrzebę uwzględnienia efektów percepcji w projektach AWCF^14,15. Rozwijając tę linię, nowe badania sugerują, że roboty edukacyjne, ze względu na swoją wcieloną obecność, mogą także działać jako dostawcy opinii, potencjalnie wpływając na zaangażowanie uczniów i zaufanie na unikalne sposoby¹⁶.

Uzupełniająca linia badań, dynamiczna korekta pisemna (DWCF), podkreśla częste, zarządzalne, kompleksowe cykle opinii z kodowaniem i szybkim poprawianiem. Dowody z wielu ustawień sugerują, że DWCF niezawodnie poprawia dokładność (z efektami częstotliwości na płynność), choć wyniki mogą się różnić w zależności od celów kursu i populacji uczniów^17,18,19,20. Wreszcie, wczesne badania nad opiniami za pośrednictwem generatywnej AI raportują równorzędność z opinią nauczyciela w zakresie wyników pisania i potencjalne korzyści, gdy są łączone z wyraźnymi metajęzykowymi wskazówkami, motywując bliższą integrację ludzkiej i AI opinii w kontekstach L2^21,22.

Aby sprostać tym wyzwaniom, proponujemy ramy STEP-DWCF-R (Ustrukturyzowany, Wielopoziomowy, Oparty na Dowodach Proces Dynamicznej Korekty Pisemnej z Robotycznym Agentem AI), nowy wieloetapowy system opinii DWCF zaprojektowany, aby zapewnić ustrukturyzowaną, iteracyjną i zorientowaną na proces wsparcie pisania. Nasz system wykorzystuje przewidującą i generatywną moc Dużych Modeli Językowych (LLM), z dostarczeniem przez interfejs robotycznego agenta AI i moderacją nauczyciela, aby segmentować złożone problemy z pisaniem na zarządzalne kategorie, dostarczać opinię przez wiele rund interakcji i oceniać jej skuteczność zarówno za pomocą metryk opartych na wynikach, jak i na procesie. Przekształcając opinię na ustrukturyzowany i interaktywny proces, STEP-DWCF-R rozwija zautomatyzowane wsparcie w pisaniu od statycznej korekty błędów ku bardziej angażującemu, wcielonemu i zorientowanemu na naukę systemowi.

Nasze wkłady koncentrują się na trzech zintegrowanych zaawansowaniach. Po pierwsze, proponujemy ustrukturyzowany schemat reprezentacji opinii, który klasyfikuje błędy (np. gramatyka, spójność), tak aby opinia dostarczana przez agenta AI była zarówno działalna, jak i pedagogicznie interpretowalna. Po drugie, wprowadzamy iteracyjny wieloetapowy proces, który sekwencjonuje opinię w zakresie języka, struktury i rozumowania przez wiele rund, aby zmniejszyć obciążenie poznawcze i pogłębić zaangażowanie. Po trzecie, rozszerzamy ocenę poza punktację końcową, aby uwzględnić metryki zorientowane na proces, takie jak redukcja błędów i przyjęcie opinii, oferując bogatszy widok wpływu na naukę. Ramy WCF reprezentują najwcześniejsze próby systematyzacji pisemnej korekty w technologii edukacyjnej. Pochodzące z Automatycznej Oceny Pisania (AWE) i Automatycznej Oceny Esejów (AES), te systemy podkreślały wykrywanie błędów i ocenianie kompetencji^13,14. Ich wkład polega na skalowalności: tysiące uczniów mogło otrzymywać opinię bez cieśni autentycznego oceniania przez ludzi. Jednak te ram

Protokół

Ten protokół został zatwierdzony przez Komitet Etyczny Szkoły Pedagogiki Wczesnoszkolnej, Shangrao Preschool Education College. Wszyscy uczestnicy byli pełnoletni (≥18 lat) i przed rozpoczęciem badania wyrazili pisemną zgodę na udział.

1. Projekt badania

UWAGA: Ze względu na ograniczenia dostępnej klasy nauczania języka angielskiego jako obcego (łączna liczba uczestników N = 32), uczestnicy zostali losowo przydzieleni do dwóch grup po 16 osób każda. Wielkość próby, choć umiarkowanie duża, została uznana za wystarczającą dla badania pilotażowego, biorąc pod uwagę projekt pre-post z wewnątrzpodmiotową analizą i oczekiwanymi dużymi wielkościami efektów na podstawie wcześniejszych badań DWCF^17,18,19,20.

1. Losowo przydziel uczestników do dwóch grup (n = 16 w każdej) za pomocą prostej randomizacji. Wygeneruj sekwencję alokacji za pomocą listy losowych liczb wygenerowanej komputerowo. Ukryj alokację przed instruktorem do momentu zakończenia oceny początkowej.
2. Upewnij się, że obie grupy są uczono przez tego samego instruktora, używając identycznych materiałów i godzin kontaktu.
3. Przekazywanie informacji zwrotnej albo poprzez bezpośrednią korektę przez człowieka (WCF) albo poprzez przepływ STEP-DWCF-R, gdzie informacje zwrotne od AI i nauczyciela są przedstawiane przez robotycznego agenta AI.

2. Zadania pisemne

1. Przeprowadź początkową próbę IELTS Task 2 eseju w tygodniu 1 w warunkach egzaminacyjnych (≥250 słów, 40 min).
2. Przeprowadź sześć tygodniowych zadań pisemnych (tygodnie 2–7). Dla każdego zadania:
   1. W WCF dostarcz jedną rundę informacji zwrotnej od człowieka na temat eseju.
   2. W STEP-DWCF-R, wygeneruj informacje zwrotne AI, skoryguj je z ludzkim nauczycielem i poleć robotycznemu agentowi AI, aby przedstawił informacje zwrotne interaktywnie uczniowi.
   3. W STEP-DWCF-R, powtórz cykl informacji zwrotnych STEP-DWCF-R przez 2–3 rundy, aż zostanie zakończona rewizja.
3. Przeprowadź końcową próbę IELTS Task 2 eseju w tygodniu 8 w tych samych warunkach egzaminacyjnych. Stosuj ten sam jednotygodniowy kalendarz dla każdego zadania w obu grupach. Dostarcz informacje zwrotne z rundy 1 w ciągu 24 godzin od przesłania projektu w STEP-DWCF-R. Wymagaj od uczniów rewizji i ponownego przesłania w ciągu 48 godzin. Stosuj ten sam harmonogram dla kolejnych rund i zakończ wszystkie cykle w ciągu tygodnia.

3. Przepływ informacji zwrotnej

1. Przetwórz każdą wersję projektu ucznia za pomocą interfejsu API GPT-5 (model = „gpt-5”, temperatura = 0,7, max_output_tokens = 2048), aby wygenerować informacje zwrotne w postaci listy w czterech stałych kategoriach: Gramatyka, Słownictwo, Organizacja i Rozumowanie. Dokładny systemowy prompt oraz schemat wyjścia JSON są dostępne w repozytorium open-source (https://github.com/YifangGaoinPG/Dynamic-Writing-Correction-Feedback/blob/main/evaluate.py, funkcja build_prompt() i normalize_reasoning()).
2. Skoryguj informacje zwrotne wygenerowane przez AI zgodnie z następującymi kryteriami: usuń fałszywe dodatnie lub niedokładne komentarze; dodaj pominięte kluczowe problemy zgodne z kluczem oceniającym IELTS; upewnij się, że komentarze są działalne i zachęcające; i zachowaj spójność z czterokategoriowym schematem. Ręcznie rejestruj decyzje dotyczące korekty.
3. Zapisz skorygowany feedback w formacie JSON i wczytaj go do interfejsu robotycznego agenta AI (lekka aplikacja internetowa Flask).
4. Przedstaw informacje zwrotne przez interfejs internetowy. Wyświetl strukturalne tabele dla każdej kategorii (podsumowanie, problemy i wskazówki dotyczące poprawy). Rejestruj potwierdzenia od uczniów i wnioski o wyjaśnienia za pośrednictwem logów systemowych. Poleć uczniom, aby poprawili i ponownie przesłali swoje projekty. Powtórz cykl do trzech razy na zadanie.
5. Weryfikacja i rozwiązywanie problemów.
   1. Weryfikuj pomyślne wygenerowanie informacji zwrotnych AI, potwierdzając, że wyjście jest prawidłowym JSON zawierającym wszystkie cztery wymagane kategorie: Gramatyka, Słownictwo, Organizacja i Rozumowanie. Potwierdź zakończenie korekty przez nauczyciela, upewniając się, że fałszywie dodatnie zostały usunięte, brakujące problemy zostały dodane, a skorygowany plik JSON został zapisany.
   2. Wczytaj skorygowany plik JSON do interfejsu robotycznego agenta AI opartego na Flasku przez punkt wczytywania. Potwierdź pomyślne wczytanie za pomocą wiadomości potwierdzającej interfejsu i wpisu logu bazy danych. Automatycznie rejestruj ponowne przesłania uczniów za pomocą logów składania formularza.
   3. Przetwórz niezgodne wyjścia AI (np. błędnie uformowane JSON, brakujące kategorie lub niedokładne informacje zwrotne) za pomocą funkcji ensure_json() i normalize_reasoning(). Regeneruj wyjście API z dostosowanymi parametrami promptu w razie potrzeby. Ręcznie skoryguj

Wyniki

Eksperymenty i analiza

Wszystkie 32 uczestników dostarczyło danych początkowych. Dane po eksperymencie były dostępne dla 16 uczestników w każdej grupie (WCF i STEP-DWCF-R; Rysunek 2). Terminarz badania i wskaźniki są przedstawione na Rysunku 3, a przepływ feedbacku od końca do końca jest zilustrowany na Rysunku 4. Ustawienia eksperymentalne i parametry implementacji naszego systemu AI są przedstawione w Tabeli 1. Analizy przeprowadzono zgodnie z wcześniej określonym planem z zastosowaniem zasady intention-to-treat. Najpierw oceniliśmy równoważność początkową (Tabela 2), następnie przedstawiliśmy główny wynik (Rysunek 5 i Tabela 3), a następnie wyniki wtórne (Tabela 4) wraz z kontrolą odporności i niezawodności.

Równoważność początkowa

Na początku (tydzień 1) grupy były opisowo podobne pod względem wstępnie określonych zmiennych, w tym wskaźników demograficznych i wyników w piśmie w języku angielskim przed jakąkolwiek poprawą (Tabela 2). Pojedyncze oceny komponentów IELTS są przydzielane w krokach po 0,5 punktu, podczas gdy tabela przedstawia średnie dla grup. Średnie ogólne w tygodniu 1 (WCF = 5,625, STEP-DWCF-R = 5,500) są obliczane na podstawie tej samej tablicy użytej do wygenerowania Rysunku 5. Nie przeprowadzamy testów hipotez na poziomie początkowym; wszelkie pozostałe nierównoważności są rozwiązywane przez projekt przed-po i warunek Grupa × Czas w mieszanym modelu efektów oraz porównanie po eksperymencie, dostosowane do początku, jest prezentowane w sekcji Protokół.

Wynik główny

Rysunek 5 podsumowuje zmiany przed-po, podczas gdy Tabela 3 i Tabela 5 raportują oszacowania modelu i osiągnięcia po eksperymencie. Na początku (tydzień 1) średnie dla grup wynosiły 5,625 dla WCF i 5,500 dla STEP-DWCF-R, co daje nieistotną różnicę między grupami wynoszącą -0,125 punktów (SE = 0,133, t = -0,939, df = 29,90, p = 0,355, 95% CI [-0,397, 0,147]). Średnia w Tabeli 3, zatem, oszacowuje średnią WCF w tygodniu 1 na 5,625 z 95% CI [5,419, 5,831] (SE = 0,097, df = 15). Od tygodnia 1 do tygodnia 8 WCF poprawiło się o 0,3125 punktów (SE = 0,128, t = 2,44, df = 15, p = 0,028, 95% CI [0,039, 0,586]; standaryzowany efekt wewnątrzgrupowy dz = 0,61). STEP-DWCF-R poprawiło się o 1,0313 punktu (SE = 0,140, t = 7,34, df = 15, p = 2,44 × 10^-6, 95% CI [0,732, 1,331]; dz = 1,84). Liniowy efekt mieszany kontrastu dla interakcji Grupa × Czas — czyli różnica różnic — wynosił 0,7188 punktu (SE = 0,190, t = 3,78, df = 29,75, p = 0,0007, 95% CI [0,330, 1,107]; Tabela 3), co wskazuje na większe zyski w przypadku STEP-DWCF-R. Po eksperymencie (tydzień 8) oszacowane średnie marginalne sprzyjały STEP-DWCF-R o 0,5938 punktu (test Welcha na średnich grupowych: SE = 0,115, t = 5,16, df = 29,74, p = 1,50 × 10^-5, 95% CI [0,359, 0,829]). Zgodnie z tym, tabela osiągnięć (Tabela 5) pokazuje, że w tygodniu 8, 13% uczestników WCF osiągnęło ogół ≥ 6,5 i 0% osiągnęło ≥ 7,0 (liczby 2/16 i 0/16), podczas gdy 81% uczestników STEP-DWCF-R osiągnęło ≥ 6,5 i 25% osiągnęło ≥ 7,0 (liczby 13/16 i 4/16). Tabela 3 raportuje odpowiednie oszacowania efektów stałych i ich niepewność.

Wyniki na poziomie wymiaru

Tabela 4 podsumowuje zmiany przed-po w czterech wymiarach zadania 2. Zadanie odpowiedzi (TR) wykazało zyski w wysokości Δ = 0,25 punktu w przypadku WCF, w porównaniu z Δ = 0,95 w przypadku STEP-DWCF-R, co daje ΔΔ = 0,70 z 95% CI [0,28, 1,12] i Holm-skorygowane p = 0,006. Spójność i kohezja (CC) wykazały największy kontrast: WCF Δ = 0,30, STEP-DWCF-R Δ = 1,15, stąd ΔΔ = 0,85 (95% CI [0,44, 1,26], adj-p = 0,002). Zasoby leksykalne (LR) przestrzegały tego samego wzorca, z WCF Δ = 0,35 i STEP-DWCF-R Δ = 0,

Dyskusja

To badanie porównało STEP-DWCF-R, wieloskładnikowy dynamiczny framework korekty pisemnej z agentem AI-robotem, z jednorazową korektą WCF w ośmiotygodniowym kursie pisania IELTS. STEP-DWCF-R dał większe zyski przed–po w ogólnym bandzie i w TR, CC, LR oraz GRA. Uczniowie pod STEP-DWCF-R również wykonywali więcej rund poprawek i wykazywali szybsze zmniejszenie błędów, przy czym modele szacowały spadek o około 4,1 błędów na rundę. Największą poprawę zaobserwowano w spójności i koherencji (σσ = 0,85), co wskazuje, że strukturalna, powiązana z rubryką, korekta sprzyja wyższemu poziomowi organizacji, a także dokładności. Te wyniki zgadzają się z wcześniejszymi badaniami nad DWCF, które pokazują, że iteracyjna, kompleksowa korekta poprawia dokładność pisania w czasie^14,15,16,17.

Proces STEP-DWCF-R obejmuje trzy kluczowe kroki. Po pierwsze, system AI generuje szczegółową korektę w czterech kategoriach (Gramatyka, Słownictwo, Organizacja, Rozumowanie) przy użyciu ograniczonego schematu JSON i standaryzowanego impulsu systemowego. Po drugie, nauczyciel moderuje wynik, aby usunąć fałszywie dodatnie wyniki, dodać pominięte kluczowe kwestie zgodne z rubryką IELTS, upewnić się, że formułowanie jest czytelne i zachęcające oraz utrzymać spójność z czterokategoriowym schematem. Ten krok moderacji służy jako główny mechanizm rozwiązywania problemów, korygując hallucynacje AI lub nadmierne zaznaczanie, które inaczej mogłoby przytłoczyć uczniów. Warto zauważyć, że czas moderacji przez nauczyciela na zadanie był krótszy w STEP-DWCF-R niż w WCF (13,8 min. przeciwko 23,5 min.), ponieważ AI generowało początkową strukturalną korektę, a nauczyciel tylko ją moderował. Po trzecie, skorygowany feedback jest przekazywany przez interfejs internetowy AI-robota, który rejestruje potwierdzenia i ponowne przesłania uczniów na wielu rundach.

W porównaniu z istniejącymi podejściami, STEP-DWCF-R radzi sobie z odrębnymi ograniczeniami. Konwencjonalna jednorundowa WCF nadal jest ograniczona przez czas instruktora i zwykle zapewnia ograniczoną możliwość ciągłej poprawy. Automatyczne narzędzia do oceniania pisania oferują skalowalność, ale często dostarczają statyczne, rozproszone komentarze, z których uczniowie mają trudności z wyciągnięciem sensownej poprawki^20,21,22. Wczesne badania nad DWCF wykazały skuteczność wielorundowych cykli korekty, jednakże ich zależność od korekt autoryzowanych przez instruktora wzbudzała wątpliwości co do wykonalności w dużych klasach^14,15,16,17. Ostatnie badania nad generatywnym feedbackiem AI wskazują na równość z nauczycielskim feedbackem w kwestiach wyniku pisania, ale bez strukturalnej moderacji lub iteracyjnej dostarczania^18,19. STEP-DWCF-R łączy skalowalność AI z nadzorem nauczyciela i iteracyjną dostarczaniem przez AI-robota, osiągając mniejszy czas pracy nauczyciela przy jednoczesnym zwiększeniu częstotliwości poprawek.

Przyznajemy się do kilku ograniczeń. Stosunkowo mała wielkość próby (N = 32) ogranicza ogólność naszych wyników, a badanie powinno być traktowane jako pilotażowe. Dwie warunki różniły się dawką feedbacku: grupa WCF otrzymała tylko jedną rundę feedbacku na zadanie, podczas gdy grupa STEP-DWCF-R przeszła przez 2-3 iteracyjne rundy. Dlatego lepsza wydajność grupy STEP-DWCF-R odzwierciedla łączne efekty wielu cykli poprawek, feedbacku wygenerowanego przez AI i moderacji nauczyciela, a nie efekty pojedynczego AI-robota lub jego trybu dostarczania. AI-robot to czysto wirtualny interfejs internetowy, więc jego efekty nie mogą być oddzielone od efektów samej iteracyjnej struktury. Multimodalny feedback ludzki (np. mowa plus gestykulacja) nie został uwzględniony jako warunek kontrolny, ponieważ nie jest standardową praktyką w konwencjonalnych salach lekcyjnych EFL i wymagałby oddzielnego paradygmatu eksperymentalnego. Przyszłe badania powinny uwzględniać grupy kontrolne dopasowane pod względem dawki (np. wielorundowa korekta nauczyciela), aby dalsze oddzielić te składniki.

Mimo tych ograniczeń, framework STEP-DWCF-R oferuje praktyczne wskazówki dla nauki pisania z pomocą AI. Jego modułowa architektura umożliwia integrację z systemami zarządzania nauką do dużych kursów EFL, a strukturalny czterokategoriowy schemat mógłby być przystosowany do pisania akademickiego lub specyficznych dla dyscypliny gatunków. Przyszłe wersje mogłyby badać multimodalne dostarczanie, aby wykorzystać teoretyczne korzyści z zaangażowania wcielonych agentów, choć obecne pilotażowe badanie ustanawia wykonalność iteracyjnej kolaboracji AI-nauczyciel w oparciu o tekst. Niemniej jednak, konsekwentny wzorzec wśród wskaźników wyniku, wskaźników procesu i silnej niezawisłości oceniających wspiera wykonalność i potencjalną skuteczność tego wielos

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Flask (Web Framework)	Pallets Projects	https://flask.palletsprojects.com	Wersja 2.1; używany do interfejsu internetowego agenta AI robotycznego
API GPT-5	OpenAI	https://platform.openai.com	Model gpt-5, temperatura=0.7; do strukturalnej generacji opinii JSON
Jinja2	Pallets Projects	https://jinja.palletsprojects.com	Szablony renderowane na serwerze dla interfejsu internetowego
Python	Python Software Foundation	https://www.python.org	Wersja 3.10; skryptowanie backendu
Windows 11	Microsoft	https://www.microsoft.com/windows	System operacyjny dla systemu opinii AI