Wyjaśnialne ramy AI dla dokładności, sprawiedliwości i percepcji ucznia w ocenie pisania po angielsku

Summary

Niniejsze badanie opracowuje trzypoziomowe ramy oceny oraz model mediacji sprawiedliwości do oceny systemów pisania angielskiego wspomaganego przez AI. Korzystając z 764 prób międzyjęzykowych, wyniki pokazują różnice w dokładności, stronniczość sprawiedliwości wobec uczniów niebędących native speakerami (szczególnie na poziomie biegłości chińskiego A2) oraz postrzeganie sprawiedliwości jako kluczowego mediatora satysfakcji użytkownika, oferując implikacje teoretyczne i praktyczne.

Abstract

W kontekście globalnej transformacji cyfrowej edukacji powszechnie przyjęto zautomatyzowaną ewaluację pisania (AWE) ze względu na jej zalety w czasie rzeczywistym i standaryzowane; Jednak tradycyjne ramy nastawione na dokładność często pomijają kwestie równości i postrzeganie uczniów, co ogranicza przejrzystość i wartość edukacyjną. Aby zniwelować to ograniczenie, niniejsze badania proponują wyjaśnialny framework AI (XAI), zaprojektowany tak, by dostarczać przejrzystą i interpretowalną informację zwrotną, pozwalając uczniom zrozumieć i zaufać do zautomatyzowanej ewaluacji, a także integruje wielopoziomowy model walidacji, Trzypoziomowy Framework Oceny (TLEF), obejmujący techniczną dokładność, równość grupową i indywidualną oraz percepcję uczniów, wraz z modelem AI Fairness Mediation Model (AFMM). Za pomocą stratyfikowanego losowego próbkowania zebrano dane od 764 wielojęzycznych uczniów (native speakerów angielskiego, chińskiego i hiszpańskiego) na poziomach A2 do C1 według Europejskiego Systemu Odniesienia dla Języków (CEFR) poprzez zadania pisemne, podwójne ocenianie przez ekspertów AI i ludzi oraz ustrukturyzowane kwestionariusze. Zamiast wymieniać pojedyncze testy, zastosowano wiele analiz statystycznych w celu zbadania trafności, sprawiedliwości oraz relacji uczący się do percepcji. Analizy statystyczne łączyły korelację, średni średni błąd kwadratowy (RMSE), testy wyrównanych szans oraz modelowanie równań strukturalnych (SEM). Wyniki pokazują, że choć system oceny pisania wspomaganej AI (AWE) (kryterium ETS) osiąga ogólną ważność (r = 0,82), pozostają istotne różnice: native speakerzy chiński wykazują najniższą zgodność z ludzkimi oceniającymi (0,72) i najwyższy RMSE (mediana 2,15), błędy względem sprawiedliwości są najbardziej widoczne na niższych poziomach biegłości (ΔEO = 0,15 dla uczniów A2), a postrzegana sprawiedliwość w pełni pośredniczy związek między postrzeganą dokładnością a satysfakcją ucznia, z biegłością w moderowaniu wrażliwości na sprawiedliwość. Poprzez przekształcenie sprawiedliwości i postrzegania jako kluczowych wymiarów wyjaśnialności, badania te wzmacniają teoretyczne podstawy AWE i stanowią praktyczną ścieżkę do zwiększenia przejrzystości, równości i akceptacji społecznej w technologiach edukacyjnych.

Introduction

Intensywna globalizacja edukacji i technologii cyfrowych zwiększyła potrzebę naukowej i wiarygodnej oceny poziomu pisania w języku angielskim w kontekście nauczania języków, rozwoju akademickiego i awansu kariery¹. Tradycyjne oceny pisania, stosowane przez ludzką ocenę, mogą mierzyć subiektywne aspekty pisania, takie jak dokładność argumentacji i odpowiedniość kulturową², ale są podatne na długie czasy realizacji, wysokie koszty robocizny oraz stronniczość wynikającą z doświadczenia i poglądów oceniających ^3,4. Te ograniczenia są szczególnie dotkliwe w dużej prak....

Protocol

Proces etycznej akceptacji i rekrutacji uczestników, w tym administracja eseju, podwójna ocena według kryterium ETS i ekspertów, ocena percepcji ucznia oraz analiza statystyczna, zostały podsumowane w tej sekcji. Podkreśla, jak dokładność, sprawiedliwość i modelowanie percepcji oparte na SEM są zintegrowane w jednolity pipeline walidacyjny XAI. Ramy oceny AWE oparte na XAI są zilustrowane na Rysunku 1.

Procedura:

Procedura składała się z kilku etapów. Najpierw uzyskano zgodę IRB oraz zebrano świadomą zgodę wszystkich uczestników. Następnie zdefiniowano zmienne niezal....

Results

Sekcja przedstawia wyniki badań oparte na pięciu wymiarach analitycznych: projektowaniu eksperymentów, cechach uczestników, dokładności punktacji, ocenie sprawiedliwości oraz modelowaniu uczenia się i percepcji. Wyniki obejmują wyniki statystyczne, różnice grupowe, różnice w sprawiedliwości oraz mediację i moderację opartą na SEM.

Układ eksperymentalny

Kluczowe kroki programowe obejmowały skonfigurowanie ETS Criterion przez API do automatycznego oce.......

Discussion

Badania obejmowały system AWE w podejściu trójpoziomowym, obejmującym dokładność techniczną, sprawiedliwość grupową i indywidualną oraz percepcję ucznia, i wykazało, że ogólna ważność i systematyczne różnice grupowe występują jednocześnie. Istniały silne korelacje między ocenami AI a ekspertami (łącznie r = 0,82), ale zaobserwowano różnice według podgrup (native r = 0,89 vs. nienative r = 0,76; Chiński r = 0,72; Tabela 6). Rozkłady RMSE wskazywały również na wyższe błędy i zmienność u uczniów chińskich (

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
system przechowywania danych	Zaszyfrowane, kontrolowane serwery do przechowywania anonimowych danych.	Serwery instytucjonalne	STORAGE-002
ETS System Kryterialny	System oceny pisania wspomagany przez AI do oceniania zadań pisemnych.	Usługa Testowania Edukacyjnego (ETS)	ETS-001
uczciwości i dokładności	Narzędzia do RMSE, wyrównanych szans i analizy statystycznej.	Niestandardowe skrypty/pakiety statystyk	TOOL-FA-001
	Niezależne oceny zapewnione przez trzech lingwistów z ponad 10-letnim doświadczeniem.	Oceniający na miejscu	HR-EXP-003
Ankieta Percepcji Ucznia	Ośmiopunktowy kwestionariusz dotyczący sprawiedliwości i satysfakcji, oceniany na 7-punktowej skali Likerta.	Opracowanie wewnętrzne	QUES-008
Statistical Software (R 4.3.1)	Wykorzystywane do analizy danych, w tym SEM (Structural Equation Modeling).	Fundacja R	R-SW-431
stratyfikowane dane losowego próbkowania	Dane zebrane od 764 wielojęzycznych uczących się na poziomach CEFR A2 do C1.	Uczestnicy badania	DATA-764
zadania do pisania	Trzy tematy esejów standaryzowanych na temat globalizacji, edukacji online i etyki AI.	Platforma oparta na Moodle	PROMPT-003