$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Analiza wydajności algorytmu BFEN
Wskaźniki oceniane w eksperymentach obejmowały następujące parametry:
Dokładność korekty oceny (ECA) określa proporcję elementów odchylonych, które zostały prawidłowo zidentyfikowane i poprawione przez model w ramach wyników oceny nauczania, odzwierciedlając tym samym ogólną skuteczność mechanizmu korekcyjnego. Wyższe wartości wskazują na lepszą dokładność korekty.
Wskaźnik odchylenia sprawiedliwości (FDR) mierzy wielkość rozbieżności wyników między grupami, których model nie zdołał wyeliminować w procesie kalibracji. Oblicza się go jako stosunek odchylenia standardowego każdego atrybutu wrażliwego (np. płci, regionu, pochodzenia etnicznego) w rozkładzie wyników do całkowitego odchylenia standardowego; niższe wartości oznaczają zminimalizowane wariancje międzygrupowe i bardziej solidną gwarancję sprawiedliwości.
Wskaźnik adaptacji do scenariusza (SAR) określa procent zadań korekcyjnych pomyślnie wykonanych przez model w heterogenicznych kontekstach instruktażowych (np. nauki przyrodnicze vs. humanistyczne, środowiska online vs. offline).
Stopień utrzymania sprawiedliwości (FMD) definiuje się jako jeden minus stosunek wariancji wskaźników sprawiedliwości pomiędzy grupami atrybutów wrażliwych po korekcji do wartości zaobserwowanej przed korekcją, co odzwierciedla zdolność systemu do zachowania strukturalnej sprawiedliwości podczas procesu kalibracji.
Wskaźnik rozpoznawania cech dyscyplinarnych (DFRR) oblicza proporcję próbek, w których cechy kluczowe zostały prawidłowo zidentyfikowane w danych oceniających każdą z dyscyplin, w stosunku do całkowitej wielkości próby oceniającej, co wykazuje zdolność modelu do rozróżniania i wychwytywania zmienności specyficznych dla danej dziedziny.
Wydajność fuzji danych wieloźródłowych (MDFE) odnosi się do przepustowości modelu podczas wyrównywania cech, alokacji wag i korekcji odchyleń w procesie łączenia heterogenicznych danych ewaluacyjnych z wielu źródeł. Ta kompleksowa metryka jest zdefiniowana jako iloczyn liczby przetwarzanych próbek oceny na sekundę (samples/sec) oraz wskaźnika zgodności spójności korekcji (przy poziomie ufności >95%), gdzie wyższe wartości oznaczają bardziej wydajny i stabilny proces fuzji.
Stabilność wyniku korekcji (CRS) wskazuje na spójność wyników kalibracji w wielu niezależnych uruchomieniach, określana jako odwrotność odchylenia standardowego odległości euklidesowej pomiędzy wynikami korekcji każdego uruchomienia przy identycznych danych wejściowych. Wyższe wartości oznaczają zwiększoną niezawodność systemu.
Czas pojedynczej korekty danych (SDCT) reprezentuje średnie opóźnienie obliczeniowe modelu niezbędne do zakończenia kalibracji pojedynczej próbki oceny, mierzone w milisekundach (ms); niższe wartości wskazują na lepszą zdolność do reakcji w czasie rzeczywistym.
Skorygowany błąd bezwzględny (CAE) określa średni błąd bezwzględny pomiędzy skalibrowanymi predykcjami a wartościami rzeczywistymi, reprezentując odchylenie resztkowe modelu w stosunku do pierwotnych, nieskalibrowanych danych. Niższe wartości oznaczają, że skalibrowane wyniki są bardziej zgodne z rzeczywistymi poziomami wydajności.
Skorygowany błąd względny (CRE) określa średni błąd bezwzględny pomiędzy wartościami przewidywanymi po kalibracji a wartościami rzeczywistymi, wyrażony jako procent wartości rzeczywistej, przy czym niższe wartości wskazują na wyższą względną precyzję kalibracji.
Wskaźnik dokładności korekcji (CAR) reprezentuje proporcję próbek, których błąd bezwzględny po kalibracji wynosi < 0,5 w stosunku do całkowitej liczby próbek, co wykazuje niezawodność modelu w spełnianiu określonych ograniczeń precyzji. Wysokie wartości potwierdzają empiryczną użyteczność i wiarygodność wyników.
Całkowita wartość straty (TL) reprezentuje kompleksową wartość celu optymalizacji, pochodzącą z ważonej sumy poszczególnych składników podstraty po zakończeniu zadania. W szczególności siedem wskaźników — DFRR, MDFE, CRS, SDCT, CAE, CRE i CAR — zostaje ustandaryzowanych poprzez normalizację Z-score i obciążonych wagami zgodnie z priorytetem operacyjnym zadań ewaluacyjnych. Przy wektorze wag [0.15, 0.12, 0.1, 0.08, 0.13, 0.12, 0.1], siedem tych znormalizowanych wartości wskaźników jest agregowanych w celu obliczenia końcowej straty.
Dokładność grupowania cech ewaluacyjnych (EFCA) ocenia stopień zgodności między konfiguracjami grupowania nienadzorowanego wygenerowanymi przez model a kategoriami referencyjnymi zweryfikowanymi przez ekspertów z danej dziedziny.
Wydajność przetwarzania danych wysokowymiarowych (HDPE) określa liczbę próbek poddanych redukcji wymiarowości cech oraz korekcji odchyleń w jednostce czasu podczas obsługi wysokowymiarowych rzadkich wektorów zawierających ≥50 cech ewaluacyjnych. Mierzona w próbkach/sekundę, wyższe wartości odzwierciedlają większą zdolność do przetwarzania w czasie rzeczywistym złożonych, wielkoskalowych danych wejściowych z oceny.
Precyzja korekty sprawiedliwości (FCP) ocenia jednolitość efektów kalibracji w różnych kohortach studentów. Metryka ta jest kwantyfikowana poprzez obliczenie średniej z rozkładu odległości Kołmogorowa-Smirnowa dla skorygowanych błędów bezwzględnych w podgrupach cech wrażliwych; niższe wartości oznaczają bardziej zrównoważoną wydajność między grupami i silniejszą gwarancję sprawiedliwości.
Spójność korekcji między scenariuszami (CSCC) określa ilościowo przesunięcie rozkładu wyników kalibracji w trzech typowych scenariuszach — mianowicie: ocenie klasowej, ocenie praktycznej i testowaniu online — modelowane jako stosunek dystansu Wassersteina.
Aby zweryfikować wydajność proponowanego algorytmu kalibracji oceny nauczania BFEN, w badaniu porównano go z algorytmem PRF, łączącym analizę głównych składowych (PCA) i lasy losowe (RF); algorytmem EAB, łączącym ekstremalną maszynę uczącą (ELM) i adaptacyjne wzmacnianie (AdaBoost); oraz algorytmem DBLR, łączącym głęboką sieć przekonań (DBN) i regresję logistyczną (LR). Eksperymenty przeprowadzono na systemie wyposażonym w procesor Intel Core i9-13900HX i procesor graficzny NVIDIA RTX 4080, co zapewniło wysoką zdolność obliczeń równoległych i dużą pamięć wideo do efektywnego przeprowadzenia ekstrakcji cech oraz obliczeń kalibracyjnych dla wielkoskalowych danych dotyczących oceny nauczania. Systemem operacyjnym był Windows 11, a do programowania wykorzystano język Python 3.9. Algorytmy zaimplementowano przy użyciu biblioteki Scikit-learn, moduły uczenia głębokiego opracowano w ramach frameworka TensorFlow, a do wstępnego przetwarzania danych wykorzystano biblioteki Pandas i NumPy. Środowiskiem programistycznym był PyCharm Professional 2023.1, a do wizualizacji wyników kalibracji zastosowano bibliotekę Seaborn, aby ułatwić intuicyjne porównanie wydajności algorytmów. Aby zapewnić wiarygodność danych, w badaniu wykorzystano zbiór danych Global Education Monitoring Report1 oraz zbiór danych dotyczący wyników w nauce uczniów hiszpańskich szkół średnich2. Zbiór danych zawiera 12 486 rekordów, obejmujących multimodalne dane oceny nauczania, takie jak oceny nauczania kadry akademickiej, wyniki w nauce studentów, oceny nauczania wystawione przez studentów oraz opinie o kursach, obejmujące 137 cech wymiaru nauczania, w tym częstotliwość interakcji w klasie, terminowość informacji zwrotnych do zadań, spójność oceniania, inkluzywność językową oraz wrażliwość międzykulturową. Zmienną docelową jest ocena nauczania, która w niniejszym badaniu jest odwzorowana na wielowymiarową ważoną wartość złożoną, skalibrowaną przez ekspertów. Badanie integruje cztery typy źródeł informacji: oceny nauczania wystawione przez studentów, recenzje koleżeńskie, obserwacje lekcji przez przełożonych oraz przeglądy teczek dydaktycznych, z wagami odpowiednio 0,35, 0,25, 0,25 i 0,15. Zbiory treningowe i walidacyjne zostały podzielone chronologicznie z dwóch zbiorów danych. W badaniu wykorzystano dane z września 2024 r. jako zbiór treningowy oraz dane z okresu od października 2024 r. do czerwca 2025 r. jako zbiór walidacyjny, aby dostosować je do temporalnego przebiegu ocen edukacyjnych. Na etapie wstępnego przetwarzania zastosowano strategię specyficzną dla danej modalności: cechy strukturalne zestandaryzowano poprzez normalizację Z-score i poddano winsoryzacji wartości odstających, natomiast cechy tekstowe zakodowano za pomocą modelu BERT-base-chinese i zredukowano do 768 wymiarów. Zastosowano trening adversariany w celu zwiększenia odporności na niejawne przejawy stronniczości oraz złagodzenia dryftu semantycznego spowodowanego różnicami w tle kulturowym.
W celu przeprowadzenia badań nad treningiem i walidacją międzydomenową, model zostanie przeniesiony do czterech heterogenicznych scenariuszy nauczania: edukacji podstawowej K-12, edukacji zawodowej, edukacji ustawicznej oraz międzynarodowej edukacji języka chińskiego w celu walidacji przy zerowej lub niewielkiej liczbie próbek. W tych czterech scenariuszach badanie wprowadza terminy regularyzacji adaptacyjnej do domeny podczas trenowania algorytmu, aby ograniczyć spójność rozkładu cech modelu w różnych scenariuszach nauczania. W scenariuszach K-12 zaimplementowano lekki mechanizm maskowania uwzględniający składnię w celu eliminacji szumu w krótkich zdaniach. Aby rozwiązać problem wieloznaczności terminologii specjalistycznej w edukacji zawodowej, skonstruowano dynamiczny słownik dziedzinowy i zintegrowano go z grafem wiedzy programu nauczania. Zaprojektowano moduł uczenia porównawczego grup wiekowych, aby zniwelować międzypokoleniową lukę semantyczną w edukacji ustawicznej, dopasowując kotwice semantyczne dla ekspresji oceniających z różnych grup wiekowych w przestrzeni ukrytej. Aby rozwiązać problem ekspresji obciążonej kulturowo w międzynarodowej edukacji języka chińskiego, do dostrajania wykorzystano prompty porównawcze międzyjęzykowe, co zwiększyło odporność modelu na rozumienie nieliteralnych pojęć edukacyjnych. Przeprowadzono badania nad kalibracją ekspercką i testowaniem niezawodności ustrukturyzowanych pól w oryginalnych zapisach ocen, usuwając wpisy o niskiej niezawodności z współczynnikiem alfa Krippendorffa poniżej 0,75. W odniesieniu do tekstów ocen studenckich zastosowano podwójnie ślepą adnotację ręczną, w której 3 ekspertów pomiaru edukacyjnego niezależnie przeprowadziło etykietowanie typów odchyleń, osiągając spójność adnotacji na poziomie Cohen's k = 0,86. Na koniec wyniki adnotacji zostały poddane walidacji krzyżowej z zapisami obecności nadzoru oraz wnioskami z przeglądów dokumentacji dydaktycznej w celu wygenerowania ostatecznych etykiet kalibracyjnych.
Wybrane zestawy danych pochodziły z odrębnych populacji, systemów pomiarowych i środowisk edukacyjnych. Ten paradygmat walidacji międzydomenowej rygorystycznie przetestował odporność i granice generalizacji modelu w autentycznym ekosystemie edukacyjnym, zapobiegając złudzeniom oceny spowodowanym homogenizacją danych. Oba repozytoria zawierały znaczne ilości rekordów z ocen dydaktycznych, oferując bezpośrednią wartość referencyjną dla wdrożenia algorytmów inteligentnej edukacji uwzględniających sprawiedliwość. Oba zestawy danych zawierały obszerne dane z ocen dydaktycznych, dostarczając bezpośrednich wartości referencyjnych dla projektowania algorytmów inteligentnej edukacji uwzględniających sprawiedliwość oraz kalibracji ocen dydaktycznych. W ramach badania skalibrowano 1000 rekordów ocen dydaktycznych za pomocą czterech algorytmów i obliczono ich ECA oraz Fairness FDR. Wyniki przedstawiono na Rysunku 8.

Rysunek 8: Porównanie wyników testów między ECA a FDR. (A) BFEN. (B) PRF. (C) EAB. (D) DBLR. Aby wyświetlić powiększoną wersję tego rysunku, kliknij tutaj.
Jak pokazano na Rysunku 8A, algorytm BFEN osiągnął początkowo ECA na poziomie 82,47% oraz FDR na poziomie 5,71% w zadaniu kalibracji oceny. Wraz ze wzrostem liczby skalibrowanych rekordów, ECA wzrosło do 98,75% i ustabilizowało się po skalibrowaniu 421 rekordów, natomiast FDR spadło do 2,87% i ustabilizowało się po skalibrowaniu 514 rekordów. Jak pokazano na Rysunku 8B, krzywa ECA algorytmu PRF stopniowo rosła, podczas gdy linia FDR powoli opadała. Na koniec zadania kalibracji wartość ECA wynosiła 92,30%, a wartość PDR 6,72%. Rysunek 8C wykazuje, że krzywa ECA algorytmu EAB gwałtownie rosła przed spłaszczeniem, podczas gdy trajektoria FDR wykazywała silne wahania na wczesnym etapie przed zbieżnością, kończąc z ECA na poziomie 84,64% i FDR na poziomie 8,93%. Jak przedstawiono na Rysunku 8D, algorytm DBLR wykazał powolną trajektorię wzrostową ECA połączoną z niewielkimi wahaniami oraz ograniczoną kompresją linii FDR, kończąc zadanie kalibracji z ECA wynoszącym 83,51% i FDR wynoszącym 8,42%. Te wyniki eksperymentalne potwierdzają, że algorytm BFEN znacząco przewyższa podejścia bazowe zarówno pod względem dokładności korekty oceny, jak i kontroli stronniczości sprawiedliwości. Taka wyższa zdolność do generalizacji przypisywana jest integracji modelu BERT w obrębie BFEN, który wydobywa głębokie cechy semantyczne z niestrukturyzowanego tekstu oceny, aby uchwycić ukryte przejawy stronniczości, podczas gdy moduł RL dynamicznie optymalizuje progi sprawiedliwości i parametry korekty za pomocą wielokryterialnej funkcji nagrody, aby odseparować atrybuty wrażliwe od końcowych wyników. Następnie w badaniu przetestowano SAR i FMD w przypadku oceny klasowej, egzaminów końcowych, oceny praktycznej oraz oceny online, oznaczając te cztery scenariusze jako A, B, C i D. Wyniki przedstawiono na Rysunku 9.

Rycina 9: Porównanie wyników SAR i FMD w różnych scenariuszach. (A) Wyniki testu SAR. (B) Wyniki testu FMD. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Jak pokazano na Rysunku 9A, BFEN osiągnął SAR powyżej 98% we wszystkich scenariuszach nauczania, przy czym najwyższy SAR wyniósł 99,01% dla testów klasowych. SAR algorytmu porównawczego w różnych scenariuszach jest niższy niż w przypadku algorytmu BFEN, przy czym algorytm DBLR wykazał najniższy SAR spośród wszystkich algorytmów w scenariuszu oceny końcowej, osiągając wartość 70,23%. Jak pokazano na Rysunku 9B, FMD algorytmu BFEN jest nadal znacznie wyższy niż w przypadku algorytmu porównawczego w różnych scenariuszach nauczania, z wartościami FMD wynoszącymi odpowiednio 98,47%, 98,05%, 97,81% i 97,94% w poszczególnych scenariuszach. Wartości FMD dla algorytmu referencyjnego DBLR wynoszą odpowiednio 82,36%, 71,74%, 70,59% i 69,12%. Wartości FMD dla algorytmu EAB wynoszą odpowiednio 80,79%, 68,21%, 67,65% i 66,03%, natomiast FMD dla algorytmu PRF wynoszą odpowiednio 86,42%, 82,17%, 80,98% i 78,33%. Wyniki te dowiodły, że BFEN przewyższył algorytmy porównawcze dzięki iteracyjnemu uczeniu GBDT z wykorzystaniem wielu drzew decyzyjnych, co pozwoliło na dokładne uchwycenie wzorców błędów w różnych scenariuszach i zapewniło stabilne oraz sprawiedliwe wyniki kalibracji. W badaniu dodatkowo oceniono wskaźnik rozpoznawania cech dyscyplinarnych (DFRR) dla języka chińskiego, matematyki i języka angielskiego z wykorzystaniem czterech algorytmów. Wyniki przedstawiono na Rysunku 10.

Rycina 10: Porównanie wyników testu DFRR w różnych dyscyplinach. (A) Zbiór treningowy. (B) Zbiór walidacyjny. Aby wyświetlić powiększoną wersję tej ryciny, kliknij tutaj.
Jak pokazano na Rysunku 10A, BFEN osiągnął DFRR na poziomie 99,23%, 98,94% i 99,13% dla języka chińskiego, matematyki i języka angielskiego w zbiorze treningowym. Rysunek 10B wskazuje, że BFEN osiągnął również wyższy DFRR w zbiorze walidacyjnym w porównaniu z innymi algorytmami. Konkretnie, DFRR algorytmu BFEN dla języka chińskiego wyniósł 98,41%, co jest wartością o 10,8% wyższą niż 87,61% dla DBLR; dla matematyki 97,54%, o 9,07% wyżej niż 88,47% dla PRF; a dla języka angielskiego 98,13%, o 13,34% wyżej niż 84,79% dla EAB. Wyniki te potwierdziły, że BFEN efektywnie dostosował się do kalibracji oceny dyscyplinarnej, łącząc głęboką analizę różnic semantycznych modelu BERT z personalizowanym uczeniem wzorców błędów za pomocą GBDT. Aby kompleksowo ocenić wydajność BFEN, w badaniu przeanalizowano MDFE, CRS i SDCT dla czterech algorytmów. Wyniki przedstawiono w Tabeli 1.
| Zbiór danych | Algorytm | MDFE (%) | CRS | SDCT (s) |
| Treningowe | BFEN | 98.42 ± 0.28*&@ | 0.975 ± 0.28*&@ | 0.78 ± 0.04*&@ |
| PRF | 83.85 ± 0.41 | 0.779 ± 0.36 | 1.32 ± 0.08 |
| EAB | 85.91 ± 0.50 | 0.806 ± 0.40 | 1.15 ± 0.07 |
| DBLR | 88.76 ± 0.47 | 0.753 ± 0.39 | 1.45 ± 0.08 |
| Walidacyjne | BFEN | 97.58 ± 0.25*&@ | 0.968 ± 0.27*&@ | 0.86 ± 0.03*&@ |
| PRF | 81.62 ± 0.32 | 0.687 ± 0.50 | 1.51 ± 0.06 |
| EAB | 84.37 ± 0.40 | 0.749 ± 0.42 | 1.28 ± 0.05 |
| DBLR | 87.53 ± 0.30 | 0.728 ± 0.47 | 1.63 ± 0.07 |
Tabela 1: Porównanie wyników testów MDFE, CRS i SDCT. „*” oznacza istotną różnicę (p < 0,05) pomiędzy wynikami BFEN a PRF. „“&”” oznacza, że różnica między wynikami BFEN a EAB była istotna (p < 0,05). „@” oznacza, że różnica między wynikami BFEN a DBLR jest istotna (p < 0,05)
Tabela 1 wskazuje, że BFEN osiągnął wartość MDFE na poziomie 98,42% w zbiorze treningowym, co jest wynikiem o 14,57% wyższym niż 83,85% dla PRF, wartość CRS wynoszącą 0,975, co jest wynikiem o 0,222 wyższym niż 0,753 dla DBLR, oraz wartość SDCT wynoszącą 0,78 s, co jest wynikiem o 0,67 s niższym niż 1,45 s dla DBLR. W zbiorze walidacyjnym BFEN utrzymał wyższą wydajność, osiągając odpowiednio MDFE, CRS i SDCT na poziomie 97,58%, 0,968 oraz 0,86 s, przewyższając tym samym algorytmy porównawcze. Ogólnie rzecz biorąc, wyniki potwierdziły wyższą kompleksową wydajność BFEN w kalibracji oceny dydaktycznej.
Walidacja wydajności modelu kalibracji oceny nauczania GFBFEN
W oparciu o walidację wydajności BFEN, w badaniu dalej oceniono wydajność modelu kalibracji oceny nauczania GFBFEN zbudowanego na bazie BFEN i porównano go z modelami kalibracji stworzonymi przy użyciu algorytmów PRF, EAB oraz DBLR. Aby zapewnić spójne warunki testowe i porównywalność, jako zestaw treningowy wykorzystano zbiór danych z raportu z globalnego monitorowania edukacji, natomiast jako zestaw walidacyjny posłużył zbiór danych dotyczących wyników akademickich studentów. Cztery modele skalibrowały 500 rekordów oceny nauczania, a następnie obliczono dla nich wartości CAE i CRE. Wyniki przedstawiono na Rysunku 11.

Rysunek 11: Porównanie wyników testów CAE i CRE. (A) Wyniki testów CAE. (B) Wyniki testów CRE. Kliknij tutaj, aby zobaczyć powiększoną wersję tego rysunku.
Jak pokazano na Rysunku 11A, GFBFEN osiągnął początkowo wartość CAE wynoszącą 0,1279. W miarę postępu kalibracji wartość CAE spadła do 0,0641 i ustabilizowała się po 104 rekordach. Modele porównawcze charakteryzowały się wyższą początkową i końcową wartością CAE niż GFBFEN, przy czym model EAB wykazał najwyższą początkową i końcową wartość CAE, wynoszącą odpowiednio 0,1858 i 0,1217. Rysunek 11B wskazał, że początkowa i końcowa wartość CRE modelu GFBFEN podczas zadania kalibracji pozostały niższe niż w modelach porównawczych, osiągając wartości odpowiednio 0,1137 i 0,0912. Wyniki te wykazały, że GFBFEN wykazał silną zdolność dopasowania, korzystając z mechanizmu uwagi GAT, który konstruował grafy korelacji semantycznej między cechami, zwiększał wyrównanie semantyczne danych oceniających z wielu źródeł i redukował nieefektywną kalibrację spowodowaną błędem cech. Następnie w badaniu oceniono CAR dla danych oceny uczniów, danych oceny nauczycieli, danych oceny szkoły oraz danych oceny online, oznaczonych odpowiednio jako I, II, III i IV. Wyniki przedstawiono na Rysunku 12.

Rycina 12: Porównanie wyników CAR dla różnych zestawów danych ewaluacyjnych. (A) GFBFEN. (B) PRF. (C) EAB. (D) DBLR. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Jak pokazano na Rysunku 12A, GFBFEN osiągnął CAR na poziomie 99,34%, 98,93%, 99,01% i 99,12% dla danych oceniających uczniów, nauczycieli, szkoły i ocen online w zbiorze treningowym. W zbiorze walidacyjnym wartości CAR wynosiły odpowiednio 97,89%, 98,56%, 97,57% i 98,46%. Rysunek 12B–D wykazał, że modele porównawcze miały niższe wartości CAR zarówno w zbiorach treningowych, jak i walidacyjnych. Wśród nich model EAB wypadł najgorzej w zbiorze walidacyjnym, osiągając CAR wynoszący 76,31% dla danych nauczycieli i 78,29% dla danych online. Wyniki te potwierdziły, że GFBFEN znacząco przewyższył modele porównawcze. Następnie w ramach badania przetestowano TL w zadaniu kalibracji oceny nauczania, aby ocenić zdolność dopasowania oraz stabilność treningu. Wyniki przedstawiono na Rysunku 13.

Rycina 13: Wyniki testów zdolności dopasowania modelu oraz stabilności treningu. (A) GFBFEN. (B) PRF. (C) EAB. (D) DBLR. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Jak pokazano na Rysunku 13A, GFBFEN miał początkowo wartość TL wynoszącą 0,1021 w zbiorze treningowym. Po 67 iteracjach TL spadło do 0,0725 i ustabilizowało się. W zbiorze walidacyjnym TL spadło z 0,1237 do 0,1018. Rysunek 13B–D wykazał, że końcowa wartość TL dla PRF w zbiorze treningowym wyniosła 0,0824, końcowe TL dla EAB w zbiorze walidacyjnym wyniosło 0,1178, a TL dla DBLR w obu zbiorach było niestabilne i znacznie wyższe niż w przypadku innych modeli. Wyniki te wykazały, że GFBFEN charakteryzuje się silną zdolnością dopasowania i stabilnością treningu, co jest zasługą transferu wiedzy opartego na KD, który pozwolił modelowi szybko nauczyć się efektywnych cech, przyspieszyć zbieżność funkcji straty i zapewnić generalizację w różnych zbiorach danych. Aby kompleksowo zweryfikować podstawową wydajność GFBFEN, w badaniu przetestowano EFCA, HDPE, FCP i CSCC dla czterech modeli. Wyniki przedstawiono na Rysunku 14.

Rysunek 14: Kompleksowe wyniki testów wskaźnikowych dla zadań oceny i korekty nauczania. (A) wyniki testu GFBFEN. (B) wyniki testu PRF. (C) wyniki testu EAB. (D) wyniki testu DBLR. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.
Jak pokazano na Rysunku 14A–D, model GFBFEN osiągnął wartości EFCA wynoszące odpowiednio 99,35% i 98,76% w zbiorach treningowym i walidacyjnym. Wartości EFCA dla modelu PRF wyniosły odpowiednio 88,53% i 87,04%. W zbiorze walidacyjnym wartość EFCA modelu GFBFEN była o 6,59% wyższa niż w modelu EAB (92,17%) oraz o 11,72% wyższa niż w modelu DBLR (87,04%). Ponadto wskaźniki HDPE, FCP i CSCC również wykazują wyraźną przewagę: w zbiorze walidacyjnym HDPE modelu GFBFEN wyniosło 98,05%, FCP osiągnęło 97,93%, a CSCC wyniosło 0,968, co w każdym przypadku przewyższało wyniki modeli PRF, EAB i DBLR. Ogólnie rzecz biorąc, wyniki te potwierdziły wyższość ogólnej wydajności modelu GFBFEN, wykazując, że skoordynowana optymalizacja GAT-KD, AM-LSTM i BFEN skutecznie poprawiła dokładność, wydajność i sprawiedliwość kalibracji w ocenie nauczania.
W ramach badań stopniowo skonstruowano modele FairEduNet, BFEN, FBFEN oraz GFBFEN, przy czym końcowy model GFBFEN obejmuje takie komponenty jak FairEduNet, BERT-RL, AM-LSTM oraz GAT-KD. Aby zweryfikować niezależny wkład poszczególnych elementów, przeprowadzono eksperymenty ablacyjne, polegające na stopniowym usuwaniu każdego komponentu i ocenie jego wpływu na ogólną wydajność. Wskaźniki porównawcze obejmowały ECA, FDR, SAR oraz FMD. Wyniki wykazały, że dla samego komponentu FairEduNet wartość ECA wyniosła 87,32%, FDR 12,45%, SAR 89,67%, a FMD 11,89%. W przypadku kompletnego modelu GFBFEN wartość ECA osiągnęła 99,21%, FDR spadł dalej do 1,93%, SAR pozostał stabilny na poziomie 99,45%, a FMD został zoptymalizowany do 7,28%. Po usunięciu BERT-RL wskaźnik ECA spadł do 91,04%, wartość FDR wyniosła 6,23%, wartość SAR 92,33%, a FMD wzrósł do 7,85%. Ablacja AM-LSTM spowodowała zwiększenie fluktuacji SAR o 14,2%. Usunięcie GAT-KD doprowadziło do wzrostu FMD do 8,36%, co dowodzi, że jego mechanizm tłumienia propagacji błędu struktury grafu, sterowany poprzez destylację wiedzy, był znacząco skuteczny w łagodzeniu ukrytego błędu asocjacyjnego między populacjami.
Aby dodatkowo przetestować metody badawcze, w badaniu wprowadzono uznane wskaźniki standardów sprawiedliwości, a mianowicie Fairness Correction Benchmark (FCB), który obejmuje trzy typy sztywnych ograniczeń powszechnie uznawanych w scenariuszach edukacyjnych: (1) wartość bezwzględna różnicy średnich między grupami po korekcie wynosi ≤ 1,2 punktu (w oparciu o system procentowy); (2) stopień pokrycia skorygowanych przedziałów ufności dla każdej podgrupy atrybutów wrażliwych wynosi ≥ 95%; (3) w każdym pojedynczym scenariuszu wspólny obszar dopuszczalny FDR i SAR musi spełniać ograniczenie frontu Pareto (oznacza to, że nie można poprawić SAR bez pogorszenia FDR i na odwrót). W ocenie eksperymentalnej model GFBFEN porównano z głównymi modelami bazowymi, takimi jak EAB, PRF, DBLR oraz GBDT. Eksperyment przeprowadzono na 421 rzeczywistych danych oceniających zebranych z autentycznych scenariuszy nauczania, obejmujących trzy typowe scenariusze edukacyjne: ocenianie klasowe, ewaluację praktyczną oraz testowanie online. Wyniki przedstawiono w Tabeli 2.
| Algorytm | Wartość bezwzględna różnicy średnich wyników | Wskaźnik nakładania się przedziałów ufności (%) | Wskaźnik spełnienia wspólnego obszaru dopuszczalnego (%) | Wynik kompleksowy |
| GFBFEN | 0.87 | 98.3 | 100 | 97.2 |
| EBA | 1.52 | 98.4 | 82.6 | 78.5 |
| PRF | 1.68 | 85.1 | 74.3 | 71.2 |
| DBLR | 1.45 | 87.9 | 79.8 | 75.6 |
| GBDT | 1.33 | 91.2 | 86.4 | 79.9 |
Tabela 2: Wyniki oceny wskaźników kryteriów sprawiedliwości oraz weryfikacja praktycznego zastosowania.
Jak pokazano w Tabeli 2, model GFBFEN osiągnął pełną zgodność ze wszystkimi czterema sztywnymi ograniczeniami FCB niezależnie, a jego wynik całkowity znacząco przewyższył pozostałe modele bazowe o 18,7 punktu, co potwierdza odporność proponowanego wieloetapowego paradygmatu korekcji kolaboratywnej. W szczególności, w kluczowym wskaźniku odzwierciedlającym zdolność do kompromisu między sprawiedliwością a efektywnością, wskaźnik pokrycia wspólnego obszaru dopuszczalnego osiągnął 100%, co wskazuje, że model posiada możliwości podejmowania decyzji optymalnych w sensie Pareto, które można wdrożyć w rzeczywistych scenariuszach edukacyjnych.
Sprawiedliwość w ocenie nauczania odnosi się do wykorzystania weryfikowalnych ograniczeń ilościowych jako punktu odniesienia, przy jednoczesnym poszanowaniu indywidualnych różnic oraz przepisów prawa oświatowego. Logika obliczeń i ustalanie progów wskaźników sprawiedliwości opierają się na teoretycznych ramach sprawiedliwości edukacyjnej oraz standardach weryfikacji danych empirycznych. Zostały one wspólnie przeanalizowane przez komitet ekspercki składający się z pięciu naukowców, aby zapewnić wysoki stopień spójności między rygorem teoretycznym a adaptacyjnością do praktyki edukacyjnej. Aby dodatkowo potwierdzić adaptacyjność modelu w ramach różnych standardów sprawiedliwości, w badaniu przeprowadzono dalszą walidację według wielu standardów. W szczególności do weryfikacji wybrano trzy standardy sprawiedliwości. Standard 1 to równowaga wskaźnika akceptacji między grupami w oparciu o Demographic Parity. Standard 2 to spójność międzygrupowa wskaźnika prawdziwie dodatnich i wskaźnika fałszywie dodatnich w oparciu o Equalized Odds. Standard 3 opiera się na Predictive Parity w celu kontrolowania błędów międzygrupowych w dokładności przewidywań. Stwierdzono, że GFBFEN konsekwentnie spełniał rygorystyczne wymagania ograniczeń we wszystkich trzech standardach. Odchylenie wskaźnika akceptacji grup w standardzie 1 wynosiło ≤1,2%, różnica międzygrupowa wskaźnika prawdziwie/fałszywie dodatnich w standardzie 2 wynosiła ≤0,85%, a odchylenie międzygrupowe dokładności przewidywań w standardzie 3 zostało utrzymane w granicach ±±0,6%. W przeciwieństwie do tego, inne modele wykazały przekroczenie ograniczeń o ≥3,7% w co najmniej jednym kryterium, co potwierdza kompatybilność uogólniającą GFBFEN dla wielowariantowych paradygmatów sprawiedliwości.
Dostępność danych:
Aby zapewnić wiarygodność danych, w badaniu wykorzystano zbiór danych Global Education Monitoring Report (https://www.education-progress.org/) oraz zbiór danych dotyczący wyników w nauce uczniów szkół średnich w Hiszpanii (https://archive.ics.uci.edu/dataset/320/student+performance). Zbiory treningowy i walidacyjny zostały podzielone chronologicznie z obu zestawów danych. W badaniu wykorzystano dane z września 2024 r. jako zbiór treningowy oraz dane od października 2024 r. do czerwca 2025 r. jako zbiór walidacyjny, co jest zgodne z czasowym przebiegiem ocen edukacyjnych.