$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Çalışmada kullanılan tüm yazılım ve araçlar Materyaller Tablosu'nda listelenmiştir.
Derecelendirme kriterleri
Bu çalışmada kabul edilen değerlendirme sınıflandırması, İngilizce yazının yabancı dil olarak kapsamlı değerlendirilmesi için tüm gereklilikleri içeren akıcılık ve doğruluk olmak üzere iki ana alanı ele almaktadır. Bu boyutlar, yazı kalitesinin temel noktalarını ölçmek için tasarlanmıştır; bu noktalar etkili iletişim ve dil yeterliliğinde beceri gösterisine yardımcı olur. Akıcılık modülü, fikirlerin akıcılığını ve kelimelerin ile cümle yapısının ne kadar iyi kullanıldığını ölçerek yazıda doğallık, ifade edilebilirlik ve tutarlılığı ölçer. Doğruluk modülü, kesin dilbilgisel doğruluğu, mekanik kusursuzluğu ve standart İngilizce kurallarına uyumu hedefler ve varsayımsal olarak dilin hatalılığını birkaç düzeyde ölçüp sayar. ( bkz. Tablo 1)
Görev tanımı
İngilizce öğrenen öğrencilerin otomatik yazma değerlendirme koşullarını takip eden bu çalışma, EG bilgisayar destekli İngilizce yazı değerlendirme sisteminin yeni bir modelini önermektedir. Önceki çalışmalarla karşılaştırıldığında, otomatik yazı değerlendirme sistemlerinin kapsamı nedeniyle sınırlandırılan bu sistem, kullanıcıların dilsel analiz, modifikasyon kapsamı ve veri işleme temelinde sistem çapında geri bildirim analizi seviyesine olanak tanıyan yenilikçi derin öğrenme tekniklerinin tanıtılması yoluyla bu sınırlamaların çözülmesine yardımcı olacaktır. Bir kompozisyonun en önemli iki göstergesi olan akıcılık (eserin ne kadar doğal, tutarlı ve ifade dolu olduğu) veya doğruluk (metnin ne kadar doğru yazılmış, dilbilgisi, mekanik ve dil hatalarıyla dolu) üzerine, sinir ağlarının ayrı bileşenleriyle birlikte çift model sistemi çeşitli değerlendirmeler yapmak zorundadır. Ayrıca, çeşitli dilsel düzeylerde hataları tespit eder, düzeltme önlemleri önerir ve kullanıcıların öğrencilerin dil öğrenimini metodik bir şekilde geliştirmelerini sağlamak için bir liste şeklinde geri bildirim sunar. Bilgisayar destekli otomatik değerlendirme sisteminin hesaplanma sürecini tanımlamak için, (1)–(4) formüllerinde aşağıdaki matematiksel modeli öneriyoruz ( bkz. Tablo 2).
(1)
(2)
(3)
(4)
burada: Final Score = bileşik yazı değerlendirme puanı; w1 = akıcılık puanına verilen ağırlık; w2 = doğruluk puanına verilen ağırlık; Sf = BERT tabanlı akıcılık puanı ([0, 1] olarak normalleştirilmiştir); Sc = üstel çöküş doğruluk puanı; λ = bozulma sabiti kontrol hata cezası; σ(x) = lojistik sigmoid aktivasyon fonksiyonu; ErrorRatio = metindeki hataların toplam tokenlara oranı. Akıcılık puanları, lojistik sigmoid fonksiyonu σ(x) tarafından [0, 1] olarak normalleştirilirken, üstel azalma fonksiyonu doğruluğun puanlanmasında kullanılır ve hata sıklığına uygun bir ceza uygulanır.
Sistem mimarisi ve tasarımı
Sistem mimarisi, girdi denemelerinin analizinin paralel değerlendirme yolları aracılığıyla paralel olarak gerçekleştirildiği paralel işleme mimarisine sahip iki modelli bir sistem kullanır. Akıcılık ve Doğruluk modülleri ise karşılıklı puanları verir ve nihai bileşik puan, iki alt puanın ağırlıklı ortalamasıdır. Doğruluk modülü, puanlamanın yanı sıra hata algılama ve düzeltme konusunda da bir öneri sunar (bkz. Şekil 1).
Akıcılık modülü
Yazma akıcılığı, bir dilin doğru kelime seçimi, cümle yapısı çeşitliliği, sözdizimi karmaşıklığı, tutarlılık vb. açısından kullanılan nitelik veya alışkanlık olarak tanımlanabilir.4. Akıcılık değerlendirme modelleri, fikirlerin skekeme veya garip olmadan aktarıldığını yakalar; bu da yerel iletişim eğilimlerine benzer bir şekilde ses verir. Geleneksel akıcılık ölçümü ölçeklere dayanır ve bu da değerlendiriciler arası güvenilirlik endişelerini vurgular. Önerilen sistem, derin durumsal anlayışla anlamsal tutarlılığı ve dilsel doğallığı otomatik olarak teşvik etmek için BERT tabanlı sinir ağı içerdiği için bu dezavantajı aşmaktadır. Bu mimari karar, akıcılık ölçümünde gerekli olan bağlamsal ilişkilerin ve anlamsal kalıpların tanımlanmasında etkili olduğu bulunan BERT'in güçlü yönleri dikkate alınarak alınmıştır. Giriş dizileri, sisteme beslenir ve uzun menzilli bağımlılıklar ile bağlamsal ilişkileri belirlemek için çoklu başlı öz-dikkatle 12 transformatör katmanından geçirilir ( bkz. Şekil 2).
Dikkat mekanizması şu şekilde olurdu:
(5)
Q, K ve V sırasıyla sorgu, anahtar ve değeri temsil eden matrisler olsun, d ve k ise anahtar vektörlerin boyutları olsun. CLS token gömü, tüm giriş dizisinin genel anlamsal tutarlılığını kaydeden özetlidir.
Akıcılık puanının hesaplanması şu şekildedir:
(6)
Burada hCLS BERT [CLS] token gömülmesi, Wreg ise b reg regresyon başının parametreleri ve σ çıktıyı [0, 1] olarak normalize eden sigmoid aktivasyon fonksiyonudur.
Doğruluk modülü
Doğruluk değerlendirmesi, dilbilgisel doğruluğu, mekanik kesinlik ve standart İngilizce geleneklerine uyum üzerine odaklanır. Bu boyut, yazının teknik yönlerini kapsar; sözdizim, morfoloji, noktalama işaretleri ve yazım doğruluğu dahil. Doğruluk bileşeni sadece dilsel hataların sayısını değerlendirmekle kalmaz, aynı zamanda metnin genel kalitesi üzerindeki etkisini de inceler. Anlamsal tutarlılık ve doğal akışı vurgulayan akıcılık değerlendirmesinin aksine, doğruluk değerlendirme modülü hassas hata tanımlaması ve sistematik düzeltme gerektirir. Modül, farklı hata türlerini ayırt eder, şiddetini değerlendirir ve öğrenme gelişimini desteklemek için hedefli düzeltmeler sağlar. Doğruluk kaybı, dilbilgisel hata tespit ve düzeltme için ince ayarlanmış FLAN-T5 modelini kullanır. Bu seçim, sistemin sadece hata bulmakla kalmayıp, aynı zamanda bir sistem içinde ilgili düzeltmeleri de yapmasını sağlayan T5'in metinden metne dönüştürülebilirliğiyle şekillenir. Sistem, kodlayıcı-kodlayıcı biçimidir ve metin bu dönüşüm biçiminde beslenir: ( bkz. Şekil 3)
(7)
Kodlayıcı öğesi, yalnızca dilbilgisel eğilimleri değil, aynı zamanda potansiyel başarısızlık alanlarını da yakalayan bağlama duyarlı temsiller üretir:
(8)
Yanlış tanımlanan hatalara uygun dilbilgisi varyasyonları üreterek çözümleyici düzeltilmiş dizileri oluşturur:
(9)
Bu tür iki yönlü işleme, sistemin hataların bağlamlarının farkında olmasını ve bağlamların nasıl düzeltilmesi gerektiğini bilmesini sağlar; böylece ipuçları anlamsal olarak tutarlıdır ancak dilbilgisindeki herhangi bir düzeltmeye odaklanır.
Hata ve puanlama algoritmasının nicelendirilmesi
Doğruluk puanı, metin içindeki konuma ve anlama müdahaleye dayalı dilsel hatalar ve ciddiyet dikkate alınarak orijinal yazıyı doğru yazı versiyonuyla karşılaştırdı. Bu yöntem, hata türleri arasındaki ayrımı metnin metnin anlaşılması üzerindeki etkiyle karşılaştırır. Hata sıklığı ile metnin kalitesi arasındaki ilişki, notlandırma sisteminde logaritmik bir şekilde vurgulanmıştır. Orijinal metin ile düzeltilmiş metnin token karşılaştırmasında temel bir adım, dizi hizasının bitli tekniğine dayanan iki dereceli karşılaştırmadır. İkinci aşama, bazı bilinen dilsel taksonomilere dayanarak hata türlerinin tanımlanması ve sınıflandırılmasını içerir; bu hatalar dilbilgisel hataları (özne-fiil uyumu, zaman tutarlılığı ve sözdizimi yapısı güvenilirliği), mekanik (büyük harf, noktalama ve yazım) ve kullanım (kelime seçimi, deyimli ifade ve kayıt uygunluğu) hatalarını ayırt eder. Üçüncü aşama, metnin toplam uzunluğuna göre hata oranının hesaplanmasıdır. Dördüncü adım, hata oranlarını doğrudan yorumlanabilir doğruluk puanlarına dönüştüren üstel azalma puanlama algoritmasını kullanır; böylece hata sıklığı ile metin kalitesi arasındaki toplama ve doğrusal olmayan bağımlılığı yaklaşık olarak taklit eder.
Hata niceleme sürecinin matematiksel işlenmesi, kurulan hata oranının hesaplanmasıyla başlar; bu da normalize hata kurulum oranı sağlar ve farklı uzunluktaki metinlerin adil bir karşılaştırmasını sağlar:
(10)
(11)
İnsan uzman görüşleriyle tamamen doğrulanarak ampirik temelde 2.5 kalibrasyon parametresi belirlenmiştir; böylece puanlama fonksiyonu hata sıklığı arttıkça metin kalitesinin azalmasına ilişkin insan anlayışıyla uyumlu sonuçlar sunabilir. Bu parametre değerini bu şekilde ayarlamak, düşük hata oranına sahip (Error_Ratio < 0.1) herhangi bir metnin standart İngilizce kurallarına yakından uyduğu için yüksek doğruluk puanına sahip olmasını sağlar; orta hata oranına sahip (0.1 < Error_Ratio ≤ 0.3) herhangi bir metin, bazı dilsel sorunların doğrudan felaket olmadığını gösteren orta doğruluk puanına sahiptir. ve yüksek hata oranına sahip (0.3 Error_Ratio > metinler, anlama olasılığını önemli ölçüde etkileyen kritik dilsel endişeler nedeniyle düşük doğruluk puanı almıştır.
Doğruluk değerlendirmesi için doğruluk puanlama algoritması, T5 tabanlı sistem tarafından tespit edilen ve düzeltilen tüm hataları nihai hata oranının hesaplanışında ceza maddeleri olarak sistematik olarak dikkate alır. Dilbilgisi hataları için kullanılan ceza kredisi mekanizması, hata oranı büyümesinin yüksek değerlere doğru üstel azalmasıyla temsil edilir; bu da metnin kalitesinin çok düşük olduğu anlamına gelir ve hata oranı 0'a eşit olduğunda 100'e yükselir, yani kesinlikle hiç hata tespit edilmez. İngilizce standart geleneklerinin mükemmel bir kullanımıdır. Böyle bir matematiksel ilişki, doğruluk kodunun dil yeterlilik seviyelerinin tüm yelpazesinde önemli bir ayrım sunmasını ve gerçek kazanımları gösteren küçük ardışık ilerlemelere yanıt vermesini sağlar.
Veri setleri: eğitim ve değerlendirme korpusu
Yeterli kalite ve kapsama sahip eğitim verileri, çift model sistemin performansı için çok önemlidir. Mevcut çalışma, farklı yazım görevleri kullanılarak oluşturulan modeli geliştirmek ve değerlendirmek için iyi tasarlanmış öğrenci metinlerinden oluşan bir veri seti kullandı. Örneklem, ortalama yaşı 19 olan 45 erkek ve 45 kadın Pakistanlı üniversite öğrencisinden oluşuyordu; onlar zorunlu olarak 'Fonksiyonel İngilizce' derslerini okudular. Her öğrenci, ön sınav, müdahale denemeleri ve sınav sonrası etkinlikler dahil olmak üzere sekiz hafta boyunca sekiz deneme yazdı. Öğrencilere her yazma görevi için 400–450 kelime üretme izni verildi. Veri setlerinin istatistikleri aşağıdaki özellikleri sağlar:
70.500 kelime
Ortalama cümle uzunluğu: 15.7 kelime (SD = 3.2)
Kelime dağarcığı aralığı (Tip-Token Oranı): 0.64 (SD 0.08) Dilbilgisel hata yoğunluğu: 100 kelimede 2.3 (SD = 1.1)
Seçilen verilerin gerekçelenmesi ve veri kalitesi güvencesi
Seçilen veri seti, otomatik yazı değerlendirmesi üzerine araştırma çalışmalarının zenginliğini ve alakasını sağlayan birkaç önemli faktörle yönlendirildi. Başlangıçta, Ekonomi öğrenci nüfusu doğası gereği seçildi; bu, Pakistan yükseköğretimindeki EFL öğrencilerine benzer şekilde, gerçek dünya durumlarını yansıtan daha özgün yazı örneklerinin sunulmasını mümkün kılmıştır. İkinci olarak, maksimum ve minimum potansiyel kelime aralığı olan 400–450 kelimenin belirlenmesi, pilot çalışmalar verileriyle bu aralığın dil açısından yeterince karmaşık olduğu ve aynı zamanda tutarlı insan değerlendirmeleri açısından yönetilebilir boyutta kaldığı ortaya çıktı. Her bir kompozisyon, üç eğitimli İngilizce öğretmeni tarafından (dereceleyiciler arası güvenilirlik κ = 0.847, akıcılık boyutu ve 0.823, doğruluk boyutu) tarafından standartlaştırılmış 10 puanlık akıcılık ve doğruluk derecelendirme ölçeklerinde değerlendirildi. İnsan değerlendiricilerin eğitimi titizdi ve IELTS ile TOEFL yazı değerlendirmeleriyle ilgili geliştirilmiş puanlama rubriklerine dayanıyordu. Veriler, insan tarafından notlandırılmış bir veri setinden oluşur ve bu veri seti insan tarafından notlandırılmış veriler üzerinde eğitilmek üzere modellerin eğitilmesi ve doğrulamasında kullanılabilir.
Veri ön işleme ve doğrulama prosedürleri
Veri seti sistematik olarak önceden işlendi ve metin normalizasyonu, metnin BERT WordPiece tokenizer'ı ile tokenize edilmesi ve kalite doğrulama kontrollerinin yapılmasını içeriyordu. Eksik çalışmalar gönderen ve intihal edilmiş metin üretenler veri bütünlüğünü belirlemek için dahil edilmedi. Son veriler, yetkinlik seviyeleri ve görev türleri arasında dengelenmiş olmak için eğitim (%70), doğrulama (%15, n = 41) ve test setleri (%15, n = 40) olarak rastgele olarak ayrıldı. Profesyonel olarak düzenlenmiş akademik metinler, gazete makaleleri ve yayımlanmış makaleler içeren büyük bir referans korpusunun dilsel analizi, yaklaşık 50 milyon kelime oluşturur. Bu korpus, akıcılık testlerini yapmak için gereken dil kalıplarını sağlar ve hata tespit prosedürlerinde standart kullanımla karşılaştırarak yardımcı olur. Referans korpusunda, ön işlem ve indeksleme öncesi adımlar tokenizasyon, konuşma parçası etiketleme, sözdizimi ayrıştırma ve gerçek zamanlı değerlendirme sırasında verimli erişimi kolaylaştırmak için anlamsal etiketlemedir.
Akıcılık modeli eğitim stratejisi
Veriyi akıcılığa ulaşmak için eğitmek için ardışık bir optimizasyon sistemi önerilir. Eğitim, uyarlanabilir öğrenme hızı planlaması, aşamalı grup büyüklüğü ve eğitim ilerledikçe aşırı uyum oluşmasını önleyen gelişmiş düzenleme yöntemleri gibi son teknoloji özellikleri kullandı; böylece modelin dil akıcılığına işaret eden dilsel kalıpları belirlemedeki etkinliğini korudu. Öğrenme hızı, doğrusal bir azalma takvimi ile 5 × 10-4 olup, yakınsamanın stabil kalmasını ve optimal parametre değerleri etrafında sallanmamasını sağlamak için yapılandırılmıştır. Bu öğrenme hızı, [1 x 10-6, 1 x 10-4] içinde ızgara aramasıyla seçilir ve 5 x 10-5 , yakınsama hızı ile kararlılık arasındaki en uygun ödündür. Gerçek eğitim sadece 3 dönemle sınırlı olacak; bu yapılandırma, doğrulama kaybı takibi ile ampirik faydalar temelinde optimize edilmiş, böylece öğrenmeyi etkili kılacak yeterli parametre güncellemeleri engellemeden aşırı uyum sağlanmasını önlemiştir. Bozulmayı önlemek için mekanizmaların erken durdurulması, 2 dönem sabırla ve minimum 0.001 delta ile gerçekleştirilmiştir.
Optimizasyon, AdamW optimizatörü tarafından gerçekleştirilir ve β₁ = 0.9 (momentum, birinci moment tahminlerinin üstel olarak düşüşünü kontrol eder), β₂ = 0.999 (ikinci moment tahmini, ikinci moment tahminlerinin üstel olarak azalmasını kontrol eder) ve ε = 1 × 10⁻8 (sayısal kararlılık terimi) gibi basitleştirilmiş seçimler yapılır. Ağırlık kaybı düzenlemesi (λ = 0.01), parametre büyüklüklerinin aşırı büyümesini engeller; bu değer aralık genelinde doğrulama performans analiziyle seçilir [0.001, 0.1]. Karmaşık izleme, eğitim boyunca çeşitli metrikleri izleyerek modelin en iyi performansını garanti eder ve aşırı uyumdan kaçınır. İzleme çerçevesine dahil olanlar şunlardır:
Kayıp takibi: Eğitim ve doğrulama kaybı her dönemde takip edilir ve erken durma, doğrulama kaybı ardışık 2 dönemde iyileşmediğinde otomatik olarak gerçekleşir.
Performans metrikleri: Doğrulama verileri, her 100 eğitim adımında tahmin edilen ve gerçek puanlar arasındaki Pearson korelasyon katsayılarının hesaplanmasında kullanılır.
Gradient algılama: Gradyent normları, kaybolan ve patlayan gradyanları tespit etmek için izlenir ve 1.0 gradyan normunda gradyan kırpımı uygulanır.
Öğrenme hızı zamanlaması: Doğrulama tabanlı öğrenme oranı azalması (faktör = 0.5) 1'den fazla dönem platosu tespit edilirse.
Düzenleme ile İlgili: Sistematik ablasyon ile okuldan ayrılma oranları (BERT'ler için 0,1, regresyon başı için 0,3) bulundu. Eğitim sürecinde aşırı uyumu önlemeye dayalı birkaç düzenleme yöntemi kullanılır: (1) ağdaki katman türü için optimize edilmiş ayrılma oranlarıyla kesilme düzenlemesi, (2) yukarıda açıklandığı gibi ağırlık kaybı, (3) doğrulama performansına göre erken durma ve (4) eğitim örneklerinin yüzde 15'ini geri çeviri yöntemleriyle abartmaya dayalı veri artırılması. En iyi performans gösteren modelin kontrol noktaları her dönemden sonra kaydedildi ve en yüksek puan alan modeller doğrulama korelasyon puanlarına göre seçildi. Akıcılık değerlendirme bölümünde kullanılan kayıp fonksiyonu, sürekli akıcılık puanlarını tahmin etme regresyon görevinin ana hedef fonksiyonu olan Ortalama Kare Hata (MSE)'dir. Kayıp formülasyonu matematiksel olarak şu şekilde verilir:
(12)
N, toplam eğitim örneklem büyüklüğüdür, y_pred, i i-ci örneklemin tahmin edilen akıcılık puanıdır ve y_true, i ise insan uzman değerlendiricilerinin verdiği karşılık gelen temel gerçeklik puanıdır. Bu kayıp, tahmin-gerçek hataları ikinci derecede caydırmak için çok faydalıdır; böylece daha büyük hatalar daha büyük bir ceza getirir ve aynı zamanda türevlenebilirdir. Öğrenme hızı zamanlama mekanizması iki aşamalı bir süreçle oldukça gelişmiştir ve doğrusal bir ısınma aşamasıyla başlar, ardından optimal yakınsamaya sahip özellikler oluşturmak için sistematik bir bozulma süreci gelir. Bu, öğrenme hızının sıfırdan başladığı ve kademeli olarak maksimum hıza dönüştüğü ısınma aşamasında yapılır; ardından model parametreleri eğitim veri setine göre optimize edilir. Isınma aşamasının matematiksel ifadesi şudur:
(13)
Isınma aşamasından sonra, öğrenme hızı optimal parametre değerlerinin aşılmasını önlemek için sistematik bir doğrusal şekilde azalır ve sabit yakınsamaya yol açar. Matematiksel olarak, bozulma evresi şöyledir:
(14)
Burada t mevcut eğitim adımıdır, lr max ısınma sırasında elde edilen maksimum öğrenme hızıdır, warmup ısınma aşamasına atanan adım sayısıdır ve total tüm dönemler boyunca toplam eğitim adım sayısıdır. Bahsedilen zamanlama prosedürü, modelin alt seviyelerde agresif öğrenmesini ve yakınsama seviyelerinde istikrarı sağlar.
Doğruluk modeli eğitim stratejisi
Doğruluk modeli, mevcut tüm dilbilgisi bilgisinden ihtiyaç duyulan şekilde kullanılmak için önceden eğitilmiş FLAN-T5 modelini kullanan transfer öğrenme stratejisine dayanıyordu. Bu, genel dil anlayışını ve ESL öğrenenlerin yaptığı hatalarla ilgili özel bilgileri incelemek amacıyla yapılmıştı. Kullanılan transfer öğrenme yöntemi, temel model olarak pszemraj/flan-t5-large-gramar-synthesis kontrol noktasını kullanır ve doğruluk açısından birkaç kayda değer avantaja sahiptir. Model zaten eğitilmiş ve çeşitli metin alanlarında eğitilmiş yüksek bir dil anlama kapasitesine sahip olduğundan, birçok yazım stiline ve yazım konusuna uyum sağlayacaktır. Özellikle, ikinci dil yazısında karşılaşılan birden fazla dilbilgisi hatasını kapsayan büyük düzeltme veri setlerinde dilbilgisine özgü ince ayar yapılmıştır. Ayrıca, kontrol noktası, farklı hata türlerine (örneğin, morfolojik hatalar, sözdizimi ve anlamsal hatalar) karşı test edilen güçlü hata tespit sistemlerini içerir ve çalışmanın doğuştan gelen düzeltme test parametreleriyle mükemmel bir karşılaştırma standardı oluşturur.
Alan uyarlama süreci, önceden eğitilmiş modelin dil anlayışının genel yeteneklerini değiştirmeyen, ancak yazma değerlendirme görevi çözümünün özel özelliklerini tanıtan sistematik parametre değişikliklerini yansıtır. Bu uyum sürecinin matematiksel türetimi şöyledir:
(15)
Burada θönceden eğitilmiş , genel dil anlayışı ve dilbilgisi bilgisini kodlayan önceden eğitilmiş modelin parametrelerini temsil ederken, Δθalanı hedef yazım değerlendirme görevinden öğrenilen özel parametre güncellemelerini temsil eder. Alana özgü güncellemeler, hedef veri seti üzerinde gradyan tabanlı optimizasyonla hesaplanır; bu da modelin EFL yazımda yaygın olan hata türlerine karşı göreve özgü duyarlılık geliştirmesini sağlar ve daha geniş dilsel yeteneklerini bozmaz.
Karşılaştırma deneyleri
EG'nin işlevselliğini kanıtlamak için, Pearson korelasyon katsayısı ölçümün temel değeri olarak önerilmiştir; bu değer otomatik puanlar ile insanların uzmanlığı arasındaki doğrusal bağlantıyı belirler. Korelasyon katsayısı şu formülle bulunur:
(16)
Burada xi otomatik puanları, insan puanlarını temsil eder ve 
ve 
ve ilgili ortalamalardır. Korelasyon katsayısı −1 ile 1 arasında değişir; değerler 1'e yakın olup, otomatik ve insan değerlendirmesi arasında güçlü bir pozitif ilişki olduğunu gösterir.
(17)
(18)
(19)
Temel model karşılaştırmaları
Büyük Mühendisliğin performansını değerlendirmek ve mevcut yöntemlere karşı üstünlüğünü göstermek için, yerleşik AWE ve geleneksel tek metrik yaklaşımlarla derinlemesine karşılaştırmalar yapılır. Bu temel karşılaştırmalar, EG mimarisinin ek değerini doğrulamak ve akıcılık ile doğruluk değerlendirmesinin entegrasyonunun, bireysel boyutlara izole odaklanan yaklaşımlara kıyasla ölçülebilir iyileştirmeler sağladığını göstermek için gereklidir. Temel modellerin seçimi, yazının nasıl değerlendirilmesi gerektiğine dair farklı bir yönelimi yansıtan dört AWE kategorisini kapsar. İlki, akıcılığı değerlendirmek için tek bir BERT tabanlı modele sahiptir. Bu modeller, akıcılık ve tutarlılık metin desenlerini değerlendirmek için transformator mimarileri kullanır. İkinci kategori, geleneksel dilbilimsel metodolojilere yerleşmiş olup, dilbilgisel hata tespiti için kural tabanlı sistemlere odaklanır. Bu nedenle, odak doğruluk üzerinde kaldı ve yazı kalitesiyle ilgili diğer yönler, örneğin uyum ve içerik göz ardı edildi. Üçüncü kategori ise, genel kalite puanları elde etmek için değişken cümle uzunluğu, sözcük çeşitlendirmesi ve sözdizimi karmaşıklığı gibi dilsel karmaşıklık göstergelerini içeren özellik tabanlı AWE sistemleridir. Dördüncü sistem, çeşitli yüzeysel dilsel özellikleri birleştirerek hibrit sistemleri dikkate alır; genellikle topluluk yöntemleri veya ağırlıklı ortalamalar kullanılır. Bu modeller, EG sinir mimarilerinin ulaştığı entegre sofistike seviyesine ulaşamaz. Temel model performansı üç ana boyutla değerlendirilir. İlki, sistem tarafından oluşturulan notların eğitimli insan uzmanlarının (İngilizce eğitmenler) dereceleriyle uyumunu standartlaştırılmış rubrikler kullanarak ölçür. İkincisi ise genellenebilirliği belirler; farklı konulara ve karmaşıklığa sahip üç makalede performansın tutarlı kalıp kalmadığını belirler. Üçüncü boyut, tahmini güvenilirliğe dayanır; ortalama mutlak hata, kök ortalama kare hatası ve güven aralığı analizi gibi istatistiksel araçlarla puanlama doğruluğunu ve kararlılığını değerlendirir. Bu boyutlar topluca, karşılaştırma için sağlam bir çerçeve oluşturur ve EG sistemlerinin üstünlüğünü, özellikle geleneksel yaklaşımlara göre daha fazla hassasiyet ve istikrar sağlama üstünlüğünü vurgular.
Deneysel ve kontrol grupları
Bu çalışma, iki sağlam sınıfta işlevsel bir İngilizce dersi okuyan 90 lisans Ekonomisi öğrencisini içeriyordu. Veriler, yazı doğruluğu ve akıcılıktaki ilerlemeyi izlemek için üç kez alındı: ön test, müdahale ve test sonrası. Bu insan konu çalışması, Pakistan'ın Lahor Kampüsü ISLAMABAD'daki COMSATS Üniversitesi Bölüm Danışma Kurulu tarafından onaylandı. Katılımcılar iki duruma maruz kaldı: geleneksel insan geri bildirimi ve bilgisayar destekli geri bildirim. Kontrol grubu, eğitimli bir İngilizce eğitmeninden geleneksel yazılı geri bildirim alan 45 öğrenciden oluşuyordu. Katılımcılar, öğrencilerin makaleleri hakkında bütünsel notlar, hataların belirlenmesi ve bir eğitmenin çalışmayı nasıl geliştirebileceğine dair yorumlar şeklinde öneriler şeklinde yazılı geri bildirim aldılar. Deneysel grup ise, sınıfta aynı şekilde eğitilen 45 öğrenciden oluşuyordu, ancak öğrencilerin yazımları, hem akıcılık hem de doğruluk açısından yaklaşık 30 saniye içinde tanı bilgisi sağlayan hızlı otomatik geri bildirimle desteklendi.
Bu çalışma, 8 hafta süren bir süre boyunca gerçekleştirildi; burada öğrencilere müdahale edilmeden önce test katılımcılarının ilk yazı performansını belirlemek için ön test (1. hafta) yapıldı. Deneysel grupta NLP anlamsal belirteçleriyle bilgisayar tabanlı geri bildirim ve kontrol grubundaki öğretmenlerin değerlendirmesi katılımcılara altı hafta boyunca verildi. Sonuç olarak, test sonrası (8. haftada) öncesi ve sonrası doğruluk ve akıcılık ölçümleri arasındaki farkı anlamak için gerçekleştirildi. Karşılaştırılabilirlikte benzer sonuçlar elde etmek için, katılımcılardan her değerlendirme döneminde benzer görevleri yazılı olarak üstlenmeleri istendi; böylece yazıdaki görev zorluğu ve içeriğin aşinalığı gibi olası kafa karıştırıcı değişkenleri en aza indirildi. Yazı önerilerinin zorluk seviyesine uygun olmasını sağlamak ve içerik geçerliliğini belirlemek için, yazım önerileri uyumlu şekilde seçilmiştir. Makale konuları, katılımcıların uzun süre benzer bir görevi yapmak zorunda kalmasını önlemek için öğrencilerin çeşitli içerik alanlarını kapsayacağı temelinde seçildi.
Ön sınav aşamasında, katılımcılardan 400–450 kelimelik bir makale yazmaları ve akademik ile kariyer hedefleri hakkında yazmaları istendi. Bu betimleyici ödev, kişisel deneyime ve gelecekteki projeksiyonlara dayanıyordu; bu da yazıyı organize etme, net örnekler sunma ve kişisel hedefler ile motivasyonun mantıklı bir ifadesi sunma ihtiyacını ima ediyordu. Müdahale yazma görevi, günlük yaşam rutini, hobiler, seyahat, üniversitedeki ilk gün, unutulmaz günler ve en yakın arkadaş anları gibi farklı konulara dayanıyordu. Sınav sonrası soru, 'Teknolojinin iletişim üzerindeki etkisi' konusuna bağlıydı ve gereken makale uzunluğu 400–450 kelime idi.