Deney tasarımının öğretimi
Bu çalışmada, program çağrıları için platformun açık API arayüzüne dayanarak DeepSeek'in temel açık kaynaklı sürümü kullanılmıştır. Beş adet istem şablonu metni, dört seviyeli görev örneği girişi, aktarım açıklama kategori etiketleri ve yazım hatası-şablon eşleştirme eşleme kurallarından oluşan tam set, ekler kısmında derlenmiştir. Sistemin sabit çağırma parametreleri şunlardı: 0.7 sıcaklık katsayısı ve oluşturulan uzunluk, yazım sorusu tipine göre dinamik olarak sınırlandırılmıştır. Sistem; anlamsal yeniden yapılandırma > üslup düzenlemesi > kültürel adaptasyon şeklindeki sabit bir sırayı kesin olarak takip ederek iç içe geçmiş istem zinciri çağrılarını yürütmüştür. Model çıktısı, sınıf içi öğretimde etkili metinler elde etmek amacıyla eğitmen tarafından manuel olarak seçilmiştir.
Bu çalışmaya, manuel puanlama sürecine katılmaları için 5 yılı aşkın deneyime sahip, tam zamanlı üç üniversite düzeyinde İngilizce yazma öğretmeni davet edilmiştir. Tüm puanlayıcılar, resmi puanlamadan önce standart bir eğitim almış; değerlendirme boyutları, 5 puanlık puanlama sistemi, kültürel aktarım, sözdizimi, söylem ve diğer puanlama ayrıntıları hakkında bilgi edinerek puanlama öncesi kalibrasyonu tamamlamışlardır. Tüm öğrenci kompozisyonları, iki öğretmen tarafından kör ve çift kör puanlama modunda bağımsız olarak puanlanmıştır. İki puanlayıcının puanları arasındaki fark 1 puandan (5 üzerinden) fazla olduğunda, üçüncü bir kıdemli öğretmen puanlamaya hakemlik yapmış ve iki geçerli puanın ortalaması, söz konusu örnek için nihai manuel puan olarak kabul edilmiştir. Farklı araştırma amaçları doğrultusunda, değerlendirme aşamasına iki grup puanlayıcı dahil edilmiştir. Resmi deneyde, 5 yılı aşkın öğretim deneyimine sahip üç tam zamanlı üniversite İngilizce yazma öğretmeni, tüm öğrenci yazma örneklerinin kör ve çift puanlamasını gerçekleştirmiş ve 5 puanlık ölçekte puanlama farklılıkları 1 puanı aştığında üçüncü bir kıdemli öğretmen hakemlik görevini üstlenmiştir. Buna karşılık, değerlendiriciler arasındaki değerlendirme standartlarının tutarlılığını doğrulamak amacıyla ayrı olarak yürütülen Sınıf İçi Korelasyon Katsayısı (ICC) kullanılarak yapılan değerlendiriciler arası güvenilirlik testine beş puanlayıcı katılmıştır. Puanlayıcı sayısındaki fark, farklı fonksiyonel gereksinimlerden kaynaklanmaktadır: üç temel öğretmen deneysel verilerin pratik puanlamasını sağlarken, genişletilmiş beş puanlayıcılı panel, tüm değerlendirme sisteminin güvenilirliği için daha güçlü kanıtlar sunmuştur.
Sözdizimsel karmaşıklık, BERT metin yapısı puanlaması ve anlamsal benzerlik, 0–5 puanlık bir aralıkta puanlanmıştır. Her bir boyut için ağırlıklar, yabancı dil yazma öğretimi ve araştırmaları standartlarına göre şu şekilde belirlenmiştir: sözdizimi 0,35, metin yapısı 0,35, mantık ve kültür 0,3. Ağırlık değerleri, aynı alandaki yazma çalışmaları için kullanılan olgun nicel değerlendirme sistemlerine dayandırılmıştır. Yapay zeka otomatik puanlama modülü, önceden sınıflandırılmış 15 model deneme üzerinden belirlenen eşik değerleri kullanılarak kalibre edilmiştir. İnsan puanlaması, birleştirilmiş beş puanlık bir derecelendirme ölçeğine göre yapılmıştır. Resmi değerlendirme öncesindeki ön deney doğrulaması için makine puanlaması ve insan kalibrasyonu birleştirilmiştir.
Öğretim görevi, her biri bir hafta süren üç eğitim turu ile "sözdizimi-yapı-kültür" şeklinde tanımlanan üç düzeyli transfer hedefleri çerçevesinde yürütülmüştür. İlk tur, sözdizimsel çeşitliliği ve ifade doğruluğunu artırmak amacıyla cümle düzeyinde yeniden yazımı kapsamıştır; ikinci tur, paragraf organizasyonunu ve mantıksal tutarlılığı geliştirmek için paragraf düzeyinde yapısal yeniden yapılandırmayı içermiştir; üçüncü tur ise kültürlerarası pragmatik farkındalığı ve ifade adaptasyonunu güçlendirmek için kültürel düzeyde transferi kapsamıştır. Ön test, birbirini izleyen üç eğitim turu ve son test boyunca aynı katılımcılardan toplanan tekrarlı ölçümler nedeniyle; grup (deney vs. kontrol) ana etkilerini, test zamanı ana etkilerini ve eğitim süresince puan değişimlerinin iki kohort arasında farklılık gösterip göstermediğini yansıtan grup × zaman etkileşim etkisini incelemek için temel istatistiksel yaklaşım olarak tekrarlı ölçümler varyans analizi (RM-ANOVA) benimsenmiştir. Küresellik varsayımı Mauchly testi ile doğrulanmış; küreselliğin ihlal edildiği durumlarda Greenhouse–Geisser düzeltmesi uygulanmıştır. Bağımsız örneklemler t-testleri yalnızca belirli zaman noktalarındaki post-hoc ikili gruplar arası karşılaştırmalar için ayrılmış; Pearson korelasyonu ve Cohen’s d ise sırasıyla puanlama tutarlılığı ve etki büyüklüğü nicelendirmesi için kullanılmıştır.
Tüm istatistiksel analizler, veri toplama işlemi öncesinde önceden belirlenmiştir. İki grup arasındaki yazı öncesi ve sonrası göstergeleri karşılaştırmak için bağımsız örneklemler t-testleri uygulanmış olup, temel boş hipotez, yazı transfer performansı açısından gruplar arasında fark olmadığını varsaymıştır. Yapay zeka otomatik puanlaması ile öğretmen manuel değerlendirmeleri arasındaki doğrusal ilişkiyi nicelleştirmek için Pearson korelasyon analizi kullanılmış ve gruplar arası karşılaştırmalar için standartlaştırılmış etki büyüklüğü olarak Cohen’s d hesaplanmıştır. Tüm hipotez testleri için anlamlılık eşiği α = 0.05 olarak belirlenmiş ve tüm test istatistiklerinin yanında %95 güven aralıkları hesaplanmıştır. Tüm istatistiksel hesaplamaları yürütmek için SPSS 26.0 kullanılmıştır. Tüm katılımcılar üç turluk eğitimin tamamını ve ilgili değerlendirmeleri bitirdiği için öğrenci test puanları ve anket veri setlerinde herhangi bir eksik veri oluşmamıştır; bu nedenle, eksik değerler için herhangi bir atama veya vaka silme işlemine gerek duyulmamıştır.
Değerlendirme indeks sisteminin oluşturulması
Öğrencilerin İngilizce yazma aktarımı eğitimindeki performanslarını kapsamlı bir şekilde değerlendirmek amacıyla bu çalışmada; "sentaks-yapı-kültür" şeklinde üç düzeyli aktarım hedeflerini kapsayan, dil yetkinliğini, model yanıtını, öğretim geri bildirimini ve öz-bilişi entegre eden çok boyutlu bir değerlendirme sistemi oluşturulmuş ve altı temel gösterge belirlenmiştir. İlk olarak, "yazma aktarım indeksi"; sentaktik çeşitlilik, yapısal netlik ve kültürel uyumluluğu kapsayan, nicel analiz için sistemin otomatik puanlaması ile öğretmenin manuel puanlamasını birleştiren kapsamlı bir değerlendirme göstergesidir. "Sentaktik karmaşıklık puanı", öğrencilerin cümlelerinin zenginliğini ve karmaşıklığını değerlendirmek için ortalama cümle uzunluğu, yan cümle iç içe geçme düzeylerinin sayısı ve fiil öbeği kullanım sıklığı gibi özellikleri çıkarmak amacıyla doğal dil işleme teknolojisinden yararlanmıştır. "Akademik stil eşleşmesi" analizi, metnin İngilizce akademik yazım stil normlarına uyup uymadığını belirlemek için bir NLP (Doğal Dil İşleme) modeline dayanarak, edilgen yapı kullanım oranını ve resmi kelime dağarcığı oranını incelemiştir. Ek olarak çalışma, yapay zeka destekli öğretimin gerçek etkisini ölçmek amacıyla, model tarafından oluşturulan önerilerin kabul edilebilirliği ve pratikliği konusundaki geri bildirimleri öğretmen anketleri aracılığıyla toplayarak öznel bir değerlendirme boyutu eklemiştir. "Öğretmen değerlendirme puanlarındaki değişiklikler", deney öncesi ve sonrası öğrencilerin kompozisyonlarına verilen öğretmen puanlarını karşılaştırarak, yapay zeka destekli öğretimin yazım kalitesindeki artış üzerindeki etkisini yansıtmıştır. Son olarak, "Öğrencilerin aktarım yeteneğine ilişkin öz-değerlendirmesi", öğrencilerin yapı, sentaks, kültür ve diğer boyutlardaki hakimiyetlerini öz-değerlendirmelerine rehberlik etmek için aktarım biliş tablosunu kullanmış, böylece üstbilişsel farkındalıklarını ve yansıtma yeteneklerini geliştirmiştir. Her bir gösterge için spesifik açıklamalar ve veri kaynakları Tablo 3'te gösterilmiştir.
Sözdizimsel ve üslup göstergeleri, bağımlılık ayrıştırma ve BERT tabanlı sınıflandırma yoluyla otomatik olarak hesaplanmış olup, normalize edilmiş puanlar 0 ile 5 arasında değişmektedir; manuel değerlendirmede ise 5'li bir ölçek kullanılmıştır. Sözdizimsel karmaşıklık için kullanılan hesaplama formülleri, temel payda olarak toplam kelime sayısı/yan cümle sayısını esas almıştır. Ham veri kaynağı: kayıtlı olan tüm 60 öğrencinin ön test ve son test yazı kompozisyonlarıdır.
Deneysel sonuçlar ve analiz
Öğrencilerin sözdizimsel aktarım, yapısal aktarım ve kültürel aktarım olmak üzere üç boyuttaki kapsamlı performans farklarını sezgisel bir şekilde sunmak amacıyla, Şekil 3 deney grubundaki ve kontrol grubundaki öğrencilerin deney öncesi ve sonrası ortalama yazma transfer indeksleri karşılaştırılmıştır: Şekil 3 sentaktik aktarım, yapısal aktarım ve kültürel aktarımın üç boyutunda deney grubu ile kontrol grubu arasındaki ortalama puan farkını göstermiştir. Deney grubu, deney sonrasında her bir boyutta aktarım yeteneğinde anlamlı bir gelişme göstermiş ve radar grafiğinin dış halkası iç halkadan belirgin şekilde daha büyük çıkmıştır; bu durum, DeepSeek modeline dayalı öğretim optimizasyon yönteminin öğrencilerin İngilizce yazma aktarım yeteneğinin gelişimini teşvik etmede olumlu bir etkiye sahip olduğunu göstermektedir. Buna karşılık, kontrol grubunun çeşitli aktarım yeteneği göstergeleri deney öncesinde ve sonrasında nispeten değişmeden kalmıştır. Genel iyileşmenin sınırlı olması, geleneksel öğretim yöntemlerinin veya sistem talimatları optimize edilmemiş yapay zeka destekli araçların aktarım eğitiminde sınırlı bir role sahip olduğunu göstermektedir. Öğrencilerin çok boyutlu dil aktarımındaki öğrenme potansiyellerini etkili bir şekilde harekete geçirmek zorlayıcı olmuştur.
Deney grubunun sözdizimsel aktarım, yapısal aktarım ve kültürel aktarım boyutlarındaki deney öncesi ortalama yazı aktarım indeksleri sırasıyla 3.0, 2.9 ve 2.8 iken; deney sonrasında bu değerler sırasıyla 4.3, 4.1 ve 4.5'e yükselerek 1.3, 1.2 ve 1.7'lik artışlar göstermiştir; bu durum, öğretim yönteminin farklı aktarım seviyelerinde iyi bir müdahale etkisine sahip olduğunu göstermektedir. Kontrol grubunun deney öncesi puanları 3.0, 3.0 ve 2.9 idi. Deney sonrasında değerler sırasıyla 3.4, 3.3 ve 3.2'ye yükselmiş olup, bu değerler deney grubununkilerden anlamlı derecede daha düşüktür. Özellikle kültürel aktarım boyutunda, deney grubunun 2.8'den 4.5'e çıkarak 1.7 puanlık bir artışla en belirgin gelişmeyi gösterdiği ve bunun kontrol grubunun 0.3 puanlık artışından anlamlı derecede yüksek olduğu dikkat çekicidir. Bu sonuç, önerilen öğretim yönteminin öğrencilerin İngilizce kültürel ifade normlarını tanımlamalarına ve bunlara uyum sağlamalarına yardımcı olmada önemli bir rol oynadığını ortaya koymuştur. Bu durum sadece dil biçimindeki düzenlemelere değil, aynı zamanda öğrencilerin kültürlerarası pragmatik farkındalıklarının artmasına ve hedef dilin kültürel ifade alışkanlıklarını anlama derinliklerine de yansımıştır. Dil aktarımı temel olarak sözdizimsel karmaşıklık, dil üslubu uyumu ve diğer yönlerde kendini göstermiştir. Çalışmada, öğrencilerin yazı metinlerinin derinlemesine analizini yapmak, temel dil özelliklerini çıkarmak ve üç tur görev boyunca öğrencilerin dil aktarım yeteneğindeki değişimleri sistematik olarak değerlendirmek için otomatik NLP teknolojisi kullanılmış ve öğretmen puanlarıyla birleştirilmiştir.
Sözdizimsel karmaşıklık ve dilsel stil
Sözdizimsel karmaşıklık açısından çalışma, her görev turunda belirlenen yazma ödevini tamamlayan öğrenciler tarafından oluşturulan metnin ortalama cümle uzunluğunu ve yan cümle iç içe geçme düzeylerinin sayısını kaydetmiştir. Bu iki gösterge, dil anlatımının karmaşıklığını ölçmek için yaygın olarak kullanılmıştır. Şekil 4'te gösterildiği gibi, bu göstergeler öğrencilerin cümle çeşitliliği ve yapısal organizasyon yeteneğindeki gelişim düzeyini etkili bir şekilde yansıtmıştır.
Sözdizimsel karmaşıklığın boylamsal gelişimi kapsamında, deney grubu üç görev turunda belirgin bir yükseliş eğilimi göstermiş; bu durum, transfer eğitiminin öğrencilerin dil yapılarını ifade etme yetenekleri üzerindeki etkili teşvikini yansıtmıştır. Ortalama cümle uzunluğu açısından bakıldığında, deney grubu Görev 1'deki 12.5 kelimeden Görev 3'teki 16.1 kelimeye yükselerek 3.6 kelimelik bir artış göstermiştir; bu artış, kontrol grubunun aynı dönemdeki yalnızca 0.9 kelimelik artışından (12.4'ten 13.3'e) anlamlı derecede daha yüksektir. Benzer şekilde, yan cümle iç içe geçme katmanlarının sayısıyla ölçülen yapısal karmaşıklık boyutu açısından, deney grubu 1.8 katmandan 2.7 katmana yükselirken, kontrol grubu 1.7'den 1.9 katmana nispeten yavaş bir artış göstermiştir. İki öğrenci grubu arasındaki sözdizimsel karmaşıklık farkının istatistiksel olarak anlamlı olup olmadığını daha fazla doğrulamak için çalışma, görevin üç aşamasındaki ortalama cümle uzunluğunu ve yan cümle iç içe geçme seviyelerinin sayısını analiz etmek amacıyla bağımsız örneklem t-testleri uygulamıştır. Sonuçlar, ortalama cümle uzunluğu açısından deney grubu ile kontrol grubu arasında anlamlı bir fark olduğunu göstermiştir: t(58) = 4.23, p < 0.001, Cohen’s d = 0.98; ayrıca yan cümle iç içe geçme seviyelerinin sayısında da anlamlı bir fark saptanmıştır: t(58) = 3.15, p = 0.002, Cohen’s d = 0.78. Bu karşılaştırma, sistematik transfer eğitiminin öğrencilerin karmaşık cümleler kurma yeteneklerini geliştirmekle kalmayıp, aynı zamanda dilbilgisel organizasyon stratejilerine olan hakimiyetlerini de güçlendirdiğini ortaya koymuştur. Özellikle görevin üçüncü aşamasında, deney grubundaki öğrenciler çok katmanlı yan cümleleri ve karmaşık cümle yapılarını kullanmada daha fazla esneklik göstermişlerdir. Bu durum, dil transferlerinin "işlevsel" bir düzeyden daha "stratejik" bir düzeye doğru belirgin bir kayma yaşadığını yansıtmıştır. Transfer odaklı eğitim yolu, öğrencilerin sözdizimsel transfer becerilerini sürekli olarak geliştirmiş, tek cümle yazımının sınırlılıklarını ve geleneksel öğretimde sıkça görülen sabit ifade kalıplarını etkili bir şekilde aşmıştır. Dil stili adaptasyonu açısından çalışma, öğrencilerin deney öncesi ve sonrası yazı metinlerini çıkarmıştır. Akademik dil stili uyumunu değerlendirmek için temel göstergeler olarak resmi kelime dağarcığının oranı ve edilgen çatı kullanım sıklığını belirlemek amacıyla NLP modeli kullanılmıştır. Bu göstergeler, öğrencilerin İngilizce yazımda hedef stile uyum sağlayacak dil farkındalığına ve ifade yeteneğine sahip olup olmadıklarını yansıtmıştır. İlgili sonuçlar Şekil 5'te gösterilmektedir.
Şekil 5, deney ve kontrol gruplarının görev öncesi ve sonrası akademik stil uyumundaki değişimleri, temel olarak resmi sözcük orantısı ve edilgen yapı kullanım sıklığı şeklindeki iki ana göstergeye odaklanarak göstermektedir. Genel olarak, DeepSeek modeline dayalı transfer eğitimini tamamladıktan sonra, deney grubunun akademik stile uyum yeteneği önemli ölçüde gelişmiş olup bu durum, söz konusu öğretim yönteminin öğrencilerin dil normları konusundaki farkındalıklarını ve akademik stillere uyum sağlama becerilerini geliştirmedeki etkinliğini kanıtlamaktadır. Resmi sözcük orantısı açısından, deney grubu görev öncesindeki 0.42 değerinden görev sonrası 0.56 değerine yükselmiş ve nispeten belirgin bir artış göstermiştir. Buna karşın, kontrol grubu 0.43'ten 0.48'e yalnızca hafif bir artış göstermiş, bu da sınırlı bir iyileşmeye işaret etmiştir. Bu sonuç, sistematik istem rehberliği ve model geri bildirimi alan deney grubundaki öğrencilerin, yazım sürecinde akademik stil gerekliliklerini karşılayan resmi sözcükleri kullanmaya daha eğilimli olduklarını ve dil stillerinin kademeli olarak İngilizce akademik yazım standartlarına yaklaştığını göstermiştir. Edilgen yapı kullanım sıklığı açısından ise deney grubu, görev öncesi 0.18'den görev sonrası 0.27'ye çıkarak 0.09'luk bir artış sergilemiş; buna karşın kontrol grubunda artış yalnızca 0.02 olmuştur.
Yukarıdaki değişikliklerin istatistiksel olarak anlamlı olup olmadığını daha fazla doğrulamak için, çalışma görev öncesi ve sonrası veriler üzerinde bağımsız örneklem t-testi uygulamıştır. Sonuçlar, deney grubunun resmi kelime dağarcığı oranında anlamlı bir iyileşme gösterdiğini ortaya koymuştur, t(58) = 3.89, p < 0.001, Cohen's d = 0.92; pasif yapı kullanım sıklığındaki artış da anlamlı bulunmuştur, t(58) = 4.56, p < 0.001, Cohen’s d = 1.05. Bu durum, deney grubundaki öğrencilerin dil stili adaptasyonunda önemli bir ilerleme kaydettiğini ve bu ilerlemenin tesadüfi olmadığını, aksine sistematik istem yönlendirmesi ve model geri bildiriminin birleşik etkisinin bir sonucu olduğunu göstermiştir.
İstatistiksel doğrulama
Ek olarak, öğretim uygulamasında yapay zeka tarafından oluşturulan içeriğin güvenilirliğini daha fazla doğrulamak için çalışma, farklı istem türleri altında yapay zeka tarafından oluşturulan içerik ile öğretmen tarafından oluşturulan içeriğin ortalama puanlarını da karşılaştırmıştır. İkisi arasındaki tutarlılık, Pearson korelasyon katsayısı hesaplanarak değerlendirilmiştir. İlgili karşılaştırma sonuçları Tablo 4'te gösterilmektedir. Tablo 4, beş tip aktarım odaklı istemde yapay zeka tarafından oluşturulan içerik ve öğretmen puanlarının tutarlılığını göstermektedir. Ortalama puan açısından bakıldığında, genel olarak yapay zeka puanı öğretmen puanından biraz daha düşük çıkmıştır. Yine de fark çoğu görev türünde makul bir aralıkta kalmış olup, bu durum DeepSeek modelinin yazma aktarım görevlerini değerlendirmede yüksek stabiliteye ve referans değerine sahip olduğunu göstermektedir. Sözdizimsel aktarım istemi altında, ortalama öğretmen puanı 4.1, yapay zeka puanı ise 4.0 olmuş ve ikisi arasındaki fark sadece 0.1 olarak gerçekleşmiştir. Yapısal ve mantıksal aktarım istemlerinde, yapay zeka puanı öğretmen puanından sadece 0.1 puan daha düşük çıkmıştır; bu da modelin, yüksek derecede dil yapısı ve net kurallar içeren bu görevlerde öğretmenin değerlendirme kriterlerini daha iyi simüle edebildiğini göstermektedir. Buna karşılık, kültürel aktarım ve sicil aktarımı istemleri altındaki puanlama sapmaları nispeten belirgindir; yapay zeka puanları sırasıyla 3.6 ve 3.7 olarak gerçekleşmiş ve öğretmen puanlarından 0.2 daha düşük çıkmıştır; bu durum, yapay zekanın anlamsal çıkarımlar ve kültürel pragmatik gibi yüksek öznellik içeren görevlerle uğraşırken hala belirli sınırlamalara sahip olduğunu yansıtmaktadır. Puanlayıcılar arası güvenilirlik ICC (n = 5 puanlayıcı) aracılığıyla değerlendirilmiştir. Manuel puanlama için genel ICC 0.86 çıkmış ve her bir boyut için ICC değerleri 0.82 ile 0.89 arasında değişerek tatmin edici bir puanlayıcılar arası uzlaşıya işaret etmiştir.
Pearson korelasyon katsayısının daha ayrıntılı analizi, çeşitli istemler altındaki puanların tutarlılığının yüksek düzeyde olduğunu ortaya koymuştur; bu durum, yapay zeka puanının değer açısından sadece öğretmenin değerlendirmesine yakın olmakla kalmayıp, aynı zamanda puanlama eğiliminde de iyi bir doğrusal ilişki sergilediğini göstermektedir. Bunlar arasında, sözdizimsel aktarım isteminin tutarlılık katsayısı 0,87 ile en yüksek seviyeydi; yapısal aktarım ve mantıksal aktarım istemleri ise sırasıyla 0,83 ve 0,85 idi; bu da yapay zekanın sözdizimsel karmaşıklık, paragraf organizasyonu ve mantıksal tutarlılık açısından değerlendirme sonuçlarının öğretmenin değerlendirmesiyle yüksek düzeyde tutarlı olduğunu göstermektedir. Bunun nedeni, bu görevlerin net hedeflere ve ölçülebilir dil özelliklerine sahip olması ve bunun da model tanıma ile kararlı değerlendirmeyi kolaylaştırmış olması olabilir. Alan aktarım isteminin korelasyon katsayısı 0,81'dir. Hafif bir düşüş göstermiş olsa da, hala güçlü bir değerlendirme yeteneği sergilemiş ve yapay zekanın üslup uyarlaması düzeyinde belirli bir değerlendirme kapasitesine sahip olduğunu göstermiştir. Ancak, kültürel aktarım isteminin tutarlılık katsayısı sadece 0,79 idi; bu değer diğer türlerden daha düşük olsa da hala kabul edilebilir bir aralıkta yer almaktadır.
Öğretim uygulamalarında farklı istem türlerinin uygulanabilirliğini ve öğretmenler tarafından kabul görme derecesini incelemek amacıyla bir istem yanıt memnuniyet anketi tasarlanmıştır. Beş İngilizce öğretmeni (T1–T5 olarak numaralandırılmış), Şekil 6'da gösterildiği gibi, beş farklı istem türünün üretim önerilerini beş seviyeli bir ölçek (çok memnuniyetsizden çok memnuniyete kadar) kullanarak değerlendirmeye davet edilmiştir: beş öğretmenin beş istem türü üzerindeki puanları bir miktar farklılık gösterse de genel kabul yüksek çıkmıştır. Bunlar arasında "sözdizimsel aktarım" ve "kültürel aktarım" istemleri, ortalama 4,0 puan ile en yüksek puanları almış olup, bu durum öğretimdeki güçlü pratikliği ve uyarlanabilirliği yansıtmaktadır. Buna karşılık, "sicil aktarımı" istemi puanları nispeten düşük kalmış, ortalaması yalnızca 2,4 olmuştur; T4 ve T5 gibi bazı öğretmenlerin en düşük puanları vermesi, bu istemin öğretim uygulamalarındaki rehberliğinin ve uyarlanabilirliğinin hala geliştirilmeye ihtiyaç duyduğunu göstermektedir.
Bireysel düzeyde, öğretmenlerin puanlama eğilimlerinde belirgin farklılıklar vardı. T1'in genel puanı pozitifti ve bu durum AI destekli yazıma yüksek düzeyde kabul gösterildiğini belirtirken; T5'in puanları, özellikle "sicil aktarımı" (register transfer) ve "mantık aktarımı" (logic transfer) olmak üzere birden fazla Prompt boyutunda düşüktü. Bu fark, öğretmenlerin öğretim deneyimi, dil tercihi veya AI araçlarına olan aşinalığı ile ilgili olabilir ve gelecekteki Prompt tasarımlarının, farklı öğretmen gruplarının kabulünü artırmak için kişiselleştirilmiş adaptasyon mekanizmalarını göz önünde bulundurması gerektiğini göstermektedir. AI destekli öğretimin öğrencilerin yazı kalitesini artırma üzerindeki gerçek etkisini daha fazla doğrulamak için çalışma, deney grubu ile kontrol grubunun öğretmenler tarafından değerlendirilen genel puanlarındaki deney öncesi ve sonrası değişimleri karşılaştırmıştır. Karşılaştırma sonuçları Şekil 7'de gösterilmiştir.
Şekil 7'de gösterildiği üzere, deney ve kontrol gruplarının deney öncesi ve sonrası öğretmenler tarafından değerlendirilen genel puanları arasında anlamlı farklılıklar görülmüştür. Genel olarak, DeepSeek modeline dayalı öğretim optimizasyonu müdahalesinden sonra, deney grubunun genel puanında belirgin bir artış eğilimi gözlemlenmiştir. Buna karşılık, kontrol grubundaki puan değişimi nispeten daha düşük seyretmiştir. Deney grubunun deney öncesindeki ortalama öğretmen puanı 59,1 puan iken, deney sonrası ortalama puan anlamlı bir şekilde 74,4 puana yükselerek 15,3 puanlık bir artış göstermiştir. Bu durum, yapay zeka destekli öğretimin öğrencilerin yazma kalitesi üzerinde olumlu bir etki yarattığını göstermiştir. Kutu grafiğinden, deney grubunun puanlarının dağılım aralığının da genişlediği gözlemlenmiştir. Özellikle, deney sonrası puan kutusu deney öncesine göre anlamlı derecede daha yüksektir; üst maksimum ve alt minimum değerler artmış olup, bu da öğrencilerin genel seviyesinin önemli ölçüde geliştiğini göstermektedir. Buna karşılık, kontrol grubundaki puan değişimleri nispeten sınırlı kalmıştır. Deney öncesinde kontrol grubunun ortalama puanı 60,1 puan iken, deney sonrasında bu değer 64,9 puana ulaşarak 4,8 puanlık bir artış göstermiştir. Bu artış, deney grubuna kıyasla çok daha düşüktür ve kontrol grubunun puanlama kutusu deney öncesi ve sonrası arasında pek değişmemiştir; bu da geleneksel öğretim yöntemlerinin veya optimize edilmemiş yapay zeka destekli araçların yazma kalitesini artırma konusunda sınırlı bir etkiye sahip olduğunu göstermektedir.
Ek olarak bu çalışmada, öğrencilerin yapısal düzenleme, cümle dönüşümü ve kültürel ifade gibi alanlardaki yetenek gelişimlerine yönelik üç tur öz değerlendirme yapmalarına rehberlik etmek ve böylece öğrencilerin üstbilişsel farkındalıklarındaki değişim eğilimini ve transfer stratejilerine hakimiyetlerini yansıtmak için transfer biliş tablosu kullanılmıştır. Sonuçlar Şekil 8'de gösterilmektedir. Şekil 8'de sunulan öğrencilerin transfer yeteneğine ilişkin öz değerlendirme radar grafik verilerine göre; yapısal transfer, sözdizimsel transfer, kültürel transfer, sicil transferi ve mantıksal transfer olmak üzere beş boyuttaki öz değerlendirmeler üç görev turu boyunca sürekli bir artış eğilimi göstermiştir; bu durum DeepSeek modeli tabanlı öğretim optimizasyonu müdahalesi altında, öğrencilerin transfer stratejilerini kullanma yeteneklerinin önemli ölçüde geliştiğini göstermektedir. Görevlerin ilk turunda, öğrencilerin öz değerlendirme puanları genel olarak düşüktü. Beş boyut arasında "yapısal transfer" 3,2 ve "mantıksal transfer" 3,0 puan alırken, "kültürel transfer" 2,5 ve "sicil transferi" 2,7 puan almış olup bu durum öğrencilerin transfer stratejilerini tanımlama ve kullanma konusunda henüz yetersiz olduklarını göstermektedir. İkinci görev turuna gelindiğinde, her bir maddenin puanları yükselmiş; "yapısal transfer" 3,8'e, "sözdizimsel transfer" 3,5'e ve "mantıksal transfer" 3,7'ye çıkmıştır. Bu durum, öğretmen rehberliği ve model geri bildiriminin desteğiyle öğrencilerin temel transfer işlemlerinin kilit noktalarını kademeli olarak kavradıklarını ve bunları gerçek yazıma ilk kez uyguladıklarını göstermiştir. Üçüncü görev turunda, öğrencilerin öz değerlendirme puanları önemli ölçüde artarak "yapısal transfer" 4,5'e ve "mantıksal transfer" 4,3'e ulaşmış, diğer boyutlar da 4,0 puanın üzerinde sabitlenmiştir; bu da çok turlu transfer eğitiminin öğrencilerin dil formu kontrolü ve metin oluşturma yeteneğini geliştirmedeki sürekli etkisini ortaya koymuştur. Bu aşamada öğrenciler, transfer stratejilerinin anlaşılması, uygulanması ve değerlendirilmesi arasında temel bir bilişsel kapalı döngü oluşturmuşlardır. Öğretmen geri bildirimlerine ek olarak, çalışmada deney grubundaki tüm öğrencilere yapay zeka destekli yazma işlevi hakkında bir memnuniyet anketi uygulanmış ve toplam 30 geçerli anket toplanmıştır. Anket, yapay zekanın performansını yeniden yazma önerileri, yapısal optimizasyon ve kültürel ipuçları olmak üzere üç fonksiyonel modülde değerlendirmiş ve öğrencilerin beş düzeyli standartlara göre seçenekleri belirlemesini istemiştir. Sonuçlar Tablo 5'te gösterilmiştir.
Tablo 5'te gösterilen yapay zeka destekli yazma işlevlerine ilişkin öğrenci memnuniyet anketi sonuçlarına göre, deney grubundaki öğrenciler genel olarak yeniden yazma önerileri, yapısal optimizasyon ve kültürel ipuçları şeklindeki üç işlevsel modülde yapay zekanın performansına olumlu yorumlar yapmışlardır; bu durum, yapay zeka destekli yazma sistemlerinin yazma eğitimi verimliliğini ve öğretim destek kalitesini artırmadaki iyi uygulama potansiyellerini göstermektedir. Genel olarak, öğrencilerin %90'ından fazlası "yeniden yazma önerileri" ve "yapısal optimizasyon" şeklindeki iki işlevsel maddede "çok memnun" veya "memnun" olduklarını belirtmişlerdir; bunlardan "yeniden yazma önerileri" %91 ile en yüksek memnuniyete ulaşarak, öğrencilerin yapay zekanın sözdizimsel yeniden yapılandırma ve dil cilalama yeteneğini yüksek düzeyde kabul ettiğini göstermiştir. Buna karşılık, "kültürel ipuçları" işlevine yönelik memnuniyet nispeten daha düşük kalmıştır. Yine de bu oran %83'e ulaşmış olup, yapay zekanın kültürlerarası ifadeyi yönlendirmede belirli bir karmaşıklık ve öznellik taşımasına rağmen, öğrencilerin ana dil kültürel etkileşimlerini belirlemelerine ve bunları düzenlemelerine yardımcı olma rolünün çoğu öğrenci tarafından kabul edildiğini göstermiştir. Memnuniyetsizlik açısından, üç işlevde "memnun değil" veya "hiç memnun değil" seçeneğini tercih eden öğrencilerin oranı %5'in altında kalmış; bu da yapay zeka destekli işlevlerin çoğu uygulama senaryosunda iyi bir kullanılabilirlik ve kabul görülebilirliğe sahip olduğunu ortaya koymuştur. "Kültürel ipuçları" maddesinde "orta" şeklinde değerlendirme yapan öğrencilerin oranının nispeten yüksek olması dikkat çekicidir; bu durum, mevcut yapay zekanın kültürel adaptasyon sorunlarıyla uğraşırken öğrencilerin beklentilerini tam olarak karşılamayabileceğini ve hala geliştirilmeye açık alanlar olduğunu göstermektedir. Kapsamlı bir analiz, DeepSeek tabanlı talimat optimizasyon yönteminin, özellikle dil formu desteği açısından öğrenciler tarafından yaygın olarak kabul gördüğünü ortaya koymaktadır.
Tekrarlı Ölçümler ANOVA
Grupların (denekler arası faktör: deney grubu ile kontrol grubu) ve zamanın (denekler içi faktör: ön test, Görev 1, Görev 2, Görev 3, son test) yanı sıra bunların etkileşiminin öğrencilerin İngilizce yazma transfer performansı üzerindeki etkilerini incelemek için iki yönlü tekrarlı ölçümler varyans analizi (RM-ANOVA) yapılmıştır. Mauchly testi, küresellik varsayımının ihlal edildiğini göstermiştir (p < 0.05), bu nedenle denekler içi etkiler için serbestlik derecelerini düzeltmek amacıyla Greenhouse–Geisser düzeltmesi uygulanmıştır. Tüm analizler grup başına n = 30 katılımcı üzerinden gerçekleştirilmiştir. Sonuçlar Tablo 6'da gösterilmektedir:
Greenhouse–Geisser düzeltmeli tekrarlı ölçümler ANOVA sonuçları; ölçülen tüm boyutlarda Grup, Zaman ve Grup × Zaman etkileşiminin anlamlı ana etkilerini göstermiştir (p < 0.001). Genel Transfer İndeksi için, anlamlı bir Grup etkisi (F(1,58) = 76.32) gözlemlenmiş; buna ek olarak anlamlı bir Zaman etkisi (F(2.14,124.12) = 92.75) ve anlamlı bir Grup × Zaman etkileşimi (F(2.14,124.12) = 68.49) saptanmıştır; bu durum, genel transfer performansındaki zamanla meydana gelen değişimlerin gruplar arasında anlamlı derecede farklılaştığını göstermektedir.
Benzer şekilde, sözdizimsel aktarımda Grup (F(1,58) = 52.18), Zaman (F(2.11,122.38) = 71.26) ve Grup × Zaman etkileşiminin (F(2.11,122.38) = 45.73) anlamlı etkileri görülmüş olup, bu durum gruplar ve ölçüm noktaları arasında sözdizimsel aktarım yeteneğinde farklı gelişim modelleri olduğunu göstermektedir. Yapısal Aktarım için de anlamlı Grup (F(1,58)=48.65), Zaman (F(2.09,121.22) = 67.81) ve etkileşim etkileri (F(2.09,121.22) = 41.36) belirlenmiş olup, bu sonuçlar gruba bağlı seyirlerle birlikte tutarlı iyileşmeleri yansıtmaktadır. Özellikle, Kültürel Aktarım; anlamlı bir Grup etkisi (F(1,58) = 81.44), belirgin bir Zaman etkisi (F(2.07,119.96) = 98.52) ve güçlü bir Grup × Zaman etkileşimi (F(2.07,119.96) = 79.27) ile en güçlü etkileri sergileyerek, bu boyutta en önemli ve farklılaşmış büyüme modelinin olduğunu düşündürmüştür. Genel olarak, tüm indeksler istatistiksel olarak anlamlı etkiler göstermiş ve müdahalenin, zaman içinde aktarım gelişimi üzerinde istikrarlı ve farklılaşmış bir etki yarattığını doğrulamıştır.
VERİ ERİŞİLEBİLİRLİĞİ:
Bu çalışma sırasında üretilen veya analiz edilen tüm veriler bu makalede yer almaktadır. Ham değerlendirme verileri Ek Tablo 1'de sunulmuştur.

Şekil 1: Cümle yapısı dönüşüm adımları. (A) Cümle yapısını iyileştirmek için fiilleri birleştirme ve güçlendirme stratejileri. (B) Gerund, infinitive ve nominalize özneler dahil olmak üzere alternatif özne dönüşümleri. (C) Cümle çeşitliliğini ve özlülüğünü artırmak için sonlu olmayan ifadelerin kullanımı. (D) Geliştirilmiş akademik stil ve kültürlerarası İngilizce ifadeyi gösteren cilalanmış final versiyon örnekleri. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 2: Görev evrim ağacı diyagramı. Cümle, paragraf, söylem ve kültürel düzeyden oluşan dört aşamalı aktarım görevlerinin kademeli yapısını sunmaktadır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 3: Deney öncesi ve sonrası yazma aktarım yeteneğinin karşılaştırılması.Radar grafiği, deneysel grubun ve kontrol grubunun sözdizimsel, yapısal ve kültürel aktarım boyutlarındaki ön test ve son test puanlarını göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayınız.

Şekil 4: Sözdizimsel karmaşıklık eğilim çizgisi grafiği. Üç eğitim görevi boyunca ortalama cümle uzunluğu ve yan cümle iç içe geçme katmanlarındaki değişimler gösterilmektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 5: Akademik terminoloji eşleştirme. Bu şekil, müdahale öncesi ve sonrası resmi kelime hazinesi oranındaki değişimleri ve edilgen yapı kullanım sıklığını göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 6: İstem yanıt memnuniyet ısı haritası. Katılımcı öğretmenlerin beş farklı istem şablonu türüne verdiği puanlar burada özetlenmiştir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 7: Öğretmen değerlendirmelerindeki değişimlerin kutu grafiği. Kutu grafiği, iki grup için deney öncesi ve sonrası öğretmen tarafından değerlendirilen yazma puanlarının dağılımını ve genel değişimlerini göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 8: Öğrencilerin öz değerlendirme yoluyla belirledikleri aktarım yeteneklerinin radar grafiği. Üç eğitim turunda beş aktarım boyutundaki öğrenci öz değerlendirme puanlarını göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayınız.
| Lütfen çevirmek istediğiniz metni giriniz. | Öğretmen İşlemleri | İstem Türü | Öğrenci Operasyonu | Çıktı | Değerlendirme Kriterleri |
| Öğrencilerin orijinal yazı taslakları (cümleler/paragraflar/makaleler) | 1. Etiket aktarım türlerini ve görev seviyelerini belirleyin
2. Gerekirse istem parametrelerini ayarlayın | Tekli aktarım istemi / Üç aşamalı iç içe geçmiş istem zinciri | 1. Aktarım stratejilerini öğrenin 2. Taslakları yapay zeka geri bildirimlerine göre revize edin 3. Öz değerlendirmeyi tamamlayın | Yapay zeka tarafından revize edilmiş metin + Öğrenci tarafından revize edilmiş nihai taslak | Sözdizimsel karmaşıklık, yapısal rasyonellik, kültürel uygunluk, mantıksal tutarlılık, sicil standartlaşması (0–5 ölçeği) |
Tablo 1: İş Akışı Özet Tablosu. Bu tablo; girdi materyalleri, öğretmen ve öğrenci işlemleri, istem türleri, nihai çıktılar ve ilgili değerlendirme kriterlerini kapsayacak şekilde, yapay zeka destekli İngilizce yazma transfer eğitiminin tüm operasyonel iş akışını özetlemektedir.
| Proje Kategorisi | İçindekiler |
| Görev hedeflerinin anlaşılması | Lütfen bu yazım görevi döngüsünün yapısal düzenleme, kültürel adaptasyon ve dil dönüştürme gibi taşıma hedeflerini kısaca açıklayınız. |
| Kullanılan migrasyon stratejisi | Lütfen benimsediğiniz migrasyon stratejilerini listeleyiniz (birden fazla seçim yapılabilir): |
| Yapısal Ayarlama |
| Cümle dönüşümü |
| Dil değiştirme |
| Kültürel dışavurum |
| Mantıksal bağın güçlendirilmesi |
| Diğer:_______ |
| Örnekleri ve talimatları yeniden yazın | Yeniden yazılmış 1–2 cümle seçin; yeniden yazım öncesi ve sonrası versiyonları gösterin ve değişikliklerin nedenlerini ve hedeflenen aktarım amaçlarını açıklayın. |
| Karşılaşılan güçlükler ve şüpheler | Migrasyon sırasında karşılaştığınız zorlukları veya belirli bir ifadeyle ilgili sorularınızı belirtiniz. |
Öz değerlendirme puanı
(5 puan üzerinden) | Lütfen metin yeniden yazımınızı aşağıdaki üç hususa göre değerlendirin: |
| • Strateji uygulama doğruluğu (/5) |
| • İfadenin doğal akıcılığı (/5) |
| • Kültürel uyum (/5) |
| Gelecekteki yazı geliştirme hedefleri | Bir sonraki eğitim turunda güçlendirmek veya optimize etmek istediğiniz aktarılabilirliği kısaca açıklayınız |
Tablo 2: Transfer bilişi tablosu. Öğrencilerin yazma transfer stratejilerini öz değerlendirmeleri için 1–5 arası bir derecelendirme ölçeği (1 = hiç hakim değil, 5 = tamamen hakim) benimsenmiştir.
| Gösterge adı | Açıklama | Veri Kaynağı |
| Yazma transfer indeksi (0–5) | Sözdizimi, yapı ve kültür olmak üzere üç seviyeyi kapsayan, dil transfer yeteneğini kapsamlı bir şekilde ölçen nicel bir göstergedir. | Sistem tarafından otomatik puanlama + öğretmenler tarafından manuel puanlama |
| Sözdizimsel karmaşıklık puanı | Ortalama cümle uzunluğu, yan cümlecik gömme sayısı, fiil öbeği zenginliği vb. içerir. | NLP otomatik analizi |
| Akademik stil uyumu | İngilizce akademik yazım standartlarına uygun mu? | Doğal dil işleme model değerlendirmesi |
| İstem yanıt memnuniyeti | Öğretmenlerin model tarafından üretilen önerileri kabul etme düzeyleri ve pratik değerlendirmeleri | Öğretmen Anketi |
| Öğretmen inceleme notu değişiklikleri | Yazım kalitesindeki iyileşmeyi yansıtmak için deney öncesi ve sonrası öğretmen puanlarının karşılaştırılması | Öğretmen Puanlama Kayıtları |
| Öğrencilerin öz değerlendirme transfer yeteneği | Öğrencilerin farklı transfer boyutlarındaki hakimiyetlerini kendilerinin değerlendirmesi | Transfer farkındalık formunun doldurulması |
Tablo 3: Değerlendirme göstergelerinin, açıklamaların ve veri kaynaklarının özeti. Bu tablo, bu çalışmadaki her bir temel değerlendirme göstergesi için tanımları, ölçüm yöntemlerini ve orijinal veri kaynaklarını açıklığa kavuşturmaktadır.
| İstem türü | Öğretmenlerin ortalama değerlendirmesi | Yapay zeka puan ortalaması | Pearson korelasyon katsayısı |
| Yapısal transfer | 4 | 3.9 | 0.83 |
| Sentaktik transfer | 4.1 | 4 | 0.87 |
| Kültürel transfer | 3.8 | 3.6 | 0.79 |
| Yazmaç aktarımı | 3.9 | 3.7 | 0.81 |
| Mantıksal aktarım | 4.2 | 4.1 | 0.85 |
Tablo 4: Yapay zeka tarafından oluşturulan içerik ile öğretmen değerlendirmeleri arasındaki tutarlılığın karşılaştırılması. Sonuçlar, farklı istem türleri genelinde yapay zeka tarafından oluşturulan içerik ile öğretmen değerlendirmeleri arasındaki tutarlılığı göstermektedir.
| Fonksiyon öğeleri | Çok memnun | Memnun | Genellikle | Memnun değil | Hiç memnun değil |
| Yeniden yazım önerisi | 66% | 25% | 7% | 1.50% | 0.50% |
| Yapısal optimizasyon | 60% | 30% | 7% | 2% | 1% |
| Kültürel ipuçları | 55% | 28% | 12% | 3.50% | 1.50% |
Tablo 5: Öğrencilerin yapay zeka destekli işlevlerden memnuniyetine ilişkin anket istatistikleri. İstatistikler; yapay zeka ile yeniden yazma, yapısal optimizasyon ve kültürel istem işlevlerine yönelik öğrenci memnuniyetinin dağılımını göstermektedir.
| Ölçüm | Grup F(df) | Zaman F(df)GG | Grup × Zaman F(df)GG | p |
| Genel Transfer İndeksi | 76.32 (1, 58) | 92.75 (2.14, 124.12) | 68.49 (2.14, 124.12) | <0.001 |
| Sözdizimsel Transfer | 52.18 (1, 58) | 71.26 (2.11, 122.38) | 45.73 (2.11, 122.38) | <0.001 |
| Yapısal Transfer | 48.65 (1, 58) | 67.81 (2.09, 121.22) | 41.36 (2.09, 121.22) | <0.001 |
| Kültürel Transfer | 81.44 (1, 58) | 98.52 (2.07, 119.96) | 79.27 (2.07, 119.96) | <0.001 |
Tablo 6: Tekrarlı ölçümler ANOVA sonuçlarının özeti. Yazma transferi genel performansı ve bunun üç alt boyutu için grup, zaman ana etkilerini ve grup-zaman etkileşimini içeren iki yönlü tekrarlı ölçümler ANOVA sonuçlarını sunmaktadır. Kısaltmalar: GG = Greenhouse–Geisser düzeltmesi.
Ek Tablo 1: Ham veri değerlendirmesi. Bu çalışmadaki tüm analizlerde kullanılan ham verileri içerir.Lütfen bu dosyayı indirmek için buraya tıklayın.