Обучение планированию эксперимента
В данном исследовании использовалась базовая версия DeepSeek с открытым исходным кодом, причем вызовы программы осуществлялись через открытый интерфейс API платформы. Полный набор из пяти текстов шаблонов промптов, примеры заданий четырех уровней, теги категорий переносной аннотации и правила сопоставления шаблонов ошибок письма приведены в дополнительном приложении. Система имела фиксированные параметры вызова: коэффициент температуры 0,7, а длина генерируемого текста динамически ограничивалась в зависимости от типа вопроса по письму. Процесс строго следовал фиксированной последовательности: семантическая реконструкция > стилистическая корректировка > культурная адаптация, реализуя вложенные вызовы цепочек промптов. Выходные данные модели отбирались преподавателем вручную для использования эффективных текстов в классном обучении.
В данном исследовании для проведения ручного оценивания были приглашены три штатных преподавателя английского письма университетского уровня со стажем работы более 5 лет. Перед началом официального оценивания все эксперты прошли стандартизированное обучение, в ходе которого они ознакомились с аспектами оценки, 5-балльной системой оценивания, вопросами культурного трансфера, синтаксиса, дискурса и другими деталями оценивания, а также прошли предварительную калибровку. Все эссе студентов оценивались двумя преподавателями независимо в слепом двойном режиме. Если разница между баллами двух экспертов превышала 1 балл (из 5), в оценивание вмешивался третий старший преподаватель в качестве арбитра, и среднее значение двух достоверных баллов принималось за итоговый ручной балл для данного образца. На этапе оценки для различных исследовательских целей были задействованы две группы экспертов. Три штатных преподавателя английского письма в университете со стажем преподавания более 5 лет провели слепое двойное оценивание всех образцов студенческих работ в основном эксперименте, а третий старший преподаватель выступал в роли арбитра, если расхождения в оценках по 5-балльной шкале превышали 1 балл. В свою очередь, пять экспертов приняли участие в тесте на межэкспертную надежность с использованием коэффициента внутриклассовой корреляции (ICC), который проводился отдельно для проверки согласованности стандартов оценки между разными экспертами. Разница в количестве экспертов обусловлена различными функциональными требованиями: три основных преподавателя обеспечивали практическое оценивание экспериментальных данных, в то время как расширенная группа из пяти экспертов предоставила более надежные доказательства достоверности всей системы оценивания.
Синтаксическая сложность, оценка структуры текста BERT и семантическая схожесть оцениваются по шкале от 0 до 5 баллов. Веса для каждого измерения были установлены в соответствии со стандартами преподавания и исследований в области иноязычного письма: синтаксис — 0,35, структура текста — 0,35, логика и культура — 0,3. Значения весов были основаны на отработанных системах количественной оценки письменных работ в данной области. Модуль автоматического оценивания ИИ был откалиброван с использованием пороговых значений на основе 15 предварительно классифицированных образцовых эссе. Оценка человеком проводилась по единой пятибалльной шкале. Машинное оценивание и человеческая калибровка были совмещены для верификации в ходе предварительного эксперимента перед основной оценкой.
Учебная задача была реализована с учетом трех уровней целей переноса: «синтаксис — структура — культура», и включала три раунда обучения, каждый из которых длился одну неделю. Первый раунд был посвящен перефразированию на уровне предложений для повышения синтаксического разнообразия и точности выражения; второй раунд предполагал структурную реконструкцию на уровне абзацев для улучшения организации текста и логической связности; третий раунд включал перенос на культурном уровне для усиления межкультурной прагматической осведомленности и адаптивности выражения. Поскольку данные собирались путем повторных измерений у одних и тех же участников во время предварительного тестирования, трех последовательных раундов обучения итогового тестирования, в качестве основного статистического метода был использован дисперсионный анализ с повторными измерениями (RM-ANOVA) для изучения основных эффектов группы (экспериментальная и контрольная), основных эффектов времени тестирования, а также эффекта взаимодействия «группа × время», который отражал, различались ли изменения показателей в процессе обучения между двумя когортами. Предположение о сферичности было проверено с помощью критерия Мокли; в случае нарушения сферичности применялась поправка Гринхауза — Гейссера. t-критерий для независимых выборок использовался исключительно для апостериорных попарных межгрупповых сравнений в отдельные моменты времени, в то время как корреляция Пирсона и d-критерий Коэна применялись соответственно для оценки согласованности баллов и количественного определения размера эффекта.
Все статистические анализы были определены заранее, до начала сбора данных. Для сравнения показателей письма до и после обучения между двумя группами применялись t-критерии для независимых выборок; при этом основная нулевая гипотеза предполагала отсутствие межгрупповых различий в эффективности переноса навыков письма. Для количественной оценки линейной связи между автоматическим оцениванием с помощью ИИ и ручными оценками преподавателей использовался корреляционный анализ Пирсона, а для межгрупповых сравнений в качестве стандартизированного размера эффекта рассчитывался d-индекс Коэна. Порог значимости для всех проверок гипотез был установлен на уровне α = 0.05; совместно со всеми тестовыми статистиками рассчитывались 95% доверительные интервалы. Все статистические расчеты проводились с использованием SPSS 26.0. Пропусков в данных тестовых баллов учащихся и наборах данных анкет не было, так как все участники прошли полный трехэтапный курс обучения и соответствующие оценки; следовательно, импутация или удаление случаев с пропущенными значениями не потребовались.
Построение системы показателей оценки
Для комплексной оценки успехов студентов в обучении переносу навыков английского письменного письма в данном исследовании была разработана многомерная система оценивания, охватывающая трехступенчатые цели переноса «синтаксис-структура-культура», объединяющая языковые способности, реакцию на модель, обратную связь по преподаванию и самопознание, а также включающая шесть основных показателей. Во-первых, «индекс переноса письма» представлял собой комплексный показатель оценки, охватывающий синтаксическое разнообразие, структурную ясность и культурную адаптивность, сочетающий автоматическое оценивание системы и ручное оценивание преподавателем для количественного анализа. «Балл синтаксической сложности» определялся с помощью технологии обработки естественного языка для извлечения таких признаков, как средняя длина предложения, количество уровней вложенности придаточных предложений и частота использования глагольных фраз, с целью оценки богатства и сложности предложений студентов. Анализ «соответствия академическому стилю» на основе модели NLP (Natural Language Processing) изучал долю использования пассивного залога и долю формальной лексики, чтобы определить, соответствует ли текст стилистическим нормам английского академического письма. Кроме того, в исследование было введено измерение субъективной оценки: с помощью анкет для преподавателей собирались отзывы о приемлемости и практичности предложений, сгенерированных моделью, для оценки фактического влияния обучения с помощью ИИ. «Изменение баллов преподавательской проверки» отражало влияние обучения с помощью ИИ на улучшение качества письма путем сравнения оценок преподавателей за эссе студентов до и после эксперимента. Наконец, «Самооценка студентами способности к переносу» с использованием таблицы когнитивного переноса помогала студентам самостоятельно оценивать степень освоения структуры, синтаксиса, культуры и других аспектов, тем самым повышая их метакогнитивную осведомленность и способность к рефлексии. Подробные описания и источники данных для каждого показателя приведены в Таблице 3.
Синтаксические и стилистические показатели были рассчитаны автоматически с помощью синтаксического анализа зависимостей и классификации на основе BERT; нормализованные значения варьировались от 0 до 5, а для ручной оценки использовалась 5-балльная шкала. В формулах расчета синтаксической сложности в качестве основного знаменателя использовалось отношение общего количества слов к количеству придаточных предложений. Источник необработанных данных: письменные работы всех 60 зачисленных студентов, выполненные до и после тестирования.
Экспериментальные результаты и анализ
Для наглядного представления комплексных различий в успеваемости учащихся по трем аспектам — синтаксическому, структурному и культурному переносу — на Рисунке 3 сравниваются средние показатели индекса переноса навыков письма у учащихся экспериментальной и контрольной групп до и после эксперимента: Рисунок 3 демонстрирует разницу в средних баллах между экспериментальной и контрольной группами по трем аспектам: синтаксическому, структурному и культурному переносу. В экспериментальной группе после проведения эксперимента наблюдалось значительное улучшение способности к переносу в каждом аспекте, при этом внешний круг лепестковой диаграммы существенно больше внутреннего. Это указывает на то, что метод оптимизации инструкций на базе модели DeepSeek оказывает положительное влияние на развитие способности учащихся к переносу навыков английского письма. Напротив, различные показатели способности к переносу в контрольной группе остались относительно неизменными до и после эксперимента. Общее улучшение было ограниченным, что свидетельствует о том, что традиционные методы обучения или инструменты с поддержкой ИИ без оптимизированных системных инструкций играют ограниченную роль в тренировке переноса навыков. Оказалось затруднительно эффективно стимулировать обучающий потенциал студентов в многомерном языковом переносе.
Средние индексы письменного переноса в экспериментальной группе по параметрам синтаксического, структурного и культурного переноса до начала эксперимента составляли 3,0, 2,9 и 2,8 соответственно; после эксперимента эти показатели увеличились до 4,3, 4,1 и 4,5, при этом прирост составил 1,3, 1,2 и 1,7 соответственно, что свидетельствует о положительном эффекте применения данного метода обучения на разных уровнях переноса. Показатели контрольной группы до эксперимента составляли 3,0, 3,0 и 2,9. После эксперимента значения увеличились до 3,4, 3,3 и 3,2 соответственно, что существенно ниже показателей экспериментальной группы. Особого внимания заслуживает параметр культурного переноса, по которому в экспериментальной группе наблюдалось наиболее значительное улучшение: показатель вырос с 2,8 до 4,5 (прирост на 1,7 балла), что значительно превышает прирост в 0,3 балла в контрольной группе. Этот результат говорит о том, что предложенный метод обучения играет важную роль в том, чтобы помочь студентам выявлять и адаптироваться к нормам культурного выражения английского языка. Это отразилось не только в корректировке языковых форм, но и в повышении кросс-культурной прагматической осведомленности студентов и глубины их понимания привычек культурного выражения в целевом языке. Языковой перенос проявлялся прежде всего в синтаксической сложности, адаптации стиля языка и других аспектах. В исследовании использовались технологии автоматической обработки естественного языка (NLP) для углубленного анализа письменных текстов студентов, извлечения ключевых языковых признаков и сопоставления с оценками преподавателей для систематической оценки изменений в способности студентов к языковому переносу на протяжении трех раундов заданий.
Синтаксическая сложность и лингвистический стиль
С точки зрения синтаксической сложности, в исследовании фиксировались средняя длина предложения и количество уровней вложенности придаточных предложений в текстах, написанных студентами после выполнения заданного письменного задания в каждом раунде. Эти два показателя широко используются для измерения сложности языкового выражения. Они эффективно отражают уровень развития студентов в плане разнообразия предложений и способности к структурной организации, как показано на рисунке 4.
В ходе лонгитюдного анализа эволюции синтаксического усложнения в экспериментальной группе наблюдалась отчетливая тенденция к росту на протяжении трех раундов заданий, что отражает эффективность трансферного обучения в развитии способности учащихся структурировать свою речь. С точки зрения средней длины предложения, в экспериментальной группе этот показатель увеличился с 12,5 слов в Задании 1 до 16,1 слов в Задании 3, что составило прирост в 3,6 слова; это значение существенно выше прироста в контрольной группе, который за тот же период составил всего 0,9 слова (с 12,4 до 13,3). Аналогично, в аспекте структурной сложности, измеряемой количеством уровней вложенности придаточных предложений, показатели экспериментальной группы выросли с 1,8 до 2,7 уровней, в то время как в контрольной группе наблюдался относительно медленный рост — с 1,7 до 1,9 уровней. Чтобы дополнительно проверить, является ли разница в синтаксической сложности между двумя группами студентов статистически значимой, в исследовании применялись t-критерии для независимых выборок с целью анализа средней длины предложения и количества уровней вложенности придаточных предложений на трех этапах выполнения заданий. Результаты показали наличие значимой разницы между экспериментальной и контрольной группами по средней длине предложения: t(58) = 4.23, p < 0.01, Cohen’s d = 0.98; также была выявлена значимая разница в количестве уровней вложенности придаточных предложений: t(58) = 3.15, p = 0.02, Cohen’s d = 0.78. Данное сравнение показало, что систематическое трансферное обучение не только улучшило способность студентов строить сложные предложения, но и укрепило их навыки владения стратегиями грамматической организации. В частности, на третьем этапе выполнения заданий студенты экспериментальной группы продемонстрировали большую гибкость в использовании многоуровневых придаточных и сложных синтаксических структур. Это отразило заметный переход их языкового трансфера с «функционального» уровня на более «стратегический». Ориентированный на трансфер путь обучения способствовал постоянному совершенствованию навыков синтаксического переноса, эффективно преодолевая ограничения, связанные с написанием простых предложений и фиксированными шаблонами выражения, которые часто встречаются при традиционном обучении. В части адаптации языкового стиля в исследовании были проанализированы тексты учащихся до и после эксперимента. С помощью модели NLP были определены доля формальной лексики и частота использования пассивного залога в качестве основных показателей для оценки соответствия академическому стилю языка. Эти показатели отражали, обладают ли студенты языковой осознанностью и способностью к выражению, необходимыми для адаптации к целевому стилю в английском письме. Соответствующие результаты представлены на Рисунке 5.
Рисунок 5 демонстрирует изменения в соответствии академическому стилю в экспериментальной и контрольной группах до и после выполнения задания, с основным акцентом на двух ключевых показателях: доле формальной лексики и частоте использования пассивного залога. В целом, после прохождения трансферного обучения на базе модели DeepSeek способность экспериментальной группы к адаптации академического стиля значительно улучшилась, что подтверждает эффективность данного метода обучения в формировании у студентов осознания языковых норм и умения адаптироваться к академическому стилю. Что касается доли формальной лексики, в экспериментальной группе этот показатель увеличился с 0,42 до выполнения задания до 0,56 после него, что является достаточно значительным ростом. Напротив, в контрольной группе наблюдался лишь незначительный рост — с 0,43 до 0,48, что свидетельствует об ограниченном улучшении. Этот результат показал, что после систематического руководства с помощью промптов и получения обратной связи от модели студенты экспериментальной группы стали чаще использовать формальную лексику, соответствующую требованиям академического стиля в процессе письма, и их языковой стиль постепенно приблизился к стандартам английского академического письма. С точки зрения частоты использования пассивного залога, в экспериментальной группе произошел значительный рост с 0,18 до выполнения задания до 0,27 после него, что составляет увеличение на 0,09; в то же время в контрольной группе рост составил всего 0,02.
Для дальнейшей проверки статистической значимости вышеуказанных изменений в исследовании был проведен t-критерий для независимых выборок по данным до и после выполнения задания. Результаты показали, что в экспериментальной группе наблюдалось значимое увеличение доли формальной лексики, t(58) = 3.89, p < 0.01, d Коэна = 0.92; увеличение частоты использования пассивного залога также было значимым, t(58) = 4.56, p < 0.01, d Коэна = 1.05. Это свидетельствует о том, что студенты экспериментальной группы достигли существенного прогресса в адаптации стиля языка, и этот прогресс не был случайным, а стал результатом комбинированного воздействия систематического руководства с помощью подсказок и обратной связи по модели.
Статистическая проверка
Кроме того, для дальнейшей проверки надежности контента, созданного ИИ, в преподавательской практике в исследовании сравнивались средние баллы контента, созданного ИИ, и контента, созданного преподавателем, при различных типах промптов. Согласованность между ними оценивалась путем расчета коэффициента корреляции Пирсона. Соответствующие результаты сравнения представлены в таблице 4. В таблице 4 показана согласованность контента, созданного ИИ, и оценок преподавателей для пяти типов промптов, ориентированных на перенос навыков. С точки зрения среднего балла, оценка ИИ в целом была немного ниже оценки преподавателя. Тем не менее, в большинстве типов заданий разрыв находился в разумных пределах, что указывает на высокую стабильность и справочную ценность модели DeepSeek при оценке задач на перенос навыков письма. При использовании промпта на синтаксический перенос средний балл преподавателя составил 4,1, а балл ИИ — 4,0, при этом разница между ними составила всего 0,1. В промптах на структурный и логический перенос балл ИИ был всего на 0,1 ниже балла преподавателя, что свидетельствует о способности модели лучше имитировать критерии оценки преподавателя в этих задачах, характеризующихся высокой степенью структурированности языка и четкими правилами. Напротив, отклонения в оценках при промптах на культурный и регистровый перенос более заметны: баллы ИИ составили 3,6 и 3,7 соответственно, что на 0,2 ниже баллов преподавателей; это отражает тот факт, что ИИ все еще имеет определенные ограничения при работе с задачами, обладающими высокой степенью субъективности, такими как семантические подтексты и культурная прагматика. Межэкспертная надежность оценивалась с помощью ICC (n = 5 экспертов). Общий показатель ICC для ручной оценки составил 0,86, а показатели ICC для каждого измерения варьировались от 0,82 до 0,89, что указывает на удовлетворительное согласие между экспертами.
Дальнейший анализ коэффициента корреляции Пирсона показал, что согласованность оценок при использовании различных промптов находилась на высоком уровне; это свидетельствует о том, что оценка ИИ не только была близка к суждению преподавателя по значению, но и демонстрировала хорошую линейную зависимость в тенденциях оценивания. Среди них коэффициент согласованности для промпта на синтаксический перенос был самым высоким и составил 0.87, а для промптов на структурный и логический перенос он составил 0.83 и 0.85 соответственно, что указывает на высокую степень соответствия результатов оценки ИИ с суждениями преподавателя в отношении синтаксической сложности, организации абзацев и логической связности. Вероятно, это объясняется тем, что данные задачи имеют четкие цели и количественно определяемые языковые признаки, что способствовало более точному распознаванию и стабильному суждению модели. Коэффициент корреляции для промпта на доменный перенос составил 0.81. Несмотря на небольшое снижение, он все еще демонстрировал высокую оценочную способность, указывая на то, что ИИ обладает определенной степенью суждения на уровне стилистической адаптации. Однако коэффициент согласованности для промпта на культурный перенос составил всего 0.79, что ниже, чем для других типов, но все еще находится в пределах допустимого диапазона.
Для изучения применимости различных типов промптов в преподавательской практике и степени их принятия учителями был разработан опросник удовлетворенности ответами на промпты. Пятерым учителям английского языка (обозначенным как T1–T5) было предложено оценить варианты генерации для пяти типов промптов по пятибалльной шкале (от «очень недоволен» до «очень доволен»), как показано на Рисунке 6: оценки пяти учителей по пяти типам промптов несколько различаются, но в целом уровень признания был высоким. Среди них промпты для «синтаксического переноса» и «культурного переноса» получили самые высокие баллы со средним значением 4,0, что отражает их высокую практичность и адаптивность в преподавании. Напротив, промпты для «переноса регистра» получили относительно низкие оценки, в среднем лишь 2,4, при этом некоторые учителя, такие как T4 и T5, поставили самые низкие баллы, что указывает на необходимость дальнейшего совершенствования их руководящей функции и адаптивности при применении в преподавании.
На индивидуальном уровне наблюдались явные различия в тенденциях оценивания учителей. Общий балл T1 был положительным, что указывает на высокую степень принятия письма с помощью ИИ, в то время как баллы T5 были низкими по нескольким параметрам промптов, особенно в категориях «перенос регистра» и «перенос логики». Это различие может быть связано с педагогическим опытом учителей, языковыми предпочтениями или степенью знакомства с инструментами ИИ, что говорит о необходимости разработки механизмов персонализированной адаптации в будущих промптах для повышения принятия технологий различными группами педагогов. Чтобы дополнительно проверить фактический эффект обучения с помощью ИИ на улучшение качества письменных работ учащихся, в исследовании сравнивались изменения общих баллов экспериментальной и контрольной групп, оцененные учителями до и после эксперимента. Результаты сравнения представлены на рисунке 7.
Как показано на рисунке 7, общие баллы экспериментальной и контрольной групп, выставленные учителями до и после эксперимента, продемонстрировали значительные различия. В целом, после применения методики оптимизации обучения на основе модели DeepSeek общие баллы экспериментальной группы показали выраженную тенденцию к росту. Напротив, изменение баллов в контрольной группе было относительно незначительным. Средний балл экспериментальной группы по оценке учителей до начала эксперимента составлял 59,1 балла, а после эксперимента средний балл значительно вырос до 74,4 баллов, что соответствует увеличению на 15,3 балла. Это свидетельствует о положительном влиянии обучения с помощью ИИ на качество письменных работ учащихся. На диаграмме размаха (боксплоте) видно, что диапазон распределения баллов экспериментальной группы также расширился. В частности, «ящик» баллов после эксперимента находится значительно выше, чем до него, а верхний максимум и нижний минимум увеличились, что указывает на существенное повышение общего уровня учащихся. В отличие от них, изменения баллов в контрольной группе были относительно ограниченными. До эксперимента средний балл контрольной группы составлял 60,1 балла, а после эксперимента — 64,9 балла, что представляет собой прирост в 4,8 балла. Этот прирост был намного ниже, чем в экспериментальной группе, а «ящик» баллов контрольной группы практически не изменился до и после эксперимента; это указывает на то, что традиционные методы обучения или неоптимизированные инструменты с поддержкой ИИ имеют ограниченный эффект в улучшении качества письма.
Кроме того, в данном исследовании использовалась таблица когнитивного переноса, чтобы помочь студентам пройти три раунда самооценки развития их способностей в области структурной корректировки, трансформации предложений и культурного выражения, помимо других областей, для отражения динамики развития метакогнитивной осведомленности студентов и их владения стратегиями переноса. Результаты представлены на Рисунке 8. Согласно данным лепестковой диаграммы самооценки студентов в области способностей к переносу, показанным на Рисунке 8, показатели самооценки студентов по пяти измерениям — структурный перенос, синтаксический перенос, культурный перенос, перенос регистра и логический перенос — в течение трех раундов заданий демонстрировали тенденцию к непрерывному росту. Это указывает на то, что в результате применения оптимизированного обучения на основе модели DeepSeek способность студентов использовать стратегии переноса значительно улучшилась. В первом раунде заданий баллы самооценки студентов в целом были низкими. Среди пяти измерений «структурный перенос» и «логический перенос» получили 3,2 и 3,0 балла соответственно, в то время как «культурный перенос» и «перенос регистра» — 2,5 и 2,7, что свидетельствует о том, что студенты еще недостаточно умели выявлять и использовать стратегии переноса. Ко второму раунду заданий баллы по каждому пункту улучшились: «структурный перенос» вырос до 3,8, «синтаксический перенос» — до 3,5, а «логический перенос» — до 3,7. Это показало, что при руководстве преподавателей и поддержке обратной связи от модели студенты постепенно освоили ключевые моменты базовых операций переноса и начали применять их в реальном письме. В третьем раунде заданий баллы самооценки студентов значительно выросли: «структурный перенос» и «логический перенос» достигли 4,5 и 4,3 соответственно, а показатели по остальным измерениям также стабилизировались выше 4,0 баллов, что демонстрирует устойчивый эффект многократных раундов обучения переносу в улучшении контроля языковой формы и способности студентов к построению текста. На этом этапе у студентов сформировался базовый когнитивный замкнутый цикл между пониманием, исполнением и рефлексией стратегий переноса. Помимо обратной связи от преподавателей, в рамках исследования всем студентам экспериментальной группы был разослан опросник удовлетворенности функцией письма с помощью ИИ, в результате чего было собрано 30 заполненных анкет. В опроснике оценивалась работа ИИ в трех функциональных модулях: предложения по перефразированию, структурная оптимизация и культурные подсказки; студентам предлагалось выбрать варианты ответов в соответствии с пятибалльной шкалой. Результаты представлены в Таблице 5.
Согласно результатам опроса об удовлетворенности студентов функциями письма с помощью ИИ, представленным в Table 5, студенты экспериментальной группы в целом дали положительные отзывы о работе ИИ в трех функциональных модулях: предложения по перефразированию, оптимизация структуры и культурные подсказки, что демонстрирует хорошие перспективы применения систем письма с поддержкой ИИ для повышения эффективности обучения письму и качества педагогической поддержки. В целом, более 90% студентов выразили «высокую степень удовлетворенности» или «удовлетворенность» двумя функциональными пунктами — «предложения по перефразированию» и «оптимизация структуры», при этом наивысший уровень удовлетворенности был отмечен для «предложений по перефразированию» (91%), что указывает на высокую степень признания студентами способностей ИИ в области синтаксической реконструкции и стилистической правки языка. Для сравнения, удовлетворенность функцией «культурные подсказки» была относительно ниже. Тем не менее она достигла 83%, что свидетельствует о том, что, несмотря на определенную сложность и субъективность ИИ при руководстве межкультурным выражением, его роль в оказании помощи студентам в выявлении и корректировке влияния культурных особенностей родного языка была признана большинством опрошенных. Что касается неудовлетворенности, доля студентов, выбравших варианты «не удовлетворен» или «совсем не удовлетворен» по трем функциям, составила менее 5%, что указывает на хорошую юзабилити и приемлемость функций с поддержкой ИИ в большинстве сценариев применения. Стоит отметить, что доля студентов, оценивших пункт «культурные подсказки» как «средний», была относительно высокой; это позволяет предположить, что текущий ИИ может не полностью отвечать ожиданиям студентов при решении вопросов культурной адаптации, и здесь все еще остается пространство для совершенствования. Комплексный анализ показывает, что метод оптимизации инструкций на базе DeepSeek получил широкое признание студентов, особенно в части поддержки языковой формы.
RM-ANOVA (дисперсионный анализ с повторными измерениями)
Для изучения влияния группы (межгрупповой фактор: экспериментальная группа против контрольной группы) и времени (внутригрупповой фактор: претест, Задание 1, Задание 2, Задание 3, посттест), а также их взаимодействия на результаты переноса навыков письма на английском языке у студентов был проведен двухфакторный дисперсионный анализ с повторными измерениями (RM-ANOVA). Тест Мокли показал нарушение допущения о сферичности (p < 0.05), поэтому для корректировки степеней свободы для внутригрупповых эффектов была применена поправка Гринхауза–Гайссера. Все анализы были проведены на выборке n = 30 участников в каждой группе. Результаты представлены в Таблице 6:
Результаты дисперсионного анализа с повторными измерениями (ANOVA) с поправкой Гринхауза–Гейссера показали значимые основные эффекты Группы, Времени и взаимодействия Группа × Время по всем измеряемым параметрам (p < 0.01). Для общего индекса переноса (Overall Transfer Index) наблюдался значимый эффект Группы (F(1,58) = 76.32), наряду со значимым эффектом Времени (F(2.14,124.12) = 92.75) и значимым взаимодействием Группа × Время (F(2.14,124.12) = 68.49), что свидетельствует о том, что изменения общих показателей переноса с течением времени значительно различались между группами.
Аналогично, синтаксический перенос продемонстрировал значимые эффекты группы (F(1,58) = 52,18), времени (F(2.1,12.38) = 71,26) и взаимодействия группы и времени (F(2.11,12.38) = 45,73), что указывает на различные закономерности развития способности к синтаксическому переносу в разных группах и в разные моменты измерения. Для структурного переноса также были выявлены значимые эффекты группы (F(1,58)=48,65), времени (F(2.09,121.2) = 67,81) и их взаимодействия (F(2.09,121.22) = 41,36), что отражает стабильное улучшение с траекториями, зависящими от группы. Примечательно, что культурный перенос продемонстрировал наиболее сильные эффекты: значимый эффект группы (F(1,58) = 81,44), выраженный эффект времени (F(2.07,19.96) = 98,52) и устойчивое взаимодействие группы и времени (F(2.07,19.96) = 79,27), что свидетельствует о наиболее существенном и дифференцированном паттерне роста в этом измерении. В целом, все показатели демонстрируют статистически значимые эффекты, подтверждая, что вмешательство оказало стабильное и дифференцированное воздействие на развитие переноса с течением времени.
ДОСТУПНОСТЬ ДАННЫХ:
Все данные, полученные или проанализированные в ходе данного исследования, представлены в этой статье. Исходные данные оценки приведены в Дополнительной таблице 1.

Рисунок 1Этапы преобразования структуры предложения. (A) Стратегии объединения и усиления глаголов для улучшения структуры предложения.B) Альтернативные трансформации подлежащего, включая герундий, инфинитив и номинализированные подлежащие. (C) Использование неопределенных оборотов для повышения разнообразия и лаконичности предложений. (DПримеры окончательных доработанных версий, демонстрирующих улучшенный академический стиль и кросскультурное англоязычное выражение. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 2Диаграмма дерева эволюции задач. В данной работе представлена прогрессивная структура четырехуровневых заданий на перенос, охватывающая уровни предложения, абзаца, дискурса и культуры. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 3Сравнение способности к переносу навыков письма до и после эксперимента. На лепестковой диаграмме представлены результаты предварительного и последующего тестирования экспериментальной и контрольной групп в синтаксическом, структурном и культурном аспектах переноса. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 4График тренда синтаксической сложности. Представлены изменения средней длины предложения и уровней вложенности придаточных предложений в трех тренировочных заданиях. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 5Сопоставление академической терминологии. На этом рисунке показаны изменения в доле официально-деловой лексики и частоте использования пассивного залога до и после вмешательства. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 6Тепловая карта удовлетворенности ответами на промпты. Здесь представлены обобщенные данные о рейтингах пяти типов шаблонов промптов, предоставленные участвующими преподавателями. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 7Диаграмма размаха изменений оценок преподавателей. Диаграмма размаха демонстрирует распределение и общие изменения баллов за письменные работы, выставленных преподавателями для двух групп до и после эксперимента. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 8Лепестковая диаграмма самооценки студентами способности к переносу знаний. На графике представлены результаты самооценки студентов по пяти измерениям переноса знаний в трех раундах обучения. Пожалуйста, нажмите здесь, чтобы просмотреть этот рисунок в более крупном масштабе.
| Пожалуйста, предоставьте исходный текст для перевода. | Действия преподавателя | Тип подсказки | Действия студента | Результат | Критерии оценки |
| Оригинальные черновики работ студентов (предложения/абзацы/эссе) | 1. Определите типы переноса меток и уровни задач
2. При необходимости скорректируйте параметры промпта | Одиночный промпт для переноса / Трехэтапная цепочка вложенных промптов | 1. Изучите стратегии переноса навыков 2. Доработайте черновики с учетом отзывов ИИ 3. Пройдите самооценку | Текст, пересмотренный ИИ + финальный вариант черновика, пересмотренный студентом | Синтаксическая сложность, структурная рациональность, культурная адекватность, логическая связность, стандартизация регистра (шкала 0–5) |
Таблица 1: Сводная таблица рабочего процесса. В этой таблице обобщен полный операционный рабочий процесс обучения переводу англоязычного письма с помощью ИИ, включая исходные материалы, действия преподавателя и студента, типы промптов, конечные результаты и соответствующие критерии оценки.
| Категория проекта | Содержание |
| Понимание целей миссии | Пожалуйста, кратко опишите цели миграции данного цикла задач по написанию текста, такие как структурная корректировка, культурная адаптация и язывое преобразование. |
| Используемая стратегия миграции | Пожалуйста, укажите использованные вами стратегии миграции (допускается несколько вариантов ответа): |
| Структурная корректировка |
| Трансформация предложений |
| Переключение языка |
| Культурное проявление |
| Укрепление логической связи |
| Другое: _______ |
| Перепишите примеры и инструкции | Выберите 1–2 пересмотренных предложения, представьте варианты до и после правки, а также объясните причины изменений и поставленные цели по адаптации текста. |
| Возникшие трудности и сомнения | Опишите любые трудности, с которыми вы столкнулись в процессе миграции, или вопросы, возникшие у вас относительно конкретных выражений. |
Балл самооценки
(из 5 баллов) | Пожалуйста, оцените переработку вашего текста по следующим трем аспектам: |
| • Точность применения стратегии (/5) |
| • Естественность выражения (/5) |
| • Культурное соответствие (/5) |
| Цели по совершенствованию навыков письма в будущем | Кратко опишите аспекты переносимости (трансферабельности), которые вы хотели бы усилить или оптимизировать в следующем раунде обучения |
Таблица 2: Таблица переноса когнитивных навыков. Для самооценки студентами стратегий переноса навыков письма используется шкала от 1 до 5 (1 = отсутствие владения, 5 = полное владение).
| Название показателя | Описание | Источник данных |
| Индекс переноса навыков письма (0–5) | Количественный показатель, комплексно измеряющий способность к языковому переносу, охватывающий три уровня: синтаксис, структуру и культуру. | Автоматическая оценка системой + ручная оценка преподавателей |
| Показатель синтаксической сложности | Включает среднюю длину предложения, количество вложенных придаточных предложений, богатство глагольных фраз и т. д. | Автоматический анализ NLP |
| Соответствие академическому стилю | Соответствует ли текст стандартам английского академического письма? | Оценка модели обработки естественного языка |
| Удовлетворенность ответом на промпт | Принятие и практическая оценка преподавателями предложений, сгенерированных моделью | Анкетирование преподавателей |
| Изменение оценок при проверке преподавателем | Сравнение оценок преподавателей до и после эксперимента для отражения улучшения качества письма | Записи об оценках преподавателей |
| Самооценка студентов по способности к переносу | Студенты самостоятельно оценивают степень своего владения различными аспектами переноса | Заполнение формы осознания переноса навыков |
Таблица 3: Сводка показателей оценки, их описаний и источников данных. В этой таблице разъясняются определения, методы измерения и первоначальные источники данных для каждого основного показателя оценки в данном исследовании.
| Тип подсказки | Средний рейтинг преподавателей | Средний балл ИИ | Коэффициент корреляции Пирсона |
| Структурный перенос | 4 | 3.9 | 0.83 |
| Синтаксический перенос | 4.1 | 4 | 0.87 |
| Культурный перенос | 3.8 | 3.6 | 0.79 |
| Перенос регистров | 3.9 | 3.7 | 0.81 |
| Логический перенос | 4.2 | 4.1 | 0.85 |
Таблица 4: Сравнение согласованности между контентом, созданным ИИ, и оценками преподавателей. Результаты демонстрируют согласованность между контентом, созданным ИИ, и оценками преподавателей для различных типов промптов.
| Функциональные элементы | Полностью удовлетворен | Удовлетворен | В целом | Неудовлетворенность | Крайне неудовлетворен |
| Предложение по переработке | 66% | 25% | 7% | 1.50% | 0.50% |
| Структурная оптимизация | 60% | 30% | 7% | 2% | 1% |
| Культуральные рекомендации | 55% | 28% | 12% | 3.50% | 1.50% |
Таблица 5: Статистика опроса об удовлетворенности студентов функциями с поддержкой ИИ. Статистические данные демонстрируют распределение степени удовлетворенности студентов функциями перефразирования с помощью ИИ, структурной оптимизации и культурного промптинга.
| Измерить | Группа F(df) | Время F(df)Г | Группа × Время F(df)Г | p |
| Общий индекс переноса | 76.32 (1, 58) | 92.75 (2.14, 124.12) | 68.49 (2.14, 124.12) | <0.001 |
| Синтаксический перенос | 52.18 (1, 58) | 71.26 (2.11, 122.38) | 45.73 (2.11, 122.38) | <0.001 |
| Структурный перенос | 48.65 (1, 58) | 67.81 (2.09, 121.22) | 41.36 (2.09, 121.22) | <0.001 |
| Культурный перенос | 81.44 (1, 58) | 98.52 (2.07, 119.96) | 79.27 (2.07, 119.96) | <0.001 |
Таблица 6: Сводка результатов ANOVA с повторными измерениями. В ней представлены результаты двухфакторного ANOVA с повторными измерениями для общего показателя переноса навыков письма и трех его подизмерений, включая основные эффекты группы, времени и взаимодействие группы и времени. Сокращения: GG = поправка Гринхауза–Гайссера.
Дополнительная таблица 1: Оценка исходных данных. Включает исходные данные, использованные во всех анализах в данном исследовании.Пожалуйста, нажмите здесь, чтобы скачать этот файл.