$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Это исследование проводилось в Школе гуманитарных и гуманитарных наук Университета гражданской авиации Китая с использованием де-идентификационных образовательных данных, собранных в учебной среде. В аналитический набор данных не была включена напрямую идентифицируемая личная информация. Все участники были проинформированы о цели и процедурах исследования, а также получено письменное информированное согласие перед началом участия. Участие было добровольным, и отсутствие участия или выход из исследовательской части не влияли на посещаемость курсов, оценки или доступ к регулярному обучению. В соответствии с применимой исследовательской практикой Университета гражданской авиации Китая, исследования, основанные на деидентифицированных образовательных данных с минимальным риском, могут не требовать формального этического обзора. Все де-идентификационные материалы хранились в защищённых паролем файлах, доступных только исследовательской группе. Этика и поток участников показаны на рисунке 1.
1. Набор участников и базовое профилирование
Всего было принято 525 студентов из университетских курсов, связанных с английским или переводом. Были включены студенты бакалавриата и магистратуры по таким направлениям, как лингвистика, литература и международные исследования. Все волонтёры прошли отбор перед регистрацией. Включены только студенты, которые в настоящее время проходили курс английского или перевода и имели как минимум средний уровень владения английским на основе институциональных записей о трудоустройстве, предыдущих курсовых работ или аналогичных академических данных. Студенты с значительным профессиональным опытом перевода были исключены. Были зафиксированы возраст, пол, академический уровень, область обучения, предыдущий опыт работы с поддержкой перевода с помощью ИИ и базовая частота использования инструмента. Характеристики участников были представлены в Таблице 1.
2. Рабочий процесс по проектированию и вмешательству в учебном процессе
Была реализована восьминедельная программа в классе, в рамках которой традиционное обучение переводу оставалось основным способом обучения, а поддержка перевода с помощью ИИ использовалась как структурированный дополнительный инструмент11. В нулевой неделе была завершена базовая оценка. С первой по восьмую неделю каждую неделю назначалась одна задача перевода, и все участники должны были следовать одной и той же последовательности инструкций. В конце 8-й недели повторили использование базовой батареи оценки. После количественного этапа проводились полуструктурированные интервью с целенаправленно выбранной подгруппой. Общий рабочий процесс показан на рисунке 2.
3. Базовая оценка
Все исходные меры проводились в классной комнате под присмотром при одинаковых инструкциях и условиях по времени. Использовалась задача перевода, основанная на исходном тексте примерно 300 слов. Был выбран отрывок, содержащий как буквальные, так и культурно нюансированные фрагменты, чтобы студенты должны были продемонстрировать лексическую точность, синтаксический контроль, семантическую точность и контекстуальноепонимание 12. Использование внешних инструментов было запрещено во время базового тестирования. Все завершённые сценарии анонимизировались перед написанием музыки. Каждый сценарий оценивался независимо двумя обученными оценщиками с использованием рубрики, охватывающей лексическую точность, грамматическую и синтаксическую уместность, семантическую полноту и культурную контекстуализацию. Если расхождения в баллах превышали заранее заданный диапазон допуска, обсуждение требовалось до достижения консенсусного результата.
После задачи перевода была проведена 10-пунктная шкала воспринимаемого стресса, которая оценивалась согласно стандартной процедуре, при этом более высокие баллы указывали на более высокий воспринимаемыйстресс 13. Затем была введена 7-пунктная шкала генерализованного тревожного расстройства с использованием опубликованного метода, при этом более высокие баллы указывали на более высокую степень тревожногорасстройства 14. Наконец, была проведена короткая проверка доверия перевода с использованием пятибалльного формата Ликерта. В Таблице 2 приведены репрезентативные элементы, диапазоны баллов и определения переменных.
4. Стандартизированная еженедельная интеграция поддержки перевода с помощью ИИ
В течение каждой недели интервенции назначалась одна задача перевода, максимально соответствующая жанру и сложности другим еженедельным заданиям. Студенты должны были выполнять задание в одном и том же порядке каждую неделю. Сначала исходный текст читался отдельно, отмечались сложные лексические элементы, синтаксические структуры или культурно нагруженные выражения. Во-вторых, был подготовлен первоначальный черновик или краткая заметка с описанием ожидаемых задач перевода. В-третьих, консультации с утверждёнными системами перевода с помощью ИИ допускались только при разработке и редактировании. Прямая подача неотредактированного машинного результата не допускалась.
Студенты должны были еженедельно оценивать все оставленные или отклонённые машинные предложения, используя одни и те же четыре критерия: лексическое соответствие, синтаксическая естественность, связность дискурса и культурная уместность. Для каждой еженедельной задачи требовалась подача отмеченного исходного текста, машинного варианта и окончательного пересмотренного перевода. После подачи материала организовывалась структурированная дискуссия с использованием одних и тех же подсказок каждую неделю, чтобы студенты объясняли, где автоматический вывод был полезен, вводящ в заблуждение, слишком буквален или неуместен в контексте. Этот дизайн основывался на современных данных, показывающих, что машинный перевод наиболее полезен с образовательной точки зрения, когда интегрирован в управляемые сравнения и пересмотр, а не используется как замена человеческомусуждению 15.
5. Мониторинг и классификация использования инструментов
Использование инструментов с помощью ИИ отслеживалось на протяжении восьминедельного вмешательства. После каждого еженедельного задания участники должны были заполнить краткий онлайн-журнал использования, в котором сообщалось, использовалась ли автоматизированная поддержка, какую функцию она выполняет, как часто к ней обращаются и на каком этапе входит процесс перевода. Стандартизированные категории ответов были предоставлены на первой неделе, чтобы участники использовали одни и те же критерии отчетности на протяжении всего исследования. В конце 8-й недели еженедельные записи были агрегированы, и общая частота использования классифицировалась как ежедневное, еженедельное или редкое использование. Операционные определения этих категорий показаны на рисунке 3.
6. Оценка после вмешательства
В конце 8-й недели повторилась та же батарея оценки, что и на исходном уровне. Использовался текст перевода после вмешательства, максимально соответствующий базовому тексту по длине, жанру и сложности. Условия администрирования, сроки, критерии оценки и рабочий процесс оценщика сохранились в соответствии с базовыми процедурами. Та же шкала воспринимаемого стресса, та же шкала генерализованного тревожного расстройства и та же мера доверия перевода применялись в том же порядке, что и на исходном уровне.
7. Качественные процедуры интервью и тематический анализ
После оценки после вмешательства 40 студентов были целенаправленно отобраны для полуструктурированных интервью, обеспечивая различия по гендеру, академическому уровню и опыту поддержки перевода с помощью ИИ. Интервью проводились лично или по утверждённому формату онлайн-встречи с использованием одного и того же руководства для всех участников. Задавали вопросы о стратегиях использования инструментов, воспринимаемой когнитивной нагрузке, изменениях в уверенности, оценке машинной мощности и опасений по поводу чрезмерной зависимости. Все интервью были аудиозаписаны с согласия участников и расшифрованы дословно.
Транскрипты анализировались с помощью тематического анализа. Двух исследователей попросили независимо прочитать все расшифровки, сгенерировать начальные коды, сравнить результаты кодирования, объединить перекрывающиеся коды и уточнить кандидатурные темы через повторный просмотр транскриптов. После начального этапа кодирования было рассчитано соглашение между оценщиками, и была отчинена каппа Коэна. Аналитическая логика следовала установленным процедурам тематического анализа в качественныхисследованиях 16.
8. Количественный и смешанный анализ
Описательная статистика использовалась для обобщения характеристик участников и базовых оценок. Сравнения парных выборок использовались для проверки различий в точности перевода, воспринимаемом стрессе, тревоге и уверенности до публикации. Для выявления предикторов точности трансляции после вмешательства использовались несколько регрессионных моделей, при этом исходная производительность, частота использования инструментов с помощью ИИ и психологические переменные были введены как независимые переменные. Тесты хи-квадрата использовались для изучения связей между категориями использования и категорическими результатами, а коэффициенты корреляции Пирсона — для оценки направления и силы ассоциаций между точностью перевода, частотой использования, воспринимаемым стрессом, тревогой и уверенностью. Статистическая значимость была установлена на уровне альфа = 0,05 с помощью двухстороннего тестирования. Количественные и качественные результаты были интегрированы на этапе интерпретации согласно стандартным процедурам смешанныхметодов 17.