Для просмотра этого контента требуется подписка на JoVE. Войдите или начните свой бесплатный пробный период.

Методическая статья

Поведенческий протокол оценки когнитивных усилий и стратегического пересмотра при выполнении задач по англо-китайскому переводу и синхронному переводу с листа

77 просмотров

⸱

DOI:

10.3791/73502

⸱

8 сентября 2026 г.

В этой статье

Краткое содержание

В данном протоколе интегрируются мультимодальные записи поведения для оценки наблюдаемых коррелятов когнитивных усилий и функциональной эффективности редактирования при письменном переводе и синхронном переводе с листа с английского языка на китайский. Метод сочетает в себе регистрацию нажатий клавиш, захват экрана, аудиоанализ, кодирование на основе транскриптов и стандартизированную оценку качества.

Аннотация

В данной статье представлен мультимодальный поведенческий протокол для изучения наблюдаемых коррелятов когнитивных усилий и стратегического пересмотра при письменном переводе и переводе с листа с английского языка на китайский. Для письменного перевода синхронизируются журналы нажатий клавиш и записи экрана, в то время как для перевода с листа используются аудиозаписи и дословные транскрипты. Эпизоды пересмотра и самокоррекции кодируются по типу и функциональному результату (эффективный, нейтральный или отрицательный) независимо от целостных оценок качества конечного продукта. В демонстрационном исследовании с участием 62 человек, разделенных на группы новичков и подготовленных специалистов, обе группы выполняли два типа заданий в сбалансированном порядке. Подготовленные участники имели более высокие средние баллы качества перевода при письменном переводе (20.1 ± 2.1 против 16.8 ± 2.3) и переводе с листа (18.9 ± 2.4 против 15.4 ± 2.6), а также большую долю эффективных пересмотров или самокоррекций. Поскольку паузы, удаления, латентный период начала действия и плотность пересмотра являются косвенными и зависят от конкретной задачи, они интерпретируются как поведенческие корреляты, требующие триангуляции, а не как прямые показатели единого конструкта. Протокол предназначен для контролируемых экспозиционных текстов и может быть адаптирован для других языковых пар после перекалибровки обработки методов ввода, порогов пауз, сопоставимости текстов и процедур оценивания.

Введение

Письменный перевод и перевод с листа с английского на китайский языки требуют понимания исходного текста, кросс-лингвистического переноса и формулирования на языке перевода, однако эти виды деятельности предполагают разные условия выполнения задачи. Письменный перевод допускает рекурсивное чтение и отложенное редактирование, в то время как перевод с листа требует устного воспроизведения в условиях более жестких временных ограничений. Когнитивная нагрузка, сложность обработки и когнитивные усилия являются взаимосвязанными, но не взаимозаменяемыми конструктами: нагрузка относится к требованиям задачи, тогда как усилия касаются ресурсов, которые участник затрачивает для выполнения этих требований. Когнитивные усилия носят латентный и многомерный характер; следовательно, латентный период, паузы, пропуски и плотность ревизий рассматриваются здесь как поведенческие корреляты, которые могут отражать планирование, мониторинг, моторные процессы или затруднения, и должны интерпретироваться совместно, а не как прямые показатели усилий1,2,3,4,5,6,7,8.

Процессо-ориентированные исследования сочетают оценки качества конечного продукта с синхронизированными по времени записями поведения, чтобы определить, когда и как принимаются переводческие решения. Регистрация нажатий клавиш (кейлоггинг) дает важную информацию о последовательности создания и редактирования текста, однако особенности ввода китайских иероглифов могут приводить к разрыву между физическими нажатиями клавиш и итоговыми символами; поэтому для реконструкции видимого состояния текста требуется синхронизированная запись экрана9,10,11. Пороги пауз являются результатом аналитического выбора, а не универсальными когнитивными границами, и использование более коротких порогов может существенно изменить выводы, основанные на анализе пауз8,12. Следовательно, данный протокол требует проведения эксплицитных проверок синхронизации, анализа чувствительности к порогам и разграничения специфических для конкретной задачи показателей и общих мер.

Одна лишь частота исправлений не указывает на то, улучшает ли мониторинг результат. Письменные правки и устные самоисправления могут быть направлены на лексический выбор, синтаксис, смысл или стиль, однако их функциональный результат должен оцениваться в сопоставлении с исходным значением и непосредственно предшествующим сегментом перевода. Исследования синхронного перевода с листа при обработке пар английский-китайский и китайский-английский языки показывают, что подготовка, направление перевода, глазо-речевая координация и специфические для конкретного языка триггеры проблем могут изменять паттерны исполнения13,14,15,16. По этой причине тип эпизода, результат эпизода, качество конечного продукта и поведение, связанное с подачей речи, кодируются как отдельные переменные.

Данный протокол предназначен для взрослых учащихся или квалифицированных переводчиков/синхронных переводчиков, работающих с короткими неспециализированными экспозиционными текстами в контролируемых компьютерных сессиях. Он наиболее эффективен в случаях, когда при письменном воспроизведении возможно фиксировать нажатия клавиш и записи экрана, а при устном воспроизведении — записывать высококачественный аудиосигнал. Методологию можно адаптировать для других языковых пар, однако соответствие текстов, сегментация на информационные единицы, особенности поведения клавиатуры или метода ввода, пороги пауз и опорные точки оценки должны быть заново подтверждены для каждой языковой пары и системы письма17. В данной демонстрации сравниваются условия выполнения задания, а не только влияние модальности, поскольку длина текста, временные ограничения, режим вывода и возможности редактирования также различаются.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Протокол

Все методы, предполагающие участие людей, были выполнены в соответствии с институциональными рекомендациями и получили официальное одобрение Комитета по этике исследований с участием людей Института информационных технологий города Гуйлинь (номер одобрения UYHAJ2025899). До начала участия от всех добровольцев было получено письменное информированное согласие. Полный список оборудования и программного обеспечения, использованного в данном исследовании, приведен в Таблице материалов.

1. Набор участников и распределение по группам

  1. Наберите 62 участника, включая студентов специальностей «английский язык» или «перевод», а также стажеров-переводчиков-синхронистов. Убедитесь, что все участники являются носителями китайского языка и имеют нормальное или скорректированное до нормы зрение и слух.
  2. Распределите участников со стажем структурированного обучения переводу менее 12 месяцев в группу новичков, а участников со стажем 12 месяцев и более — в группу обученных специалистов. Отдельно укажите опыт письменного перевода и перевода с листа для всех участников.
  3. Проведите скрининг участников перед назначением заданий, чтобы исключить лиц, которые ранее сталкивались с исходными текстами, имеют нескорректированные нарушения сенсорного восприятия или не умеют пользоваться стандартизированным методом ввода китайских иероглифов.
  4. Исключайте задания после записи только по заранее определенным причинам, таким как использование запрещенных внешних инструментов, неполное выполнение, повреждение файлов или непригодность аудиозаписи.
  5. Ведите журнал исключения заданий без указания персональных данных. Приводите данные об окончательной анализируемой выборке согласованно в тексте и на Рисунке 1A–D.

2. Выбор материалов и предварительная оценка

  1. Выберите короткие английские экспликативные тексты из областей общей академической, образовательной, социальной или общественной коммуникации. Используйте тексты для письменного перевода объемом примерно 180–220 слов и тексты для синхронного перевода с листа объемом примерно 120–160 слов.
  2. Сопоставьте или статистически скорректируйте длину текста, лексическую сложность, синтаксическую сложность, плотность информации и степень знакомства с темой для всех условий задания.
  3. Поручите трем двуязычным экспертам независимо оценить лексическую сложность, синтаксическую сложность, плотность информации, степень знакомства с темой и пригодность для перевода по шкале от 1 до 5 баллов (1 = очень низкая, 5 = очень высокая).
  4. Рассчитайте двухфакторный коэффициент внутриклассовой корреляции (ICC) со случайными эффектами с 95% доверительным интервалом для усредненных оценок. Пересмотрите пункты, демонстрирующие низкое согласование (ICC < 0.75).
  5. Сохраняйте пары текстов только в том случае, если стандартизированные переменные сопоставления находятся в пределах допуска ±10%.
  6. Определите информационную единицу как наименьшее предложение исходного текста, которое выражает одну независимо оцениваемую идею, связь или событие. Разрешите разногласия по поводу границ единиц до начала выполнения задания.
  7. Проведите пилотное тестирование инструкций, метода ввода, синхронизации, качества звука и временных ограничений с участием лиц, не включенных в основной анализ. Зафиксируйте распределение времени выполнения и долю участников, достигших каждого временного лимита.
  8. Пересмотрите текст или временное ограничение, если результаты пилотных участников демонстрируют «эффект потолка» или «эффект пола», стойкую двусмысленность или нестабильность записи. Документируйте каждое изменение до запуска основного исследования.

3. Организация проведения задания и настройка записи

  1. Тестируйте участников индивидуально в тихом помещении с шумоподавлением, используя стандартизированные конфигурации аппаратного и программного обеспечения.
  2. Зачитайте стандартизированный сценарий инструкций и предоставьте один неэкспериментальный тренировочный пример. Запретите использование словарей, поисковых систем, генеративного искусственного интеллекта, машинного перевода и внешних корпусов текстов.
  3. Используйте контрбалансировку порядка выполнения двух заданий (сначала письменный перевод или сначала перевод с листа) внутри каждой тренировочной группы и соблюдайте 5-минутный интервал отдыха.
  4. Подготовьте список распределения до завершения набора участников и держите назначение в секрете до подтверждения соответствия критериям отбора. Если используются несколько исходных текстов, проведите контрбалансировку идентичности текстов независимо от порядка заданий и сохраните переменную ID текста для последующего анализа.
  5. Выведите английский исходный текст непрерывно и поручите участнику создать точный и естественный перевод на китайский язык в назначенном поле ввода. Разрешите неограниченное редактирование, но строго запретите вставку внешнего текста.
  6. Примените 20-минутный лимит времени, установленный в ходе пилотного исследования, не отображая при этом таймер обратного отсчета, и зафиксируйте факт достижения этого лимита.
  7. Непрерывно фиксируйте весь процесс письменного перевода, используя программное обеспечение для регистрации нажатий клавиш, синхронизированное с непрерывной записью экрана. Сохраните окончательные варианты перевода вместе с файлами логов с временными метками для последующего извлечения поведенческих данных.
  8. Выведите исходный текст для перевода с листа на экран и поручите участнику начать устный перевод на китайский язык без использования письменных заметок.
  9. Последовательно применяйте 6-минутный лимит времени и фиксируйте факт его достижения. Отличайте наблюдение, ограниченное по времени, от обычного завершенного наблюдения.
  10. Записывайте устную речь с помощью программного обеспечения для цифрового захвата звука. Создайте строгие дословные транскрипты этих записей для облегчения последующего кодирования.

4. Извлечение индикаторов поведенческих процессов

  1. Извлеките поведенческие корреляты письменного задания из лог-файлов, определив начальную латентность как интервал от начала предъявления стимула до ввода первого китайского иероглифа.
  2. Извлеките общее время выполнения задания, количество и продолжительность пауз, частоту удалений, плотность правок и скорость продукции. Сохраните исходные временные метки и точное значение знаменателя, использованного для каждого нормализованного показателя.
  3. Используйте 2 s в качестве операционного порога письменной паузы. Укажите, включены ли паузы при перемещении курсора, выделении текста или выборе кандидата в методе ввода.
  4. Извлеките поведенческие корреляты устного задания из осциллограммы и верифицированной транскрипции, определив латентность начала как интервал от предъявления стимула до первого значимого высказывания на целевом языке.
  5. Исключите вдох, прочистку горла и прерванные нелексические звуки из расчета латентности начала. Извлеките общее время перевода, молчаливые паузы, заполненные паузы, повторы, ложные старты, самокоррекции и темп речи.
  6. Определите устную молчаливую паузу как тишину внутри высказывания продолжительностью не менее 1.0 s. Сверьте границы пауз с осциллограммой и верифицированной транскрипцией; исключите начальную и конечную тишину из подсчета пауз внутри высказывания.
  7. Заполните запись контроля качества для каждого выполненного задания. Задокументируйте, является ли соответствующий файл процесса читаемым и полным, была ли верифицирована транскрипция и было ли завершено кодирование или проведено вынесение окончательного решения (адъюдикация). Сохраните исходную запись и фиксируйте все исправления в журнале аудита.

5. Кодирование стратегического пересмотра и устного самоисправления

  1. Реконструируйте каждую письменную правку, сопоставляя лог нажатий клавиш, запись экрана и окончательный текст.
  2. Рассматривайте эпизод как непрерывную последовательность действий по редактированию, направленных на один и тот же целевой сегмент; завершайте эпизод, если работа возобновляется в другом месте в течение как минимум 2 s или если редактируется другой сегмент.
    ПРИМЕЧАНИЕ: Для ввода на китайском языке отличайте изменения в процессе набора (до подтверждения ввода) от удалений целевого текста после подтверждения ввода; в качестве текстовых правок кодируйте только последние.
  3. Присвойте один основной тип правки на основе семантических, синтаксических, лексических или стилистических изменений. Допускается использование вторичного тега для перекрывающихся случаев, но для взаимно исключающего подсчета используйте основной тег. Применяйте примеры, приведенные в Supplementary File 1.
  4. Создайте дословную транскрипцию с временными метками перед кодированием устных самоисправлений. Поручите первому транскрибатору отмечать лексический контент, заполненные паузы, повторы, ложные старты, обрывы фраз и неразборчивые участки.
  5. Привлеките второго обученного рецензента для проверки транскрипции на соответствие аудиозаписи и устранения расхождений с сохранением исходных временных меток аудио.
  6. Определяйте устное самоисправление как явную переформулировку, которая заменяет, дополняет или исправляет непосредственно предшествующий сегмент на целевом языке. Не делайте выводов о скрытом мониторинге только на основании тишины. Применяйте те же правила принятия решений по лексическим, синтаксическим, семантическим и стилистическим аспектам к устным самоисправлениям.
  7. Кодируйте точный повтор без корректирующего изменения как дисфлюэнтность, незавершенный старт, за которым следует новая конструкция, — как ложный старт плюс исправление, а пропуск или ошибочный перевод без явной переформулировки — как ошибку вывода.
  8. Если аудиозапись нечеткая или если две категории остаются в равной степени правдоподобными, отметьте эпизод как неоднозначный. Сохраняйте предварительные теги для неоднозначных эпизодов и выносите окончательное решение по ним до проведения анализа надежности.
  9. Оценивайте функциональный результат, сравнивая целевые сегменты до и после эпизода с исходной информационной единицей и локальным контекстом целевого текста. Сделайте эту оценку до раскрытия окончального общего балла. Не используйте изменение общего балла в качестве определения эффективности.
  10. Проведите двойное кодирование как минимум 20% выходных данных, выбранных из обеих групп и порядков выполнения задач, и рассчитайте надежность на основе независимых кодов до вынесения окончательного решения.
  11. Проведите повторное обучение и перекодирование, если согласованность между экспертами упадет ниже значения каппы Коэна 0.80. Задокументируйте этот точный порог и любые предпринятые корректирующие действия.

6. Оценка качества и статистическое моделирование

  1. Оцените каждый окончательный письменный перевод и результат синхронного перевода по 25-балльной аналитической рубрике в Дополнительном файле 1.
  2. Оцените точность, полноту, лексическую уместность, связность и естественность на целевом языке по шкале от 0 до 5, используя установленные ориентиры. Не корректируйте критерии оценки после ознакомления с принадлежностью к группе.
  3. Инструктируйте оценивающих использовать как аудиозапись, так и проверенную транскрипцию для параметров синхронного перевода. Анализируйте показатели пауз и дисфлюэнтности отдельно от баллов по рубрике.
  4. Обучите двух независимых оценивающих, используя кодовую книгу и не менее 10 тренировочных примеров, обеспечив слепой метод в отношении группы участников и порядка выполнения заданий.
  5. После независимой оценки и кодирования эпизодов рассчитайте надежность до проведения обсуждения. Разрешайте разногласия путем консенсуса и привлекайте третьего оценивающего только в тех случаях, когда консенсус не может быть достигнут.
  6. Укажите двухфакторный коэффициент внутриклассовой корреляции с рандомными эффектами и абсолютным согласием для усредненных непрерывных показателей качества. Укажите каппа Коэна для основного категориального кода пересмотра и отдельный показатель каппа для кода исхода (эффективный/нейтральный/вредный). Укажите точное количество и процент эпизодов с двойным кодированием.
  7. Перед началом анализа убедитесь, что каждый файл процесса читаем и полон; сопоставьте логи письменных заданий с соответствующими записями экрана и сверьте транскрипции с аудиозаписями.
  8. Фиксируйте сбои сопоставления, проблемы с разборчивостью и корректирующие действия в журнале контроля качества. Нормализуйте показатели частоты, используя 100 информационных единиц исходного текста для частоты пауз и 100 созданных китайских иероглифов для плотности письменного пересмотра.
  9. Кодируйте функциональный исход независимо от итогового общего балла качества. Кодируйте эпизод как «эффективный», если сегмент после пересмотра улучшает текст, не внося новых проблем; как «нейтральный», если он не приводит к существенным изменениям; и как «вредный», если он вносит ошибку.
  10. Рассчитайте долю эффективности как отношение количества эффективных эпизодов к общему числу классифицируемых эпизодов, исключая неоднозначные эпизоды из знаменателя.
  11. Анализируйте демонстрацию как исследовательский набор данных с повторными измерениями. Определите модель с фиксированными эффектами для прогнозирования общего балла качества, используя условие задачи, группу обучения, показатели пауз, плотность пересмотра, долю эффективности, степень дисфлюэнтности и темп речи.
  12. Включите случайный перехват для участника (participant random intercept) и случайные эффекты исходного текста только в том случае, если дизайн содержит достаточное количество независимо отобранных текстов.
  13. Центрируйте непрерывные предикторы, проверьте остатки и коллинеарность. Укажите метод оценки, версию программного обеспечения, β, SE, 95% CI, точные значения p, компоненты дисперсии, AIC, BIC, а также предельный и условный R2. Опишите анализ как исследовательский и избегайте подтверждающих причинно-следственных утверждений.
  14. Экспортируйте воспроизводимый пакет анализа, содержащий деидентифицированные данные, словарь, кодовую книгу, рубрику, сведения о ПО, скрипты и результаты. Перед публикацией подтвердите, что каждое значение в рисунках и таблицах может быть прослежено до именованной переменной и этапа анализа.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Результаты

Исходные характеристики участников и доступность данных

В опроснике приняли участие 62 участника (31 новичок и 31 опытный специалист), а лист заданий содержал 124 записи, что соответствует двум заполненным записям о выполнении задания на каждого участника (Таблица 1). Группа новичков имела менее 12 месяцев структурированного обучения переводу (наблюдаемый максимум — 8,6 месяца), в то время как группа опытных специалистов имела стаж обучения не менее 12 месяцев...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Обсуждение

В данном исследовании представлен мультимодальный протокол измерения наблюдаемых показателей процесса и кодирования стратегического пересмотра при письменном переводе и экспромте с английского языка на китайский. Данный протокол не измеряет напрямую единую переменную когнитивных усилий. Вместо этого латентный период, паузы, удаления и паттерны пересмотра интерпретируются как чувствительные к задаче поведенческие корреляты, значение которых определяется путем триангуляции с синхронизированными записями и данными о качеств...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Раскрытие информации

Авторы заявляют об отсутствии коммерческого или финансового конфликта интересов. Что касается использования искусственного интеллекта, авторы сообщают, что OpenAI Codex использовался в процессе доработки исключительно для помощи в редактировании языка, проверки согласованности, подготовки исправлений в режиме правки и перестройки макетов рисунков на основе предоставленных авторами данных. Авторы тщательно проверили все результаты, полученные с помощью ИИ, и несут полную ответственность за точность, целостность и оригинальность окончательного текста рукописи. Структурированная рабочая тетрадь, лежащая в основе представленных резюме, находится в открытом доступе на Zenodo (https://doi.org/10.5281/zenodo.21189434). Дополнительный файл 1 содержит руководство по кодированию и закрепленную рубрику оценки качества.

Благодарности

Автор благодарит Гуйлиньский институт информационных технологий за лабораторную поддержку, экспертов-билингвов, оценивавших исходные тексты, независимых рецензентов и участников. Данное исследование не получило специального гранта от какого-либо финансирующего агентства в государственном, коммерческом или некоммерческом секторах.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
Программное обеспечение для акустического анализа (Praat)Paul Boersma and David Weeninkhttps://www.fon.hum.uva.nl/praat/
Настольный компьютерDellOptiPlex
Программное обеспечение для цифровой записи аудио (Audacity)Audacity Teamhttps://www.audacityteam.org/
Программное обеспечение для регистрации нажатий клавиш (Inputlog)University of Antwerphttps://www.inputlog.net/
Программное обеспечение для записи экрана (OBS Studio)OBS Projecthttps://democreator.wondershare.com/
Программное обеспечение для статистического анализа (SPSS)IBMVersion 27

Ссылки

  1. Gieshoff AC, Heeb AH. Cognitive load and cognitive effort: probing the psychological reality of a conceptual difference. Transl Cogn Behav. 2023;6(1):3–28.
  2. Sweller J, van Merriënboer JJG, Paas F. Cognitive architecture and instructional design. Educ Psychol Rev. 1998;10(3):251–96.
  3. Paas F, Tuovinen JE, Tabbers H, Van Gerven PWM. Cognitive load measurement as a means to advance cognitive load theory. Educ Psychol. 2003;38(1):63–71.
  4. Gile D. Basic Concepts and Models for Interpreter and Translator Training. Amsterdam: John Benjamins; 2009.
  5. Seeber KG. Cognitive load in simultaneous interpreting: measures and methods. Target. 2013;25(1):18–32.
  6. Ferreira A, Schwieter JW, Gottardo A, Jones JA. Cognitive effort in direct and inverse translation performance: insight from eye-tracking technology. Cad Trad. 2016;36(3):60–80.
  7. Zou D, Zhang J. Measuring the invisible: clarifying the concept of cognitive effort in translation and interpreting processes. Curr Trends Transl Teach Learn E. 2023;10:217–58.
  8. Lacruz I, Shreve GM, Angelone E. Average pause ratio as an indicator of cognitive effort in post-editing: a case study. Workshop on Post-Editing Technology and Practice. San Diego: Association for Machine Translation in the Americas; 2012. p. 21–30.
  9. Qassem M, Al Thowaini BM. Cognitive processes and translation quality: Evidence from keystroke-logging software. J Psycholinguist Res. 2023;52(5):1589–604.
  10. Ma X, Li D. Effect of word order asymmetry on the cognitive load of English–Chinese sight translation: Evidence from eye movement data. Transl Interpret Stud. 2024;19(1):105–31.
  11. Leijten M, Van Waes L. Keystroke logging in writing research: using Inputlog to analyze and visualize writing processes. Written Commun. 2013;30(3):358–92.
  12. Heilmann A, Neumann S, editors. Dynamic pause assessment of keystroke logged data for the detection of complexity in translation and monolingual text production. Proceedings of the Workshop on Computational Linguistics for Linguistic Complexity; 2016; Osaka: COLING.
  13. Su W, Li D. Identifying translation problems in English-Chinese sight translation: an eye-tracking experiment. Transl Interpret Stud. 2019;14(1):110–34.
  14. Su W, Li D. Exploring processing patterns of Chinese-English sight translation: an eye-tracking study. Babel. 2020;66(6):999–1024.
  15. Su W, Li D. Exploring the effect of interpreting training: eye-tracking English-Chinese sight interpreting. Lingua. 2021;256:103094.
  16. Su W. Eye-voice span in sight interpreting: an eye-tracking investigation. Perspectives. 2023;31(5):969–85.
  17. Rojo López AM, Muñoz Martín R. Research Methods in Cognitive Translation and Interpreting Studies. Amsterdam: John Benjamins; 2025.
  18. Shreve GM, Lacruz I, Angelone E. Cognitive effort, syntactic disruption, and visual interference in a sight translation task. Transl Interpret Stud. 2010;5(1):63–84.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Перепечатки и разрешения

Больше статей

Регистрация нажатий клавишзапись экранааудиозаписькодирование правоккачество выходного текста

Эта статья была опубликована

Видео скоро будет доступно