このコンテンツを表示するには、JoVEへの購読が必要です。 または、無料トライアルをお申し込みください。

方法論記事

英中翻訳およびサイトトランスレーション（視覚翻訳）タスクにおける認知負荷と戦略的修正を評価するための行動プロトコル

77 回視聴

⸱

DOI:

10.3791/73502

⸱

2026年9月8日

1Guilin Institute of Information Technology

この記事について

サマリー

本プロトコルでは、英中翻訳およびサイトトランスレーション（視覚翻訳）における認知努力の観察可能な相関物と、修正の機能的有効性を評価するために、マルチモーダルな行動記録を統合します。具体的には、キーストロークログ、スクリーンキャプチャ、音声分析、トランスクリプトに基づくコーディング、および標準化された品質評価を組み合わせて使用します。

要約

本記事では、英中筆記翻訳およびサイトトランスレーション（ sight interpreting）における認知努力と戦略的修正の観察可能な相関関係を調査するための、マルチモーダルな行動プロトコルを提示します。筆記翻訳ではキーストロークログと画面録画を同期させ、サイトトランスレーションでは音声録音と逐語的な文字起こしを使用します。修正および自己修正エピソードは、全体的な出力品質の評価とは独立して、タイプ別および機能的な結果（有効、中立、または有害）別にコーディングされます。初心者グループと訓練済みグループに割り当てられた62名の参加者による実証では、両グループがカウンターバランスさせた順序で2つのタスク条件を完了しました。訓練済みの参加者は、筆記翻訳（20.1 ± 2.1 vs. 16.8 ± 2.3）およびサイトトランスレーション（18.9 ± 2.4 vs. 15.4 ± 2.6）において平均出力品質スコアが高く、有効な修正または自己修正の割合も高い結果となりました。ポーズ、削除、開始潜時、および修正密度は間接的でありタスクに依存するため、単一の構成概念の直接的な指標としてではなく、トライアンギュレーションを必要とする行動的な相関関係として解釈されます。本プロトコルは制御された説明文を対象としていますが、入力方法の処理、ポーズの閾値、テキストの比較可能性、およびスコアリング手順を再調整することで、他の言語ペアにも適応させることが可能です。

概要

英中筆記翻訳とサイトトランスレーション（視読翻訳）には、ソーステキストの理解、言語間転移、およびターゲット言語での定式化が必要ですが、それぞれ課されるタスク条件は異なります。筆記翻訳では、再読や後からの編集が可能である一方、サイトトランスレーションでは、より厳しい時間的制約の下での口頭での産出が求められます。認知負荷、処理困難度、および認知努力は関連していますが、互換性のない概念です。負荷はタスクの要求量に関するものであるのに対し、努力はそれらの要求の下で参加者が投入するリソースに関するものです。認知努力は潜在的かつ多次元的であるため、本研究では、レイテンシ（反応遅延）、ポーズ、脱落、および修正密度を、プランニング、モニタリング、運動プロセス、または困難さを反映し得る行動上の相関物として扱い、努力の直接的な測定値としてではなく、総合的に解釈する必要があります1,2,3,4,5,6,7,8.

プロセス指向の研究では、成果物のスコアと時間的に整合した行動記録を組み合わせることで、翻訳上の意思決定がいつ、どのように行われるかを特定します。キーストローク・ロギングは、作成および修正のシーケンスを把握する上で有用ですが、中国語の入力メソッドによる変換プロセスのため、物理的なキー入力イベントと確定された文字が切り離されることがあります。そのため、可視的なテキストの状態を再構成するには、同期させた画面録画が必要となります9,10,11。ポーズ（休止）の閾値は、普遍的な認知境界ではなく分析上の選択であり、閾値を短く設定することで、ポーズに基づく結論が大きく変わる可能性があります8,12。したがって、本プロトコルでは、明示的な同期確認、閾値の感度分析、およびタスク固有の指標と共通指標の分離が必要となります。

修正回数だけでは、モニタリングが出力を向上させたかどうかを判断することはできません。記述的な修正や口頭での自己修正は、語彙の選択、構文、意味、またはスタイルを対象とする場合がありますが、その機能的な結果は、元の意味および直前のターゲットセグメントと照らし合わせて判断されなければなりません。英語・中国語および中国語・英語の処理に関するサイト・インタープレッティング（視覚通訳）の研究では、トレーニング、方向性、眼球と音声の協調、および言語特有の問題トリガーがパフォーマンスパターンを変化させることが示されています13,14,15,16。このような理由から、エピソードの種類、エピソードの結果、最終的な成果物の品質、およびデリバリーに関連する行動は、それぞれ独立した変数としてコーディングされます。

本プロトコルは、制御されたコンピュータベースのセッションにおいて、短く専門性のない解説文を扱う成人学習者または訓練を受けた翻訳者・通訳者を対象に設計されています。書き言葉の産出においてキーストロークと画面記録をキャプチャでき、話し言葉の産出において高品質な音声を録音できる場合に最も適しています。この枠組みは他の言語ペアにも適応可能ですが、テキストのマッチング、情報単位へのセグメンテーション、キーボードまたは入力メソッドの動作、ポーズの閾値、および評価基準（レーティングアンカー）については、各言語ペアおよび表記体系ごとに再検証する必要があります17。本デモンストレーションでは、テキストの長さ、制限時間、出力モード、および修正の機会も異なるため、すべての差異をモダリティのみに起因するものとするのではなく、タスク条件の比較を行っています。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

プロトコル

ヒト被験者を伴うすべての手法は、機関のガイドラインに従って実施され、桂林情報科技学院の人権研究倫理委員会の明確な承認を得て行われました（承認番号：UYHAJ2025899）。すべての参加者から、参加前に書面によるインフォームド・コンセントを得ています。本研究で使用した装置およびソフトウェアの包括的なリストについては、材料表をご参照ください。

1. 参加者の募集およびグループ分け

  1. 英語または翻訳専攻の学生およびプロの通訳訓練生からなる62名の参加者を募集する。すべての参加者が中国語を母国語とし、視覚および聴覚が正常であるか、または矯正により正常であることを確認する。
  2. 体系的な翻訳訓練の経験が12か月未満の参加者を初学者グループに、12か月以上の参加者を熟練者グループに割り当てる。すべての参加者について、事前の翻訳およびサイトトランスレーション（ sight-interpreting）の実務経験を個別に報告する。
  3. タスク割り当て前に参加者のスクリーニングを行い、ソーステキストへの接触歴がある者、矯正不能な感覚障害がある者、または標準的な中国語入力メソッドを使用できない者を除外する。
  4. 禁止されている外部ツールの使用、不完全な遂行、ファイルの破損、または音声の不備など、あらかじめ規定された理由がある場合にのみ、録音後にタスクを除外する。
  5. 個人を特定できる情報を含まないタスク除外ログを保持する。最終的な解析サンプル数を、本文および図1A–Dにおいて一貫して報告する。

2. 材料の選択およびパイロット評価

  1. 一般的な学術、教育、社会、またはパブリックコミュニケーションの分野から、英語の短い解説文を選定する。翻訳テキストは約180～220語、サイトインタープリテーション（視覚翻訳）テキストは約120～160語のものを使用する。
  2. タスク条件間で、テキストの長さ、語彙の難易度、構文の複雑さ、情報密度、およびトピックの親しみやすさを一致させるか、統計的に調整する。
  3. 3名のバイリンガルの専門家に、語彙の難易度、構文の複雑さ、情報密度、トピックの親しみやすさ、および転移の適切性を1～5点の尺度（1 = 非常に低い、5 = 非常に高い）で独立して評価させる。
  4. 平均評価値について、95%信頼区間を伴う二元変量ランダム効果内クラス相関係数（ICC）を算出する。一致度が低い（ICC < 0.75）項目は修正する。
  5. 標準化されたマッチング変数が±10%の許容範囲内に収まるテキストペアのみを保持する。
  6. 情報単位を、独立してスコア付け可能な1つの概念、関係、または出来事を表現する、ソーステキストの最小の命題と定義する。タスク実施前に、境界に関する不一致を解決しておく。
  7. 本解析に含まれない参加者を対象に、指示内容、入力方法、同期、音質、および制限時間のパイロットテストを行う。完了時間の分布と、各制限時間に達した割合を記録する。
  8. パイロット参加者が天井効果または床効果を示した場合、あるいは持続的な曖昧さや記録の不安定さが見られた場合は、テキストまたは制限時間を修正する。本研究を開始する前に、すべての変更点を記録する。

3. タスクの実施および記録のセットアップ

  1. 標準化されたハードウェアおよびソフトウェア構成を用い、静穏で遮音された部屋で被験者を個別にテストする。
  2. 標準化された指示スクリプトを読み上げ、実験用ではない練習問題を1問提供する。辞書、検索エンジン、生成AI、機械翻訳、および外部コーパスの使用は禁止とする。
  3. 各トレーニンググループ内で2つのタスク順序（筆訳先か、サイトトランスレーション先か）をカウンターバランスさせ、5分間の休憩時間を設ける。
  4. 被験者の募集完了前に割り当てリストを作成し、適格性が確認されるまで割り当てを秘匿する。複数のソーステキストを使用する場合は、タスク順序とは独立してテキストの同一性をカウンターバランスさせ、分析用にテキストID変数を保持する。
  5. 英語のソーステキストを継続的に提示し、指定の入力フィールドに正確で自然な中国語訳を作成するよう被験者に指示する。編集は制限なく許可するが、外部テキストの貼り付けは厳格に禁止する。
  6. パイロットテストで設定した20分の制限時間を適用する。ただし、カウントダウン時計は表示せず、制限時間に達したかどうかを記録する。
  7. キーストローク・ロギング・ソフトウェアと継続的な画面録画を同期させ、筆訳プロセスのすべてを継続的にキャプチャする。後の行動抽出のため、最終的な翻訳出力とタイムスタンプ付きのログファイルを保存する。
  8. サイトトランスレーションのソーステキストを画面に提示し、書き留めることなく口頭で中国語訳を開始するよう被験者に指示する。
  9. 6分の制限時間を一貫して適用し、この制限時間に達したかどうかを記録する。時間制限による終了か、通常通り完了したかを区別する。
  10. デジタルオーディオキャプチャソフトウェアを用いて口頭出力を録音する。後のコーディングを容易にするため、これらの録音から厳密な逐語録を作成する。

4. 行動プロセスの指標の抽出

  1. ログファイルから筆記タスクの行動相関データを抽出し、初期潜時を刺激提示から最初の中国語文字が確定されるまでの間隔と定義する。
  2. タスク総時間、ポーズの回数と持続時間、削除率、修正密度、および産出率を抽出する。生のタイムスタンプおよび、各正規化指標に使用した正確な分母を保持する。
  3. 筆記ポーズの操作的閾値を2 sとする。カーソル移動、テキスト選択、または入力メソッドの候補選択中のポーズが含まれているかどうかを報告する。
  4. 波形データと検証済み書き起こしから口頭タスクの行動相関データを抽出し、開始潜時を刺激提示からターゲット言語による最初の意味のある発話までの間隔と定義する。
  5. 吸気、咳払い、および放棄された非語彙的な音を開始潜時から除外する。通訳総時間、無音ポーズ、充填ポーズ、反復、言い淀み（false starts）、自己修正、および発話速度を抽出する。
  6. 口頭の無音ポーズを、発話内の1.0 s以上の無音状態と定義する。波形データと検証済み書き起こしに照らしてポーズの境界を確認し、発話内ポーズのカウントから冒頭および末尾の無音部分を除外する。
  7. 実施したすべてのタスクについて品質管理記録を作成する。該当するプロセスファイルが読み取り可能で完全であるか、書き起こしが検証済みであるか、およびコーディングが完了または裁定済みであるかを記録する。元の記録を保存し、修正内容はすべて監査証跡で追跡する。

5. 戦略的修正および口頭セルフリペアのコーディング

  1. キーストロークログ、画面録画、および最終テキストを照合し、各書き換え修正を再構成する。
  2. 同一の対象セグメントに向けられた編集操作の連続を1つのエピソードとして扱い、別の箇所で編集が再開されてから少なくとも 2 s 経過した場合、または別のセグメントが編集された場合にエピソードを終了させる。
    注意：中国語入力の場合、確定前の構成変更と、確定後の対象テキストの削除を区別し、後者のみをテキスト修正としてコーディングする。
  3. 意味的、統語的、語彙的、または様式的な変更に基づき、1つの主要な修正タイプを割り当てる。重複する場合は二次的なタグを許可するが、排他的なカウントには主要タグを使用する。補足資料 1に提供されている演習例を適用する。
  4. 口頭での自己修正をコーディングする前に、タイムスタンプ付きの逐語的書き起こしを作成する。最初の書き起こし担当者に対し、語彙内容、フィラー、繰り返し、言い出し直しの失敗（false starts）、中断、および判別不能な箇所をマークするように指示する。
  5. 訓練を受けた第2のレビュー担当者が、オーディオと照らして書き起こし内容を確認し、元のオーディオタイムスタンプを維持したまま不一致を解消する。
  6. 口頭での自己修正を、直前の対象言語セグメントを置換、補完、または修正する顕在的な再定式化と定義する。沈黙のみから潜在的なモニタリングを推論してはならない。口頭での自己修正に対しても、語彙的、統語的、意味的、および様式的な判断ルールを同様に適用する。
  7. 修正を伴わない完全な繰り返しを非流暢性（disfluency）として、新しい構成に続く放棄された開始を「言い出し直しの失敗＋修正」として、また顕在的な再定式化を伴わない脱落や誤訳を出力エラーとしてコーディングする。
  8. オーディオが不明瞭な場合、または2つのカテゴリーが等しく妥当である場合は、そのエピソードを「曖昧」としてマークする。曖昧なエピソードには暫定的なタグを保持し、信頼性分析の前に裁定を行う。
  9. エピソード前後の対象セグメントを、ソースの情報単位および局所的な対象コンテキストと比較して、機能的な結果を判定する。この判定は、最終的なホリスティックスコアを明らかにする前に行う。ホリスティックスコアの変化を効果の定義として使用してはならない。
  10. 両グループおよびタスク順序から選択された出力の少なくとも 20%をダブルコーディングし、裁定前に独立したコードに基づいて信頼性を算出する。
  11. 評価者間一致度が Cohen’s kappa 0.80 を下回った場合は、再訓練および再コーディングを行う。この正確な閾値と、講じたあらゆる是正措置を記録する。

6. 品質評価および統計モデリング

  1. 各最終翻訳文およびサイト・インタープレテーション（視覚翻訳）の成果物を、Supplementary File 1の25点満点の分析ルーブリックを用いてスコア付けする。
  2. 規定のアンカーに基づき、正確性、完全性、語彙の適切性、一貫性、および目標言語の自然さを0から5まで評価する。グループ分けを確認した後に、スコアリング基準を恣意的に調整してはならない。
  3. サイト・インタープレテーションの評価項目については、音声と検証済みトランスクリプトの両方を使用するよう評価者に指示する。ポーズ（休止）および非流暢性の指標は、ルーブリックのスコアとは別に分析する。
  4. コードブックと少なくとも10件の練習用アウトプットを用いて、2名の独立した評価者をトレーニングする。その際、参加者のグループおよびタスクの順序は評価者に伏せる（ブラインド化する）。
  5. 独立したスコアリングおよびエピソードのコーディング後、協議を行う前に信頼性を算出する。不一致は合意によって解決し、合意に至らない場合にのみ3人目の評価者に相談する。
  6. 平均化された連続的な品質スコアについては、二元配置変量効果モデルによる絶対一致のクラス内相関係数を報告する。主要なカテゴリ的修正コードについてはCohenのkappaを、有効/中立/有害な結果コードについては別途kappaを報告する。二重コーディングされたエピソードの正確な数と割合を記載する。
  7. 分析前に、各プロセスファイルが読み取り可能で完全であることを確認し、記述タスクのログを対応するスクリーンレコードと照合し、トランスクリプトを音声と照合して検証する。
  8. 照合の失敗、明瞭性の問題、および修正措置を品質管理ログに記録する。頻度指標の正規化は、ポーズ頻度についてはソーステキストの情報単位100件あたり、記述修正密度については生成された中国語文字100字あたりとして行う。
  9. 機能的な結果（outcome）は、最終的なホリスティック品質スコアとは独立してコーディングする。修正後のセグメントが新たな問題を引き起こすことなくテキストを改善した場合は「有効（effective）」、実質的な変更がなかった場合は「中立（neutral）」、誤りを導入した場合は「有害（detrimental）」としてエピソードをコーディングする。
  10. 有効率を、「有効なエピソード数 ÷ 分類可能な全エピソード数」として算出する。なお、分母から曖昧なエピソードは除外する。
  11. 本デモンストレーションを探索的な反復測定データセットとして分析する。タスク条件、トレーニンググループ、ポーズ指標、修正密度、有効率、非流暢性負担、および発話速度を用いて、合計品質スコアを予測する固定効果モデルを指定する。
  12. 参加者のランダム切片を含める。また、設計に十分な独立サンプリング済みのテキストが含まれている場合にのみ、ソーステキストのランダム効果を含める。
  13. 連続予測変数を中心化し、残差を検査し、共線性を確認する。推定方法、ソフトウェアのバージョン、β、SE、95% CI、正確なp値、分散成分、AIC、BIC、および周辺/条件付きR2を報告する。分析は探索的であると記述し、確定的・因果的な主張は避ける。
  14. 匿名化されたデータ、辞書、コードブック、ルーブリック、ソフトウェアの詳細、スクリプト、および出力を含む、再現可能な分析パッケージをエクスポートする。公開前に、すべての図および表の値が、指定された変数および分析ステップまで追跡可能であることを確認する。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

結果

参加者のベースライン特性およびデータの可用性

アンケートには62名の参加者（初心者31名、訓練済み者31名）が含まれ、タスクシートには124件の記録があり、参加者1名につき2件のタスク記録が完了したことが示された（表1）。初心者グループは、体系的な翻訳訓練の期間が12か月未満（観察された最大値は8.6か月）であったのに対し、訓練済みグループは少なくとも12か月（観察された最小値は13.3か月）であった。年齢、性別、英語学習期間、習熟度、およびタスク順序の分布は、グループ間で同様であった。図1に最終的な分析サンプルを示し、タスク固有のデータを明確に区別している。キーストロークログと画面録画は筆記翻訳に適用され、音声および逐語録はサイト・インタープリティング（視覚翻訳）に適用され、品質評価はその両方に適用される。

タスク条件ごとの行動プロファイル

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

ディスカッション

本研究では、英中筆記翻訳およびサイトトランスレーション（視覚翻訳）における、観察可能なプロセス指標の測定と戦略的な修正のコーディングに関するマルチモーダル・プロトコルを提示します。このプロトコルは、単一の認知努力変数を直接測定するものではありません。その代わりに、レイテンシ、ポーズ、削除、および修正パターンを、同期された記録および出力品質の根拠とのトライアンギュレーション（多角的な検証）によって意味が定まる、タスク依存的な行動相関として解釈します1,2,3,4,5,6,7,8。また、これら2つのタスクは、素材...

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

開示事項

著者は、商業的または財務的な利益相反がないことを報告します。人工知能の使用に関して、著者は、言語編集、一貫性の確認、変更履歴付き修正案の作成、および著者が提供したデータに基づく図表レイアウトの再生成を支援する目的のみに、改訂プロセスでOpenAI Codexを利用したことを開示します。著者は、AI支援によるすべての出力を細心の注意を払って確認しており、最終原稿の正確性、完全性、および独創性について全責任を負います。報告された要約の根拠となる構造化ワークブックは、Zenodo (https://doi.org/10.5281/zenodo.21189434) で公開されています。補足ファイル1には、コーディングマニュアルとアンカー付き品質ルーブリックが含まれています。

謝辞

著者は、研究室のサポートを提供した桂林情報技術学院、原文を評価したバイリンガルの専門家、独立評価者、および参加者に感謝いたします。本研究は、公的、商業的、または非営利セクターのいかなる資金提供機関からも特定の助成金を受けていません。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

材料

この記事で使用された材料の一覧
名前会社カタログ番号コメント
音響分析ソフト (Praat)Paul Boersma and David Weeninkhttps://www.fon.hum.uva.nl/praat/
デスクトップコンピューターDellOptiPlex
デジタルオーディオ録音ソフト (Audacity)Audacity Teamhttps://www.audacityteam.org/
キーストローク・ロギング・ソフト (Inputlog)University of Antwerphttps://www.inputlog.net/
画面録画ソフト (OBS Studio)OBS Projecthttps://democreator.wondershare.com/
統計解析ソフト (SPSS)IBMVersion 27

参考文献

  1. Gieshoff AC, Heeb AH. Cognitive load and cognitive effort: probing the psychological reality of a conceptual difference. Transl Cogn Behav. 2023;6(1):3–28.
  2. Sweller J, van Merriënboer JJG, Paas F. Cognitive architecture and instructional design. Educ Psychol Rev. 1998;10(3):251–96.
  3. Paas F, Tuovinen JE, Tabbers H, Van Gerven PWM. Cognitive load measurement as a means to advance cognitive load theory. Educ Psychol. 2003;38(1):63–71.
  4. Gile D. Basic Concepts and Models for Interpreter and Translator Training. Amsterdam: John Benjamins; 2009.
  5. Seeber KG. Cognitive load in simultaneous interpreting: measures and methods. Target. 2013;25(1):18–32.
  6. Ferreira A, Schwieter JW, Gottardo A, Jones JA. Cognitive effort in direct and inverse translation performance: insight from eye-tracking technology. Cad Trad. 2016;36(3):60–80.
  7. Zou D, Zhang J. Measuring the invisible: clarifying the concept of cognitive effort in translation and interpreting processes. Curr Trends Transl Teach Learn E. 2023;10:217–58.
  8. Lacruz I, Shreve GM, Angelone E. Average pause ratio as an indicator of cognitive effort in post-editing: a case study. Workshop on Post-Editing Technology and Practice. San Diego: Association for Machine Translation in the Americas; 2012. p. 21–30.
  9. Qassem M, Al Thowaini BM. Cognitive processes and translation quality: Evidence from keystroke-logging software. J Psycholinguist Res. 2023;52(5):1589–604.
  10. Ma X, Li D. Effect of word order asymmetry on the cognitive load of English–Chinese sight translation: Evidence from eye movement data. Transl Interpret Stud. 2024;19(1):105–31.
  11. Leijten M, Van Waes L. Keystroke logging in writing research: using Inputlog to analyze and visualize writing processes. Written Commun. 2013;30(3):358–92.
  12. Heilmann A, Neumann S, editors. Dynamic pause assessment of keystroke logged data for the detection of complexity in translation and monolingual text production. Proceedings of the Workshop on Computational Linguistics for Linguistic Complexity; 2016; Osaka: COLING.
  13. Su W, Li D. Identifying translation problems in English-Chinese sight translation: an eye-tracking experiment. Transl Interpret Stud. 2019;14(1):110–34.
  14. Su W, Li D. Exploring processing patterns of Chinese-English sight translation: an eye-tracking study. Babel. 2020;66(6):999–1024.
  15. Su W, Li D. Exploring the effect of interpreting training: eye-tracking English-Chinese sight interpreting. Lingua. 2021;256:103094.
  16. Su W. Eye-voice span in sight interpreting: an eye-tracking investigation. Perspectives. 2023;31(5):969–85.
  17. Rojo López AM, Muñoz Martín R. Research Methods in Cognitive Translation and Interpreting Studies. Amsterdam: John Benjamins; 2025.
  18. Shreve GM, Lacruz I, Angelone E. Cognitive effort, syntactic disruption, and visual interference in a sight translation task. Transl Interpret Stud. 2010;5(1):63–84.

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

再版と許可

さらに記事を探す

キーストロークログ画面録画音声録音修正コーディング出力品質

この記事は公開されました

動画は近日公開

お問い合わせ
図書館に推薦する

プライバシー

利用規約

ポリシー

著作権 © 2026 MyJoVE Corporation. 無断転載を禁じます。