Protokół behawioralny do oceny wysiłku poznawczego i rewizji strategicznej w zadaniach tłumaczenia pisemnego oraz tłumaczenia z tekstu w relacji angielsko-chińskiej

Podsumowanie

Niniejszy protokół integruje multimodalne zapisy behawioralne w celu oceny obserwowalnych korelatów wysiłku poznawczego oraz funkcjonalnej skuteczności rewizji w tłumaczeniu pisemnym i tłumaczeniu widzenia z języka angielskiego na chiński. Łączy on rejestrowanie naciśnięć klawiszy, przechwytywanie ekranu, analizę audio, kodowanie na podstawie transkrypcji oraz zestandaryzowaną ocenę jakości.

Streszczenie

Niniejszy artykuł przedstawia multimodalny protokół behawioralny służący do badania obserwowalnych korelatów wysiłku poznawczego oraz strategicznej rewizji podczas pisemnego tłumaczenia i tłumaczenia z tekstu (sight interpreting) z języka angielskiego na chiński. W przypadku tłumaczenia pisemnego zsynchronizowano logi uderzeń klawiszy i nagrania ekranu, natomiast w tłumaczeniu z tekstu wykorzystano nagrania audio i transkrypcje słowo w słowo. Epizody rewizji i autokorekty zakodowano według rodzaju oraz wyniku funkcjonalnego (skuteczny, neutralny lub szkodliwy), niezależnie od całościowych ocen jakości produktu końcowego. W demonstracji z udziałem 62 uczestników przydzielonych do grup początkujących i przeszkolonych, obie grupy wykonały dwa rodzaje zadań w kolejności zrównoważonej. Uczestnicy przeszkoleni uzyskali wyższe średnie oceny jakości produktu końcowego w tłumaczeniu pisemnym (20.1 ± 2.1 vs. 16.8 ± 2.3) i tłumaczeniu z tekstu (18.9 ± 2.4 vs. 15.4 ± 2.6) oraz wyższy odsetek skutecznych rewizji lub autokorekt. Ponieważ pauzy, usunięcia, latencja rozpoczęcia oraz gęstość rewizji są pośrednimi i zależnymi od zadania wskaźnikami, interpretuje się je jako korelaty behawioralne wymagające triangulacji, a nie jako bezpośrednie miary jednolitego konstruktu. Protokół jest przeznaczony dla kontrolowanych tekstów ekspozycyjnych i może zostać dostosowany do innych par językowych po ponownej kalibracji obsługi metod wprowadzania danych, progów pauz, porównywalności tekstów oraz procedur oceniania.

Wprowadzenie

Pisemne tłumaczenie oraz tłumaczenie widokowe z języka angielskiego na chiński wymagają zrozumienia tekstu źródłowego, transferu międzyjęzykowego oraz sformułowania tekstu w języku docelowym, jednak narzucają one odmienne warunki zadaniowe. Tłumaczenie pisemne umożliwia wielokrotne czytanie i odroczoną edycję, podczas gdy tłumaczenie widokowe wymaga produkcji ustnej w znacznie bardziej rygorystycznych ograniczeniach czasowych. Obciążenie poznawcze, trudność przetwarzania i wysiłek poznawczy są konstruktami powiązanymi, ale niewymiennymi: obciążenie dotyczy wymagań zadania, natomiast wysiłek odnosi się do zasobów, jakie uczestnik angabuje w odpowiedzi na te wymagania. Wysiłek poznawczy jest ukryty i wielowymiarowy; dlatego latencja, pauzy, pominięcia oraz gęstość korekt są tutaj traktowane jako korelaty behawioralne, które mogą odzwierciedlać planowanie, monitorowanie, procesy motoryczne lub trudność i muszą być interpretowane łącznie, a nie jako bezpośrednie pomiary wysiłku^{1,2,3,4,5,6,7,8}.

Badania zorientowane na proces łączą oceny produktów z zapisami behawioralnymi zsynchronizowanymi w czasie, aby zidentyfikować, kiedy i w jaki sposób zapadają decyzje przekładowe. Rejestracja naciśnięć klawiszy jest informacyjna w przypadku sekwencji produkcji i rewizji, jednak chińskie metody wprowadzania tekstu mogą oddzielać fizyczne zdarzenia klawiaturowe od zatwierdzonych znaków; dlatego konieczne jest zsynchronizowane nagrywanie ekranu, aby zrekonstruować widoczny stan tekstu^9,10,11. Progi pauz są wyborami analitycznymi, a nie uniwersalnymi granicami poznawczymi, a krótsze progi mogą istotnie zmienić wnioski oparte na analizie pauz^8,12. W konsekwencji protokół wymaga wyraźnych kontroli synchronizacji, analiz wrażliwości progów oraz oddzielenia miar specyficznych dla zadania od miar wspólnych.

Sama częstotliwość rewizji nie wskazuje, czy monitorowanie poprawia wynik. Rewizje pisemne i ustne autokorekty mogą dotyczyć wyboru leksykalnego, składni, znaczenia lub stylu, jednak ich funkcjonalny rezultat musi być oceniany w odniesieniu do znaczenia źródłowego oraz bezpośrednio poprzedzającego segmentu docelowego. Badania nad tłumaczeniem widocznym w parach angielski-chiński i chiński-angielski wykazują, że szkolenie, kierunkowość, koordynacja oko-głosowa oraz specyficzne dla danego języka wyzwalacze problemów mogą zmieniać wzorce wydajności^13,14,15,16. Z tego powodu typ epizodu, wynik epizodu, jakość produktu końcowego oraz zachowania związane z przekazem są kodowane jako oddzielne zmienne.

Protokół został opracowany dla dorosłych uczniów lub przeszkolonych tłumaczy/interpretatorów pracujących z krótkimi, niespecjalistycznymi tekstami ekspozycyjnymi w kontrolowanych sesjach komputerowych. Jest on najbardziej odpowiedni w przypadkach, gdy możliwe jest przechwycenie zapisów uderzeń klawiszy i ekranu dla produkcji pisemnej oraz nagranie wysokiej jakości dźwięku dla produkcji ustnej. Ramy te można dostosować do innych par językowych, jednak dopasowanie tekstu, segmentacja na jednostki informacyjne, zachowanie klawiatury lub metody wprowadzania danych, progi pauzy oraz punkty odniesienia dla ocen muszą zostać ponownie zwalidowane dla każdej pary językowej i systemu pisma¹⁷. Demonstracja porównuje warunki zadań, zamiast przypisywać wszystkie różnice wyłącznie modalności, ponieważ różnią się również długość tekstu, limity czasowe, tryb wyjściowy oraz możliwości rewizji.

Protokół

Wszystkie metody obejmujące udział ludzi zostały przeprowadzone zgodnie z wytycznymi instytucjonalnymi i uzyskały wyraźną zgodę Komisji Etyki Badań z Udziałem Ludzi w Guilin Institute of Information Technology (nr zgody UYHAJ2025899). Przed przystąpieniem do badania od wszystkich uczestników uzyskano pisemną świadomą zgodę. Pełna lista sprzętu i oprogramowania wykorzystanego w niniejszym badaniu znajduje się w Tabeli materiałów.

1. Rekrutacja uczestników i przydział do grup

1. Zrekrutuj 62 uczestników, w tym studentów filologii angielskiej lub tłumacznictwa oraz stażystów zawodnego tłumaczenia ustnego. Zweryfikuj, czy wszyscy uczestnicy są rodzimymi użytkownikami języka chińskiego i posiadają prawidłowy lub skorygowany do normy wzrok i słuch.
2. Przypisz uczestników z mniej niż 12-miesięcznym stażem ustrukturyzowanego szkolenia z tłumaczenia do grupy początkującej, a osoby z co najmniej 12-miesięcznym stażem do grupy przeszkolonej. Raportuj oddzielnie wcześniejszą praktykę w tłumaczeniu pisemnym i tłumaczeniu ustnym z tekstu dla wszystkich uczestników.
3. Przeprowadź przesiew uczestników przed przydzieleniem zadań, aby wykluczyć osoby, które miały wcześniej kontakt z tekstami źródłowymi, wykazują nieskorygowanych zaburzeń sensorycznych lub nie potrafią korzystać ze standardowej chińskiej metody wprowadzania tekstu.
4. Wykluczaj zadania po nagraniu wyłącznie z wcześniej określonych powodów, takich jak niedozwolone użycie zewnętrznych narzędzi, niepełna realizacja, uszkodzone pliki lub nieużytkowe nagrania audio.
5. Prowadź rejestr wykluczonych zadań bez danych umożliwiających identyfikację osób. Raportuj ostateczną analizowaną próbkę w sposób spójny w tekście oraz na Rysunku 1A–D.

2. Wybór materiałów i ocena pilotażowa

1. Wybierz krótkie angielskie teksty eksponujące z ogólnych dziedzin akademickich, edukacyjnych, społecznych lub komunikacji publicznej. Wykorzystaj teksty do tłumaczenia pisemnego o długości około 180–220 słów oraz teksty do tłumaczenia ustnego z tekstu (sight translation) o długości około 120–160 słów.
2. Dopasuj lub statystycznie skoryguj długość tekstu, trudność leksykalną, złożoność składniową, gęstość informacji oraz stopień znajomości tematu we wszystkich warunkach zadań.
3. Zleć trzem ekspertom bilingwalnym niezależną ocenę trudności leksykalnej, złożoności składniowej, gęstości informacji, znajomości tematu oraz przydatności do transferu w skali od 1 do 5 punktów (1 = bardzo niska, 5 = bardzo wysoka).
4. Oblicz dwukierunkowy współczynnik korelacji wklasowej (ICC) z efektami losowymi z 95% przedziałem ufności dla średnich ocen. Zrewiduj elementy wykazujące słabą zgodność (ICC < 0,75).
5. Zachowaj pary tekstów tylko wtedy, gdy ustandaryzowane zmienne dopasowujące mieszczą się w marginesie tolerancji ±10%.
6. Zdefiniuj jednostkę informacyjną jako najmniejszą propozycję tekstu źródłowego, która wyraża jedną niezależnie ocenialną ideę, relację lub zdarzenie. Rozstrzygnij rozbieżności dotyczące granic jednostek przed przeprowadzeniem zadań.
7. Przeprowadź pilotaż instrukcji, metody wprowadzania danych, synchronizacji, jakości dźwięku i limitów czasowych z uczestnikami, którzy nie są włączeni do głównej analizy. Zarejestruj rozkłady czasu wykonania oraz proporcję osób osiągających każdy limit czasowy.
8. Zrewiduj tekst lub limit czasowy, gdy uczestnicy pilotażu wykazują efekt sufitu/podłogi (ceiling/floor performance), trwałą niejednoznaczność lub niestabilność nagrań. Udokumentuj każdą zmianę przed rozpoczęciem głównego badania.

3. Administracja zadaniami i konfiguracja rejestracji

1. Testuj uczestników indywidualnie w cichym, wyciszonym pomieszczeniu, korzystając ze zestandaryzowanych konfiguracji sprzętowych i programowych.
2. Odczytaj zestandaryzowany skrypt instrukcji i umożliw jedną nieeksperymentalną próbę praktyczną. Zabroń korzystania ze słowników, wyszukiwarek, generatywnej sztucznej inteligencji, tłumaczeń maszynowych oraz zewnętrznych korpusów.
3. Zastosuj kontrbalans dwóch kolejności zadań (najpierw tłumaczenie pisemne vs najpierw tłumaczenie z tekstu) w obrębie każdej grupy treningowej i zachowaj 5-minutowy odstęp na odpoczynek.
4. Przygotuj listę przydziału przed zakończeniem rekrutacji i utaj assignment aż do potwierdzenia kwalifikowalności. W przypadku użycia wielu tekstów źródłowych, zastosuj kontrbalans tożsamości tekstów niezależnie od kolejności zadań i zachowaj zmienną text-ID do analizy.
5. Wyświetl angielski tekst źródłowy w sposób ciągły i poleć uczestnikowi przygotowanie dokładnego, naturalnego tłumaczenia na język chiński w wyznaczonym polu wprowadzania. Pozwól na nieogranicowaną edycję, ale surowo zabroń wklejania zewnętrznych tekstów.
6. Zastosuj 20-minutowy limit czasu ustalony w badaniu pilotażowym, nie wyświetlając zegara odliczającego czas, i odnotuj, czy limit ten został osiągnięty.
7. Rejestruj cały proces tłumaczenia pisemnego w sposób ciągły, wykorzystując oprogramowanie do logowania naciśnięć klawiszy zsynchronizowane z ciągłym nagrywaniem ekranu. Zachowaj końcowe wyniki tłumaczenia wraz z plikami logów z sygnaturą czasową do późniejszej ekstrakcji behawioralnej.
8. Wyświetl na ekranie tekst źródłowy do tłumaczenia z tekstu i poleć uczestnikowi rozpoczęcie ustnej interpretacji na język chiński bez sporządzania notatek pisemnych.
9. Konsekwentnie stosuj 6-minutowy limit czasu i odnotuj, czy limit ten został osiągnięty. Odróżnij obserwację ograniczoną czasowo od obserwacji zakończonej w zwykły sposób.
10. Nagraj wypowiedzi ustne za pomocą cyfrowego oprogramowania do przechwytywania dźwięku. Sporządź z tych nagrań rygorystyczne transkrypcje słowo w słowo, aby ułatwić późniejsze kodowanie.

4. Ekstrakcja wskaźników procesów behawioralnych

1. Wyodrębnij behawioralne korelaty zadań pisemnych z plików dziennika, definiując latencję początkową jako odstęp czasu od wystąpienia bodźca do wprowadzenia pierwszego znaku chińskiego.
2. Wyodrębnij całkowity czas wykonywania zadania, liczbę i czas trwania pauz, wskaźnik usuwania tekstu, gęstość rewizji oraz tempo produkcji. Zachowaj surowe znaczniki czasu oraz dokładny mianownik użyty dla każdej znormalizowanej miary.
3. Przyjmij 2 s jako operacyjny próg pauzy w pisaniu. Zgłoś, czy uwzględniono pauzy podczas nawigacji kursorem, zaznaczania tekstu lub wyboru kandydata w metodzie wprowadzania danych.
4. Wyodrębnij behawioralne korelaty zadań ustnych z przebiegu fali i zweryfikowanego transkrypcji, definiując latencję początkową jako odstęp czasu od prezentacji bodźca do pierwszej znaczącej wypowiedzi w języku docelowym.
5. Wyklucz wdech, odchrząkiwanie i porzucone dźwięki nieleksykalne z obliczeń latencji początkowej. Wyodrębnij całkowity czas tłumaczenia ustnego, pauzy milczące, pauzy wypełnione, powtórzenia, fałszywe starty, autokorekty oraz tempo mowy.
6. Zdefiniuj ustną pauzę milczącą jako ciszę wewnątrz wypowiedzi trwającą co najmniej 1,0 s. Zweryfikuj granice pauz z przebiegiem fali i zweryfikowaną transkrypcją oraz wyklucz ciszę początkową i końcową z liczby pauz wewnątrz wypowiedzi.
7. Sporządź rekord kontroli jakości dla każdego przeprowadzonego zadania. Udokumentuj, czy odpowiedni plik procesu jest czytelny i kompletny, czy transkrypcja została zweryfikowana oraz czy kodowanie zostało zakończone lub rozstrzygnięte. Zachowaj oryginalny rekord i rejestruj wszelkie poprawki w ścieżce audytu.

5. Kodowanie rewizji strategicznej i oralnej autokorekty

1. Odtwórz każdą wprowadzoną poprawkę poprzez zestawienie logu naciśnięć klawiszy, nagrania ekranu oraz tekstu końcowego.
2. Traktuj epizod jako ciąg czynności edycyjnych skierowanych do tego samego segmentu docelowego; zamknij epizod, gdy proces tworzenia zostanie wznowiony w innym miejscu przez co najmniej 2 s lub gdy edytowany jest inny segment.
   UWAGA: W przypadku wprowadzania znaków języka chińskiego odróżnij zmiany w kompozycji przed zatwierdzeniem od usunięć tekstu docelowego po zatwierdzeniu i koduj jako poprawki tekstowe tylko te drugie.
3. Przypisz jeden główny typ poprawki w oparciu o zmiany semantyczne, syntaktyczne, leksykalne lub stylistyczne. Dopuszczalne jest użycie drugiego tagu w przypadkach nakładających się, jednak do wzajemnie wykluczających się zliczeń używaj tagu głównego. Zastosuj przykłady opracowane w Supplementary File 1.
4. Sporządź dosłowną transkrypcję z sygnaturami czasowymi przed zakodowaniem ustnych autokorekt. Poleć pierwszemu transkrybentowi oznaczenie treści leksykalnej, pauz wypełnionych, powtórzeń, fałszywych startów, urwań zdań oraz fragmentów niezrozumiałych.
5. Zleć drugiemu przeszkolonemu recenzentowi sprawdzenie transkrypcji z nagraniem audio i rozstrzygnięcie rozbieżności przy zachowaniu oryginalnych sygnatur czasowych audio.
6. Zdefiniuj ustną autokorektę jako jawne sformułowanie na nowo, które zastępuje, uzupełnia lub koryguje bezpośrednio poprzedzający segment w języku docelowym. Nie wyciągaj wniosków o ukrytym monitorowaniu wyłącznie na podstawie ciszy. Zastosuj te same reguły decyzyjne dotyczące leksyki, syntaktyki, semantyki i stylistyki do ustnych autokorekt.
7. Koduj dokładne powtórzenie bez zmiany korygującej jako dysfluencję, przerwany start, po którym następuje nowa konstrukcja, jako fałszywy start wraz z korektą, a pominięcie lub błędne tłumaczenie bez jawnego sformułowania na nowo jako błąd wyjściowy.
8. Gdy nagranie audio jest niejasne lub gdy dwie kategorie pozostają równie prawdopodobne, oznacz epizod jako niejednoznaczny. Zachowaj tymczasowe tagi dla epizodów niejednoznacznych i rozstrzygnij je przed analizą niezawodności.
9. Oceń wynik funkcjonalny poprzez porównanie segmentów docelowych przed i po epizodzie z jednostką informacyjną źródła oraz lokalnym kontekstem docelowym. Dokonaj tej oceny przed ujawnieniem końcowej oceny całościowej. Nie traktuj zmiany w ocenie całościowej jako definicji skuteczności.
10. Zastosuj podwójne kodowanie dla co najmniej 20% wyników wybranych z obu grup i kolejności zadań, a następnie oblicz niezawodność na podstawie niezależnych kodów przed rozstrzygnięciem.
11. Przeprowadź ponowne szkolenie i ponowne kodowanie, gdy zgodność między sędziami spadnie poniżej wartości kappa Cohen'a 0,80. Udokumentuj ten dokładny próg oraz wszelkie podjęte działania korygujące.

6. Ocena jakości i modelowanie statystyczne

1. Oceń każde końcowe tłumaczenie pisemne oraz przekład z tekstu (sight-interpreting) za pomocą 25-punktowej rubryki analitycznej zawartej w Supplementary File 1.
2. Oceń dokładność, kompletność, odpowiedniość leksykalną, spójność oraz naturalność w języku docelowym w skali od 0 do 5, korzystając z określonych punktów odniesienia. Nie modyfikuj kryteriów oceny po zapoznaniu się z przynależnością do grup.
3. Poleć oceniającym korzystanie zarówno z nagrań audio, jak i zweryfikowanych transkrypcji w odniesieniu do wymiarów przekładu z tekstu. Analizuj miary pauz i dysfluencji oddzielnie od wyników z rubryki.
4. Przeszkol dwóch niezależnych oceniających, korzystając z księgi kodowej i co najmniej 10 przykładów ćwiczeniowych, zapewniając oceniającym ślepe próbki w kwestii grupy uczestników i kolejności zadań.
5. Po niezależnym punktowaniu i kodowaniu epizodów oblicz niezawodność przed dyskusją. Rozwiązuj rozbieżności drogą konsensusu i konsultuj się z trzecim oceniającym tylko wtedy, gdy nie uda się osiągnąć porozumienia.
6. Zgłoś dwukierunkowy współczynnik korelacji wewnątrzklasowej z efektami losowymi dla bezwzględnej zgodności w przypadku uśrednionych ciągłych wyników jakości. Zgłoś kapę Cohena dla głównego kategorycznego kodu rewizji oraz oddzielną kapę dla kodu wyniku efektywny/neutralny/szkodliwy. Podaj dokładną liczbę i procent epizodów zakodowanych podwójnie.
7. Przed analizą sprawdź, czy każdy plik procesu jest czytelny i kompletny, dopasuj dzienniki zadań pisemnych do odpowiadających im nagrań ekranu oraz zweryfikuj transkrypcje z nagraniami audio.
8. Odnotuj błędy dopasowania, problemy z zrozumiałością oraz podjęte działania korygujące w dzienniku kontroli jakości. Znormalizuj miary częstotliwości, przyjmując 100 jednostek informacyjnych tekstu źródłowego dla częstotliwości pauz oraz 100 wyprodukowanych znaków chińskich dla gęstości rewizji pisemnej.
9. Koduj wynik funkcjonalny niezależnie od końcowej holistycznej oceny jakości. Koduj epizod jako efektywny, gdy segment po rewizji poprawia tekst, nie wprowadzając nowych problemów; jako neutralny, gdy nie powoduje istotnej zmiany; i jako szkodliwy, gdy wprowadza błąd.
10. Oblicz wskaźnik efektywności jako liczbę epizodów efektywnych podzieloną przez wszystkie epizody możliwe do zaklasyfikowania, wykluczając epizody dwuznaczne z mianownika.
11. Analizuj demonstrację jako eksploracyjny zbiór danych z pomiarami powtarzanymi. Określ model efektów stałych w celu przewidzenia całkowitej oceny jakości, wykorzystując warunki zadania, grupę treningową, metryki pauz, gęstość rewizji, wskaźnik efektywności, obciążenie dysfluencją oraz tempo mowy.
12. Uwzględnij losowy punkt przecięcia dla uczestnika; uwzględnij losowe efekty tekstu źródłowego tylko wtedy, gdy projekt zawiera wystarczającą liczbę niezależnie pobranych tekstów.
13. Wycentruj predyktory ciągłe, sprawdź reszty oraz kolinearność. Zgłoś metodę estymacji, wersję oprogramowania, β, SE, 95% CI, dokładne wartości p, komponenty wariancji, AIC, BIC oraz marginalny/warunkowy R². Opisz analizę jako eksploracyjną i unikaj potwierdzających twierdzeń przyczynowo-skutkowych.
14. Wyeksportuj reprodukowalny pakiet analizy zawierający zanonimizowane dane, słownik, księgę kodową, rubrykę, szczegóły oprogramowania, skrypty i wyniki. Przed publikacją potwierdź, że każda wartość w rysunkach i tabelach może zostać powiązana z nazwaną zmienną i etapem analizy.

Wyniki

Charakterystyka wyjściowa uczestników i dostępność danych

W kwestionariuszu wzięło udział 62 uczestników (31 początkujących i 31 przeszkolonych), a arkusz zadań zawierał 124 wpisy, co wskazuje na dwa ukończone zadania na każdego uczestnika (Tabela 1). Grupa początkujących posiadała mniej niż 12 miesięcy ustrukturyzowanego szkolenia z tłumaczenia (zaobserwowane maksimum, 8,6 miesiąca), natomiast grupa przeszkolona posiadała co najmniej 12 miesięcy (zaobserwowan...

Dyskusja

Niniejsze badanie przedstawia multimodalny protokół pomiaru obserwowalnych wskaźników procesu oraz kodowania strategicznej rewizji w pisemnym tłumaczeniu oraz tłumaczeniu widzenia z języka angielskiego na chiński. Protokół ten nie mierzy bezpośrednio jednolitej zmiennej wysiłku poznawczego. Zamiast tego latencję, pauzy, usunięcia oraz wzorce rewizji interpretuje się jako behawioralne korelaty zależne od zadania, których znaczenie wynika z triangulacji z zsynchronizowanymi zapisami i dowodami dotyczącymi jakości produktu ...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Oprogramowanie do analizy akustycznej (Praat)	Paul Boersma and David Weenink	https://www.fon.hum.uva.nl/praat/
Komputer stacjonarny	Dell	OptiPlex
Oprogramowanie do cyfrowego nagrywania dźwięku (Audacity)	Audacity Team	https://www.audacityteam.org/
Oprogramowanie do rejestracji naciśnięć klawiszy (Inputlog)	University of Antwerp	https://www.inputlog.net/
Oprogramowanie do nagrywania ekranu (OBS Studio)	OBS Project	https://democreator.wondershare.com/
Oprogramowanie do analizy statystycznej (SPSS)	IBM	Version 27