Alle methoden met menselijke proefpersonen werden uitgevoerd in overeenstemming met de institutionele richtlijnen en zijn goedgekeurd door de institutionele toetsingscommissie (IRB) of de ethische commissie voor onderzoek bij mensen van de Hanshan Normal University. Van alle deelnemers is voorafgaand aan het experiment geïnformeerde toestemming verkregen.
Conceptueel kader en onderzoeksontwerp
Deze studie maakte gebruik van een proces-product onderzoeksontwerp met een aanvullende discourslaag om te onderzoeken hoe door het publiek gegenereerde danmu-reacties de vertaling van ondertitelingen beïnvloeden. Het analytische kader integreerde tekstuele kenmerken, indicatoren van het vertaalproces en resultaten van de vertaalkwaliteit. In het bijzonder werd onderzocht of de aandacht van het publiek, weerspiegeld in de danmu-dichtheid, de cognitieve middelen van vertalers richtte op specifieke tekstuele kenmerken en of deze toewijzing van aandacht vervolgens invloed had op de vertaalkwaliteit.
Om dit kader te operationaliseren, stelde de studie eerst tekstkenmerken op segmentniveau vast op basis van vier dimensies: culturele belasting, evaluatieve dichtheid, narratieve compressie en danmu-opvallendheid. Culturele belasting verwees naar de aanwezigheid van cultuurspecifieke referenties die aanpassing of uitleg vereisten. Evaluatieve dichtheid mat de concentratie van emotioneel of attitudinaal geladen taal binnen een segment. Narratieve compressie legde vast in welke mate de semantische inhoud was gecondenseerd onder de beperkingen van de ondertiteling. Danmu-opvallendheid representeerde de mate van publieksaandacht gericht op elk ondertitelsegment, gekwantificeerd door het volume van gesynchroniseerde danmu-reacties. In tegenstelling tot conventionele maten voor vertaalmoeilijkheid, weerspiegelde danmu-opvallendheid sociaal verdeelde aandacht in plaats van intrinsieke tekstuele complexiteit. Een segment dat uitgebreide betrokkenheid van het publiek ontving, was niet noodzakelijkerwijs moeilijker te vertalen; in plaats daarvan vertegenwoordigde het een punt van verhoogde communicatieve betekenis binnen de kijkervaring.
Het analytische kader bestond uit drie onderling verbonden datasets. De dataset op deelnemerniveau bevatte individuele demografische kenmerken en vertaalexpertise. De proces-productdataset koppelde elk ondertitelsegment aan gedragsindicatoren die waren geëxtraheerd uit toetsenbordlogging, samen met kwaliteitsbeoordelingen van expertvertalingen. De danmu-dataset bevatte gesynchroniseerde publieksreacties die waren afgestemd op de timing van de ondertitels, waaruit danmu-salience-waarden waren berekend. Deze datasets werden gekoppeld via deelnemer- en segmentidentifiers, waardoor een gelijktijdige analyse van elk vertaald ondertitelsegment mogelijk was in relatie tot de kenmerken van de vertaler, het cognitieve verwerkingsgedrag, de aandacht van het publiek en de vertaalresultaten. De uiteindelijke geïntegreerde database bestond uit 216 volledige vertaalsessies en 3.168 waarnemingen op het niveau van deelnemer-tekst-segment, wat de empirische basis vormde voor de daaropvolgende proces-productanalyses.
Screening van deelnemers en achtergrondprofilering
De steekproef bestond uit 72 studenten Engelse taal en literatuur, geworven van een openbare universiteit in Zuid-China, gelijkmatig verdeeld over het tweede, derde en vierde jaar van de bachelorstudie (24 participanten per jaargroep). Alle participanten waren moedertaalsprekers van het Chinees die formele instructie kregen in Engels schrijven en vertalen. Om de vergelijkbaarheid binnen de populatie van vertaalstudenten te waarborgen, werden personen uitgesloten die langer dan 6 maanden in een Engelstalig land hadden gewoond of over een professionele vertaalcertificering beschikten. Participanten werden niet gestratificeerd in afzonderlijke experimentele groepen op basis van vertalervaring, culturele bekendheid of vaardigheid in de tweede taal. In plaats daarvan werden het studiejaar, recente scores van Engelse vaardigheidstoetsen, eerdere vakken in vertalen, een zelfbeoordeling van de bekendheid met cultuuronderwerpen gerelateerd aan China en de gemiddelde wekelijkse tijd besteed aan tweetalige praktijk vastgelegd en opgenomen als covariabelen op participantniveau in de statistische modellen. Deze verduidelijking lost ook de inconsistentie in het aantal participanten op die tijdens de peer review naar voren kwam: zowel het manuscript als de replicatiedataset bevatten 72 participanten, 216 taaksessies en 3.168 observaties op segmentniveau.
Selectie van brontekst en constructie van taken
De vertaalmaterialen bestonden uit drie eigentijdse, op China gerichte narratieve teksten, die specifiek voor deze studie zijn ontwikkeld om authentiek publiek discours te weerspiegelen en het reproduceren van auteursrechtelijk beschermd materiaal te vermijden. Elke tekst bevatte 205–225 Chinese karakters, maar verschilde systematisch in de interne kenmerken. Tekst A presenteert een relaas over het thuiskomen tijdens het Lentefestival met een matige culturele belasting en een relatief eenvoudige syntaxis. Tekst B vertelt een herinnering aan het Drakenbootfestival en bevat een hogere dichtheid aan cultuurspecifieke uitdrukkingen en impliciete achtergrondkennis. Tekst C beschrijft een narratief over livestreaming en e-commerce op het platteland, gekenmerkt door een dichte evaluatieve taal en een gecomprimeerde narratieve positionering.
De teksten werden systematisch gesegmenteerd op basis van clausuurgrenzen, gevolgd door betekeniseenheidsgrenzen, wat resulteerde in 44 analyseerbare eenheden over de drie vertaaltaken (Tabel 1). Voorafgaand aan de formele codering definieerde een codeerhandleiding de culturele lading, evaluatieve dichtheid en narratieve compressie met behulp van ordinale schalen van 1–5. Een pilotstudie met 12 studenten die niet deelnamen aan het hoofdexperiment bevestigde de beoogde kalibratie van de moeilijkheidsgraad, de duidelijkheid van de taakinstructies en de stabiliteit van de segmentgrenzen voor de uitlijning van de toetsaanslagen.
Constructie van een hulpcorpus en salience-mapping
Om publiekelijk opvallende narratieve aanwijzingen te identificeren, werd een aanvullend danmu-corpus samengesteld uit 24 Bilibili-video's die zijn geüpload tussen januari 2023 en december 2025. Video's werden alleen opgenomen als ze overeenkwamen met een van de drie semantische domeinen uit de bronteksten, meer dan 50.000 weergaven hadden verzameld, een dichte danmu-interactie bevatten en de export en thematische mapping van tijd-gesynchroniseerde reacties toelieten. Na het verwijderen van duplicaten en het filteren van emoji's, onomatopeische stopwoorden en irrelevante fragmenten, bestond het uiteindelijke corpus uit 18.642 reacties.
Inhoudswoorden werden gestandaardiseerd en geclusterd met behulp van trefwoordankers die gerelateerd waren aan de brontekst. Elk segment van de brontekst kreeg vervolgens een continue danmu-salientiescore, gebaseerd op een gewogen composiet van de genormaliseerde frequentie van trefwoordclusters, de concentratie van reacties binnen het overeenkomstige thematische cluster en de gemiddelde evaluatieve intensiteit. Deze procedure maakt vergelijkingen mogelijk tussen de verwerkingsinspanning van de vertaler en de salientie voor het publiek op het niveau van semantische clusters, in plaats van via directe lexicale matching. Omdat danmu de reacties van het publiek op online video's weerspiegelt en niet de experimentele vertaaltaak zelf, wordt danmu-salientie geïnterpreteerd als een externe indicator van publieksbetrokkenheid in plaats van als direct bewijs voor de linguïstische moeilijkheidsgraad van een bronsegment.
Experimentele procedure en gegevensregistratie
De vertaalsessies werden individueel uitgevoerd in een gecontroleerd computerlaboratorium onder gestandaardiseerde hardware-, software- en internettoegangscondities (Figuur 2). Na een oriëntatie van vijf minuten, waarbij de nadruk lag op het produceren van leesbaar Engels voor een internationaal publiek, voltooiden de deelnemers een drieminuten durende opwarmbeurt voor het typen in het Engels om de effecten van keyboardacclimatisatie te minimaliseren. De drie vertaalopdrachten werden opeenvolgend toegediend met behulp van Translog-II, waarbij de volgorde van de opdrachten werd gebalanceerd via een Latijns vierkant-ontwerp om potentiële vermoeidheid en volgorde-effecten gelijkmatig over de deelnemers te verdelen. De deelnemers kregen maximaal 20 minuten per tekst, gescheiden door rustintervallen van vijf minuten.
Hoewel het gebruik van het ingebouwde tweetalige woordenboek was toegestaan, waren machinale vertaalmachines en externe zoekmachines verboden. Alle toetsaanslagen, pauzes en cursorbewegingen werden automatisch geregistreerd en aangevuld met synchrone schermopnamen om niet-lineaire revisie-episoden te verifiëren. Na voltooiing van elke taak vulden de deelnemers een zelfrapportage over de moeilijkheidsgraad in, die uitsluitend werd gebruikt om te helpen bij het interpreteren van twijfelachtige coderingsgevallen.
Procesmeting en codering van variabelen
Toetsaanslaggegevens werden uitgelijnd met de vooraf gedefinieerde segmentstructuur. Een uitlijningsepisode begon bij de eerste toetsaanslag in de doeltaal die overeenkwam met een segment en eindigde wanneer de deelnemer definitief overging naar het volgende segment. Overlappende revisies werden opnieuw toegewezen met behulp van tijdstempel-cursorregistraties.
Het besluitvormingsgedrag werd gekwantificeerd aan de hand van vijf indicatoren: de duur van de eerste pauze vóór de vertaling van het initiële segment, de gemiddelde pauzeduur binnen een segment, de frequentie van pauzes langer dan twee seconden, het aantal raadplegingen van het woordenboek en het aantal cursor-gebaseerde onderbrekingen die duidden op afwijkingen van het lineaire conceptieproces (Tabel 2). Het revisiegedrag werd geclassificeerd langs twee dimensies: timing en functie. Timing maakte onderscheid tussen onmiddellijke lokale revisies en uitgestelde revisies die werden uitgevoerd nadat het conceptieproces het huidige segment was gepasseerd. Functionele codering classificeerde revisies als oppervlakkige revisies (correcties op vormniveau zonder semantische wijziging), betekenisrevisies (lexicale of syntactische wijzigingen), revisies op discoursniveau (aanpassingen in clausalerevaties of coherentie) en culturele adaptatierevisies (herformuleringen gericht op de doelgroep). Twee getrainde codeurs analyseerden onafhankelijk elke revisie-episode vóór de arbitrage en wezen één primaire functionele categorie toe aan elk event. De interbeoordelaarsbetrouwbaarheid was robuust voor alle gecodeerde maten. De ĸ van Cohen wees op substantiële overeenstemming voor de categorische codering van revisiefuncties (ĸ = 0,84, p < 0,001). Voor de ordinale variabelen op tekstniveau toonden intraclass-correlatiecoëfficiënten (ICC, two-way mixed-effects model, absolute agreement) een hoge betrouwbaarheid aan voor culturele belasting (ICC = 0,86), evaluatieve dichtheid (ICC = 0,78) en narratieve compressie (ICC = 0,82). Eventuele initiële coderingsverschillen werden vervolgens opgelost via gezamenlijke arbitrage.
Beoordeling van de vertaalkwaliteit
De vertaalkwaliteit werd onafhankelijk van de procesgegevens geëvalueerd door twee beoordelaars met een promotorieniveau en uitgebreide ervaring in vertaalinstructie. De beoordelaars waren blind voor de identiteit van de deelnemers en de procesmaten en pasten een rubric van 100 punten toe, gelijkmatig verdeeld over vijf dimensies: semantische nauwkeurigheid, linguïstische vloeiendheid, narratieve coherentie, culturele weergave en registergeschiktheid (Tabel 3). Scoreverschillen van meer dan acht punten leidden tot een gezamenlijke review en consensus-rescoring, waarbij het geoordeelde gemiddelde als definitieve score voor de vertaalkwaliteit werd gebruikt. De beoordelingsverslagen van vóór de adjudicatie werden bewaard om transparante rapportage van de interbeoordelaarsbetrouwbaarheid in de replicatiematerialen te faciliteren.
Statistische modellering
De analyses verliepen in drie opeenvolgende fasen. Ten eerste werden beschrijvende statistieken berekend om alle variabelen over de jaargroepen en teksttypen samen te vatten. Ten tweede werd de verwerkingsinspanning op segmentniveau geanalyseerd met behulp van mixed-effects regressiemodellen om rekening te houden met de geneste structuur van segmenten binnen teksten en herhaalde waarnemingen van individuele deelnemers. Afhankelijke variabelen, waaronder de duur van de eerste pauze en de revisiefrequentie, werden gemodelleerd als functies van culturele belasting, evaluatieve dichtheid, narratieve compressie en danmu-opvallendheid, terwijl er werd gecontroleerd voor de vaardigheid van de deelnemer. Om de statistische transparantie te verbeteren, werden correlaties tussen predictoren, diagnose van variantie-inflatie, 95% betrouwbaarheidsintervallen, schattingen van de effectgrootte en model-fit indices opgenomen.
Ten slotte werd de vertaalkwaliteit gemodelleerd om de voorspellende bijdragen van de timing van revisies en de revisiefunctie te evalueren ten opzichte van de totale revisiefrequentie. De overlap tussen danmu-saliente segmenten en vertaalsegmenten met een hoge inspanning werd beoordeeld met behulp van het bovenste kwintiel van elke distributie, een gestandaardiseerde samengestelde inspanningsindex en een kans-overlapanalyse. Er is geen explorerende factorenanalyse of structurele vergelijkingsmodellering uitgevoerd. Bijgevolg worden de bijbehorende figuren uitsluitend gepresenteerd als conceptuele, beschrijvende of op regressie gebaseerde samenvattingen.