Een abonnement op JoVE is vereist om deze inhoud te bekijken. Log in of start vandaag met uw gratis proefperiode.

Methodenartikel

Buitenlands accent en forensische sprekersidentificatie in stemmenopstellingen: de invloed van akoestische kenmerken op basis van prosodie

1.5K weergaven

⸱

DOI:

10.3791/66313

⸱

27 september 2024

 , 
1Center of Humanities, Department of Modern Languages, State University of Paraíba (Universidade Estadual da Paraíba), 2Institute of Language Studies, Department of Linguistics, University of Campinas (Universidade de Campinas)

In dit artikel

Samenvatting

Dit onderzoek had tot doel een vergelijking te maken tussen L1-L2-Engels en L1-L2 Portugees om te controleren hoeveel de invloed van een buitenlands accent verantwoordelijk is voor beide metrische en prosodische-akoestische parameters, evenals voor de keuze van de doelstem in een stemmenopstelling.

Samenvatting

Dit onderzoek heeft tot doel zowel de prosodisch-akoestische kenmerken als de perceptuele correlaten van Engels met een vreemde accent en Braziliaans-Portugees met een vreemde accent te onderzoeken en te controleren hoe de producties van de sprekers van vreemde en moedertalige accenten gecorreleerd zijn met de perceptie van de luisteraars. In de methodologie hebben we een spraakproductieprocedure uitgevoerd met een groep Amerikaanse sprekers van Braziliaans-Portugees als tweede taal en een groep Braziliaanse sprekers van Engels als tweede taal, en een spraakperceptieprocedure waarbij we stemmenlijnen voor beide talen uitvoerden.Voor de statistische analyse van de spraakproductie hebben we Generalized Additive Models gebruikt om het effect van de taalgroep op elke klasse (metriek of prosodisch-akoestisch) van kenmerken te evalueren, gecontroleerd voor het verzachtende effect van de covariant(en) van de tegengestelde klasse. Voor de statistische analyse van de spraakperceptie hebben we een Kruskal-Wallis test en een post-hoc Dunn's test uitgevoerd om het effect van de stemmen van de lineups op de scores beoordeeld door de luisteraars te evalueren. Toch hebben we akoestische (stem) gelijkenistests uitgevoerd op basis van cosinus- en euclidische afstanden. De resultaten toonden significante akoestische verschillen tussen de taalgroep in termen van variabiliteit van de f0, duur en stemkwaliteit. Voor de lineups gaven de resultaten aan dat prosodisch kenmerken van f0, intensiteit en stemkwaliteit correleerden met de waargenomen beoordelingen van de luisteraars.

Inleiding

De accent is een opvallend en dynamisch aspect van communicatie en vloeiendheid, zowel in de moedertaal (L1) als in een vreemde taal (L2)1. Vreemde accent vertegenwoordigt de L2 fonetische kenmerken van een doeltaal en kan (na verloop van tijd) veranderen als reactie op de L2-ervaring van de spreker, spreekstijl, inputkwaliteit, expositie, onder andere variabelen. Een vreemd accent kan worden gekwantificeerd als een (scalaire) graad van verschil tussen L2-spraak geproduceerd door een buitenlandse spreker en een lokale of referentie-accent van de doeltaal2,3,4,5.

Dit onderzoek beoogt zowel de prosodische-akoestische kenmerken als de perceptuele correlaten van Engels met een buitenlands accent en Braziliaans Portugees (BP) met een buitenlands accent te onderzoeken, evenals te controleren in welke mate de producties van buitenlandse en moedertalige accenten van de sprekers gecorreleerd zijn met de perceptie van de luisteraars. Eerder onderzoek op het gebied van forensische wetenschappen heeft de robuustheid van klinkers en medeklinkers aangetoond bij de identificatie van een vreemd accent, hetzij als stabiel voor een langetermijnanalyse van een individu (The Lo Case6) of verwijzend naar de hoge ID-nauwkeurigheid van een spreker (The Lindbergh Case7). Echter, de verkenning van prosodische-akoestische kenmerken op basis van duur, fundamentele frequentie (f0, d.w.z. het akoestische equivalent van toonhoogte), intensiteit en stemkwaliteit (VQ) heeft steeds meer aandacht gekregen8,9. Daarom vertegenwoordigt de keuze voor prosodische-akoestische kenmerken in dit onderzoek een veelbelovende weg op het gebied van forensische fonetica8,10,11,12,13.

Het huidige onderzoek wordt ondersteund door studies die zich richten op vreemde accenten als een vorm van stemvermomming in forensische gevallen14,15, evenals in de voorbereiding van stemlijnen voor sprekerherkenning16,17. Bijvoorbeeld, spraaktempo speelde een belangrijke rol bij de identificatie van Duitse, Italiaanse, Japanse en Braziliaanse sprekers van Engels18,19,20,21,22. Naast spraaktempo, langetermijn spectrale en f0 kenmerken dagen L2-bekwame sprekers met bekendheid met de doeltaal uit omdat de hersenen en cognitieve basissen een tekort lijden in geheugen, aandacht en emotie, wat zich weerspiegelt in de fonetische prestaties van de spreker tijdens lange spraakturns23. Het standpunt van vreemde accenten in de forensische wetenschap is dat de definitie van wat echt klinkt als een vreemd accent veel afhankelijk is van de onbekendheid van de luisteraar in plaats van een niet-tot-extreme graad van spraak met een buitenlands accent24.

In het perceptuele domein is een veelgebruikt forensisch hulpmiddel sinds het midden van de jaren negentig voor de herkenning van criminelen de Stemlijn (auditieve herkenning), die analoog is aan visuele herkenning die wordt gebruikt om een dader op een misdaadplek te identificeren16,25. In een stemlijn wordt de stem van de verdachte gepresenteerd naast foils-stemmen die vergelijkbaar zijn in sociaal-linguïstische aspecten zoals leeftijd, geslacht, geografische locatie, dialect en culturele status-voor identificatie door een oorgetuige. Het succes of falen van een stemlijn hangt af van het aantal stemmonsters en de duur van de monsters25,26. Bovendien wordt voor real-world samples beschouwd dat de audiokwaliteit de nauwkeurigheid van stemherkenning consequent beïnvloedt. Slechte audiokwaliteit kan de unieke kenmerken van een stem vervormen27. In het geval van stemgelijkenis kunnen fijne fonetische details gebaseerd op f0 de luisteraar verwarren tijdens stemherkenning28,29. Dergelijke akoestische kenmerken gaan verder dan f0 en omvatten elementen van duur en spectrale kenmerken van intensiteit en VQ30. Dit beeld van meerdere prosodische kenmerken is cruciaal in de context van forensische stemvergelijking om nauwkeurige sprekeridentificatie te garanderen9,14,15,29,31.

Kortom, studies in forensische fonetica hebben enige variatie laten zien met betrekking tot de identificatie van een vreemd accent in de afgelopen decennia. Aan de ene kant lijkt een vreemd accent het proces van het identificeren van een spreker niet te beïnvloeden32,33 (vooral als de spreker onbekend is met het beoogde vreemde accent34). Aan de andere kant zijn er bevindingen in de tegenovergestelde richting12,34,35.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Protocol

Dit werk is goedgekeurd door een ethische commissie voor mensonderzoek. Bovendien is van alle deelnemers aan deze studie geïnformeerde toestemming verkregen voor het gebruik en de publicatie van hun gegevens.

1. Spraakproductie

OPMERKING: We hebben spraak verzameld uit een leestaak voor zowel 'L1 Engels-L2 BP' geproduceerd door Groep 1: de Americaanse Engelse Sprekers (AmE-S, uit de V.S.A.), als voor 'L1 BP-L2 Engels' geproduceerd door Groep 2: de Braziliaanse Sprekers (Bra-S). Zie Figuur 1 voor een stroomschema van de spraakproductie.

figure-protocol-1
Figuur 1: Schematisch stroomschema voor spraakproductie. Klik hier om een grotere versie van deze figuur te bekijken.

  1. Deelnemers
    1. Bepaal de aantal deelnemers, de taal (L1 Engels, L2 BP; L1 BP, L2 Engels), de geslacht (vrouwelijk of mannelijk), de leeftijd (gemiddelde, standaarddeviatie), de groepskenmerken (professionals of studenten in de bachelorfase), en de L2-vaardigheidsniveau (gevorderd of vergevorderd) voor elke groep.
      OPMERKING: Voor het huidige onderzoek werden zowel AmE-S als Bra-S beschouwd als bekwaam in de L2 (beide groepen waren gekwalificeerd als B2-C1)36). De AmE-S woonden twee jaar in Brazilië toen de procedures werden uitgevoerd. De Bra-S woonden meer dan twee jaar in de V.S. toen de procedures werden uitgevoerd. Tijdens hun verblijf in het buitenland spraken beide groepen hun L2 voor studie- en werkdoeleinden ten minste 6 dagen per week gedurende ongeveer 4-5 uur per dag.
    2. Plaats de deelnemers in een comfortabele en rustige ruimte en presenteer het leesmateriaal voor elke groep.
  2. Gegevensverzameling
    OPMERKING: Spraakgegevens moeten worden verzameld uit een leestaak in de volgende talen: L1-Engels en L2-BP; L1-BP en L2-Engels. Laat de deelnemers de teksten vooraf lezen indien nodig.
    1. Opnameprocedures
      1. Neem de spraakgegevens op op een rustige plek met passende akoestische omstandigheden.
      2. Gebruik een digitale voicerecorder (zie de Tabel met materialen)37 en een unidirectionele, elektromagnetisch geïsoleerde cardioïde microfoon (zie de Tabel met materialen)38.
      3. Neem de audiogegevens op in '.wavformulier
      4. Stel de bemonsteringsfrequentie in op 48 kHz en de kwantiseringsresolutie op 16 bits.
        OPMERKING: Het audioformaat en de configuratie voor de bemonsterings- en kwantiseringssnelheden beschreven in stappen 1.2.1.3 en 1.2.1.4 worden toegepast om een hoge kwaliteit en ruisonderdrukking te garanderen, zodat de spectrale kenmerken die worden gebruikt voor latere akoestische analyse behouden blijven.
  3. Akoestische analyse
    OPMERKING: Verdeel de procedures voor akoestische analyse in drie stappen: geforceerde uitlijning (forced-alignment), heruitlijning en extractie van akoestische kenmerken.
    1. Schrijf de linguïstische transcriptie (in een '.Kies de juiste set pipetpunten voor het volume dat u wilt overbrengen. Sluit de pipetpunt stevig aan op de pipet. Stel de pipet in op het gewenste volume. Druk de zuiger in tot de eerste stop, steek de tip in de vloeistof en laat de zuiger langzaam los om het volume op te zuigen. Haal de tip uit de vloeistof en breng deze over naar de ontvangende buis. Druk de zuiger in tot de eerste stop en druk vervolgens door tot de tweede stop om alle vloeistof volledig uit de tip te verwijderen. Verwijder de gebruikte pipetpunt in de daarvoor bestemde afvalbak.bestand) voor elk audiobestand.
    2. Markeer het paar van 'U heeft geen brontekst verstrekt om te vertalen. Upload aub het .txt-bestand of plak de tekst die u vertaald wilt hebben, zodat ik kan beginnen met de vertaling naar het Nederlands volgens de opgegeven richtlijnen.'/'.wavbestanden met dezelfde naam (bijv. 'my_file.wav'/ 'mijn_bestand.Kies een monster met een geschikte concentratie aan cellen. Centrifugeer de cellen bij 300 x g gedurende 5 minuten. Verwijder het supernatant en was de celpellet twee keer met koud PBS. Het is essentieel om de cellen gedurende het hele proces op ijs te houden om proteasedegradatie te minimaliseren en de integriteit van de eiwitten te behouden. Gebruik een lysisbuffer die is geoptimaliseerd voor het specifieke eiwit van interesse, inclusief proteaseremmers om endogene enzymen te blokkeren. Voeg de lysisbuffer toe aan de celpellet en resuspendeer de cellen door middel van vortexen of door gebruik te maken van een homogenisator. Incubeer het lysaat op ijs gedurende 30 minuten. Centrifugeer het mengsel vervolgens bij 12.000 x g gedurende 15 minuten bij 4 °C om het celdebris te pelletteren. Verzamel de supernatant, waarin de solubele eiwitten zich bevinden, en breng deze over naar een nieuwe, gekoelde centrifugebuis. Bepaal de eiwitconcentratie van het lysaat met behulp van een standaard assay, zoals de BCA-eiwitassay of de Bradford-assay, voordat u doorgaat naar de volgende stap van het experiment.').
      OPMERKING: Om de prestaties van de procedure beschreven in sectie 1.3.7 te verbeteren, wordt ten zeerste aanbevolen dat de eerste drie tekens van de labels van de '.txt/.wav'-bestanden de Taal, Dialect, of Accent, terwijl het vierde tot en met het zesde teken staan voor de Geslacht (bijv., EL1FEM voor EEngels L1 Vrouwelijkale). Vanaf het zevende teken moet de gebruiker het sprekerstype aangeven (bijv. 001 voor de eerste spreker). Bijgevolg is het eerste '.txt/.wav'-paar EL1FEM001.
    3. Maak voor elke L1-L2-taalcombinatie een map aan.
      OPMERKING: Een map voor L1-L2 Engels en een map voor L1-L2 BP.
    4. Bevestig dat alle bestandsparen in dezelfde taal zich in dezelfde map bevinden.
    5. Voer de geforceerde uitlijning uit.
      1. Open de webinterface van de Munich Automatic Segmentation (MAUS) forced aligner (webmuis)39 op https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface/Pipeline.
      2. Sleep en laat elk paar van .wav / .Kies uit de dropdown-lijst de gewenste optie. bestanden van de map naar de gestippelde rechthoek in Bestanden (of klik binnen het rechthoek)* Figuur 2A).
      3. Klik op de Uploaden knop om de bestanden naar de aligner te uploaden (zie rode pijl in Figuur 2A).
      4. Selecteer de volgende opties in de Serviceopties menu (Figuur 2B): G2P-MAUS-PHO2SYL voor Pijplijznaam; Engels (VS) (voor Taal) indien L1-L2 Engelse gegevens; Italiaans (IT) (voor Taal) indien L1-L2 BP-gegevens.
        OPMERKING: Wij hebben 'Italiaans' gekozen voor de BP-gegevens omdat webMAUS geen voorgetrainde akoestische modellen biedt voor de geforceerde uitlijning (forced alignment) van BP. In de fonetische literatuur wordt gesteld dat de Italiaanse fonologie een enigszins vergelijkbare symmetrische inventaris van zeven klinkers heeft, net als BP.40alsovolgens consonantische akoestische gelijkenissen41,42.
      5. Behoud de standaardopties voor 'Uitvoerformaat' en 'Alles behouden'.
      6. Controleer de Uitvoeren selectievakje voor het accepteren van de gebruiksvoorwaarden (zie groene pijl in Figuur 2C).
      7. Klik op de Webservice uitvoeren knop om de geüploade bestanden in de aligner uit te voeren.
        OPMERKING: Voor elk audiobestand geeft de MAUS forced aligner een Praat-bestand terug TextGrid object (een vooraf geformatteerd Praat '.txt'-bestand met de annotatie van woorden, fonologische lettergrepen en fonemen, gebaseerd op de linguïstische transcriptie die is geëxtraheerd uit het '.txt'-bestand beschreven in stap 1.3.1).
      8. Klik op de Download als ZIP-bestand knop om de TextGrid-bestanden als een gezipt bestand te downloaden (Figuur 2C).
        OPMERKING: Zorg ervoor dat de gecomprimeerde TextGrid-bestanden in dezelfde map worden gedownload als de audiobestanden.
      9. Extraheer de TextGrid-bestanden voor latere heruitlijning in de software voor fonetische analyse43.
    6. Voer de heruitlijning uit.
      1. Open en download het script voor Praat VVUnitAligner44 van https://github.com/leonidasjr/VVunitAlignerCode_webMAUS/blob/main/VVunitAligner.praat.
      2. Bevestig dat alle bestandsparen van dezelfde taal en de VVUnitAligner de scripts bevinden zich in dezelfde map.
        OPMERKING: Een map voor de L1-L2 Engelse bestanden en de VVunitAligner, en een map voor de L1-L2 BP-bestanden en de VVunitAligner.
      3. Open de software voor fonetische analyse.
      4. Klik Praat | Open Praat-script… om het script aan te roepen vanuit de objectvenster.
      5. Klik op de Uitvoeren druk één keer op de knop.
        OPMERKING: Een formulier genaamd Fonetische syllabe-uitlijning waarin de instellingen voor het gebruik van het script staan, verschijnt op het scherm (Figuur 3A).
      6. Klik op de Taal knop om te kiezen uit de talen 'Engels (US)', 'Portugees (BR)', 'Frans (FR)' of 'Spaans (ES)'.
      7. Klik op de Chunksegmentatie knop om te kiezen uit de segmentatieprocedure 'Automatisch', 'Geforceerd (handmatig)' of 'Geen'.
      8. Controleer de Sla TextGrid-bestanden op optie om de nieuwe TextGrid-bestanden automatisch op te slaan.
      9. Klik Ok | Start knoppen voor een heruitlijning van de fonetische eenheden uit stap 1.3.5.7.
        OPMERKING: Voor elk audiobestand zal VVUnitAligner een nieuw TextGrid-bestand genereren voor sectie 1.3.7 (Figuur 3B).
    7. Voer de automatische extractie van de akoestische kenmerken uit.
      1. Open en download het script SpeechRhythmExtractor45 van https://github.com/leonidasjr/SpeechRhythmCode/blob/main/SpeechRhythmExtractor.praat voor de automatische extractie van prosodisch-akoestische kenmerken.
      2. Maak een nieuwe map aan en plaats SpeechRhythmExtractor samen met alle paren audio-/TextGrid-bestanden van alle talen hierin.
      3. Open de software voor fonetische analyse.
      4. Klik Praat | Open Praat-script… om het script aan te roepen vanuit de objectvenster.
      5. Klik op de Uitvoeren druk slechts één keer op de knop.
        OPMERKING: Er verschijnt een formulier op het scherm met de scriptinstellingen. Geef in de vakken voor de bestandsnamen van de '.txt'-outputbestanden de juiste namen op of behoud de standaardnamen.
      6. Controleer de stemkwaliteitsparameters optie om de ... op te slaan Uitvoerbestand VQ voor stemkwaliteit (Figuur 3C).
        OPMERKING: Dit tweede uitvoerbestand (de Uitvoerbestand VQ) bevat de parameters van het verschil tussen de 1st en de 2en harmonischen (H1-H2) en de Cepstral Prominence Peak (CPP)9.
      7. Controleer de Taalkundig doelwit optie om te kiezen uit de labels 'Taal', 'Dialect' of 'Accent' (Figuur 3C).
      8. Controleer de Eenheid optie om de f0-kenmerken te kiezen in Hz of in halve tonen (Figuur 3C).
      9. Stel de waarden in voor F0-drempelwaarde, de minimale en maximale f0-drempelwaarden (Figuur 3C).
        OPMERKING: Tenzij het onderzoek specifieke doelen heeft of vooraf vastgestelde specifieke audiofuncties, wordt ten zeerste aanbevolen om de parameters van stap 1.3.7.9 op de standaardwaarden te laten staan.
      10. Klik Ok | Uitvoeren voor de automatische extractie van de akoestische kenmerken.
        OPMERKING: Het script SpeechRhythmExtractor geeft een tabgescheiden '.txt'-bestand terug (Uitvoerbestand/ Uitvoerbestand VQ) met de uit de sprekers geëxtraheerde akoestische kenmerken.
  4. Statistische analyse
    1. Upload het spreadsheet met de akoestische kenmerken in R46 omgeving (of elke statistische software/omgeving naar keuze).
    2. Voer niet-parametrische statistiek uit met gegeneraliseerde additieve modellen (GAM's).
      1. Voer GAMs uit in R.
      2. Typ de volgende commando's in en druk op Voer in.
        library(mgcv)
        model = gam(the metrische/prosodisch-akoestische kenmerk bij de analyse ~ de Taal + s(de gekozen metrische eigenschapdoor de Taal) + overig metrische/prosodisch-akoestische kenmerken, data = de data frame)
        OPMERKING: We hebben besloten de toetsingsstatistieken van het protocol uit te voeren in de programmeertaal R, vanwege de toenemende populariteit ervan onder fonetici (en linguïsten) binnen de academische gemeenschap. R is op grote schaal gebruikt in fonetisch veldonderzoek.47Houd er rekening mee dat stap 1.4.2.2 pseudocode bevat. Schrijf de code volgens de onderzoeksvariabelen.

figure-protocol-2
Figuur 2: Screenshot van fonetische uitlijning met behulp van de MAUS forced aligner. (A) De gestreepte rechthoek is bedoeld voor het slepen en neerzetten van 'my_file.wav'/' my_file.txt' bestanden of om binnen het vlak te klikken om dergelijke bestanden in de map te zoeken; de uploadknop wordt aangegeven door de rode pijl. (B) De geüploade bestanden uit paneel A (zie blauwe pijl), de te gebruiken pipeline, de taal voor de paren bestanden, het bestandsformaat dat moet worden teruggegeven, en een 'true/false'-knop om alle bestanden te behouden. (C) Het selectievakje voor de gebruiksvoorwaarden (zie groene pijl), de knop Run Web Services en de resultaten (te downloaden TextGrid-bestanden). Klik hier om een grotere versie van deze figuur te bekijken.

figure-protocol-3
Figuur 3: Screenshot van de heruitlijningsprocedure. (A) Formulier met instellingen voor de heruitlijningsprocedure. (B) Gedeeltelijke golfvorm, breedband spectrogram met f0 (blauw) contour, en zes gesegmenteerde (en gelabelde) niveaus: tier 1: eenheden van klinker-onset tot de volgende klinker-onset (V_to_V); klinker-onset (V_to_V); tier 2: eenheden van klinker (V), consonant (C) en pauze (#); tier 3: fonische representaties V_to_V; tier 4: enkele woorden uit de tekst; tier 5: enkele spraakfragmenten (CH) uit de tekst; tier 6: tonale laag met de hoogste (H) en de laagste (L) toon van elk spraakfragment geproduceerd door een vrouwelijke AmE-S. (C) Instellingen voor de automatische extractie van de akoestische kenmerken. Klik hier om een grotere versie van deze figuur te bekijken.

2. Spraakperceptie

OPMERKING: We hebben vier stemidentificaties in het Engels uitgevoerd met Amerikaanse luisteraars en vier identificaties in het BP met Braziliaanse luisteraars. Zie Figuur 4 voor een stroomschema van de spraakperceptie.

figure-protocol-4
Figuur 4: Schematisch stroomdiagram voor spraakperceptie. Klik hier om een grotere versie van deze figuur te bekijken.

  1. Deelnemers
    1. Kies voor elke groep verschillende deelnemers uit degenen die hebben deelgenomen aan het spraakproductieprotocol.
      OPMERKING: Twee groepen deelnemers werden geselecteerd voor dit deel van het protocol: Groep 1: de Amerikaanse Engelse (uit de V.S.A.) Luisteraars (AmE-L), en Groep 2: de Braziliaanse Luisteraars (Bra-L). Voor het huidige onderzoek werden zowel AmE-L als Bra-L beschouwd als bekwaam in de L2 (beide groepen waren gekwalificeerd als B2-C136). De AmE-L hadden twee jaar in Brazilië gewoond toen de procedures werden uitgevoerd. De Bra-L hadden meer dan twee jaar in de V.S.A. gewoond toen de procedures werden uitgevoerd. Tijdens hun verblijf in het buitenland spraken beide groepen hun L2 voor studie- en werkdoeleinden (minstens zes dagen per week, ongeveer 4 tot 5 uur per dag).
    2. Bepaal voor elke groep het aantal deelnemers, de taal (L1 Engels, L2 BP; L1 BP, L2 Engels), het geslacht (vrouwelijk of mannelijk), de leeftijd (gemiddelde, standaarddeviatie), de groepskenmerken (professionals of bachelorstudenten) en het L2-bekwaamheidsniveau.
  2. De stemopstellingen
    OPMERKING: Verdeel de procedures voor de stemopstellingen in twee verschillende stappen: het voorbereiden en het uitvoeren van de stemopstellingen.
    1. Bereid vier stemopstellingen voor voor het Engels en vier voor het BP.
      1. Verkrijg audiobestanden van de sprekers uit sectie 1: Spraakproductie.
      2. Controleer of de audiobestanden van elke taalfactor in afzonderlijke mappen staan.
      3. Kies willekeurig zes stemfragmenten in L1 Engels of L1 BP.
        OPMERKING: Zes stemmen in de opstelling vertegenwoordigen één doelstem en vijf afleiders.
      4. Kies een stemfragment in L2 Engels of L2 BP van een van de sprekers die in stap 2.2.1.3 zijn opgenomen.
        OPMERKING: Het stemfragment in stap 2.2.1.4 is de referentiestem. Fragmenten moeten ongeveer 20 s lang zijn.8.
      5. Open en download het script voor Praat CreateLineup48 van https://github.com/pabarbosa/prosody-scripts-CreateLineUp.
      6. Controleer of de L2-referentiestem, de L1-afleiders en de L1-doelstem in dezelfde map staan voordat het CreateLineup-script wordt uitgevoerd (Afbeelding 5).
      7. Open de software voor fonetische analyse.
      8. Klik in het objectvenster op Praat | Open Praat script… om het script aan te roepen.
      9. Klik op Run | Run.
        OPMERKING: Het script genereert een bestand in de volgende volgorde: (de L2-referentiestem) + (de L1-doelstem en de willekeurig verdeelde afleiders) (Afbeelding 5).
    2. Het uitvoeren van de stemopstellingen
      1. Creëer een online ruimte om de opstellingen te hosten op een platform naar keuze (bijv. SurveyMonkey. Zie de Materialentabel) om de stemopstellingen op afstand uit te voeren.
      2. Open de link naar de online ruimte.
      3. Upload de bestanden die door het CreateLineup-script zijn gegenereerd naar het platform.
      4. Voer de procedure vooraf uit om elke stap te testen.
        OPMERKING: Het wordt aanbevolen om vooraf op de link te klikken en de opstellingen uit te voeren om te controleren of alles normaal verloopt.
  3. Statistische analyse
    1. Upload het spreadsheet met de scores van de oordelen van de luisteraars in de R-omgeving (of een andere statistische software/omgeving naar keuze).
      1. Voer de Kruskal-Wallis toets uit in R.
      2. Typ de volgende commando's en druk op Enter.
        ​model = kruskal.test(judgments ~ elke voice lineup, data = de data frame)
    2. Voer een post-hoc Dunn-toets uit.
      1. Voer de Dunn-toets uit in R.
      2. Typ de volgende commando's en druk op Enter.
        library(FSA)
        model = dunnTest(judgements ~ elke voice lineup, data = data, method = "bonferroni")
        OPMERKING: De codes in stappen 2.3.1.2 en 2.3.2.2 zijn pseudocodes (zie OPMERKING 1.4.2.2).
  4. Akoestische gelijkenheidsanalyse
    1. Selecteer de opstellingen (zie OPMERKING in stap 2.2.1.3) die niet-significante verschillen vertoonden tussen de doelstem en een van de afleiders.
    2. Herhaal de procedures van stappen 1.3.1 tot 1.3.7.5, en stappen 1.3.7.8 tot 1.3.7.10.
    3. Open en download het script voor Python49, AcousticSimilarity_cosine_euclidean50 van https://github.com/leonidasjr/AcousticSimilarity/blob/main/AcousticSmilarity_cosine_euclidean.py.
      OPMERKING: Het script genereert drie matrices (in '.txt' en '.csv'): één voor Cosinus-gelijkenis51,52, één voor Euclidische afstand52,53, en één voor getransformeerde Euclidische afstandswaarden, evenals een paarsgewijze vergelijking tussen de doelstem en elke afleider.
    4. Controleer of het script is gedownload in dezelfde map als de dataset van de opstelling.
    5. Klik op de knop Open file… om het script aan te roepen.
    6. Klik op de knoppen Run | Run Without Debugging.
      OPMERKING: De tweede Run-knop kan zijn aangeduid als Run or Run Without Debugging of Run Script. Deze voeren allemaal dezelfde commando's uit. Dit hangt enkel af van de gebruikte Python-omgeving.
    7. Voer stemgelijkenheidstesten uit op basis van akoestische kenmerken.
      ​OPMERKING: Cosinus-gelijkenis (of cosinusafstand) is een techniek die wordt toegepast in Kunstmatige Intelligentie (KI), in het bijzonder in machine learning in systemen voor automatische spraakherkenning (ASR). Het is een maatstaf voor gelijkenis tussen nul en één. Een cosinus-gelijkenis dicht bij één betekent dat twee stemmen waarschijnlijk sterk op elkaar lijken. Een cosinus-gelijkenis dicht bij nul betekent dat de stemmen waarschijnlijk erg verschillend zijn52. De Euclidische afstand, vaak aangeduid als Euclidische gelijkenis, wordt ook veel gebruikt in KI, machine learning en ASR. Het vertegenwoordigt de rechte lijnafstand tussen twee punten in de Euclidische ruimte53; d.w.z. hoe dichter de punten bij elkaar liggen (lagere afstandswaarden), hoe meer de stemmen op elkaar lijken. Voor een duidelijker begrip van de gerapporteerde resultaten van beide technieken hebben we een transformatie uitgevoerd van de ruwe scores van de Euclidische afstand naar waarden van nul (minder stemgelijkenis) tot één (meer stemgelijkenis)54.

figure-protocol-5
Figuur 5: Mappenstructuur voor spraakperceptie. Mappen met line-ups. Elke map bevat zes L1-stemmen, de L2-doelstem, het "CreateLineup"-script en het audiobestand van de stemline-up (gegenereerd na het uitvoeren van het script). Klik hier om een grotere versie van deze figuur te bekijken.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Resultaten

Resultaten voor spraakproductie
In deze sectie hebben we de prestaties van de statistisch significante prosodisch-akoestische kenmerken en ritmiekmetrieken beschreven. Dergelijke prosodische kenmerken waren de spraak-, articulatie- en pauzesnelheden, die gerelateerd zijn aan duur, en shimmer, wat gerelateerd is aan stemkwaliteit. De ritmiekmetrieken waren de standaarddeviatie (SD) van de lettergreepduur, de SD van de consonant, de SD van de vocalische of consonantische duur, en de variatiecoëfficië...

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Discussie

Het huidige protocol presenteert een nieuwigheid op het gebied van (forensische) fonetica. Het is verdeeld in twee fasen: een gebaseerd op productie (akoestische analyse) en een gebaseerd op perceptie (beoordelingsanalyse). De productieanalysefase omvat de gegevensvoorbereiding en geforceerde uitlijning, heruitlijning en automatische extractie van prosodische-akoestische kenmerken naast de statistieken. Dit protocol verbindt de fase van gegevensverzameling met de gegevensanalyse op een snellere en efficiëntere manier dan...

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Openbaarmakingen

De auteurs hebben geen belangenconflicten te verklaren.

Dankbetuigingen

Deze studie werd ondersteund door de Nationale Raad voor Wetenschappelijke en Technologische Ontwikkeling - CNPq, subsidie nr. 307010/2022-8 voor de eerste auteur, en subsidie nr. 302194/2019-3 voor de tweede auteur. De auteurs willen hun oprechte dank uiten aan de deelnemers van dit onderzoek voor hun genereuze medewerking en onschatbare bijdragen.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
CreateLineupPersoonlijke verzameling#Script voor praat voor de voorbereiding van stemopstellingen
Dell I3 (met solid-state drive - SSD) Dell#Laptopcomputer
PraatPaul Boersma & David Weenink#Software voor fonetische analyse
Python 3Python Software Foundation#Geïnterpreteerde, hoogwaardige, algemene programmeertaal 
RThe R Project for Statistical Computing#Programmeertaal voor statistische berekeningen
Shure Beta SM7BShure#Microfoon
SpeechRhythmExtractorPersoonlijke verzameling#Script voor praat voor automatische extractie van akoestische kenmerken
SurveyMonkeySurveyMonkey Inc.#Verzameling gratis aanpasbare enquêtes, evenals een reeks back-end programma's die gegevensanalyse, steekproefselectie, debiasing en gegevensrepresentatie omvatten.
Tascam DR-100 MKIITascam#Digitale spraakrecorder
The Munich Automatic Segmentation System MAUSUniversity of Munich#Gedwongen-aligner van audio (.wav) en taalkundige informatie (.txt) bestanden
VVUnitAlignerPersoonlijke verzameling#Script voor praat voor automatische heralignering en nabewerking van fonetische eenheden

Referenties

  1. Moyer, A. Foreign Accent: The Phenomenon of Non-native Speech. , Cambridge University Press. (2013).
  2. Munro, M., Derwing, T. Foreign accent, comprehensibility and intelligibility, redux. J Second Lang Pronunciation. 6 (3), 283-309 (2020).
  3. Levis, J. Intelligibility, Oral Communication, and the Teaching of Pronunciation. , Cambridge University Press. (2018).
  4. Munro, M. Applying Phonetics: Speech Science in Everyday Life. , Wiley-Blackwell. (2022).
  5. Gut, U. Speaker Classification. Muller, C. , Springer-Verlag. 75-87 (2007).
  6. Rogers, H. Foreign accent in voice discrimination: a case study. Forensic Linguistics. 5 (2), 203-208 (1998).
  7. Solan, L., Tiersma, P. Hearing Voices: Speaker Identification in Court. Hastings Law Journal. 54, 373-436 (2003).
  8. Alcaraz, J. The long-term average spectrum in forensic phonetics: From collation to discrimination of speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 87-110 (2023).
  9. Silva, L. Jr, Barbosa, P. A. Voice disguise and foreign accent: Prosodic aspects of English produced by Brazilian Portuguese speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 195-226 (2023).
  10. Munro, M., Derwing, T. Modeling perceptions of the accentedness and comprehensibility of L2 speech. Studies in Second Language Acquisition. 23 (4), 451-468 (2001).
  11. Keating, P., Esposito, C. Linguistic Voice Quality. Working Papers in Phonetics. , 85-91 (2007).
  12. Niebuhr, O., Skarnitzl, R., Tylečková, L. The acoustic fingerprint of a charismatic voice -Initial evidence from correlations between long-term spectral features and listener ratings. Proceedings of Speech Prosody. , 359-363 (2018).
  13. Segundo San, E. International survey on voice quality: Forensic practitioners versus voice therapists. Estudios de Fonética Experimental. 29, 8-34 (2021).
  14. Farrús, M. Fusing prosodic and acoustic information for speaker recognition. International Journal of Speech, Language and the Law. 16 (1), 169(2009).
  15. Farrús, M. Voice disguise in automatic speaker recognition. ACM Computing Surveys. 51 (4), 1-2 (2018).
  16. Nolan, F. A recent voice parade. The International Journal of Speech, Language and the Law. 10 (2), 277-291 (2003).
  17. McDougall, K. Ear-catching versus eye-catching? Some developments and current challenges in earwitness identification evidence. Speaker Individuality in Phonetics and Speech Sciences. Bernardasci, C., Dipino, D., Garassino, D., Negrinelli, S., Pellegrino, E., Schmid, S. , Officinaventuno. 33-56 (2021).
  18. Gut, U. Rhythm in L2 speech. Speech and Language Technology. 14 (15), 83-94 (2012).
  19. Urbani, M. Pitch Range in L1/L2 English. An Analysis of F0 using LTD and Linguistic Measures. Coop. , Libraria Editrice Università di Padova. (2012).
  20. Gonzales, A., Ishihara, S., Tsurutani, C. Perception modeling of native and foreign-accented Japanese speech based on prosodic features of pitch accent. J Acoust Soc Am. 133 (5), 3572(2013).
  21. Silva, L. Jr, Barbosa, P. A. Speech rhythm of English as L2: an investigation of prosodic variables on the production of Brazilian Portuguese speakers. J Speech Sci. 8 (2), 37-57 (2019).
  22. Foreign accent and L2 speech rhythm of English a pilot study based on metric and prosodic parameters. Silva, L. Jr, Barbosa, P. A. Proceedings of the II Brazilian Conference on Prosody (Anais II Congresso Brasileiro de Prosódia), 1, 41-50 (2023).
  23. Costa, A. El cerebro bilingüe: La neurociencia del lenguaje. , Penguin Randon House. (2017).
  24. Eriksson, A. Tutorial on forensic speech science: Part I. Forensic Phonetics. , (2005).
  25. Harvey, M., Giroux, M., Price, H. Lineup size influences voice identification accuracy. Applied Cognitive Psychology. 37 (5), 42-89 (2023).
  26. Pautz, N., et al. Identifying unfamiliar voices: Examining the system variables of sample duration and parade size. Q J Exp Psychol (Hove). 76 (12), 2804-2822 (2023).
  27. McDougall, K., Nolan, F., Hudson, T. Telephone transmission and earwitnesses: Performance on voice parades controlled for voice similarity. Phonetica. 72 (4), 257-272 (2015).
  28. Nolan, F., McDougall, K., Hudson, T. Some acoustic correlates of perceived (dis) similarity between same-accent voices. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2011). , 1506-1509 (2011).
  29. Sheoran, S., Mahna, D. Voice identification and speech recognition: an arena of voice acoustics. Eur Chem Bull. 12 (5), 50-60 (2023).
  30. Hudson, T., McDougall, K., Hughes, V. Forensic phonetics. The Cambridge Handbook of Phonetics. Knight, R. -A., Setter, J. , Cambridge University Press. 631-656 (2021).
  31. Eriksson, A. The disguised voice: Imitating accents or speech styles and impersonating individuals. Language and identities. Llamas, C., Watt, D. , Edinburgh University Press. 86-96 (2010).
  32. Köster, O., Schiller, N. Different influences of the native language of a listener on speaker recognition. Forensic Linguistics. 4 (1), 18-27 (1997).
  33. The influence of native-language background on speaker recognition. Köster, O., Schiller, N., Künzel, H. Proceedings of the International Congress of Phonetic Sciences (ICPhS 1995), , 306-309 (1995).
  34. Thompson, C. P. A language effect in voice identification. Applied Cognitive Psychology. 1, 121-131 (1987).
  35. San Segundo, E., Univaso, P., Gurlekian, J. Sistema multiparamétrico para la comparación forense de hablantes. Estudios de Fonética Experimental. 28, 13-45 (2019).
  36. Council of Europe. Common European Framework of Reference for Languages: Learning, Teaching, Assessment. , Press Syndicate of the University of Cambridge. (2001).
  37. How to use Tascam DR-100 MKII: Getting started. , https://www.youtube.com/watch?v=O2E72uV9fWc (2018).
  38. Getting the most from your Shure SM58 microphone. , https://www.youtube.com/watch?v=wweNufW7EXA (2020).
  39. Kisler, T., Reichel, U. D., Schiel, F. Multilingual processing of speech via web services. Computer Speech & Language. 45, https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface/WebMAUSBasic 326-347 (2017).
  40. Escudero, P., Boersma, P., Rauber, A., Bion, R. A cross-dialect acoustic description of vowels: Brazilian and European Portuguese. J Acoust Soc Am. 126 (3), 1379-1393 (2009).
  41. Post-aspiration in standard Italian: some first cross-regional acoustic evidence. Stevens, M., Hajek, J. Proceedings 11th Conference of the International Speech Communication Association (INTERSPEECH 2010), , 1557-1560 (2011).
  42. Barbosa, P., Madureira, S. Manual de Fonética Acústica Experimental: aplicações a dados do português. , Cortez. (2015).
  43. Boersma, P., Weenink, D. Praat: Doing phonetics by computer. (Version 6.1.38) [Computer program]. , https://www.praat.org/ (1992-2021).
  44. Silva, L. Jr VVUnitAligner. [Computer program]. , https://github.com/leonidasjr/VVunitAlignerCode_webMAUS (2022).
  45. Silva, L. Jr, Barbosa, P. A. SpeechRhythmExtractor [Computer program]. , https://github.com/leonidasjr/VowelCode (2019-2023).
  46. R Core Team. A language and environment for statistical computing. R Foundation for Statistical Computing. , https://www.R-project.org/ (2023).
  47. Pigoli, D., Hadjipantelis, P. Z., Coleman, J. Z., Aston, J. The statistical analysis of acoustic phonetic data. Journal of the Royal Statistical Society. 67 (5), 1103-1145 (2018).
  48. Barbosa, P. A. CreateLineup [Computer program]. , https://github.com/pabarbosa/prosody-scripts-CreateLineUp (2021).
  49. Van Rossum, G., Drake, F. L. Python 3 Reference Manual. , CreateSpace. (2009).
  50. Silva, L. Jr AcousticSimilarity_cosine_euclidean. [Computer program]. , https://github.com/leonidasjr/AcousticSimilarity/blob/main/AcousticSmilarity_cosine_euclidean.py (2024).
  51. Automatic assessment of voice similarity within and across speaker groups with different accents. Gerlach, L., McDougall, K., Kelly, F., Alexander, A. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023), , 3785-3789 (2023).
  52. Gahman, N., Elangovan, V. A comparison of document similarity algorithms. International Journal of Artificial Intelligence and Applications. 14 (2), 41-50 (2023).
  53. San Segundo, E., Tsanas, A., Gómez-Vilda, P. Euclidean distances as measures of speaker similarity including identical twin pairs: A forensic investigation using source and Filter voice characteristics. Forensic Science International. 270, 25-38 (2017).
  54. Speaker's voice characteristics and similarity measurement using Euclidean distances. Singh, M. K., Singh, N., Singh, A. K. Proceedings of the International Conference on Signal Processing and Communication (ICSC 2019), , 317-322 (2019).
  55. Darling-White, M., Banks, W. Speech rate varies with sentence length in typically developing children. J Speech Lang Hear Res. 64 (6), 2385-2391 (2021).
  56. Barbosa, P. A. Incursões em torno do ritmo da Fala. , Pontes Editores. (2006).
  57. Golestani, N., Pallier, C. Anatomical correlates of foreign speech sound production. Cereb Cortex. 17 (4), 929-934 (2007).
  58. Trouvain, J., Fauth, C., Möbius, B. Breath and non-breath pauses in fluent and disfluent phases of German and French L1 and L2 read speech. Proceedings of Speech Prosody. , 31-35 (2016).
  59. Waaning, J. The Lombard effect: the effects of noise exposure and being instructed to speak clearly on speech acoustic parameters. [Master's thesis]. , Radboud University. (2021).
  60. Villegas, J., Perkins, J., Wilson, I. Effects of task and language nativeness on the Lombard effect and on its onset and offset timing. J Acoust Soc Am. 149 (3), 1855(2021).
  61. Differences between native and non-native Lombard speech in terms of pitch range. Proceedings of the 23rd International Congress on Acoustics(ICA 2019). Marcoux, K., Ernestus, M. , 5713-5720 (2019).
  62. Marcoux, K., Ernestus, M. Pitch in native and non-native Lombard speech. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2019). , 2605-2609 (2019).
  63. Marcoux, K., Ernestus, M. Acoustic characteristics of non-native Lombard speech in the DELNN corpus. Journal of Phonetics. 102, 1-25 (2024).
  64. Gil, J., San Segundo, E. La cualidad de voz en fonética judicial [Voice quality in judicial phonetics]. Lingüística Forense: la Lingüística en el ámbito legal y policial. Garayzábal, M., Jiménez, M., Reigosa, M. , Euphonía Ediciones. 154-199 (2014).
  65. Gil, J., San Segundo, E. El disimulo de la cualidad de voz en fonética judicial: Estudio perceptivo de la hiponasalidad [Voice quality disguise in judicial phonetics: A perceptual study of hyponasality. Panorama de la fonética española actual. Penas-báñez, M. A. , Arco Libros. 321-366 (2013).
  66. Passeti, R., Madureira, S., Barbosa, P. What can voice line-ups tell us about voice similarity. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 3765-3769 (2023).
  67. Nolan, F. The DyViS database: Style-controlled recordings of 100 homogeneous speakers for forensic phonetic research. International Journal of Speech Language and the Law. 16 (1), 31-57 (2009).
  68. Caroll, D. Psychology of Language. , Wadsworth. (1994).
  69. Ortega-Llebaria, M., Silva, L. Jr, Nagao, J. Macro- and micro-rhythm in L2 English: Exploration and Refinement of Measures. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 1582-1586 (2023).
  70. Fernández-Trinidad, M. Hacia la aplicabilidad de la cualidad de la voz en fonética judicial. Loquens. 9 (1-2), 1-11 (2022).
  71. Brouwer, S. The role of foreign accent and short-term exposure in speech-in-speech recognition. Atten Percep Psychophys. 81, 2053-2062 (2019).
  72. Love, R., Wright, D. Specifying challenges in transcribing covert recordings: Implications for forensic transcription. Front Commun. 6, 1-14 (2021).
  73. Meer, P. Automatic alignment for New Englishes: Applying state-of-the-art aligners to Trinidadian English. J Acoust Soc Am. 147 (4), 2283-2294 (2020).
  74. Montreal Forced Aligner: trainable text-speech alignment using Kaldi. McAuliffe, M., Socolof, M., Mihuc, S., Wagner, M., Sonderegger, M. Proceedings 18th Conference of the International Speech Communication Association (INTERSPEECH 2017), , 498-502 (2017).
  75. Chodroff, E. Montreal Forced Aligner: MFA Tutorial. , https://zenodo.org/records/7591607 (2023).

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Herprints en machtigingen

Meer artikelen verkennen

Prosodische kenmerkenspraakperceptiestemkwaliteitgrondfrequentiesprekerherkenningakoestische gelijkenis
Buitenlands accent en forensische sprekersidentificatie in stemmenopstellingen: de invloed van akoestische kenmerken op basis van prosodie
Neem contact met ons op
Aanbevelen aan de bibliotheek

Privacy

Gebruiksvoorwaarden

Beleidsoverzicht

Copyright © 2026 MyJoVE Corporation. Alle rechten voorbehouden.