Methodenartikel

Buitenlands accent en forensische sprekersidentificatie in stemmenopstellingen: de invloed van akoestische kenmerken op basis van prosodie

DOI:

10.3791/66313

⸱

27 september 2024

 , 
1Center of Humanities, Department of Modern Languages, State University of Paraíba (Universidade Estadual da Paraíba), 2Institute of Language Studies, Department of Linguistics, University of Campinas (Universidade de Campinas)

In dit artikel

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dit onderzoek had tot doel een vergelijking te maken tussen L1-L2-Engels en L1-L2 Portugees om te controleren hoeveel de invloed van een buitenlands accent verantwoordelijk is voor beide metrische en prosodische-akoestische parameters, evenals voor de keuze van de doelstem in een stemmenopstelling.

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dit onderzoek heeft tot doel zowel de prosodisch-akoestische kenmerken als de perceptuele correlaten van Engels met een vreemde accent en Braziliaans-Portugees met een vreemde accent te onderzoeken en te controleren hoe de producties van de sprekers van vreemde en moedertalige accenten gecorreleerd zijn met de perceptie van de luisteraars. In de methodologie hebben we een spraakproductieprocedure uitgevoerd met een groep Amerikaanse sprekers van Braziliaans-Portugees als tweede taal en een groep Braziliaanse sprekers van Engels als tweede taal, en een spraakperceptieprocedure waarbij we stemmenlijnen voor beide talen uitvoerden.Voor de statistische analyse van de spraakproductie hebben we Generalized Additive Models gebruikt om het effect van de taalgroep op elke klasse (metriek of prosodisch-akoestisch) van kenmerken te evalueren, gecontroleerd voor het verzachtende effect van de covariant(en) van de tegengestelde klasse. Voor de statistische analyse van de spraakperceptie hebben we een Kruskal-Wallis test en een post-hoc Dunn's test uitgevoerd om het effect van de stemmen van de lineups op de scores beoordeeld door de luisteraars te evalueren. Toch hebben we akoestische (stem) gelijkenistests uitgevoerd op basis van cosinus- en euclidische afstanden. De resultaten toonden significante akoestische verschillen tussen de taalgroep in termen van variabiliteit van de f0, duur en stemkwaliteit. Voor de lineups gaven de resultaten aan dat prosodisch kenmerken van f0, intensiteit en stemkwaliteit correleerden met de waargenomen beoordelingen van de luisteraars.

Inleiding

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De accent is een opvallend en dynamisch aspect van communicatie en vloeiendheid, zowel in de moedertaal (L1) als in een vreemde taal (L2)1. Vreemde accent vertegenwoordigt de L2 fonetische kenmerken van een doeltaal en kan (na verloop van tijd) veranderen als reactie op de L2-ervaring van de spreker, spreekstijl, inputkwaliteit, expositie, onder andere variabelen. Een vreemd accent kan worden gekwantificeerd als een (scalaire) graad van verschil tussen L2-spraak geproduceerd door een buitenlandse spreker en een lokale of referentie-accent van de doeltaal2,3,4,5.

Dit onderzoek beoogt zowel de prosodische-akoestische kenmerken als de perceptuele correlaten van Engels met een buitenlands accent en Braziliaans Portugees (BP) met een buitenlands accent te onderzoeken, evenals te controleren in welke mate de producties van buitenlandse en moedertalige accenten van de sprekers gecorreleerd zijn met de perceptie van de luisteraars. Eerder onderzoek op het gebied van forensische wetenschappen heeft de robuustheid van klinkers en medeklinkers aangetoond bij de identificatie van een vreemd accent, hetzij als stabiel voor een langetermijnanalyse van een individu (The Lo Case6) of verwijzend naar de hoge ID-nauwkeurigheid van een spreker (The Lindbergh Case7). Echter, de verkenning van prosodische-akoestische kenmerken op basis van duur, fundamentele frequentie (f0, d.w.z. het akoestische equivalent van toonhoogte), intensiteit en stemkwaliteit (VQ) heeft steeds meer aandacht gekregen8,9. Daarom vertegenwoordigt de keuze voor prosodische-akoestische kenmerken in dit onderzoek een veelbelovende weg op het gebied van forensische fonetica8,10,11,12,13.

Het huidige onderzoek wordt ondersteund door studies die zich richten op vreemde accenten als een vorm van stemvermomming in forensische gevallen14,15, evenals in de voorbereiding van stemlijnen voor sprekerherkenning16,17. Bijvoorbeeld, spraaktempo speelde een belangrijke rol bij de identificatie van Duitse, Italiaanse, Japanse en Braziliaanse sprekers van Engels18,19,20,21,22. Naast spraaktempo, langetermijn spectrale en f0 kenmerken dagen L2-bekwame sprekers met bekendheid met de doeltaal uit omdat de hersenen en cognitieve basissen een tekort lijden in geheugen, aandacht en emotie, wat zich weerspiegelt in de fonetische prestaties van de spreker tijdens lange spraakturns23. Het standpunt van vreemde accenten in de forensische wetenschap is dat de definitie van wat echt klinkt als een vreemd accent veel afhankelijk is van de onbekendheid van de luisteraar in plaats van een niet-tot-extreme graad van spraak met een buitenlands accent24.

In het perceptuele domein is een veelgebruikt forensisch hulpmiddel sinds het midden van de jaren negentig voor de herkenning van criminelen de Stemlijn (auditieve herkenning), die analoog is aan visuele herkenning die wordt gebruikt om een dader op een misdaadplek te identificeren16,25. In een stemlijn wordt de stem van de verdachte gepresenteerd naast foils-stemmen die vergelijkbaar zijn in sociaal-linguïstische aspecten zoals leeftijd, geslacht, geografische locatie, dialect en culturele status-voor identificatie door een oorgetuige. Het succes of falen van een stemlijn hangt af van het aantal stemmonsters en de duur van de monsters25,26. Bovendien wordt voor real-world samples beschouwd dat de audiokwaliteit de nauwkeurigheid van stemherkenning consequent beïnvloedt. Slechte audiokwaliteit kan de unieke kenmerken van een stem vervormen27. In het geval van stemgelijkenis kunnen fijne fonetische details gebaseerd op f0 de luisteraar verwarren tijdens stemherkenning28,29. Dergelijke akoestische kenmerken gaan verder dan f0 en omvatten elementen van duur en spectrale kenmerken van intensiteit en VQ30. Dit beeld van meerdere prosodische kenmerken is cruciaal in de context van forensische stemvergelijking om nauwkeurige sprekeridentificatie te garanderen9,14,15,29,31.

Kortom, studies in forensische fonetica hebben enige variatie laten zien met betrekking tot de identificatie van een vreemd accent in de afgelopen decennia. Aan de ene kant lijkt een vreemd accent het proces van het identificeren van een spreker niet te beïnvloeden32,33 (vooral als de spreker onbekend is met het beoogde vreemde accent34). Aan de andere kant zijn er bevindingen in de tegenovergestelde richting12,34,35.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dit werk kreeg goedkeuring van een commissie voor de ethiek in onderzoek bij mensen. Verder werd van alle deelnemers die bij dit onderzoek betrokken waren toestemming verkregen om hun gegevens te gebruiken en te publiceren.

1. Spraakproductie

OPMERKING: We verzamelen spraak van een leesopdracht in zowel 'L1 Engels-L2 BP' geproduceerd door Groep 1: De Amerikaanse Engelse (uit de VS) Sprekers (AmE-S), en in zowel 'L1 BP-L2 Engels' geproduceerd door Groep 2: De Braziliaanse Sprekers (Bra-S). Zie Figuur 1 voor een stroomdiagram van spraakproductie.

Pipeline data upload interface; sequence analysis workflow; steps: file upload, processing, results.
Figuur 1: Schematisch stroomdiagram voor spraakproductie. Klik hier om een grotere versie van dit figuur te bekijken.

  1. Deelnemers
    1. Bepaal het aantal deelnemers, de taal (L1 Engels, L2 BP; L1 BP, L2 Engels), het geslacht (vrouw of man), de leeftijd (gemiddelde, standaardafwijking), de groepskenmerken (professionals of studenten) en het L2-vaardigheidsniveau (gevorderd of zeer gevorderd) voor elke groep.
      OPMERKING: Voor het huidige onderzoek werden zowel AmE-S als Bra-S beschouwd als L2-bekwaam (beide groepen waren gekwalificeerd als B2-C136). De AmE-S hadden twee jaar in Brazilië gewoond toen de procedures werden uitgevoerd. De Bra-S hadden meer dan twee jaar in de VS gewoond toen de procedures werden uitgevoerd. Terwijl ze in het buitenland woonden, spraken beide groepen hun L2 minstens 6 dagen per week gedurende ongeveer 4-5 uur per dag voor studie- en werkdoeleinden.
    2. Breng de deelnemers naar een comfortabele en rustige kamer en presenteer het leesmateriaal voor elke groep.
  2. Gegevensverzameling
    OPMERKING: Spraakgegevens moeten worden verzameld uit een leesopdracht in de volgende talen: L1-Engels en L2-BP; L1-BP en L2-Engels. Laat de deelnemers indien nodig vooraf de teksten lezen.
    1. Opnameprocedures
      1. Neem de spraakgegevens op op een rustige plek met geschikte akoestische omstandigheden.
      2. Gebruik een digitale stemrecorder (zie de Tabel met materialen)37 en een unidirectionele elektromagnetisch geïsoleerde cardioïde microfoon (zie de Tabel met materialen)38.
      3. Neem de audiogegevens op in '.wav'-formaat.
      4. Stel de bemonsteringssnelheid in op 48 kHz en de kwantiseringssnelheid op 16 bits.
        OPMERKING: Het audioformaat en de configuratie voor de bemonsterings- en kwantiseringssnelheden die in stappen 1.2.1.3 en 1.2.1.4 worden beschreven, worden toegepast om een hoge kwaliteit en ruisonderdrukking te garanderen om de spectrale kenmerken te behouden die later worden gebruikt voor akoestische analyse.
  3. Akoestische analyse
    OPMERKING: Verdeel de akoestische analyseprocedures in drie stappen: forced-alignment, heralignering en akoestische kenmerkenextractie.
    1. Schrijf de linguïstische transcriptie (in een '.txt'-bestand) voor elk audiobestand.
    2. Label het paar '.txt'/'.wav'-bestanden met dezelfde naam (d.w.z. 'mijn_bestand.wav'/ 'mijn_bestand.txt').
      OPMERKING: Om de prestaties van de in sectie 1.3.7 beschreven procedure te verbeteren, wordt sterk aanbevolen dat de eerste drie tekens van de ‘.txt/.wav’-bestandlabels de Taal, Dialect of Accent vertegenwoordigen, terwijl de vierde tot en met zesde tekens het Geslacht aangeven (bijv. EL1FEM voor Engels L1 Vrouw). Vanaf het zevende teken moet de gebruiker het sprekernummer aangeven (bijv. 001 voor de eerste spreker). Bijgevolg is het eerste '.txt/.wav'-paar EL1FEM001.
    3. Maak een map voor elke L1-L2-taal.
      OPMERKING: Een map voor L1-L2 Engels en een map voor L1-L2 BP.
    4. Controleer of alle bestandsparen van dezelfde taal zich in dezelfde map bevinden.
    5. Voer de forced alignment uit.
      1. Ga naar de webinterface van Munich Automatic Segmentation (MAUS) forced aligner (webMAUS)39 op https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface/Pipeline.
      2. Sleep en plaats elk paar.wav / .txt -bestanden van de map naar het gestippelde rechthoekje in Bestanden (of klik binnen het rechthoekje, Figuur 2A).
      3. Klik op de knop Uploaden om de bestanden naar de aligner

Resultaten

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Resultaten voor spraakproductie
In deze sectie beschreven we de prestaties van de statistisch significante prosodische-akoestische kenmerken en ritmemetrieken. Dergelijke prosodische kenmerken waren spraak-, articulatie- en pauzefrequenties, die gerelateerd zijn aan duur, en shimmer, dat gerelateerd is aan stemkwaliteit. De ritmemetrieken waren standaarddeviatie (SD) van lettergreepduur, SD van medeklinker, SD van vocale of medeklinkerduur en de variatiecoëfficiënt van lettergreepduur (zie de Aanvullende Tabel S1).

De Spraaksnelheid (Figuur 6A) neemt sneller af voor L1-L2 Engels dan voor L1-L2 BP, hoewel de snelheid voor beide L2's lager is. De Spraaksnelheid is gerelateerd aan drie metrische - SD van lettergreepduur (SD-S), SD van klinkers (SD-V) en de variatiecoëfficiënt van lettergrepen (Varco-S). Het is ook belangrijk om in gedachten te houden dat zowel de AmE-S- als de Bra-S-groep bekwaam zijn in hun L2's. Het lijkt erop dat een dergelijke snelheid wordt beïnvloed door de hogere waarden van lettergreepduur en de lagere variabiliteit geproduceerd door L1-L2 BP, wat minder steile hellingen veroorzaakt.

De Articulatiesnelheid (Figuur 6D) is gerelateerd aan SD-S, Varco-S, evenals de syllabische ritmeratio (RR-S); de laatste vertegenwoordigt de verhouding tussen kortere en langere lettergrepen. Dergelijke metrische lijken de Articulatiesnelheid te beïnvloeden, net als de beïnvloede Spraaksnelheid door zinslengte en variatie in duur, wat leidt tot hogere L2 spraakplanning en L2 cognitieve belasting9,23,54. Een hogere cognitief-linguïstische belasting kan vereist zijn in het domein van zinslengte op een manier dat prosodische-akoestische parameters worden beïnvloed55.

Met betrekking tot de prosodische-akoestische kenmerken van Spraak en Articulatiesnelheid, suggereren onze bevindingen dat hoe meer een spreker de duur van lettergrepen (en klinkers) varieert, hoe lager deze snelheid. We veronderstellen dat de spraakperceptie van zowel L1 als L2 BP iets langzamer klinkt dan L1 en L2-Engels, en dat L1-Engels sneller klinkt dan alle andere taalniveaus. Dit feit kan verband houden met spraakritme en de hypothese dat terwijl L1-L2 BP zich richt op de lettergreep-gebaseerde pool van het ritmecontinuüm, L1-L2 Engels zich richt op de accent-gebaseerde pool21,22.

De Lokale shimmer, Figuur 6B, wordt beïnvloed door SD-S en Varco-S. Voor de Lokale shimmer presenteren beide producties van Bra-S, L1-BP en L2-Engels een min of meer monotonic traject naarmate de variabiliteit van lettergreepduur toeneemt (SD en Varco, zie Aanvullende Tabel S1). De perceptie van vocale inspanning kan duidelijk zijn bij het luisteren naar de producties van Bra-S vanwege een lage variatie die varieert tussen 8,5 en 9 dB. Bra-S-spraak wordt beïnvloed door vocale belasting. L1-BP wordt sterk beïnvloed door zinslengte en is minder gevoelig voor hoge variaties in lettergreepduur (BP ritmepatroon vertoont minder syllabische variatie22,56).

De Pauzefrequentie (Figuur 6C) laat zien dat L2-Engelstaligen langere pauzes produceren (van 200 ms tot 375 ms) dan de L1-Engelstaligen, L1-BP en L2-BP (gemiddeld 30 ms voor L1-Engels, 50 ms voor L1-BP en 100 ms voor L2-BP). Spraakplanning kan in dit geval de L2-Engelse productie hebben beïnvloed als gevolg van verhoogde hersenactiviteit54,57. Er wordt verwacht dat hogere taalbekwaamheid zou resulteren in een hogere leessnelheid en -bereik54; niettemin, zelfs voor bekwame L2-sprekers, vertoonden leestaken meer inspanning in hogere cognitieve aspecten van vreemde spraak en taalverwerking54,57. Onze bevindingen tonen, althans op voorlopige basis, dat L2-BP-sprekers minder worden beïnvloed door pauzes dan L2-Engels als gevolg van verschillen in het ritmepatroon van beide talen.

Spraaksnelheid en akoestische kenmerken; lijngrafieken die de variabiliteit van taalgegevens in lettergrepen vergelijken.
Figuur 6: Gegeneraliseerde Additieve Modellen voor de prosodische-akoestische kenmerken. Op de Y-as, de responsvariabele (de akoestische kenmerken die moeten worden gemodelleerd); op de X-as, de voorspellende variabelen (de factor 'Taal' en de covarianten in de additieve modellen die de vorm en de trajecten van de curven zullen bieden (d.w.z. de gladmakende effecten: 'Taal + covarianten'), en het product van de 'Taal' en een metrische functie die een nauwkeuriger projectie van de responsvariabele zal bieden (d.w.z. factor-smooth interact

Discussie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het huidige protocol presenteert een nieuwigheid op het gebied van (forensische) fonetica. Het is verdeeld in twee fasen: een gebaseerd op productie (akoestische analyse) en een gebaseerd op perceptie (beoordelingsanalyse). De productieanalysefase omvat de gegevensvoorbereiding en geforceerde uitlijning, heruitlijning en automatische extractie van prosodische-akoestische kenmerken naast de statistieken. Dit protocol verbindt de fase van gegevensverzameling met de gegevensanalyse op een snellere en efficiëntere manier dan de traditionele protocollen die voornamelijk gebaseerd zijn op handmatige segmentatie.

De heruitlijningsprocedure, getoond in protocolstappen 1.3.6 tot 1.3.6.9, werkt echter fundamenteel op de fone- en woodeenheden die zijn gegenereerd in protocolstappen 1.3.1 tot 1.3.4. De nieuwigheid van het heruitlijningsproces is dat het een nieuw TextGrid genereert met drie nieuwe tekstlagen: een syllabische laag, een spraakstukslaag die automatisch of handmatig kan worden gegenereerd op basis van woorden, en een toonlaag die heel nuttig kan zijn voor het berekenen van f0-maatregelen. De voor dit protocol voorgestelde heruitlijningsrichtlijnen werden eerder gebruikt in studies van L2 spraakritme21,69,70, studies voor de detectie van de mate van buitenlands accent met behulp van machine learning-technieken22, en studies in het forensische domein9.

De automatische extractie van prosodische kenmerken, gepresenteerd in protocolstappen 1.3.7 tot 1.3.7.10, genereert een multidimensionale matrix van prosodische-akoestische kenmerken zoals kan worden getest in het huidige onderzoek. Dergelijke kenmerken omvatten melodische, duur-, en spectrale (stemkwaliteit en intensiteit) spraakfuncties71. Een aanzienlijk aantal van deze akoestische kenmerken is minder gevoelig en enigszins robuust voor lawaaierige audio-opnamen die uiteindelijk in forensische of andere scenario's worden verzameld72. Bovendien kan de multidimensionale matrix worden toegepast op spraakherkenningssystemen via verschillende AI-technieken (in uitvoering). Het kan nog steeds heel nuttig zijn in het onderwijzen van prosodische aspecten in L2 uitspraakklassen21 (in uitvoering).

De statistische analyse van dit deel van het protocol vertegenwoordigt het gebruik van de GAM-methode, aangezien we te maken hadden met een complexe relatie tussen een specifiek akoestisch kenmerk en meerdere sprekers van taalfactoren. Om een specifiek akoestisch kenmerk te modelleren, was het bijvoorbeeld noodzakelijk om te controleren hoe andere akoestische kenmerken uit de matrix (de vlotte termen) zouden presteren, zodat we nauwkeuriger konden beschrijven wat er gebeurde tijdens spraakproductie.

Met betrekking tot de perceptieanalyse bestond het huidige protocol uit het voorbereiden en implementeren van de voice lineups, statistische analyse en akoestische gelijkenisanalyse. Om de lineups voor te bereiden, gebruikten we het CreateLineup-script voor Praat, dat automatisch een audiobestand genereert voor elke lineup met willekeurig gesequencede foils en doelstem zoals beschreven in protocolstappen 2.2 tot 2.2.1.9.

Voor de statistische analyse van dit protocol hebben we de Kruskal-Wallis niet-parametrische test uitgevoerd, aangezien onze gegevens niet voldeden aan de veronderstellingen van de analyse van variantie (ANOVA). Zodra we een relatie hadden tussen de beoordelingsscores beoordeeld door de luisteraars en gecontroleerd voor de doelstem en de foils, kozen we ervoor om de lineaire modelstatistieken te gebruiken.

Voor de akoestische gelijkenisanalyse gebruikten we het AcousticSmilarity_cosine_euclidean script voor Python. Het programma toont de directoryboom van de computer en vraagt de gebruiker om het bestand te kiezen dat de prosodische-akoestische kenmerken van de foils en de doelstem bevat die de lineup in analyse vormen. Met een klik op een knop genereert het script drie gelijkenismatrices: een cosinus-, een euclidische en een getransformeerde ( zero-to-one ) euclidische, op zowel '.txt' (tab-gescheiden) als '.csv' bestanden. We moeten nog steeds in gedachten houden dat elke dataset (het '.txt' bestand dat de prosodische-akoestische kenmerken van de foils en de doelstem bevat) in de originele folder van de lineup moet staan en elke lineup folder een kopie van het AcousticSmilarity_cosine_euclidean script moet hebben.

Kortom, het huidige protocol maakt vorderingen in het onderzoek naar (forensische) fonetica. Bestaande uit verschillende fasen - productie- en perceptieanalyses, evenals akoestische gelijkenis - overbrugt het de kloof tussen gegevensverzameling en multidimensionale akoestische-kenmerkanalyse. Onderzoekers kunnen profiteren van een holistische perspectief door zowel productie- als perceptieaspecten te verkennen. Bovendien zorgt dit protocol voor reproduceerbaarheid van onderzoek, waardoor anderen kunnen voortbouwen op de richtlijnen van dit werk.

Beperkingen en toekomstige richtingen
We moeten nog steeds in gedachten houden dat alles succesvol zal verlopen als de gegevensvoorbereiding de richtlijnen volgt die worden voorgesteld in protocolstappen 1.3.1 tot 1.3.4. Bovendien moeten we in de procedures voor geforceerde uitlijning bewust zijn dat een externe vooraf getrainde geforceerde uitlijner, zoals MAUS die in het huidige werk wordt gebruikt, vatbaar is voor segmentatiefouten, vooral bij niet-vooraf getrainde buitenlandse geaccentueerde gegevens of zelfs bij vooraf getrainde uitlijners, of het geluid geen goede kwaliteit heeft of de uitlijner de geluidstaal niet bevat (dit feit zou het werk van de expert moeilijker en tijdrovender maken). Forensische transcriptie, vooral van langere audiobestanden, stuit op moeilijkheden met betrekking tot de nauwkeurige en betrouwbare weergave van gesproken opnamen72.

Er zijn ook verschill

Openbaarmakingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs hebben geen belangenconflicten te verklaren.

Dankbetuigingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Deze studie werd ondersteund door de Nationale Raad voor Wetenschappelijke en Technologische Ontwikkeling - CNPq, subsidie nr. 307010/2022-8 voor de eerste auteur, en subsidie nr. 302194/2019-3 voor de tweede auteur. De auteurs willen hun oprechte dank uiten aan de deelnemers van dit onderzoek voor hun genereuze medewerking en onschatbare bijdragen.

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
CreateLineupPersoonlijke verzameling#Script voor praat voor de voorbereiding van stemopstellingen
Dell I3 (met solid-state drive - SSD) Dell#Laptopcomputer
PraatPaul Boersma & David Weenink#Software voor fonetische analyse
Python 3Python Software Foundation#Geïnterpreteerde, hoogwaardige, algemene programmeertaal 
RThe R Project for Statistical Computing#Programmeertaal voor statistische berekeningen
Shure Beta SM7BShure#Microfoon
SpeechRhythmExtractorPersoonlijke verzameling#Script voor praat voor automatische extractie van akoestische kenmerken
SurveyMonkeySurveyMonkey Inc.#Verzameling gratis aanpasbare enquêtes, evenals een reeks back-end programma's die gegevensanalyse, steekproefselectie, debiasing en gegevensrepresentatie omvatten.
Tascam DR-100 MKIITascam#Digitale spraakrecorder
The Munich Automatic Segmentation System MAUSUniversity of Munich#Gedwongen-aligner van audio (.wav) en taalkundige informatie (.txt) bestanden
VVUnitAlignerPersoonlijke verzameling#Script voor praat voor automatische heralignering en nabewerking van fonetische eenheden

Referenties

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Moyer, A. Foreign Accent: The Phenomenon of Non-native Speech. , Cambridge University Press. (2013).
  2. Munro, M., Derwing, T. Foreign accent, comprehensibility and intelligibility, redux. J Second Lang Pronunciation. 6 (3), 283-309 (2020).
  3. Levis, J. Intelligibility, Oral Communication, and the Teaching of Pronunciation. , Cambridge University Press. (2018).
  4. Munro, M. Applying Phonetics: Speech Science in Everyday Life. , Wiley-Blackwell. (2022).
  5. Gut, U. Speaker Classification. Muller, C. , Springer-Verlag. 75-87 (2007).
  6. Rogers, H. Foreign accent in voice discrimination: a case study. Forensic Linguistics. 5 (2), 203-208 (1998).
  7. Solan, L., Tiersma, P. Hearing Voices: Speaker Identification in Court. Hastings Law Journal. 54, 373-436 (2003).
  8. Alcaraz, J. The long-term average spectrum in forensic phonetics: From collation to discrimination of speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 87-110 (2023).
  9. Silva, L. Jr, Barbosa, P. A. Voice disguise and foreign accent: Prosodic aspects of English produced by Brazilian Portuguese speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 195-226 (2023).
  10. Munro, M., Derwing, T. Modeling perceptions of the accentedness and comprehensibility of L2 speech. Studies in Second Language Acquisition. 23 (4), 451-468 (2001).
  11. Keating, P., Esposito, C. Linguistic Voice Quality. Working Papers in Phonetics. , 85-91 (2007).
  12. Niebuhr, O., Skarnitzl, R., Tylečková, L. The acoustic fingerprint of a charismatic voice -Initial evidence from correlations between long-term spectral features and listener ratings. Proceedings of Speech Prosody. , 359-363 (2018).
  13. Segundo San, E. International survey on voice quality: Forensic practitioners versus voice therapists. Estudios de Fonética Experimental. 29, 8-34 (2021).
  14. Farrús, M. Fusing prosodic and acoustic information for speaker recognition. International Journal of Speech, Language and the Law. 16 (1), 169(2009).
  15. Farrús, M. Voice disguise in automatic speaker recognition. ACM Computing Surveys. 51 (4), 1-2 (2018).
  16. Nolan, F. A recent voice parade. The International Journal of Speech, Language and the Law. 10 (2), 277-291 (2003).
  17. McDougall, K. Ear-catching versus eye-catching? Some developments and current challenges in earwitness identification evidence. Speaker Individuality in Phonetics and Speech Sciences. Bernardasci, C., Dipino, D., Garassino, D., Negrinelli, S., Pellegrino, E., Schmid, S. , Officinaventuno. 33-56 (2021).
  18. Gut, U. Rhythm in L2 speech. Speech and Language Technology. 14 (15), 83-94 (2012).
  19. Urbani, M. Pitch Range in L1/L2 English. An Analysis of F0 using LTD and Linguistic Measures. Coop. , Libraria Editrice Università di Padova. (2012).
  20. Gonzales, A., Ishihara, S., Tsurutani, C. Perception modeling of native and foreign-accented Japanese speech based on prosodic features of pitch accent. J Acoust Soc Am. 133 (5), 3572(2013).
  21. Silva, L. Jr, Barbosa, P. A. Speech rhythm of English as L2: an investigation of prosodic variables on the production of Brazilian Portuguese speakers. J Speech Sci. 8 (2), 37-57 (2019).
  22. Foreign accent and L2 speech rhythm of English a pilot study based on metric and prosodic parameters. Silva, L. Jr, Barbosa, P. A. Proceedings of the II Brazilian Conference on Prosody (Anais II Congresso Brasileiro de Prosódia), 1, 41-50 (2023).
  23. Costa, A. El cerebro bilingüe: La neurociencia del lenguaje. , Penguin Randon House. (2017).
  24. Eriksson, A. Tutorial on forensic speech science: Part I. Forensic Phonetics. , (2005).
  25. Harvey, M., Giroux, M., Price, H. Lineup size influences voice identification accuracy. Applied Cognitive Psychology. 37 (5), 42-89 (2023).
  26. Pautz, N., et al. Identifying unfamiliar voices: Examining the system variables of sample duration and parade size. Q J Exp Psychol (Hove). 76 (12), 2804-2822 (2023).
  27. McDougall, K., Nolan, F., Hudson, T. Telephone transmission and earwitnesses: Performance on voice parades controlled for voice similarity. Phonetica. 72 (4), 257-272 (2015).
  28. Nolan, F., McDougall, K., Hudson, T. Some acoustic correlates of perceived (dis) similarity between same-accent voices. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2011). , 1506-1509 (2011).
  29. Sheoran, S., Mahna, D. Voice identification and speech recognition: an arena of voice acoustics. Eur Chem Bull. 12 (5), 50-60 (2023).
  30. Hudson, T., McDougall, K., Hughes, V. Forensic phonetics. The Cambridge Handbook of Phonetics. Knight, R. -A., Setter, J. , Cambridge University Press. 631-656 (2021).
  31. Eriksson, A. The disguised voice: Imitating accents or speech styles and impersonating individuals. Language and identities. Llamas, C., Watt, D. , Edinburgh University Press. 86-96 (2010).
  32. Köster, O., Schiller, N. Different influences of the native language of a listener on speaker recognition. Forensic Linguistics. 4 (1), 18-27 (1997).
  33. The influence of native-language background on speaker recognition. Köster, O., Schiller, N., Künzel, H. Proceedings of the International Congress of Phonetic Sciences (ICPhS 1995), , 306-309 (1995).
  34. Thompson, C. P. A language effect in voice identification. Applied Cognitive Psychology. 1, 121-131 (1987).
  35. San Segundo, E., Univaso, P., Gurlekian, J. Sistema multiparamétrico para la comparación forense de hablantes. Estudios de Fonética Experimental. 28, 13-45 (2019).
  36. Council of Europe. Common European Framework of Reference for Languages: Learning, Teaching, Assessment. , Press Syndicate of the University of Cambridge. (2001).
  37. How to use Tascam DR-100 MKII: Getting started. , https://www.youtube.com/watch?v=O2E72uV9fWc (2018).
  38. Getting the most from your Shure SM58 microphone. , https://www.youtube.com/watch?v=wweNufW7EXA (2020).
  39. Kisler, T., Reichel, U. D., Schiel, F. Multilingual processing of speech via web services. Computer Speech & Language. 45, https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface/WebMAUSBasic 326-347 (2017).
  40. Escudero, P., Boersma, P., Rauber, A., Bion, R. A cross-dialect acoustic description of vowels: Brazilian and European Portuguese. J Acoust Soc Am. 126 (3), 1379-1393 (2009).
  41. Post-aspiration in standard Italian: some first cross-regional acoustic evidence. Stevens, M., Hajek, J. Proceedings 11th Conference of the International Speech Communication Association (INTERSPEECH 2010), , 1557-1560 (2011).
  42. Barbosa, P., Madureira, S. Manual de Fonética Acústica Experimental: aplicações a dados do português. , Cortez. (2015).
  43. Boersma, P., Weenink, D. Praat: Doing phonetics by computer. (Version 6.1.38) [Computer program]. , https://www.praat.org/ (1992-2021).
  44. Silva, L. Jr VVUnitAligner. [Computer program]. , https://github.com/leonidasjr/VVunitAlignerCode_webMAUS (2022).
  45. Silva, L. Jr, Barbosa, P. A. SpeechRhythmExtractor [Computer program]. , https://github.com/leonidasjr/VowelCode (2019-2023).
  46. R Core Team. A language and environment for statistical computing. R Foundation for Statistical Computing. , https://www.R-project.org/ (2023).
  47. Pigoli, D., Hadjipantelis, P. Z., Coleman, J. Z., Aston, J. The statistical analysis of acoustic phonetic data. Journal of the Royal Statistical Society. 67 (5), 1103-1145 (2018).
  48. Barbosa, P. A. CreateLineup [Computer program]. , https://github.com/pabarbosa/prosody-scripts-CreateLineUp (2021).
  49. Van Rossum, G., Drake, F. L. Python 3 Reference Manual. , CreateSpace. (2009).
  50. Silva, L. Jr AcousticSimilarity_cosine_euclidean. [Computer program]. , https://github.com/leonidasjr/AcousticSimilarity/blob/main/AcousticSmilarity_cosine_euclidean.py (2024).
  51. Automatic assessment of voice similarity within and across speaker groups with different accents. Gerlach, L., McDougall, K., Kelly, F., Alexander, A. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023), , 3785-3789 (2023).
  52. Gahman, N., Elangovan, V. A comparison of document similarity algorithms. International Journal of Artificial Intelligence and Applications. 14 (2), 41-50 (2023).
  53. San Segundo, E., Tsanas, A., Gómez-Vilda, P. Euclidean distances as measures of speaker similarity including identical twin pairs: A forensic investigation using source and Filter voice characteristics. Forensic Science International. 270, 25-38 (2017).
  54. Speaker's voice characteristics and similarity measurement using Euclidean distances. Singh, M. K., Singh, N., Singh, A. K. Proceedings of the International Conference on Signal Processing and Communication (ICSC 2019), , 317-322 (2019).
  55. Darling-White, M., Banks, W. Speech rate varies with sentence length in typically developing children. J Speech Lang Hear Res. 64 (6), 2385-2391 (2021).
  56. Barbosa, P. A. Incursões em torno do ritmo da Fala. , Pontes Editores. (2006).
  57. Golestani, N., Pallier, C. Anatomical correlates of foreign speech sound production. Cereb Cortex. 17 (4), 929-934 (2007).
  58. Trouvain, J., Fauth, C., Möbius, B. Breath and non-breath pauses in fluent and disfluent phases of German and French L1 and L2 read speech. Proceedings of Speech Prosody. , 31-35 (2016).
  59. Waaning, J. The Lombard effect: the effects of noise exposure and being instructed to speak clearly on speech acoustic parameters. [Master's thesis]. , Radboud University. (2021).
  60. Villegas, J., Perkins, J., Wilson, I. Effects of task and language nativeness on the Lombard effect and on its onset and offset timing. J Acoust Soc Am. 149 (3), 1855(2021).
  61. Differences between native and non-native Lombard speech in terms of pitch range. Proceedings of the 23rd International Congress on Acoustics(ICA 2019). Marcoux, K., Ernestus, M. , 5713-5720 (2019).
  62. Marcoux, K., Ernestus, M. Pitch in native and non-native Lombard speech. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2019). , 2605-2609 (2019).
  63. Marcoux, K., Ernestus, M. Acoustic characteristics of non-native Lombard speech in the DELNN corpus. Journal of Phonetics. 102, 1-25 (2024).
  64. Gil, J., San Segundo, E. La cualidad de voz en fonética judicial [Voice quality in judicial phonetics]. Lingüística Forense: la Lingüística en el ámbito legal y policial. Garayzábal, M., Jiménez, M., Reigosa, M. , Euphonía Ediciones. 154-199 (2014).
  65. Gil, J., San Segundo, E. El disimulo de la cualidad de voz en fonética judicial: Estudio perceptivo de la hiponasalidad [Voice quality disguise in judicial phonetics: A perceptual study of hyponasality. Panorama de la fonética española actual. Penas-báñez, M. A. , Arco Libros. 321-366 (2013).
  66. Passeti, R., Madureira, S., Barbosa, P. What can voice line-ups tell us about voice similarity. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 3765-3769 (2023).
  67. Nolan, F. The DyViS database: Style-controlled recordings of 100 homogeneous speakers for forensic phonetic research. International Journal of Speech Language and the Law. 16 (1), 31-57 (2009).
  68. Caroll, D. Psychology of Language. , Wadsworth. (1994).
  69. Ortega-Llebaria, M., Silva, L. Jr, Nagao, J. Macro- and micro-rhythm in L2 English: Exploration and Refinement of Measures. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 1582-1586 (2023).
  70. Fernández-Trinidad, M. Hacia la aplicabilidad de la cualidad de la voz en fonética judicial. Loquens. 9 (1-2), 1-11 (2022).
  71. Brouwer, S. The role of foreign accent and short-term exposure in speech-in-speech recognition. Atten Percep Psychophys. 81, 2053-2062 (2019).
  72. Love, R., Wright, D. Specifying challenges in transcribing covert recordings: Implications for forensic transcription. Front Commun. 6, 1-14 (2021).
  73. Meer, P. Automatic alignment for New Englishes: Applying state-of-the-art aligners to Trinidadian English. J Acoust Soc Am. 147 (4), 2283-2294 (2020).
  74. Montreal Forced Aligner: trainable text-speech alignment using Kaldi. McAuliffe, M., Socolof, M., Mihuc, S., Wagner, M., Sonderegger, M. Proceedings 18th Conference of the International Speech Communication Association (INTERSPEECH 2017), , 498-502 (2017).
  75. Chodroff, E. Montreal Forced Aligner: MFA Tutorial. , https://zenodo.org/records/7591607 (2023).

Herprints en machtigingen

Toestemming aanvragen om de tekst of afbeeldingen van dit JoVE-artikel te hergebruiken

Toestemming aanvragen

Trefwoorden

Prosodische kenmerkenspraakperceptiestemkwaliteitgrondfrequentiesprekerherkenningakoestische gelijkenis

Gerelateerde artikelen