Name: Buitenlands accent en forensische sprekersidentificatie in stemmenopstellingen: de invloed van akoestische kenmerken op basis van prosodie (Video) | JoVE Journal
Uploaded: 2024-09-27T12:35:00.000+00:00
Duration: 9 min 9 s
Description: Verken hoe buitenlandse accenten sprekeridentificatie beïnvloeden via prosodische kenmerken zoals toonhoogte en duur. Deze methode analyseert luisteroordelen in stemopstellingen voor forensisch onderzoek.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Deze studie werd ondersteund door de Nationale Raad voor Wetenschappelijke en Technologische Ontwikkeling - CNPq, subsidie nr. 307010/2022-8 voor de eerste auteur, en subsidie nr. 302194/2019-3 voor de tweede auteur. De auteurs willen hun oprechte dank uiten aan de deelnemers van dit onderzoek voor hun genereuze medewerking en onschatbare bijdragen.

Prosodic-Acoustic Features and L2 Speech Production for Forensic Applications

De auteurs hebben geen belangenconflicten te verklaren.

Het huidige protocol presenteert een nieuwigheid op het gebied van (forensische) fonetica. Het is verdeeld in twee fasen: een gebaseerd op productie (akoestische analyse) en een gebaseerd op perceptie (beoordelingsanalyse). De productieanalysefase omvat de gegevensvoorbereiding en geforceerde uitlijning, heruitlijning en automatische extractie van prosodische-akoestische kenmerken naast de statistieken. Dit protocol verbindt de fase van gegevensverzameling met de gegevensanalyse op een snellere en efficiëntere manier dan de traditionele protocollen die voornamelijk gebaseerd zijn op handmatige segmentatie.
De heruitlijningsprocedure, getoond in protocolstappen 1.3.6 tot 1.3.6.9, werkt echter fundamenteel op de fone- en woodeenheden die zijn gegenereerd in protocolstappen 1.3.1 tot 1.3.4. De nieuwigheid van het heruitlijningsproces is dat het een nieuw TextGrid genereert met drie nieuwe tekstlagen: een syllabische laag, een spraakstukslaag die automatisch of handmatig kan worden gegenereerd op basis van woorden, en een toonlaag die heel nuttig kan zijn voor het berekenen van f0-maatregelen. De voor dit protocol voorgestelde heruitlijningsrichtlijnen werden eerder gebruikt in studies van L2 spraakritme21,69,70, studies voor de detectie van de mate van buitenlands accent met behulp van machine learning-technieken22, en studies in het forensische domein9.
De automatische extractie van prosodische kenmerken, gepresenteerd in protocolstappen 1.3.7 tot 1.3.7.10, genereert een multidimensionale matrix van prosodische-akoestische kenmerken zoals kan worden getest in het huidige onderzoek. Dergelijke kenmerken omvatten melodische, duur-, en spectrale (stemkwaliteit en intensiteit) spraakfuncties71. Een aanzienlijk aantal van deze akoestische kenmerken is minder gevoelig en enigszins robuust voor lawaaierige audio-opnamen die uiteindelijk in forensische of andere scenario's worden verzameld72. Bovendien kan de multidimensionale matrix worden toegepast op spraakherkenningssystemen via verschillende AI-technieken (in uitvoering). Het kan nog steeds heel nuttig zijn in het onderwijzen van prosodische aspecten in L2 uitspraakklassen21 (in uitvoering).
De statistische analyse van dit deel van het protocol vertegenwoordigt het gebruik van de GAM-methode, aangezien we te maken hadden met een complexe relatie tussen een specifiek akoestisch kenmerk en meerdere sprekers van taalfactoren. Om een specifiek akoestisch kenmerk te modelleren, was het bijvoorbeeld noodzakelijk om te controleren hoe andere akoestische kenmerken uit de matrix (de vlotte termen) zouden presteren, zodat we nauwkeuriger konden beschrijven wat er gebeurde tijdens spraakproductie.
Met betrekking tot de perceptieanalyse bestond het huidige protocol uit het voorbereiden en implementeren van de voice lineups, statistische analyse en akoestische gelijkenisanalyse. Om de lineups voor te bereiden, gebruikten we het CreateLineup-script voor Praat, dat automatisch een audiobestand genereert voor elke lineup met willekeurig gesequencede foils en doelstem zoals beschreven in protocolstappen 2.2 tot 2.2.1.9.
Voor de statistische analyse van dit protocol hebben we de Kruskal-Wallis niet-parametrische test uitgevoerd, aangezien onze gegevens niet voldeden aan de veronderstellingen van de analyse van variantie (ANOVA). Zodra we een relatie hadden tussen de beoordelingsscores beoordeeld door de luisteraars en gecontroleerd voor de doelstem en de foils, kozen we ervoor om de lineaire modelstatistieken te gebruiken.
Voor de akoestische gelijkenisanalyse gebruikten we het AcousticSmilarity_cosine_euclidean script voor Python. Het programma toont de directoryboom van de computer en vraagt de gebruiker om het bestand te kiezen dat de prosodische-akoestische kenmerken van de foils en de doelstem bevat die de lineup in analyse vormen. Met een klik op een knop genereert het script drie gelijkenismatrices: een cosinus-, een euclidische en een getransformeerde ( zero-to-one ) euclidische, op zowel '.txt' (tab-gescheiden) als '.csv' bestanden. We moeten nog steeds in gedachten houden dat elke dataset (het '.txt' bestand dat de prosodische-akoestische kenmerken van de foils en de doelstem bevat) in de originele folder van de lineup moet staan en elke lineup folder een kopie van het AcousticSmilarity_cosine_euclidean script moet hebben.
Kortom, het huidige protocol maakt vorderingen in het onderzoek naar (forensische) fonetica. Bestaande uit verschillende fasen - productie- en perceptieanalyses, evenals akoestische gelijkenis - overbrugt het de kloof tussen gegevensverzameling en multidimensionale akoestische-kenmerkanalyse. Onderzoekers kunnen profiteren van een holistische perspectief door zowel productie- als perceptieaspecten te verkennen. Bovendien zorgt dit protocol voor reproduceerbaarheid van onderzoek, waardoor anderen kunnen voortbouwen op de richtlijnen van dit werk.
Beperkingen en toekomstige richtingen 
We moeten nog steeds in gedachten houden dat alles succesvol zal verlopen als de gegevensvoorbereiding de richtlijnen volgt die worden voorgesteld in protocolstappen 1.3.1 tot 1.3.4. Bovendien moeten we in de procedures voor geforceerde uitlijning bewust zijn dat een externe vooraf getrainde geforceerde uitlijner, zoals MAUS die in het huidige werk wordt gebruikt, vatbaar is voor segmentatiefouten, vooral bij niet-vooraf getrainde buitenlandse geaccentueerde gegevens of zelfs bij vooraf getrainde uitlijners, of het geluid geen goede kwaliteit heeft of de uitlijner de geluidstaal niet bevat (dit feit zou het werk van de expert moeilijker en tijdrovender maken). Forensische transcriptie, vooral van langere audiobestanden, stuit op moeilijkheden met betrekking tot de nauwkeurige en betrouwbare weergave van gesproken opnamen72.
Er zijn ook verschill

De accent is een opvallend en dynamisch aspect van communicatie en vloeiendheid, zowel in de moedertaal (L1) als in een vreemde taal (L2)1. Vreemde accent vertegenwoordigt de L2 fonetische kenmerken van een doeltaal en kan (na verloop van tijd) veranderen als reactie op de L2-ervaring van de spreker, spreekstijl, inputkwaliteit, expositie, onder andere variabelen. Een vreemd accent kan worden gekwantificeerd als een (scalaire) graad van verschil tussen L2-spraak geproduceerd door een buitenlandse spreker en een lokale of referentie-accent van de doeltaal2,3,4,5.
Dit onderzoek beoogt zowel de prosodische-akoestische kenmerken als de perceptuele correlaten van Engels met een buitenlands accent en Braziliaans Portugees (BP) met een buitenlands accent te onderzoeken, evenals te controleren in welke mate de producties van buitenlandse en moedertalige accenten van de sprekers gecorreleerd zijn met de perceptie van de luisteraars. Eerder onderzoek op het gebied van forensische wetenschappen heeft de robuustheid van klinkers en medeklinkers aangetoond bij de identificatie van een vreemd accent, hetzij als stabiel voor een langetermijnanalyse van een individu (The Lo Case6) of verwijzend naar de hoge ID-nauwkeurigheid van een spreker (The Lindbergh Case7). Echter, de verkenning van prosodische-akoestische kenmerken op basis van duur, fundamentele frequentie (f0, d.w.z. het akoestische equivalent van toonhoogte), intensiteit en stemkwaliteit (VQ) heeft steeds meer aandacht gekregen8,9. Daarom vertegenwoordigt de keuze voor prosodische-akoestische kenmerken in dit onderzoek een veelbelovende weg op het gebied van forensische fonetica8,10,11,12,13.
Het huidige onderzoek wordt ondersteund door studies die zich richten op vreemde accenten als een vorm van stemvermomming in forensische gevallen14,15, evenals in de voorbereiding van stemlijnen voor sprekerherkenning16,17. Bijvoorbeeld, spraaktempo speelde een belangrijke rol bij de identificatie van Duitse, Italiaanse, Japanse en Braziliaanse sprekers van Engels18,19,20,21,22. Naast spraaktempo, langetermijn spectrale en f0 kenmerken dagen L2-bekwame sprekers met bekendheid met de doeltaal uit omdat de hersenen en cognitieve basissen een tekort lijden in geheugen, aandacht en emotie, wat zich weerspiegelt in de fonetische prestaties van de spreker tijdens lange spraakturns23. Het standpunt van vreemde accenten in de forensische wetenschap is dat de definitie van wat echt klinkt als een vreemd accent veel afhankelijk is van de onbekendheid van de luisteraar in plaats van een niet-tot-extreme graad van spraak met een buitenlands accent24.
In het perceptuele domein is een veelgebruikt forensisch hulpmiddel sinds het midden van de jaren negentig voor de herkenning van criminelen de Stemlijn (auditieve herkenning), die analoog is aan visuele herkenning die wordt gebruikt om een dader op een misdaadplek te identificeren16,25. In een stemlijn wordt de stem van de verdachte gepresenteerd naast foils-stemmen die vergelijkbaar zijn in sociaal-linguïstische aspecten zoals leeftijd, geslacht, geografische locatie, dialect en culturele status-voor identificatie door een oorgetuige. Het succes of falen van een stemlijn hangt af van het aantal stemmonsters en de duur van de monsters25,26. Bovendien wordt voor real-world samples beschouwd dat de audiokwaliteit de nauwkeurigheid van stemherkenning consequent beïnvloedt. Slechte audiokwaliteit kan de unieke kenmerken van een stem vervormen27. In het geval van stemgelijkenis kunnen fijne fonetische details gebaseerd op f0 de luisteraar verwarren tijdens stemherkenning28,29. Dergelijke akoestische kenmerken gaan verder dan f0 en omvatten elementen van duur en spectrale kenmerken van intensiteit en VQ30. Dit beeld van meerdere prosodische kenmerken is cruciaal in de context van forensische stemvergelijking om nauwkeurige sprekeridentificatie te garanderen9,14,15,29,31.
Kortom, studies in forensische fonetica hebben enige variatie laten zien met betrekking tot de identificatie van een vreemd accent in de afgelopen decennia. Aan de ene kant lijkt een vreemd accent het proces van het identificeren van een spreker niet te beïnvloeden32,33 (vooral als de spreker onbekend is met het beoogde vreemde accent34). Aan de andere kant zijn er bevindingen in de tegenovergestelde richting12,34,35.

<table><tbody><tr><td>CreateLineup</td><td>Persoonlijke verzameling</td><td>#</td><td>Script voor praat voor de voorbereiding van stemopstellingen</td></tr><tr><td>Dell I3 (met solid-state drive - SSD)&nbsp;</td><td>Dell</td><td>#</td><td>Laptopcomputer</td></tr><tr><td>Praat</td><td>Paul Boersma &amp; David Weenink</td><td>#</td><td>Software voor fonetische analyse</td></tr><tr><td>Python 3</td><td>Python Software Foundation</td><td>#</td><td>Geïnterpreteerde, hoogwaardige, algemene programmeertaal&nbsp;</td></tr><tr><td>R</td><td>The R Project for Statistical Computing</td><td>#</td><td>Programmeertaal voor statistische berekeningen</td></tr><tr><td>Shure Beta SM7B</td><td>Shure</td><td>#</td><td>Microfoon</td></tr><tr><td>SpeechRhythmExtractor</td><td>Persoonlijke verzameling</td><td>#</td><td>Script voor praat voor automatische extractie van akoestische kenmerken</td></tr><tr><td>SurveyMonkey</td><td>SurveyMonkey Inc.</td><td>#</td><td>Verzameling gratis aanpasbare enquêtes, evenals een reeks back-end programma's die gegevensanalyse, steekproefselectie, debiasing en gegevensrepresentatie omvatten.</td></tr><tr><td>Tascam DR-100 MKII</td><td>Tascam</td><td>#</td><td>Digitale spraakrecorder</td></tr><tr><td>The Munich Automatic Segmentation System MAUS</td><td>University of Munich</td><td>#</td><td>Gedwongen-aligner van audio (.wav) en taalkundige informatie (.txt) bestanden</td></tr><tr><td>VVUnitAligner</td><td>Persoonlijke verzameling</td><td>#</td><td>Script voor praat voor automatische heralignering en nabewerking van fonetische eenheden</td></tr></tbody></table>

buitenlands accent en forensische sprekersidentificatie in stemmenopstellingen: de invloed van akoestische kenmerken op basis van prosodie

Foreign Accent and Forensic Speaker Identification in Voice Lineups: The Influence of Acoustic Features Based on Prosody

Dit onderzoek heeft tot doel zowel de prosodisch-akoestische kenmerken als de perceptuele correlaten van Engels met een vreemde accent en Braziliaans-Portugees met een vreemde accent te onderzoeken en te controleren hoe de producties van de sprekers van vreemde en moedertalige accenten gecorreleerd zijn met de perceptie van de luisteraars. In de methodologie hebben we een spraakproductieprocedure uitgevoerd met een groep Amerikaanse sprekers van Braziliaans-Portugees als tweede taal en een groep Braziliaanse sprekers van Engels als tweede taal, en een spraakperceptieprocedure waarbij we stemmenlijnen voor beide talen uitvoerden.Voor de statistische analyse van de spraakproductie hebben we Generalized Additive Models gebruikt om het effect van de taalgroep op elke klasse (metriek of prosodisch-akoestisch) van kenmerken te evalueren, gecontroleerd voor het verzachtende effect van de covariant(en) van de tegengestelde klasse. Voor de statistische analyse van de spraakperceptie hebben we een Kruskal-Wallis test en een post-hoc Dunn's test uitgevoerd om het effect van de stemmen van de lineups op de scores beoordeeld door de luisteraars te evalueren. Toch hebben we akoestische (stem) gelijkenistests uitgevoerd op basis van cosinus- en euclidische afstanden. De resultaten toonden significante akoestische verschillen tussen de taalgroep in termen van variabiliteit van de f0, duur en stemkwaliteit. Voor de lineups gaven de resultaten aan dat prosodisch kenmerken van f0, intensiteit en stemkwaliteit correleerden met de waargenomen beoordelingen van de luisteraars.

Resultaten voor spraakproductie 
In deze sectie hebben we de prestaties van de statistisch significante prosodisch-akoestische kenmerken en ritmiekmetrieken beschreven. Dergelijke prosodische kenmerken waren de spraak-, articulatie- en pauzesnelheden, die gerelateerd zijn aan duur, en shimmer, wat gerelateerd is aan stemkwaliteit. De ritmiekmetrieken waren de standaarddeviatie (SD) van de lettergreepduur, de SD van de consonant, de SD van de vocalische of consonantische duur, en de variatiecoëfficiënt van de lettergreepduur (zie de Aanvullende Tabel S1).
De spreeksnelheid (Figuur 6A) neemt sneller af voor L1-L2 Engels dan voor L1-L2 BP, hoewel de snelheid voor beide L2's lager is. De spreeksnelheid is gerelateerd aan drie metrieken - de SD van de syllabeduur (SD-S), de SD van klinkers (SD-V) en de syllabische variatiecoëfficiënt (Varco-S). Het is daarnaast belangrijk om in gedachten te houden dat zowel de AmE-S- als de Bra-S-groep vaardig zijn in hun L2's. Het lijkt erop dat deze snelheid wordt beïnvloed door de hogere waarden van de syllabeduur en de lagere variabiliteit geproduceerd door L1-L2 BP, wat resulteert in minder steile hellingen.
De articulatiesnelheid (Figuur 6D) is gerelateerd aan SD-S, Varco-S, alsook de syllabische ritmeverhouding (RR-S); dat laatste stelt de verhouding tussen kortere en langere lettergrepen voor. Dergelijke metrieken lijken de articulatiesnelheid te beïnvloeden, net zoals de beïnvloede spreeksnelheid als gevolg van zinslengte en variatie in duur, wat leidt tot een hogere L2-spraakplanning en L2-cognitieve belasting9,23,54. Een hogere cognitief-linguïstische belasting kan vereist zijn in het domein van de zinslengte, op een wijze waarbij prosodisch-akoestische parameters worden beïnvloed55.
Met betrekking tot de prosodisch-akoestische kenmerken van spreek- en articulatiesnelheden suggereren onze bevindingen dat hoe meer een spreker de duur van lettergrepen (en klinkers) varieert, hoe lager deze snelheden zijn. Wij stellen hypothetisch dat de spraakwaarneming van zowel L1- als L2-BP iets langzamer klinkt dan L1- en L2-Engels, en dat L1-Engels sneller klinkt dan alle andere taalniveaus. Dit feit kan gekoppeld zijn aan het spraakritme en de hypothese dat terwijl L1-L2 BP neigt naar de lettergreep-getimede pool van het ritmecontinuüm, L1-L2 Engels beweegt naar de klemtoon-getimede pool21,22.
De lokale shimmer, Figuur 6B, wordt beïnvloed door SD-S en Varco-S. Voor de lokale shimmer vertonen zowel de producties van Bra-S, L1-BP als L2-Engels een enigszins monotone trajectory naarmate de variabiliteit van de syllabeduur toeneemt (SD en Varco, zie Aanvullende Tabel S1). De perceptie van vocale inspanning kan duidelijk zijn bij het beluisteren van de producties van Bra-S vanwege een lage variatie die varieert tussen 8,5 en 9 dB. Bra-S spraak wordt beïnvloed door vocale belasting. L1-BP wordt sterk beïnvloed door de zinslengte en is minder gevoelig voor hoge variaties in de syllabeduur (het BP ritmische patroon vertoont minder syllabische variatie22,56).
De pauzesnelheid (Figuur&#160;6C) laat zien dat L2-Engelstaligen langere pauzes produceren (van 200 ms tot 375 ms) dan de L1-Engelstaligen, L1-BP en L2-BP sprekers (gemiddelde van 30 ms voor L1-Engels, 50 ms voor L1-BP en 100 ms voor L2-BP). Spraakplanning zou in dit geval de L2-Engelse productie hebben beïnvloed als gevolg van verhoogde hersenactiviteit54,57. Er wordt verwacht dat een hogere taalbeheersing zou leiden tot een grotere leessnelheid en een grotere span54; desondanks vereisten leestaken, zelfs voor vaardige L2-sprekers, meer inspanning op het gebied van hogere cognitieve aspecten van vreemde spraak en taalverwerking54,57. Onze bevindingen tonen, ten minste op voorlopige basis, aan dat L2-BP sprekers minder beïnvloed kunnen worden door pauzes dan L2-Engels vanwege verschillen in het ritmische patroon van beide talen.
<img alt="Figuur 6" class="xfigimg" src="/files/ftp_upload/66313/66313fig06.jpg" /> 
Figuur 6: Generalized Additive Models voor de prosodisch-akoestische kenmerken. Op de Y-as staat de responsvariabele (de te modelleren akoestische kenmerken); op de X-as staan de predictoren (de factor 'Language' en de covariabelen in de additieve modellen die de vorm en de trajecten van de curven bepalen (d.w.z. de smoothing-effecten: 'Language + covariates'), en het product van 'Language' en een metrische feature die een nauwkeurigere projectie van de responsvariabele geeft (d.w.z. factor-smooth interacties: 'covariate:Language')). Afkorting: GAMs = Generalized Additive Models. <a href="https://www.jove.com/files/ftp_upload/66313/66313fig06large.jpg" target="_blank">Klik hier om een grotere versie van deze figuur te bekijken.</a>
Met betrekking tot de ritmemetrieken, voor SD-S (Figuur 7A), onze bevindingen onthullen dat hoe meer een spreker de f0-curve varieert en de spreeksnelheid verhoogt, des te meer SD-S neemt af voor alle taalniveaus (een spiegeleffect van Figuur 6A). In het geval van de standaardafwijking (SD) voor medeklinkers (SD-C, Figuur 7C), L1-BP vertoont, in tegenstelling tot L1-Engels, een lage variatie naarmate de spreeksnelheid of pauzeduur toeneemt. Een dergelijke richting van de standaarddeviatie (SD) is voorspelbaar, aangezien de variabiliteit van de lettergreepduur bij L1-Engels (statistisch) significant hoger is dan bij L1-BP44,58De Varco-S (Figuur 7B en Aanvullende tabel S1) lijkt enigszins gecorreleerd aan de L1 en de L2 van dezelfde taalgroep. Naarmate de f0-variabiliteit en het spreektempo toenemen, neemt de Varco-S af voor L1-BP en lijkt deze af te nemen en te attenueren voor L2-BP. Voor de Engelse uitingen, terwijl de f0-variabiliteit en Spreeksnelheid toename, Varco-S neemt toe en vlakt af voor L1-Engels en L2-Engels.
Wat betreft de SD voor klinkers of medeklinkers (SD-V_C, Afbeelding 7D en Aanvullende Tabel S1), tonen onze resultaten enkele overeenkomsten met de Varco-S-prestaties (Afbeelding 7B). Zo bevorderen een hogere spreeksnelheid, pauzeduur en f0-variabiliteit een dalend-stijgend traject van de SD-V_C voor L1-BP en voor L2-BP. In Engelse producties, hoewel dergelijke prosodische kenmerken hoger zijn, neemt de SD-V_C licht af, vlakt deze af voor L1-Engels, neemt deze licht toe en vlakt deze vervolgens af voor L2-Engels. De correlatie tussen Varco-S en SD-V_C met de L1-L2 van dezelfde taalgroepen kan gedeeltelijk worden verklaard door het Lombard-effect, wat verwijst naar de wijziging van akoestische parameters in spraak als gevolg van achtergrondruis59.
Bij spraak in een vreemde taal hebben sprekers, afhankelijk van de complexiteit van de taak (bijv. voorgelezen spraak), soortgelijke akoestische strategieën gebruikt voor zowel L1 als L259,60. Enerzijds stelden Marcoux en Ernestus vast dat f0-metingen (bereik en mediaan) in L2 Lombard-spraak suggereren dat L2-Engelstaligen beïnvloed werden door hun L1-Nederlands61,62. Anderzijds suggereren recentere bevindingen dat, hoewel er van L2 Lombard-spraak wordt verwacht dat deze verschilt van L1 Lombard-spraak vanwege de hogere cognitieve belasting bij het spreken van de L2, L2-Engelstaligen Lombard-spraak produceerden in dezelfde richting als L1-Engelstaligen63. De mate waarin onze bevindingen overeenstemmen met Marcoux en Ernestus63 en afwijken van Waaning59, Villegas et al.60 en Marcoux en Ernestus61,62 behoeft verder onderzoek.
<img alt="Figuur 7" class="xfigimg" src="/files/ftp_upload/66313/66313fig07.jpg" /> 
Figuur 7: Generalized Additive Models voor de metrische kenmerken. Op de Y-as staat de responsvariabele (de te modelleren metrische kenmerken); op de X-as staan de predictoren (de factor 'Language' en de covariabelen in de additieve modellen die de vorm en het verloop van de curven bepalen (d.w.z. de smoothing-effecten: 'Language + covariates'), en het product van de 'Language' en een metrisch kenmerk dat een nauwkeurigere projectie van de responsvariabele oplevert (d.w.z. factor-smooth interacties: 'covariate:Language'). Afkorting: GAMs = Generalized Additive Models. <a href="https://www.jove.com/files/ftp_upload/66313/66313fig07large.jpg" target="_blank">Klik hier om een grotere versie van deze figuur te bekijken.</a>
Resultaten voor spraakperceptie 
In relatie tot de BP-stemline-ups werd in line-up #1 (Figuur 8A) de afleidingsstem #3 beoordeeld als de doelstem. In werkelijkheid was de doelstem stem #4. De resultaten tonen geen statistisch significant verschil (zie Aanvullende Tabel S1) tussen de afleiding #3 (83%) en de doelstem #4 (71%). In line-up #2 (Figuur 8B) vertoonde een vergelijking tussen de doelstem #3 (40%) en de afleiding #4 (20%) eveneens geen statistisch significant verschil (zie Aanvullende Tabel S1) voor de Engelse stemline-ups. In line-up #1 (Figuur 9A) was er geen significant verschil (zie Aanvullende Tabel S1) tussen de afleiding #2 (26%) en de doelstem #4 (54%).
Bij de analyse van stemovereenkomst vertoonden zowel de cosinusovereenkomst (CoSim) als de Euclidische afstand (EucDist, [EucDist&#160;getransformeerd]54) een consistente correlatie tussen foil #3 en het doelwit voor de BP-lineup #1 (CoSim = 0,99; EucDist = 77,4, [0,93]). De correlatie tussen foil #4 en het doelwit was vergelijkbaar sterk in de BP-lineup #2 (CoSim = 0,99, EucDist = 76,3, [0,93]). In de Engelse lineup #1 was de correlatie consistent voor CoSim (0,83), maar zwak tot bevredigend voor EucDist (213,0, [0,47]). Over het algemeen waren zowel CoSim als EucDist bevredigende technieken voor het bepalen van stemovereenkomst. Daarnaast presteerde CoSim iets effectiever, zoals beschreven door Gahman en Elangovan52(zie Aanvullende Tabel S1).
Wat betreft de gelijkenis, wat zou kunnen hebben geleid tot een toename van het aantal foutieve alarmen? Prosodisch-akoestische kenmerken toonden aan dat, hoewel foils en doelstemmen (statistisch) significant verschillend presteerden — met uitzondering van de lineups gepresenteerd in Figuur&#160;8A,B en Figuur&#160;9A — de keuzes van luisteraars enigszins varieerden over verschillende foils in de overige lineups (Figuur&#160;8C,D en Figuur&#160;9B-D). Een dergelijk oordeel lijkt meer afhankelijk te zijn van één (of wellicht meer) specifiek akoestisch kenmerk dat sprekers delen, dan van een hele klasse prosodisch-akoestische kenmerken. Onze studie presenteerde bijvoorbeeld verschillende kenmerken die (co)varieerden tussen producties; niettemin tonen de perceptuele resultaten een voorkeur in de oordelen voor een specifieke foil om overeen te komen met de doelstem8,35,64,65. Verdere analyses zijn noodzakelijk in toekomstig werk.
Het is opmerkelijk om de keuze voor een multidimensionale parametrische matrix voor akoestische gelijkenis66, zoals gepresenteerd in deze studie, te overwegen. Onze bevindingen komen overeen met eerdere studies waarin akoestische kenmerken gebaseerd op f0, VQ en intensiteit werden gebruikt9,35. Dergelijke kenmerken worden sterk aanbevolen voor sprekervergelijkingstaken in het forensisch veld9,66. Het is echter belangrijk om te benadrukken dat in het huidige onderzoek geen van de afleidingsstemmen (foils) als gelijkaardig aan de doelstem werden voorspeld, hoewel we een variant van de richtlijnen van McFarlane16,17 hebben gebruikt bij het opstellen van de stem-lineups voor de herkenning van sprekers met een buitenlands accent. Bovendien moeten we benadrukken dat onze procedure voor de stem-lineup belangrijke verschillen vertoont met de richtlijnen van McFarlane, waaronder de lengte van de stimulus, het aantal stemmen, de selectie van de afleidingsstemmen (hier gerandomiseerd) en de spreekstijl.
In hoeverre prosodisch-akoestische kenmerken van f0, stemkwaliteit en intensiteit gerelateerd lijken te zijn aan de perceptie van luisteraars, hangt sterk af van de spreekstijl die in het onderzoek wordt gebruikt. Hier hebben wij gebruikgemaakt van voorleesteksten. De meerderheid van de studies naar getuigenverklaringen op basis van stemherkenning kiest voor (semi-)spontane stimuli als een gebalanceerde oplossing — bijvoorbeeld het DyVis corpus67 — dat uitgebreid is ingezet in hedendaagse onderzoeken naar stemherkenning28,68. De reden waarom wij voor de voorleestaken hebben gekozen, is dat ons corpus op het moment van het schrijven van dit manuscript uitsluitend bestond uit gegevens verkregen uit voorleestaken. Het is echter belangrijk te vermelden dat het proces van het samenstellen van een (semi-)spontaan corpus reeds in gang is gezet. Bovendien kan het voorlezen van een verhaal een betrouwbaar niveau van uniformiteit en variatie genereren, zowel intra-spreker als inter-spreker. Dit vergemakkelijkt de nadruk op prosodische of fonetische kenmerken — individueel of dialectisch — in situaties waarbij sprake is van stemvergelijking. Dit wordt bijzonder merkbaar in gevallen van vocale belasting tijdens de productie van een vreemd accent, zelfs bij vaardige sprekers 8,9,23,54.
<img alt="Figuur 8" class="xfigimg" src="/files/ftp_upload/66313/66313fig08.jpg" /> 
Figuur 8: Staafdiagrammen met de resultaten van de vier lineups uitgevoerd door de Braziliaanse luisteraars. (A,B) Geen significant verschil tussen de doelstem (in het blauw) en een foil (in lichtblauw). (C,D) Significante verschillen ten opzichte van de foils en de doelstem. Afkorting: NS = niet significant. <a href="https://www.jove.com/files/ftp_upload/66313/66313fig08large.jpg" target="_blank">Klik hier om een grotere versie van deze figuur te bekijken.</a>
<img alt="Figuur 9" class="xfigimg" src="/files/ftp_upload/66313/66313fig09.jpg" /> 
Figuur 9: Staafdiagrammen met de resultaten van de vier lineups uitgevoerd door de Amerikaanse luisteraars. (A) Geen significant verschil tussen de doelstem (in rood) en een afleider (in roze). (B,C,D) Significante verschillen tussen de afleiders en de doelstem. Afkorting: NS = niet significant. <a href="https://www.jove.com/files/ftp_upload/66313/66313fig09large.jpg" target="_blank">Klik hier om een grotere versie van deze figuur te bekijken.</a>
Aanvullende Tabel S1: Statistieken van spraakproductie - Generalized Additive Models (GAMs): De F-statistieken (vrijheidsgraden), de gecorrigeerde R2 van elk statistisch significant prosodisch-akoestisch kenmerk (Figuur 6) en ritmetriek (Figuur 7) per taalniveau, evenals de individuele waarden van elke smooth term (de covariabelen). Statistieken van spraakperceptie: De Kruskall-Wallis χ2 statistieken (vrijheidsgraden), de p-waarden en de gecorrigeerde η2, evenals een post-hoc Dunn-test voor paarsgewijze vergelijking (Figuur 8 en Figuur 9) van elk statistisch niet-significant verschil tussen de paren van target-foil stemmen (Figuur 8A,B en Figuur&#160;9A). Akoestische similariteitsmatrices voor Cosinus- en Euclidische afstand van elke lineup. <a href="https://www.jove.com/files/ftp_upload/66313/66313_JoVE_Supplemental_Table_S1 (2).xlsx" target="_blank">Klik hier om een grotere versie van deze figuur te bekijken.</a>

Dit onderzoek had tot doel een vergelijking te maken tussen L1-L2-Engels en L1-L2 Portugees om te controleren hoeveel de invloed van een buitenlands accent verantwoordelijk is voor beide metrische en prosodische-akoestische parameters, evenals voor de keuze van de doelstem in een stemmenopstelling.

Buitenlands accent en forensische sprekersidentificatie in stemmenopstellingen: de invloed van akoestische kenmerken op basis van prosodie

This research aims to examine both the prosodic-acoustic features and the perceptual correlates of foreign-accented English and foreign-accented Brazilian ...

foreign-accent-forensic-speaker-identification-voice-lineups

Research

JoVE Journal

Behavior

Gedrag

De studie introduceert een trainingstestparadigma om oude/nieuwe effecten van gebeurtenisgerelateerde potentialen te onderzoeken in zelfverzekerde en twijfelachtige prosodische scenario's. Gegevens onthullen een verbeterde late positieve component tussen 400-850 ms bij Pz en andere elektroden. Deze pijplijn kan factoren onderzoeken die verder gaan dan spraakprosodie en hun invloed op cue-bindende doelidentificatie.

Op memorisatie gebaseerd trainings- en testparadigma voor robuuste vocale identiteitsherkenning in expressieve spraak met behulp van gebeurtenisgerelateerde potentialenanalyse

Een procedure die een demonstratie van robuuste vergroting van op zoek naar drugs in voedsel beperkt ratten laat wordt beschreven. Na heroïne zelftoediening training, ratten gaan door een periode van onthouding, in een drugsvrije omgeving, waarin ze zijn mild eten beperkt. Op zoek naar drugs wordt dan getest in de drugs-geassocieerde omgeving.

Een procedure om het effect van langdurig Eten Beperking Heroïne zoek naar in Abstinent Ratten Studie

Het is onduidelijk hoe top-down signalen van de ventrale visuele stroom beïnvloeden beweging. We ontwikkelden een paradigma motorisch gedrag naar een doel te testen op een 3D-diepte inversie illusie. Significante verschillen worden gerapporteerd in zowel bewuste, doelgerichte bewegingen en automatische acties onder illusoir en veridical kijkcondities.

Methoden om Ontdek de invloed van Top-down Visual Processen op motorisch gedrag

Het distractor-response binding paradigma wordt beschreven. Het kan worden gebruikt om licht te werpen op de invloed van irrelevante stimuli, die concurreren met doelen voor een reactie, kunnen hebben op menselijk handelen. Zowel effecten op het ophalen van reacties als effecten op de remming van afleiding kunnen binnen het paradigma worden geanalyseerd.

Irrelevante stimuli en Actie Controle: Het analyseren van de invloed van Genegeerd Stimuli via de Distractor-Response Binding Paradigm

Dit protocol beschrijft een nieuwe en efficiënte methode om snel te starten operante reageren voor ethanol in ratten die, in tegenstelling tot standaard methoden, geen water ontbering of saccharine / sucrose vervagen te initiëren reageren vereist.

Een methode voor het evalueren van de versterkende eigenschappen van ethanol in ratten zonder Water beroving, sacharine Fading of Extended Access Training

Hier presenteren we een protocol om te beoordelen van drijvende gedrag tijdens het volgen van een voertuig in een gesimuleerde drijvende omgeving. Het gepresenteerde protocol wordt gebruikt voor het vergelijken van de impact van verschillende auditieve achtergronden op het rijden van gedrag.

Rijden onder invloed: muziek luisteren invloed rijden gedrag

We presenteren een protocol te onderzoeken van het gebruik van morfologische aanwijzingen tijdens real-time zin begrip door kinderen met autisme.

Met behulp van de visuele wereld paradigma te bestuderen zin begrip in Mandarijn sprekende kinderen met autisme

We beschrijven een gedrags protocol ontworpen om te beoordelen hoe de zebravis persoonlijkheden beïnvloeden hun reactie op het water stromen en zwakke magnetische velden. Vissen met de zelfde persoonlijkheden worden gescheiden op basis van hun exploratief gedrag. Vervolgens wordt hun gedrag rheotactic oriëntatie in een tunnel zwemmen met een lage stroomsnelheid en onder verschillende magnetische voorwaarden waargenomen.

Beoordeling van de invloed van de persoonlijkheid op gevoeligheid voor magnetische velden in de zebravis

We presenteren een protocol om de verwevenheid factoren van integratieve moeilijkheid en onverwachtigheid in semantisch afwijkende zinnen te ontkoppelen door meerdere herhalingen toe te passen om de verwachting van de deelnemer voor afwijkende zinnen te verbeteren. De dissociatie helpt bij het onderzoeken van de belangrijkste bijdrage van uitlokken event-gerelateerde mogelijkheden (ERP) effecten zoals N400 in taal studies.

Dissociatie van de verstorende invloeden van de verwachting en integratieve moeilijkheden die zich in afwijkende zinnen in Gebeurteniegerelateerde potentiële studies bevinden

In dit artikel wordt een methode geïntroduceerd voor het beoordelen van de samenhang van de korte verhalen van ouders over hun kind en hun relatie met behulp van de vijf minuten durende spraak voorbeeldprocedure.

De samenhang van de korte verhalen van ouders over hun kind beoordelen aan de hand van de vijf minuten durende spraak voorbeeld procedure

Verken hoe buitenlandse accenten sprekeridentificatie beïnvloeden via prosodische kenmerken zoals toonhoogte en duur. Deze methode analyseert luisteroordelen in stemopstellingen voor forensisch onderzoek.

Buitenlands accent en forensische sprekersidentificatie in stemmenopstellingen: de invloed van akoestische kenmerken op basis van prosodie (Video) | JoVE Journal

Buitenlands accent en forensische sprekersidentificatie in stemmenopstellingen: de invloed van akoestische kenmerken op basis van prosodie

Meer video's verkennen