Name: Accento straniero e identificazione forense del parlante nelle formazioni vocali: linfluenza delle caratteristiche acustiche basate sulla prosodia (Video) | JoVE Journal
Uploaded: 2024-09-27T12:35:00.000+00:00
Duration: 9 min 9 s
Description: Esplora come l'accento straniero influenza l'identificazione forense del parlante analizzando caratteristiche prosodiche come intonazione, durata e qualità vocale. Questo metodo aiuta a comprendere i giudizi degli ascoltatori nelle sequenze vocali.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Questo studio è stato sostenuto dal Consiglio Nazionale per lo Sviluppo Scientifico e Tecnologico - CNPq, sovvenzione n. 307010/2022-8 per il primo autore e sovvenzione n. 302194/2019-3 per il secondo autore. Gli autori desiderano esprimere la loro sincera gratitudine ai partecipanti a questa ricerca per la loro generosa collaborazione e il loro prezioso contributo.

Prosodic-Acoustic Features and L2 Speech Production for Forensic Applications

Gli autori non hanno conflitti di interesse da dichiarare.

L'attuale protocollo rappresenta una novità nel campo della fonetica (forense). Si divide in due fasi: una basata sulla produzione (analisi acustica) e una basata sulla percezione (analisi del giudizio). La fase di analisi della produzione comprende la preparazione dei dati e l'allineamento forzato, il riallineamento e l'estrazione automatica delle caratteristiche prosodico-acustiche oltre alle statistiche. Questo protocollo collega la fase di raccolta dei dati all'analisi dei dati in modo più rapido ed efficiente rispetto ai protocolli tradizionali basati su una segmentazione prevalentemente manuale.
Tuttavia, il processo di riallineamento, illustrato nei passaggi del protocollo da 1.3.6 a 1.3.6.9, funziona fondamentalmente sulle unità telefoniche e di parole generate nei passaggi del protocollo da 1.3.1 a 1.3.4. La novità del processo di riallineamento consiste nel generare un nuovo oggetto TextGrid contenente tre nuovi livelli di testo: un livello sillabico, un livello di blocco del discorso che può essere generato automaticamente o manualmente in base alle parole e un livello di tono che può essere molto utile per il calcolo delle misure f0. Le linee guida di riallineamento proposte per questo protocollo sono state precedentemente utilizzate in studi sul ritmo del linguaggio L2 21,69,70, studi per il rilevamento del grado di accento straniero utilizzando tecniche di apprendimento automatico22 e studi nel dominio forense 9.
L'estrazione automatica delle caratteristiche prosodiche, presentata nelle fasi del protocollo da 1.3.7 a 1.3.7.10, genera una matrice multidimensionale di caratteristiche prosodico-acusiche, come potrebbe essere testimoniato nella presente ricerca. Tali caratteristiche includono le funzioni vocali melodiche, durative e spettrali (qualità e intensità della voce)71. Un numero considerevole di queste caratteristiche acustiche sono meno sensibili e in qualche modo robuste alle registrazioni audio rumorose eventualmente raccolte nella medicina legale o in qualsiasi altro scenario72. Inoltre, la matrice multidimensionale può essere applicata ai sistemi di riconoscimento vocale tramite diverse tecniche di intelligenza artificiale (work in progress). Può ancora essere molto utile nell'insegnamento degli aspetti prosodici nelle classi di pronuncia L221 (work in progress).
L'analisi statistica di questa parte del protocollo rappresenta l'uso del metodo GAM poiché abbiamo affrontato una relazione complessa tra una specifica caratteristica acustica e più parlanti con fattore linguistico. Per modellare una specifica caratteristica acustica, ad esempio, è stato necessario verificare come si sarebbero comportate le altre caratteristiche acustiche della matrice (i termini uniformi) in modo da poter descrivere in modo più accurato ciò che stava accadendo durante la produzione del parlato.
Per quanto riguarda l'analisi della percezione, il protocollo attuale è stato costituito dalla preparazione e implementazione delle formazioni vocali, dall'analisi statistica e dall'analisi della somiglianza acustica. Per preparare le formazioni, abbiamo utilizzato lo script CreateLineup per Praat, che genera automaticamente un file audio per ogni lineup contenente lamine e voce di destinazione in sequenza casuale, come descritto nei passaggi del protocollo da 2.2 a 2.2.1.9.
Per l'analisi statistica di questo protocollo, abbiamo eseguito il test non parametrico di Kruskal-Wallis poiché i nostri dati non soddisfacevano le ipotesi di analisi della varianza (ANOVA). Una volta ottenuta una relazione tra i punteggi di giudizio valutati dagli ascoltatori e controllati per la voce target e i foil, abbiamo optato per l'utilizzo delle statistiche del modello lineare.
Per l'analisi della somiglianza acustica, abbiamo utilizzato lo script AcousticSmilarity_cosine_euclidean per Python. Il programma fa apparire l'albero delle directory del computer e chiede all'utente di scegliere il file contenente le caratteristiche prosodico-acustiche delle lamine e la voce di destinazione che compone la scaletta in analisi. Con un clic di un pulsante, lo script genera tre matrici di somiglianza: un coseno, un euclideo e un euclideo trasformato (da zero a uno), sia su file '.txt' (delimitati da tabulazioni) che su file '.csv'. Dobbiamo comunque tenere a mente che ogni dataset (il file '.txt' contenente le caratteristiche prosodico-acustiche delle lamine e del target) deve trovarsi nella cartella originale della lineup, e ogni cartella della lineup deve avere una copia del copione AcousticSmilarity_cosine_euclidean .
In sintesi, l'attuale protocollo avanza nella ricerca fonetica (forense). Comprendendo fasi distinte - analisi della produzione e della percezione, nonché somiglianza acustica - colma il divario tra la raccolta dei dati e l'analisi multidimensionale delle caratteristiche acustiche. I ricercatori possono beneficiare di una prospettiva olistica, esplorando sia gli aspetti della produzione che quelli della percezione. Inoltre, questo protocollo garantisce la riproducibilità della ricerca, consentendo ad altri di basarsi sulle linee guida di questo lavoro.
Limitazioni e direzioni future Dobbiamo ancora tenere presente che tutto funzionerà con successo se la preparazione dei dati seguirà le linee guida proposte nei passaggi del protocollo da 1.3.1 a 1.3.4. Inoltre, nelle procedure di allineamento forzato, dobbiamo essere consapevoli che un allineatore forzato esterno pre-addestrato, come MAUS utilizzato nel lavoro attuale, è suscettibile di errori di segmentazione, specialmente in dati accentati estranei non pre-addestrati o anche in allineatori pre-addestrati, indipendentemente dal fatto che l'audio non abbia una buona qualità o che l'allineatore non contenga il linguaggio audio (questo fatto renderebbe il lavoro dell'esperto più difficile e dispendioso in termini di tempo). La trascrizione forense, in particolare di file audio più lunghi, incontra difficoltà per quanto riguarda la rappresentazione accurata e affidabile delle registrazioni parlate72.
Ci sono anche diverse sfide nella trascrizione e nell'allineamento di file audio più lunghi. Le prestazioni dell'allineatore sono influenzate dallo stile di conversazione e dall'ambiente fonetico, nonché da fattori specifici del dialetto. Sebbene esistano differenze specifiche per gli allineatori, in generale, le loro prestazioni sono simili e generano segmentazioni che si confrontano bene con l'allineamento manuale complessivo73. Inoltre, la produzione di inglese L1 e L2 è stata eseguita con un modello acustico pre-addestrato di inglese americano a causa dell'indisponibilità di modelli vocali stranieri in MAUS. Inoltre, non esistono modelli acustici pre-addestrati per la BP in MAUS. Per i dati BP sono stati utilizzati i modelli acustici preesistenti di lingua italiana (vedi NOTA, fase di protocollo 1.3.5.7).
Nei lavori futuri (in corso), utilizzeremo il Montreal Forced Aligner (MFA)74 come parte del protocollo. Un grande vantaggio dell'MFA è la disponibilità di modelli acustici pre-addestrati e di modelli grafema-fonema per un'ampia varietà di lingue (incluso BP), nonché la capacità di addestrare nuovi modelli acustici e grafema-fonema su qualsiasi nuovo set di dati (ad esempio, il nostro corpus vocale con accento straniero)75.

L'accento è un aspetto saliente e dinamico della comunicazione e della fluidità, sia nella lingua madre (L1) che in una lingua straniera (L2)1. L'accento straniero rappresenta le caratteristiche fonetiche L2 di una lingua di destinazione e può cambiare (nel tempo) in risposta all'esperienza L2 del parlante, allo stile di conversazione, alla qualità dell'input, all'esposizione, tra le altre variabili. Un accento straniero può essere quantificato come un grado (scalare) di differenza tra il parlato L2 prodotto da un parlante straniero e un accento locale o di riferimento della lingua di destinazione2,3,4,5.
Questa ricerca mira a esaminare sia le caratteristiche prosodico-acustiche che i correlati percettivi dell'inglese con accento straniero e del portoghese brasiliano con accento straniero (BP), nonché a verificare in che misura le produzioni di accenti stranieri e nativi da parte dei parlanti siano correlate alla percezione degli ascoltatori. Ricerche precedenti nel campo forense hanno dimostrato che la robustezza delle vocali e delle consonanti nell'identificazione dell'accento straniero è stabile per un'analisi a lungo termine di un individuo (The Lo Case6) o si riferisce all'elevata accuratezza dell'ID di un parlante (The Lindbergh Case7). Tuttavia, l'esplorazione delle caratteristiche prosodico-acustiche basate sulla durata, la frequenza fondamentale (f0, cioè il correlato acustico dell'altezza), l'intensità e la qualità della voce (VQ) ha guadagnato sempre più attenzione8,9. Pertanto, la scelta delle caratteristiche prosodico-acustiche in questo studio rappresenta una strada promettente nel campo della fonetica forense8,10,11,12,13.
La presente ricerca è supportata da studi dedicati agli accenti stranieri come forma di travestimento vocale nei casi forensi14,15, così come nella preparazione di formazioni vocali per il riconoscimento del parlante16,17. Ad esempio, la velocità del parlato ha svolto un ruolo importante nell'identificazione dei parlanti tedesco, italiano, giapponese e brasiliano di inglese18,19,20,21,22. Oltre alla velocità del parlato, le caratteristiche spettrali e f0 a lungo termine sfidano i parlanti esperti in L2 con familiarità con la lingua target perché il cervello e le basi cognitive soffrono di un deficit di memoria, attenzione ed emozione, che si riflette nelle prestazioni fonetiche del parlante durante lunghi turni di discorso23. Il punto di vista degli accenti stranieri nel campo forense è che la definizione di ciò che suona davvero come un accento straniero dipende molto dalla non familiarità dell'ascoltatore piuttosto che avere un grado non estremo di parlato con accento straniero24.
Nel dominio percettivo, uno strumento forense comune utilizzato dalla metà degli anni '90 per il riconoscimento dei criminali è il Voice Lineup (riconoscimento uditivo), che è analogo al riconoscimento visivo utilizzato per identificare un autore in una scena del crimine16,25. In una scaletta vocale, la voce del sospetto viene presentata insieme a voci simili per aspetti sociolinguistici come età, sesso, posizione geografica, dialetto e stato culturale, per l'identificazione da parte di un testimone oculare. Il successo o il fallimento di una formazione vocale dipenderà dal numero di campioni vocali e dalla durata dei campioni25,26. Inoltre, per i campioni del mondo reale, si ritiene che la qualità audio influisca costantemente sull'accuratezza del riconoscimento vocale. Una scarsa qualità audio può distorcere le caratteristiche uniche di una voce27. Nel caso della somiglianza vocale, i dettagli fonetici precisi basati su f0 possono confondere l'ascoltatore durante il riconoscimento vocale28,29. Tali caratteristiche acustiche si estendono oltre f0 e comprendono elementi di durata e caratteristiche spettrali di intensità e VQ30. Questa visione di più caratteristiche prosodiche è fondamentale nel contesto del confronto vocale forense per garantire un'identificazione accurata del parlante9,14,15,29,31.
In sintesi, gli studi di fonetica forense hanno mostrato alcune variazioni per quanto riguarda l'identificazione dell'accento straniero negli ultimi decenni. Da un lato, un accento straniero non sembra influenzare il processo di identificazione di un parlante32,33 (specialmente se il parlante non ha familiarità con l'accento straniero di destinazione34). D'altra parte, ci sono risultati nella direzione opposta12,34,35.

<table><tbody><tr><td>CreateLineup</td><td>Personal collection</td><td>#</td><td>Script per praat per la preparazione delle lineup vocali</td></tr><tr><td>Dell I3 (con unità a stato solido - SSD)&nbsp;</td><td>Dell</td><td>#</td><td>Computer portatile</td></tr><tr><td>Praat</td><td>Paul Boersma & David Weenink</td><td>#</td><td>Software per l'analisi fonetica</td></tr><tr><td>Python 3</td><td>Python Software Foundation</td><td>#</td><td>Linguaggio di programmazione interpretato, di alto livello e generico&nbsp;</td></tr><tr><td>R</td><td>The R Project for Statistical Computing</td><td>#</td><td>Linguaggio di programmazione per il calcolo statistico</td></tr><tr><td>Shure Beta SM7B</td><td>Shure</td><td>#</td><td>Microphone</td></tr><tr><td>SpeechRhythmExtractor</td><td>Personal collection</td><td>#</td><td>Script per praat per l'estrazione automatica di funzioni acustiche</td></tr><tr><td>SurveyMonkey</td><td>SurveyMonkey Inc.</td><td>#</td><td>Assembla sondaggi personalizzabili gratuiti, nonché una suite di programmi di back-end che includono analisi dei dati, selezione dei campioni, debiasing e rappresentazione dei dati.</td></tr><tr><td>Tascam DR-100 MKII</td><td>Tascam</td><td>#</td><td>Registratore vocale digitale</td></tr><tr><td>Il sistema di segmentazione automatica di Monaco di Baviera MAUS</td><td>Università di Monaco di Baviera</td><td>#</td><td>Allineamento forzato di file audio (.wav) e di informazioni linguistiche (.txt)</td></tr><tr><td>VVUnitAligner</td><td>Collezione personale</td><td>#</td><td>Script per praat per il riallineamento automatico e la post-elaborazione delle unità fonetiche</td></tr></tbody></table>

accento straniero e identificazione forense del parlante nelle formazioni vocali: l'influenza delle caratteristiche acustiche basate sulla prosodia

Foreign Accent and Forensic Speaker Identification in Voice Lineups: The Influence of Acoustic Features Based on Prosody

Questa ricerca mira a esaminare sia le caratteristiche prosodico-acustiche che i correlati percettivi dell'inglese con accento straniero e del portoghese brasiliano con accento straniero e verificare come le produzioni di accenti stranieri e nativi dei parlanti siano correlate alla percezione degli ascoltatori. Nella Metodologia, abbiamo condotto una procedura di produzione del parlato con un gruppo di parlanti americani di portoghese brasiliano L2 e un gruppo di parlanti brasiliani di inglese L2, e una procedura di percezione del parlato in cui abbiamo eseguito formazioni vocali per entrambe le lingue. Per l'analisi statistica della produzione vocale, abbiamo eseguito Modelli Additivi Generalizzati per valutare l'effetto dei gruppi linguistici su ciascuna classe (metrica o prosodico-acustica) di caratteristiche controllate per l'effetto di smoothing della/e covariata/e della classe opposta. Per l'analisi statistica della percezione del parlato, abbiamo eseguito un test di Kruskal-Wallis e un test di Dunn post-hoc per valutare l'effetto delle voci delle formazioni sui punteggi giudicati dagli ascoltatori. Abbiamo comunque condotto test di somiglianza acustica (voce) basati sulle distanze del coseno e dell'euclideo. I risultati hanno mostrato differenze acustiche significative tra i gruppi linguistici in termini di variabilità dell'f0, durata e qualità della voce. Per le scale, i risultati hanno indicato che le caratteristiche prosodiche di f0, intensità e qualità della voce erano correlate ai giudizi percepiti dagli ascoltatori.

Questa ricerca mirava a fare un confronto tra L1-L2-Inglese e L1-L2 Portoghese per verificare quanto l'effetto di un accento straniero tenga conto sia per le metriche che per i parametri prosodici-acustici, nonché per la scelta della voce target in una formazione vocale.

Accento straniero e identificazione forense del parlante nelle formazioni vocali: l'influenza delle caratteristiche acustiche basate sulla prosodia

This research aims to examine both the prosodic-acoustic features and the perceptual correlates of foreign-accented English and foreign-accented Brazilian ...

foreign-accent-forensic-speaker-identification-voice-lineups

Research

Ricerca

JoVE Journal

Behavior

Comportamento

Lo studio introduce un paradigma di training-testing per indagare gli effetti vecchi/nuovi dei potenziali correlati agli eventi in scenari prosodici sicuri e dubbi. I dati rivelano un aumento della componente positiva tardiva tra 400-850 ms a Pz e ad altri elettrodi. Questa pipeline può esplorare fattori che vanno oltre la prosodia del parlato e la loro influenza sull'identificazione del bersaglio di vincolo al segnale.

Paradigma di formazione e test basato sulla memorizzazione per un robusto riconoscimento dell'identità vocale nel parlato espressivo utilizzando l'analisi dei potenziali correlati agli eventi

Una procedura che consente una dimostrazione di forte aumento della ricerca di droga nei ratti alimentare ristretto è descritto. Dopo la formazione di auto-somministrazione di eroina, i ratti passare attraverso un periodo di astinenza, in un ambiente privo di droga, durante il quale sono leggermente alimentare ristretto. Ricerca di droga viene poi testato in ambiente farmaco associato.

Una procedura per studiare l&#39;effetto della prolungata restrizione alimentare sulla Cerco eroina nei ratti in astinenza

Non è chiaro come i segnali top-down dal flusso visivo ventrale influenzano il movimento. Abbiamo sviluppato un paradigma per testare il comportamento del motore verso un bersaglio su un 3D illusione di profondità inversione. Differenze significative sono riportate in entrambi i movimenti goal-directed intenzionali e le azioni automatiche in condizioni di visualizzazione illusorie e veritiere.

Metodi per Esplora l&#39;influenza di Top-down processi visivi sul comportamento motorio

Viene descritto il paradigma di legame distrattore-risposta. Può essere utilizzato per far luce sull'influenza che stimoli irrilevanti, in competizione con i bersagli per una risposta, possono avere sull'azione umana. Sia gli effetti di recupero della risposta che gli effetti di inibizione del distrattore possono essere analizzati all'interno del paradigma.

Stimoli irrilevanti e Azione di controllo: Analizzare l&#39;influenza di stimoli Ignorato tramite il distrattore-Response Binding Paradigm

Questo protocollo descrive un nuovo metodo ed efficiente di avviare rapidamente operante rispondere per etanolo in ratti che, contrariamente a metodi standard, non richiede privazione di acqua o saccarina / saccarosio dissolvenza di avviare rispondere.

Un metodo per valutare le proprietà di rinforzo di etanolo in ratti senza acqua privazione, Saccarina dissolvenza o di formazione accesso esteso

Qui, presentiamo un protocollo per valutare i comportamenti di guida mentre si segue un veicolo in un ambiente di guida simulato. Il protocollo presentato viene utilizzato per confrontare l'impatto di diversa provenienza uditiva sui comportamenti di guida.

Guida sotto l'influenza: come ascoltare musica colpisce i comportamenti di guida

Vi presentiamo un protocollo per esaminare l'uso delle indicazioni morfologiche durante la comprensione di frase in tempo reale da parte dei bambini con autismo.

Usando il paradigma del mondo visivo per studiare frase comprensione in lingua Mandarina i bambini con autismo

Descriviamo un protocollo comportamentale progettato per valutare come personalità di zebrafish influenza la loro risposta ai cambiamenti delle acque correnti e campi magnetici deboli. Pesci con la stessa personalità vengono separati in base al loro comportamento esplorativo. Quindi, si osserva il loro comportamento di orientamento rheotactic in un tunnel con un tasso di flusso debole e condizioni magnetiche diverse.

Valutare l'influenza della personalità sulla sensibilità ai campi magnetici in Zebrafish

Presentiamo un protocollo per dissociare i fattori intrecciati di difficoltà integrativa e inaspettata nelle frasi semanticamente anomale applicando più ripetizioni per migliorare l'aspettativa del partecipante per frasi anomale. La dissociazione aiuta a studiare il principale contributore di potenziali legati agli eventi (ERP) come N400 negli studi linguistici.

Dissociazione delle influenze confuse dell'aspettativa e della difficoltà integrativa residenti in frasi anomale negli studi potenziali relativi agli eventi

Questo documento introduce un metodo per valutare la coerenza delle brevi narrazioni dei genitori riguardo al loro bambino e alla loro relazione utilizzando la procedura di esempio vocale di cinque minuti.

Valutazione della coerenza delle brevi narrazioni dei genitori per quanto riguarda il loro bambino utilizzando la procedura di campionamento del discorso di cinque minuti

Esplora come l'accento straniero influenza l'identificazione forense del parlante analizzando caratteristiche prosodiche come intonazione, durata e qualità vocale. Questo metodo aiuta a comprendere i giudizi degli ascoltatori nelle sequenze vocali.

Accento straniero e identificazione forense del parlante nelle formazioni vocali: linfluenza delle caratteristiche acustiche basate sulla prosodia (Video) | JoVE Journal

Accento straniero e identificazione forense del parlante nelle formazioni vocali: l'influenza delle caratteristiche acustiche basate sulla prosodia

Esplora altri video