Articolo metodologico

Accento straniero e identificazione forense del parlante nelle formazioni vocali: l'influenza delle caratteristiche acustiche basate sulla prosodia

DOI:

10.3791/66313

⸱

27 settembre 2024

 , 
1Center of Humanities, Department of Modern Languages, State University of Paraíba (Universidade Estadual da Paraíba), 2Institute of Language Studies, Department of Linguistics, University of Campinas (Universidade de Campinas)

In questo articolo

Sommario

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questa ricerca mirava a fare un confronto tra L1-L2-Inglese e L1-L2 Portoghese per verificare quanto l'effetto di un accento straniero tenga conto sia per le metriche che per i parametri prosodici-acustici, nonché per la scelta della voce target in una formazione vocale.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questa ricerca mira a esaminare sia le caratteristiche prosodico-acustiche che i correlati percettivi dell'inglese con accento straniero e del portoghese brasiliano con accento straniero e verificare come le produzioni di accenti stranieri e nativi dei parlanti siano correlate alla percezione degli ascoltatori. Nella Metodologia, abbiamo condotto una procedura di produzione del parlato con un gruppo di parlanti americani di portoghese brasiliano L2 e un gruppo di parlanti brasiliani di inglese L2, e una procedura di percezione del parlato in cui abbiamo eseguito formazioni vocali per entrambe le lingue. Per l'analisi statistica della produzione vocale, abbiamo eseguito Modelli Additivi Generalizzati per valutare l'effetto dei gruppi linguistici su ciascuna classe (metrica o prosodico-acustica) di caratteristiche controllate per l'effetto di smoothing della/e covariata/e della classe opposta. Per l'analisi statistica della percezione del parlato, abbiamo eseguito un test di Kruskal-Wallis e un test di Dunn post-hoc per valutare l'effetto delle voci delle formazioni sui punteggi giudicati dagli ascoltatori. Abbiamo comunque condotto test di somiglianza acustica (voce) basati sulle distanze del coseno e dell'euclideo. I risultati hanno mostrato differenze acustiche significative tra i gruppi linguistici in termini di variabilità dell'f0, durata e qualità della voce. Per le scale, i risultati hanno indicato che le caratteristiche prosodiche di f0, intensità e qualità della voce erano correlate ai giudizi percepiti dagli ascoltatori.

Introduzione

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

L'accento è un aspetto saliente e dinamico della comunicazione e della fluidità, sia nella lingua madre (L1) che in una lingua straniera (L2)1. L'accento straniero rappresenta le caratteristiche fonetiche L2 di una lingua di destinazione e può cambiare (nel tempo) in risposta all'esperienza L2 del parlante, allo stile di conversazione, alla qualità dell'input, all'esposizione, tra le altre variabili. Un accento straniero può essere quantificato come un grado (scalare) di differenza tra il parlato L2 prodotto da un parlante straniero e un accento locale o di riferimento della lingua di destinazione2,3,4,5.

Questa ricerca mira a esaminare sia le caratteristiche prosodico-acustiche che i correlati percettivi dell'inglese con accento straniero e del portoghese brasiliano con accento straniero (BP), nonché a verificare in che misura le produzioni di accenti stranieri e nativi da parte dei parlanti siano correlate alla percezione degli ascoltatori. Ricerche precedenti nel campo forense hanno dimostrato che la robustezza delle vocali e delle consonanti nell'identificazione dell'accento straniero è stabile per un'analisi a lungo termine di un individuo (The Lo Case6) o si riferisce all'elevata accuratezza dell'ID di un parlante (The Lindbergh Case7). Tuttavia, l'esplorazione delle caratteristiche prosodico-acustiche basate sulla durata, la frequenza fondamentale (f0, cioè il correlato acustico dell'altezza), l'intensità e la qualità della voce (VQ) ha guadagnato sempre più attenzione8,9. Pertanto, la scelta delle caratteristiche prosodico-acustiche in questo studio rappresenta una strada promettente nel campo della fonetica forense8,10,11,12,13.

La presente ricerca è supportata da studi dedicati agli accenti stranieri come forma di travestimento vocale nei casi forensi14,15, così come nella preparazione di formazioni vocali per il riconoscimento del parlante16,17. Ad esempio, la velocità del parlato ha svolto un ruolo importante nell'identificazione dei parlanti tedesco, italiano, giapponese e brasiliano di inglese18,19,20,21,22. Oltre alla velocità del parlato, le caratteristiche spettrali e f0 a lungo termine sfidano i parlanti esperti in L2 con familiarità con la lingua target perché il cervello e le basi cognitive soffrono di un deficit di memoria, attenzione ed emozione, che si riflette nelle prestazioni fonetiche del parlante durante lunghi turni di discorso23. Il punto di vista degli accenti stranieri nel campo forense è che la definizione di ciò che suona davvero come un accento straniero dipende molto dalla non familiarità dell'ascoltatore piuttosto che avere un grado non estremo di parlato con accento straniero24.

Nel dominio percettivo, uno strumento forense comune utilizzato dalla metà degli anni '90 per il riconoscimento dei criminali è il Voice Lineup (riconoscimento uditivo), che è analogo al riconoscimento visivo utilizzato per identificare un autore in una scena del crimine16,25. In una scaletta vocale, la voce del sospetto viene presentata insieme a voci simili per aspetti sociolinguistici come età, sesso, posizione geografica, dialetto e stato culturale, per l'identificazione da parte di un testimone oculare. Il successo o il fallimento di una formazione vocale dipenderà dal numero di campioni vocali e dalla durata dei campioni25,26. Inoltre, per i campioni del mondo reale, si ritiene che la qualità audio influisca costantemente sull'accuratezza del riconoscimento vocale. Una scarsa qualità audio può distorcere le caratteristiche uniche di una voce27. Nel caso della somiglianza vocale, i dettagli fonetici precisi basati su f0 possono confondere l'ascoltatore durante il riconoscimento vocale28,29. Tali caratteristiche acustiche si estendono oltre f0 e comprendono elementi di durata e caratteristiche spettrali di intensità e VQ30. Questa visione di più caratteristiche prosodiche è fondamentale nel contesto del confronto vocale forense per garantire un'identificazione accurata del parlante9,14,15,29,31.

In sintesi, gli studi di fonetica forense hanno mostrato alcune variazioni per quanto riguarda l'identificazione dell'accento straniero negli ultimi decenni. Da un lato, un accento straniero non sembra influenzare il processo di identificazione di un parlante32,33 (specialmente se il parlante non ha familiarità con l'accento straniero di destinazione34). D'altra parte, ci sono risultati nella direzione opposta12,34,35.

Protocollo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questo lavoro ha ricevuto l'approvazione da un comitato etico per la ricerca umana. Inoltre, è stato ottenuto il consenso informato da tutti i partecipanti coinvolti in questo studio per utilizzare e pubblicare i propri dati.

1. Produzione vocale

NOTA: Abbiamo raccolto il parlato da un compito di lettura sia su 'L1 English-L2 BP' prodotto dal Gruppo 1: The American English (from the U.S.A.) Speakers (AmE-S), sia su entrambi i 'L1 BP-L2 English' prodotti dal Gruppo 2: The Brazilian Speakers (Bra-S). Vedi Figura 1 per un diagramma di flusso per la produzione vocale.

figure-protocol-1
Figura 1: Diagramma di flusso schematico per la produzione vocale. Clicca qui per visualizzare una versione più grande di questa figura.

  1. Partecipanti
    1. Determinare il numero di partecipanti, la lingua (L1 Inglese, L2 BP; L1 BP, L2 inglese), il sesso (femmina o maschio), l'età (media, deviazione standard), le caratteristiche del gruppo (professionisti o studenti universitari) e il livello di competenza L2 (avanzato o ben avanzato) per ciascun gruppo><. NOTA: Per la presente ricerca, sia AmE-S che Bra-S sono stati considerati competenti in L2 (entrambi i gruppi sono stati qualificati come B2-C136). L'AmE-S viveva da due anni in Brasile quando sono state condotte le procedure. Il Bra-S aveva vissuto più di due anni negli Stati Uniti quando sono state condotte le procedure. Mentre vivevano all'estero, entrambi i gruppi parlavano la loro L2 per motivi di studio e lavoro almeno 6 giorni alla settimana per ~4-5 ore al giorno.
    2. Assegna i partecipanti in una stanza confortevole e tranquilla e presenta il materiale di lettura per ogni gruppo.
  2. Raccolta dati
    NOTA: i dati vocali devono essere raccolti da un'attività di lettura nelle seguenti lingue: L1-Inglese e L2-BP; L1-BP e L2-Inglese. Se necessario, lasciate che i partecipanti leggano i testi in anticipo.
    1. Procedure di registrazione
      1. Registrare i dati vocali in un luogo silenzioso con condizioni acustiche adeguate.
      2. Utilizzare un registratore vocale digitale (vedere la Tabella dei Materiali)37 e un microfono cardioide unidirezionale isolato elettromagneticamente (vedere la Tabella dei Materiali)38.
      3. Registra i dati audio in forma ".wav".
      4. Impostare la frequenza di campionamento a 48 kHz e la frequenza di quantizzazione a 16 bit.
        NOTA: Il formato audio e la configurazione per le frequenze di campionamento e quantizzazione descritte nei passaggi 1.2.1.3 e 1.2.1.4 vengono applicati per garantire un'elevata qualità e la riduzione del rumore per preservare le caratteristiche spettrali utilizzate per la successiva analisi acustica.
  3. Analisi acustica
    NOTA: Suddividere le procedure di analisi acustica in tre fasi: allineamento forzato, riallineamento ed estrazione delle caratteristiche acustiche.
    1. Scrivi la trascrizione linguistica (in un '.txt) per ogni file audio.
    2. Tagga la coppia di file '.txt'/'.wav' con lo stesso nome (ad esempio, 'my_file.wav'/ 'my_file. txt').
      NOTA: Per migliorare le prestazioni della procedura descritta nella sezione 1.3.7, si raccomanda vivamente che i primi tre caratteri dei tag del file '.txt/.wav' rappresentino la lingua, il dialetto o l'accento, mentre i caratteri dal quarto al sesto denotano il sesso (ad esempio, EL1FEM per English L1 Female). Dal settimo carattere in poi, l'utente deve indicare il numero dell'altoparlante (ad esempio, 001 per il primo altoparlante). Di conseguenza, la prima coppia '.txt/.wav' è EL1FEM001.
    3. Creare una cartella per ogni lingua L1-L2.
      NOTA: Una cartella per L1-L2 English e una cartella per L1-L2 BP.
    4. Certificare che tutte le coppie di file della stessa lingua si trovino nella stessa cartella.
    5. Eseguire l'allineamento forzato.
      1. Accedi all'interfaccia web dell'allineatore forzato Munich Automatic Segmentation (MAUS) (webMAUS)39 a https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface/Pipeline.
      2. Trascina e rilascia ogni coppia di file . wav / . txt dalla cartella al rettangolo tratteggiato in File (o fare clic all'interno del rettangolo, Figura 2A).
      3. Fare clic sul pulsante Carica per caricare i file nell'allineatore (vedere la freccia rossa in Figura 2A).
      4. Selezionare le seguenti opzioni nel menu Opzioni servizio (Figura 2B): G2P-MAUS-PHO2SYL per Nome pipeline; Inglese (USA) (per Lingua) se dati Inglese L1-L2; Italiano (IT) (per la lingua) se L1-L2 BP data.
        NOTA: Abbiamo scelto "italiano" per i dati della pressione arteriosa perché webMAUS non fornisce modelli acustici pre-addestrati per l'allineamento forzato della pressione arteriosa. La letteratura fonetica ipotizza che la fonologia italiana abbia un inventario simmetrico di sette vocali in qualche modo comparabile, proprio come BP40, così come somiglianze acustiche consonantiche41,42.
      5. Mantieni le opzioni predefinite per "Formato di output" e "Mantieni tutto".
      6. Seleziona la casella dell'opzione Esegui per accettare i termini di utilizzo (vedi freccia verde in Figura 2C).
      7. Fare clic sul pulsante Esegui servizio Web per eseguire i file caricati nell'allineatore.
        NOTA: per ogni file audio, l'allineatore forzato MAUS restituisce un oggetto Praat TextGrid (un file '.txt' preformattato Praat contenente l'annotazione di parole, sillabe fonologiche e foniche in base alla trascrizione linguistica estratta dal file '.txt' descritto nel passaggio 1.3.1).
      8. Fare clic sul pulsante Scarica come file ZIP per scaricare i file TextGrid come file compressi (Figura 2C).
        NOTA: assicurarsi che i file TextGrid compressi vengano scaricati nella stessa cartella dei file audio.
      9. Estrai i file TextGrid per un successivo riallineamento nel software di analisi fonetica43.
    6. Eseguire il riallineamento.
      1. Accedi e scarica lo script per Praat VVUnitAligner44 da https://github.com/leonidasjr/VVunitAlignerCode_webMAUS/blob/main/VVunitAligner.praat.
      2. Certificare che tutte le coppie di file della stessa lingua e lo script VVUnitAligner si trovino nella stessa cartella.
        NOTA: una cartella per i file L1-L2 in inglese e VVunitAligner e una cartella per i file L1-L2 BP e VVunitAligner.
      3. Apri il software di analisi fonetica.
      4. Fare clic su Praat | Aprire lo script Praat... per richiamare lo script dalla finestra dell'oggetto.
      5. Fare clic sul pulsante Esegui una volta.
        NOTA: Sullo schermo apparirà un modulo chiamato Allineamento delle sillabe fonetiche contenente le impostazioni per l'utilizzo dello script (Figura 3A).
      6. Fai clic sul pulsante Lingua per scegliere tra le lingue "Inglese (USA)", "Portoghese (BR)", "Francese (FR)" o "Spagnolo (ES)".
      7. Fare clic sul pulsante Segmentazione in blocchi per scegliere tra la procedura di segmentazione "Automatica", "Forzata (manuale)" o "Nessuna".
      8. Seleziona l'opzione Salva file TextGrid per salvare automaticamente i nuovi file TextGrid.
      9. Fare clic su Ok | Pulsanti di esecuzione per un riallineamento delle unità fonetiche dal passaggio 1.3.5.7 .
        NOTA: Per ogni file audio, VVUnitAligner genererà un nuovo file TextGrid per la sezione 1.3.7 (Figura 3B).
    7. Effettuare l'estrazione automatica delle caratteristiche acustiche.
      1. Accedi e scarica lo script SpeechRhythmExtractor45 da https://github.com/leonidasjr/SpeechRhythmCode/blob/main/SpeechRhythmExtractor.praat per l'estrazione automatica delle funzionalità prosodico-acustiche.
      2. Crea una nuova cartella e inserisci SpeechRhythmExtractor insieme a tutte le coppie di file audio/TextGrid di tutte le lingue.
      3. Apri il software di analisi fonetica.
      4. Fare clic su Praat | Aprire lo script Praat... per richiamare lo script dalla finestra dell'oggetto.
      5. Fare clic sul pulsante Esegui una sola volta.
        NOTA: Sullo schermo apparirà un modulo contenente le impostazioni dello script. Nelle caselle dei nomi dei file di output '.txt', rinominare i file di conseguenza o lasciare i nomi predefiniti.
      6. Controllare l'opzione dei parametri di qualità vocale per salvare il file di output VQ per la qualità vocale (Figura 3C).
        NOTA: Questo secondo file di output (il file di output VQ) contiene i parametri della differenza tra la1a e la 2a armonica (H1-H2) e il Cepstral Prominence Peak (CPP)9.
      7. Seleziona l'opzione Destinazione linguistica per scegliere tra le etichette "Lingua", "Dialetto" o "Accento" (Figura 3C).
      8. Seleziona l'opzione Unità per scegliere le funzioni f0 in Hz o in Semitoni (Figura 3C).
      9. Impostare nei valori per la soglia F0, le soglie f0 minima e massima (Figura 3C).
        NOTA: A meno che la ricerca non abbia scopi specifici o funzioni audio specifiche preimpostate, si consiglia vivamente di lasciare i parametri del passaggio 1.3.7.9 con i valori predefiniti.
      10. Fare clic su Ok | Run per l'estrazione automatica delle caratteristiche acustiche .
        NOTA: Lo script SpeechRhythmExtractor restituisce un file '.txt' delimitato da tabulazioni (file di output/file di output VQ) contenente le caratteristiche acustiche estratte dagli altoparlanti.
  4. analisi statistica
    1. Caricare il foglio di calcolo contenente le caratteristiche acustiche nell'ambiente R46 (o in qualsiasi software/ambiente statistico a scelta).
    2. Esegui statistiche non parametriche di modelli additivi generalizzati (GAM).
      1. Esegui GAM in R.
      2. Digitare i seguenti comandi e premere Invio.
        Biblioteca(MGCV)
        model = gam(la caratteristica metrica/prosodico-acustica in analisi ~ la lingua + s(la caratteristica metrica scelta, da = la lingua) + altre caratteristiche metriche/prosodico-acusiche, dati = il frame di dati)
        NOTA: Abbiamo deciso di eseguire le statistiche di test del protocollo nel linguaggio di programmazione R a causa della sua crescente popolarità tra i fonetici (e i linguisti) nella comunità accademica. R è stato ampiamente utilizzato nella ricerca fonetica sul campo47. Tenere presente che il passaggio 1.4.2.2 contiene uno pseudo-codice. Scrivi il codice in base alle variabili di ricerca.

figure-protocol-2
Figura 2: Screenshot dall'allineamento fonetico utilizzando l'allineatore forzato MAUS. (A) Il rettangolo tratteggiato è pensato per trascinare e rilasciare i file 'my_file.wav'/'my_file.txt' o per fare clic all'interno per cercare tali file dalla cartella; Il pulsante di caricamento è indicato dalla freccia rossa. (B) I file caricati dal pannello A (vedi freccia blu), la pipeline da utilizzare, la lingua per le coppie di file, il formato del file da restituire e un pulsante 'vero/falso' per conservare tutti i file. (C) La casella di controllo Condizioni d'uso (vedere la freccia verde), il pulsante Esegui servizi Web e i risultati (file TextGrid da scaricare). Clicca qui per visualizzare una versione più grande di questa figura.

figure-protocol-3
Figura 3: Screenshot della procedura di riallineamento. (A) Modulo delle impostazioni di input per la procedura di riallineamento. (B) Forma d'onda parziale, spettrogramma a banda larga con contorno f0 (blu) e sei livelli segmentati (ed etichettati) come livello 1: unità di insorgenza vocalica all'insorgenza vocalica successiva (V_to_V); esordio vocalico (V_to_V); livello 2: unità di vocale (V), consonante (C) e pausa (#); Livello 3: rappresentazioni foniche V_to_V; livello 4: alcune parole del testo; livello 5: alcuni pezzi (CH) di discorso dal testo; livello 6: livello tonale contenente il tono più alto (H) e il tono più basso (L) di ogni pezzo di discorso prodotto da un AmE-S femminile. (C) Impostazioni di ingresso per l'estrazione automatica delle caratteristiche acustiche. Clicca qui per visualizzare una versione più grande di questa figura.

2. Percezione del parlato

NOTA: Abbiamo effettuato quattro formazioni vocali in inglese con ascoltatori americani e quattro formazioni in BP con ascoltatori brasiliani. Vedi Figura 4 per un diagramma di flusso per la percezione del parlato.

figure-protocol-4
Figura 4: Diagramma di flusso schematico per la percezione del parlato. Clicca qui per visualizzare una versione più grande di questa figura.

  1. Partecipanti
    1. Scegli partecipanti diversi per ogni gruppo tra quelli che hanno partecipato al protocollo di produzione vocale.
      NOTA: Per questa parte del protocollo sono stati selezionati due gruppi di partecipanti: Gruppo 1: L'Inglese Americano(dagli Stati Uniti) Listeners (AmE-L) e Gruppo 2: The Brazilian Listeners (Bra-L). Per la presente ricerca, sia AmE-L che Bra-L sono stati considerati competenti in L2 (entrambi i gruppi sono stati qualificati come B2-C136 L'AmE-L aveva vissuto due anni in Brasile quando sono state condotte le procedure. Il Bra-L aveva vissuto più di due anni negli Stati Uniti quando sono state condotte le procedure. Mentre vivevano all'estero, entrambi i gruppi parlavano la loro L2 per motivi di studio e di lavoro (almeno sei giorni alla settimana per circa 4-5 ore al giorno).
    2. Determinare il numero di partecipanti, la lingua (L1 Inglese, L2 BP; L1 BP, L2 inglese), il sesso (femminile o maschile), l'età (media, deviazione standard), le caratteristiche del gruppo (professionisti o studenti universitari) e il livello di competenza L2 per ciascun gruppo.
  2. Le formazioni vocali
    NOTA: Dividere le procedure delle formazioni vocali in due fasi diverse: preparazione ed esecuzione delle formazioni vocali.
    1. Prepara quattro formazioni vocali per l'inglese e quattro per BP.
      1. Ottenere i file audio dai relatori della sezione 1: Produzione vocale.
      2. Certificare che i file audio di ciascun fattore linguistico si trovino in cartelle separate.
      3. Scegli casualmente sei pezzi di voce in inglese L1 o L1 BP.
        NOTA: Sei voci nella formazione rappresentano una voce target e cinque foil.
      4. Scegli un pezzo di voce in inglese L2 o BP L2 da uno degli altoparlanti inclusi nel passaggio 2.2.1.3.
        NOTA: il blocco della voce nel passaggio 2.2.1.4 è la voce di riferimento. I pezzi devono essere lunghi circa 20 secondi.8.
      5. Accedi e scarica lo script per Praat CreateLineup48 da https://github.com/pabarbosa/prosody-scripts-CreateLineUp.
      6. Certificare che la voce di riferimento L2, le lamine L1 e la voce di destinazione L1 si trovino nella stessa cartella prima di eseguire lo script CreateLineup (Figura 5).
      7. Apri il software di analisi fonetica.
      8. Dalla finestra dell'oggetto, fare clic su Praat | Aprire lo script Praat... per chiamare lo script.
      9. Fai clic su Esegui | Run.
        NOTA: lo script restituisce un file nel seguente ordine: (la voce di riferimento L2) + (la voce di destinazione L1 e le lamine distribuite in modo casuale) (Figura 5).
    2. Esecuzione delle formazioni vocali
      1. Crea uno spazio online per ospitare le lineup su qualsiasi piattaforma di tua scelta (ad esempio, SurveyMonkey. Vedere la Tabella dei materiali) per condurre a distanza le formazioni vocali.
      2. Accedi al link dello spazio online.
      3. Caricare i file restituiti dallo script CreateLineup sulla piattaforma.
      4. Eseguire la procedura prima dei partecipanti per testare ogni passaggio.
        NOTA: Si consiglia di accedere preventivamente al collegamento ed eseguire le formazioni per verificare se tutto funziona normalmente.
  3. analisi statistica
    1. Caricare il foglio di calcolo contenente i punteggi dei giudizi degli ascoltatori nell'ambiente R (o in qualsiasi software/ambiente statistico di scelta).
      1. Eseguire il test di Kruskal-Wallis in R.
      2. Digitare i seguenti comandi e premere Invio.
        modello = kruskal.test(giudizi ~ ogni formazione vocale, dati = il frame di dati)
    2. Esegui un test di Dunn post-hoc.
      1. Esegui il test di Dunn in R.
      2. Digitare i seguenti comandi e premere Invio.
        biblioteca(FSA)
        modello = dunnTest(giudizi ~ ogni formazione vocale, dati = dati, metodo = "bonferroni")
        NOTA: I codici nei passaggi 2.3.1.2 e 2.3.2.2 sono pseudo-codici (vedere NOTA 1.4.2.2).
  4. Analisi di somiglianza acustica
    1. Selezionare le formazioni (cfr. NOTA al punto 2.2.1.3) che presentavano differenze non significative tra il bersaglio e uno qualsiasi dei foil.
    2. Ripetere le procedure dei passaggi da 1.3.1 a 1.3.7.5 e dei passaggi da 1.3.7.8 a 1.3.7.10.
    3. Accedi e scarica lo script per Python49, AcousticSimilarity_cosine_euclidean50 da https://github.com/leonidasjr/AcousticSimilarity/blob/main/AcousticSmilarity_cosine_euclidean.py.
      NOTA: Lo script restituisce tre matrici (in '.txt' e '.csv'): una per la somiglianza del coseno51,52, una per la distanza euclidea52,53 e una per i valori di distanza euclidea trasformata, oltre a un confronto a coppie tra la voce di destinazione e ciascuna lamina.
    4. Certificare che lo script sia stato scaricato nella stessa cartella del set di dati della lineup.
    5. Fare clic sul pulsante Apri file... per richiamare lo script.
    6. Fai clic su Esegui | Esegui senza eseguire il debug buttons.
      NOTA: il secondo pulsante Esegui può essere contrassegnato come Esegui o Esegui senza debug o Esegui script. Eseguono tutti gli stessi comandi. Dipende semplicemente dall'ambiente Python utilizzato.
    7. Esegui test di somiglianza vocale basati su caratteristiche acustiche.
      NOTA: La somiglianza del coseno (o distanza del coseno) è una tecnica applicata nell'intelligenza artificiale (AI), in particolare nell'apprendimento automatico nei sistemi di riconoscimento vocale automatico (ASR). È una misura della somiglianza tra zero e uno. Una somiglianza del coseno vicina a uno significa che è molto probabile che due voci siano simili. Una somiglianza del coseno vicina allo zero significa che è molto probabile che le voci siano dissimili52. La distanza euclidea, spesso indicata come somiglianza euclidea, è ampiamente utilizzata anche nell'intelligenza artificiale, nell'apprendimento automatico e nell'ASR. Rappresenta la distanza in linea retta tra due punti nello spazio euclideo53, cioè più vicini sono i punti (valori di distanza più brevi), più simili sono le voci. Per una comprensione più chiara dei risultati riportati di entrambe le tecniche, abbiamo eseguito una trasformazione dei punteggi grezzi della distanza euclidea in valori da zero (meno somiglianza vocale) a uno (più somiglianza vocale)54.

figure-protocol-5
Figura 5: Configurazione della directory per la percezione del parlato. Cartelle di formazione. Ogni cartella contiene sei voci L1, la voce di destinazione L2, lo script "CreateLineup" e il file audio della scaletta delle voci (restituito dopo l'esecuzione dello script). Clicca qui per visualizzare una versione più grande di questa figura.

Risultati

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Risultati per la produzione vocale
In questa sezione, abbiamo descritto le prestazioni delle caratteristiche prosodico-acustiche statisticamente significative e delle metriche ritmiche. Tali caratteristiche prosodiche erano il parlato, l'articolazione e la velocità di pausa, che sono correlati alla durata, e il luccichio, che è correlato alla qualità della voce. Le metriche del ritmo erano la deviazione standard (SD) della durata della sillaba, la SD della consonante, la SD della durata vocalica o consonantica e il coefficiente di variazione della durata della sillaba (vedi la Tabella supplementare S1).

La velocità del parlato (Figura 6A) diminuisce più rapidamente per l'inglese L1-L2 che per L1-L2 BP, sebbene la frequenza sia inferiore per entrambi i L2. La velocità del parlato è correlata a tre metriche: SD della durata delle sillabe (SD-S), SD delle vocali (SD-V) e il coefficiente di variazione sillabica (Varco-S). È anche importante tenere presente che sia il gruppo AmE-S che il gruppo Bra-S sono competenti nei loro L2. Sembra che tale velocità sia influenzata dai valori più elevati di durata delle sillabe e dalla minore variabilità prodotta da L1-L2 BP, causando pendenze meno ripide.

Il tasso di articolazione (Figura 6D) è correlato a SD-S, Varco-S, così come il Syllabic Rhythm Ratio (RR-S); quest'ultimo rappresenta il rapporto tra sillabe più brevi e più lunghe. Tali metriche sembrano influenzare la velocità di articolazione proprio come la velocità del discorso influenzata a causa della lunghezza della frase e della variazione della durata che portano a una maggiore pianificazione del discorso L2 e al carico cognitivo L29,23,54. Potrebbe essere richiesto un carico cognitivo-linguistico più elevato nel dominio della lunghezza della frase in modo tale che i parametri prosodici-acustici siano influenzati55.

Per quanto riguarda le caratteristiche prosodico-acustiche dei tassi di parlato e articolazione, i nostri risultati suggeriscono che più un parlante varia la durata delle sillabe (e delle vocali), più bassi sono tali tassi. Ipotizziamo che la percezione del parlato sia della L1 che della L2 BP suoni un po' più lenta rispetto all'inglese L1 e L2 e che l'inglese L1 suoni più velocemente di tutti gli altri livelli linguistici. Questo fatto potrebbe essere collegato al ritmo del parlato e all'ipotesi che mentre L1-L2 BP si inclina verso il polo temporizzato di sillaba del continuum ritmico, L1-L2 English si muove verso il polo temporizzato di accento21,22.

Il luccichio locale, Figura 6B, è influenzato da SD-S e Varco-S. Per il luccichio locale, entrambe le produzioni di Bra-S, L1-BP e L2-English presentano una traiettoria in qualche modo monotona all'aumentare della variabilità della durata della sillaba (SD e Varco, vedi Tabella supplementare S1). La percezione dello sforzo vocale potrebbe essere evidente durante l'ascolto delle produzioni di Bra-S a causa di una bassa variazione che oscilla tra gli 8,5 e i 9 dB. Il parlato di Bra-S è influenzato dal carico vocale. L1-BP è fortemente influenzato dalla lunghezza della frase, essendo meno sensibile alle variazioni elevate della durata delle sillabe (il modello ritmico BP mostra meno variazioni sillabiche22,56).

La frequenza delle pause (Figura 6C) mostra che i parlanti di inglese L2 producono pause più lunghe (da 200 ms a 375 ms) rispetto a quelli di L1-English, L1-BP e L2-BP (media di 30 ms per L1-English, 50 ms per L1-BP e 100 ms per L2-BP). La pianificazione del parlato, in questo caso, potrebbe aver influenzato la produzione di inglese L2 a causa dell'aumento dell'attività cerebrale54,57. Ci si aspetta che una maggiore competenza linguistica si traduca in una maggiore velocità di lettura e span54; tuttavia, anche per i parlanti esperti di L2, i compiti di lettura presentavano un maggiore sforzo negli aspetti cognitivi di ordine superiore del parlato straniero e nell'elaborazione del linguaggio54,57. I nostri risultati mostrano, almeno su base preliminare, che i parlanti L2-BP possono essere meno influenzati dalle pause rispetto all'inglese L2 a causa delle differenze nel modello ritmico di entrambe le lingue.

figure-results-1
Figura 6: Modelli additivi generalizzati per le caratteristiche prosodico-acustiche. Sull'asse Y, la variabile di risposta (le caratteristiche acustiche da modellare); sull'asse X, le variabili predittive (il fattore 'Lingua' e le covariate nei modelli additivi che forniranno la forma e le traiettorie delle curve (cioè gli effetti di livellamento: 'Lingua + covariate'), e il prodotto della 'Lingua' e una caratteristica metrica che fornirà una proiezione più accurata della variabile di risposta (cioè, interazioni fluide tra fattori: 'covariata:Lingua'). Abbreviazione: GAM = Modelli additivi generalizzati. Clicca qui per visualizzare una versione più grande di questa figura.

In relazione alle metriche del ritmo, per SD-S (Figura 7A), i nostri risultati rivelano che più un parlante varia la curva f0 e aumenta la velocità del parlato, più SD-S diminuisce per tutti i livelli linguistici (un effetto speculare di Figura 6A). Nel caso della SD per le consonanti (SD-C, Figura 7C), L1-BP, contrariamente all'inglese L1, esegue una bassa variazione all'aumentare della velocità del parlato o della durata della pausa. Tale direzione SD è prevista poiché la variabilità della durata delle sillabe in L1-inglese è (statisticamente) significativamente più alta di L1-BP44,58. Il Varco-S (Figura 7B e Tabella supplementare S1) sembra in qualche modo correlato alla L1 e alla L2 dello stesso gruppo linguistico. All'aumentare della variabilità f0 e della velocità del parlato, il Varco-S diminuisce per L1-BP e sembra diminuire e attenuarsi per L2-BP. Per le produzioni in inglese, mentre la variabilità f0 e la velocità del parlato aumentano, il Varco-S aumenta e si attenua per L1-English e L2-English.

Per quanto riguarda la SD per vocali o consonanti (SD-V_C, Figura 7D e Tabella supplementare S1), i nostri risultati mostrano alcune somiglianze con le prestazioni Varco-S (Figura 7B). Ad esempio, una maggiore velocità del parlato, la durata della pausa e la variabilità f0 promuovono una traiettoria di caduta-aumento dell'SD-V_C per L1-BP e per L2-BP. Nelle produzioni inglesi, mentre tali caratteristiche prosodiche sono più elevate, l'SD-V_C diminuisce leggermente, si attenua per l'inglese L1, aumenta leggermente e poi si attenua per l'inglese L2. La correlazione Varco-S e SD-V_C con la L1-L2 degli stessi gruppi linguistici può essere parzialmente spiegata dall'Effetto Lombard, che si riferisce all'alterazione dei parametri acustici nel parlato dovuta al rumore di fondo59.

Nel discorso straniero, a seconda della complessità del compito (ad esempio, leggere il discorso), i parlanti hanno utilizzato strategie acustiche simili sia su L1 che su L259,60. Da un lato, Marcoux ed Ernestus hanno scoperto che le misure f0 (intervallo e mediana) nel linguaggio lombardo L2 suggeriscono che i parlanti inglesi L2 erano influenzati dal loro 61,62. D'altra parte, risultati più recenti suggeriscono che, sebbene ci si aspetti che il linguaggio lombardo L2 differisca dal parlato lombardo L1 a causa del carico cognitivo più elevato quando si parla il linguaggio L2, i parlanti inglesi L2 hanno prodotto un discorso lombardo nella stessa direzione dei parlanti inglesi L163. La misura in cui i nostri risultati sono allineati con Marcoux ed Ernestus63 e divergono da Waaning59, Villegas et al.60 e Marcoux and Ernestus61,62 necessita di ulteriori indagini.

figure-results-2
Figura 7: Modelli additivi generalizzati per le caratteristiche metriche. Sull'asse Y, la variabile di risposta (le caratteristiche metriche da modellare); sull'asse X, le variabili predittive (il fattore 'Lingua' e le covariate nei modelli additivi che forniranno la forma e le traiettorie delle curve (cioè gli effetti di livellamento: 'Lingua + covariate'), e il prodotto della 'Lingua' e una caratteristica metrica che fornirà una proiezione più accurata della variabile di risposta (cioè, interazioni fluide tra fattori: 'covariata:Lingua'). Abbreviazione: GAM = Modelli additivi generalizzati. Clicca qui per visualizzare una versione più grande di questa figura.

Risultati per la percezione del parlato
In relazione alle formazioni vocali BP, nella formazione #1 (Figura 8A), la voce foil #3 è stata giudicata come la voce target. In effetti, la voce di destinazione era la voce #4. I risultati non mostrano differenze statisticamente significative (vedi Tabella supplementare S1) tra il fioretto #3 (83%) e la voce target #4 (71%). Nella formazione #2 (Figura 8B), un confronto tra la voce target #3 (40%) e la foil #4 (20%) non ha mostrato alcuna differenza statisticamente significativa (vedi Tabella supplementare S1) per le formazioni vocali inglesi. Nella formazione #1 (Figura 9A), non c'era alcuna differenza significativa (vedi Tabella supplementare S1) tra la foil #2 (26%) e la voce target #4 (54%).

Nell'analisi della somiglianza vocale, sia la somiglianza del coseno (CoSim) che la distanza euclidea (EucDist, [EucDist transformed]54) hanno mostrato una correlazione coerente tra il foil #3 e l'obiettivo per la linea BP #1 (CoSim = 0,99; EucDist = 77,4, [0,93]). La correlazione tra la lamina #4 e il bersaglio era altrettanto forte nella linea BP #2 (CoSim = 0,99, EucDist = 76,3, [0,93]). Nella formazione inglese #1, la correlazione era coerente per CoSim (0,83(, ma da debole a soddisfacente per EucDist (213,0, [0,47]. Nel complesso, sia CoSim che EucDist sono state tecniche soddisfacenti nel determinare la somiglianza vocale. Inoltre, CoSim ha funzionato in modo leggermente più efficace, come indicato da Gahman e Elangovan52(vedi Tabella supplementare S1).

In termini di somiglianza, cosa potrebbe aver portato ad un aumento dei falsi allarmi? Le caratteristiche prosodico-acustiche hanno dimostrato che, sebbene le lamine e le voci target si siano comportate (statisticamente) in modo significativamente diverso - con un'eccezione per le formazioni presentate in Figure 8A,B e Figure 9A - le scelte degli ascoltatori si sono in qualche modo diversificate lungo diverse lamine nelle altre formazioni (Figure 8C,D e Figure 9B -D). Tale giudizio sembra dipendere più da una (o forse più) caratteristica acustica specifica che i diffusori condividono che da un'intera classe di caratteristiche prosodico-acusiche. Ad esempio, il nostro studio ha presentato diverse caratteristiche che (co)variano tra le produzioni; Tuttavia, i risultati percettivi mostrano le preferenze dei giudizi per una specifica lamina in modo che corrisponda alla voce di destinazione8,35,64,65. Ulteriori analisi sono necessarie nei lavori futuri.

È degno di nota considerare la scelta di una matrice parametrica multidimensionale per la somiglianza acustica66 come quella presentata in questo studio. I nostri risultati sono in linea con studi precedenti che hanno utilizzato caratteristiche acustiche basate su f0, VQ e intensity9,35. Tali funzionalità sono notevolmente suggerite per le attività di confronto dei parlanti nel campo forense9,66. È tuttavia importante sottolineare che nella presente ricerca, nessuna delle lamine è stata prevista per essere simile alla voce target, sebbene abbiamo utilizzato una variante delle linee guida di McFarlane16,17 nella preparazione delle formazioni vocali per il riconoscimento del parlante con accento straniero. Inoltre, dobbiamo sottolineare che la nostra procedura di formazione delle voci contiene importanti differenze rispetto alle linee guida di McFarlane, tra cui la lunghezza dello stimolo, il numero di voci, la selezione dei fogli (randomizzati qui) e lo stile del discorso.

In che misura le caratteristiche prosodico-acustiche di f0, la qualità della voce e l'intensità sembrano essere correlate alla percezione degli ascoltatori dipenderà fortemente dallo stile di conversazione utilizzato nella ricerca. Qui, abbiamo usato i passaggi di lettura. La maggior parte degli studi sui testimoni oculari opta per stimoli (semi-) spontanei come soluzione bilanciata, ad esempio, il corpus DyVis67, che è stato ampiamente impiegato nelle indagini contemporanee sui testimoni oculari28,68. Il motivo che ci ha spinto a scegliere i compiti di lettura è che il nostro corpus, al momento della composizione di questo manoscritto, era costituito esclusivamente da dati ottenuti da compiti di lettura. È tuttavia importante riconoscere che il processo di compilazione di un corpus (semi) spontaneo è già in corso. Inoltre, l'atto di leggere una storia può generare un livello affidabile di uniformità e variazione, sia all'interno che all'interno dell'oratore. Ciò facilita l'enfasi sulle caratteristiche prosodiche o fonetiche - individuali o dialettali - in situazioni che coinvolgono il confronto vocale. Ciò diventa particolarmente evidente nei casi di carico vocale durante la produzione di un accento straniero, anche tra i parlanti esperti 8,9,23,54.

figure-results-3
Figura 8: Grafici a barre contenenti i risultati per le quattro formazioni effettuate dagli ascoltatori brasiliani. (A,B) Differenza non significativa tra la voce di destinazione (in blu) e una lamina (in azzurro). (C,D) differenze significative rispetto ai foil e alla voce di destinazione. Abbreviazione: NS = non significativo. Clicca qui per visualizzare una versione più grande di questa figura.

figure-results-4
Figura 9: Grafici a barre contenenti i risultati per le quattro formazioni effettuate dagli ascoltatori americani. (A) Differenza non significativa tra la voce target (in rosso) e una lamina (in rosa). (B, C, D) Differenze significative tra i foil e la voce di destinazione. Abbreviazione: NS = non significativo. Clicca qui per visualizzare una versione più grande di questa figura.

Tabella supplementare S1: Statistiche sulla produzione del parlato - Modelli additivi generalizzati (GAM): Le statistiche F (gradi di libertà), l'R2 aggiustato di ogni caratteristica prosodico-acustica statisticamente significativa (Figura 6) e la metrica del ritmo (Figura 7) per livello linguistico, nonché i valori individuali di ogni termine liscio (le covariate). Statistiche sulla percezione del parlato: le statistiche di Kruskall-Wallis χ2 (gradi di libertà), i valori p e il η2 aggiustato, nonché un test di Dunn post-hoc per il confronto a coppie (Figura 8 e Figura 9) di ciascuna differenza statisticamente non significativa tra le coppie di voci target-foil (Figura 8A,B e ="xfig">Figura 9A). Matrici di somiglianza acustica per la distanza coseno ed euclidea di ciascuna formazione. Clicca qui per visualizzare una versione più grande di questa figura.

Discussione

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

L'attuale protocollo rappresenta una novità nel campo della fonetica (forense). Si divide in due fasi: una basata sulla produzione (analisi acustica) e una basata sulla percezione (analisi del giudizio). La fase di analisi della produzione comprende la preparazione dei dati e l'allineamento forzato, il riallineamento e l'estrazione automatica delle caratteristiche prosodico-acustiche oltre alle statistiche. Questo protocollo collega la fase di raccolta dei dati all'analisi dei dati in modo più rapido ed efficiente rispetto ai protocolli tradizionali basati su una segmentazione prevalentemente manuale.

Tuttavia, il processo di riallineamento, illustrato nei passaggi del protocollo da 1.3.6 a 1.3.6.9, funziona fondamentalmente sulle unità telefoniche e di parole generate nei passaggi del protocollo da 1.3.1 a 1.3.4. La novità del processo di riallineamento consiste nel generare un nuovo oggetto TextGrid contenente tre nuovi livelli di testo: un livello sillabico, un livello di blocco del discorso che può essere generato automaticamente o manualmente in base alle parole e un livello di tono che può essere molto utile per il calcolo delle misure f0. Le linee guida di riallineamento proposte per questo protocollo sono state precedentemente utilizzate in studi sul ritmo del linguaggio L2 21,69,70, studi per il rilevamento del grado di accento straniero utilizzando tecniche di apprendimento automatico22 e studi nel dominio forense 9.

L'estrazione automatica delle caratteristiche prosodiche, presentata nelle fasi del protocollo da 1.3.7 a 1.3.7.10, genera una matrice multidimensionale di caratteristiche prosodico-acusiche, come potrebbe essere testimoniato nella presente ricerca. Tali caratteristiche includono le funzioni vocali melodiche, durative e spettrali (qualità e intensità della voce)71. Un numero considerevole di queste caratteristiche acustiche sono meno sensibili e in qualche modo robuste alle registrazioni audio rumorose eventualmente raccolte nella medicina legale o in qualsiasi altro scenario72. Inoltre, la matrice multidimensionale può essere applicata ai sistemi di riconoscimento vocale tramite diverse tecniche di intelligenza artificiale (work in progress). Può ancora essere molto utile nell'insegnamento degli aspetti prosodici nelle classi di pronuncia L221 (work in progress).

L'analisi statistica di questa parte del protocollo rappresenta l'uso del metodo GAM poiché abbiamo affrontato una relazione complessa tra una specifica caratteristica acustica e più parlanti con fattore linguistico. Per modellare una specifica caratteristica acustica, ad esempio, è stato necessario verificare come si sarebbero comportate le altre caratteristiche acustiche della matrice (i termini uniformi) in modo da poter descrivere in modo più accurato ciò che stava accadendo durante la produzione del parlato.

Per quanto riguarda l'analisi della percezione, il protocollo attuale è stato costituito dalla preparazione e implementazione delle formazioni vocali, dall'analisi statistica e dall'analisi della somiglianza acustica. Per preparare le formazioni, abbiamo utilizzato lo script CreateLineup per Praat, che genera automaticamente un file audio per ogni lineup contenente lamine e voce di destinazione in sequenza casuale, come descritto nei passaggi del protocollo da 2.2 a 2.2.1.9.

Per l'analisi statistica di questo protocollo, abbiamo eseguito il test non parametrico di Kruskal-Wallis poiché i nostri dati non soddisfacevano le ipotesi di analisi della varianza (ANOVA). Una volta ottenuta una relazione tra i punteggi di giudizio valutati dagli ascoltatori e controllati per la voce target e i foil, abbiamo optato per l'utilizzo delle statistiche del modello lineare.

Per l'analisi della somiglianza acustica, abbiamo utilizzato lo script AcousticSmilarity_cosine_euclidean per Python. Il programma fa apparire l'albero delle directory del computer e chiede all'utente di scegliere il file contenente le caratteristiche prosodico-acustiche delle lamine e la voce di destinazione che compone la scaletta in analisi. Con un clic di un pulsante, lo script genera tre matrici di somiglianza: un coseno, un euclideo e un euclideo trasformato (da zero a uno), sia su file '.txt' (delimitati da tabulazioni) che su file '.csv'. Dobbiamo comunque tenere a mente che ogni dataset (il file '.txt' contenente le caratteristiche prosodico-acustiche delle lamine e del target) deve trovarsi nella cartella originale della lineup, e ogni cartella della lineup deve avere una copia del copione AcousticSmilarity_cosine_euclidean .

In sintesi, l'attuale protocollo avanza nella ricerca fonetica (forense). Comprendendo fasi distinte - analisi della produzione e della percezione, nonché somiglianza acustica - colma il divario tra la raccolta dei dati e l'analisi multidimensionale delle caratteristiche acustiche. I ricercatori possono beneficiare di una prospettiva olistica, esplorando sia gli aspetti della produzione che quelli della percezione. Inoltre, questo protocollo garantisce la riproducibilità della ricerca, consentendo ad altri di basarsi sulle linee guida di questo lavoro.

Limitazioni e direzioni future
Dobbiamo ancora tenere presente che tutto funzionerà con successo se la preparazione dei dati seguirà le linee guida proposte nei passaggi del protocollo da 1.3.1 a 1.3.4. Inoltre, nelle procedure di allineamento forzato, dobbiamo essere consapevoli che un allineatore forzato esterno pre-addestrato, come MAUS utilizzato nel lavoro attuale, è suscettibile di errori di segmentazione, specialmente in dati accentati estranei non pre-addestrati o anche in allineatori pre-addestrati, indipendentemente dal fatto che l'audio non abbia una buona qualità o che l'allineatore non contenga il linguaggio audio (questo fatto renderebbe il lavoro dell'esperto più difficile e dispendioso in termini di tempo). La trascrizione forense, in particolare di file audio più lunghi, incontra difficoltà per quanto riguarda la rappresentazione accurata e affidabile delle registrazioni parlate72.

Ci sono anche diverse sfide nella trascrizione e nell'allineamento di file audio più lunghi. Le prestazioni dell'allineatore sono influenzate dallo stile di conversazione e dall'ambiente fonetico, nonché da fattori specifici del dialetto. Sebbene esistano differenze specifiche per gli allineatori, in generale, le loro prestazioni sono simili e generano segmentazioni che si confrontano bene con l'allineamento manuale complessivo73. Inoltre, la produzione di inglese L1 e L2 è stata eseguita con un modello acustico pre-addestrato di inglese americano a causa dell'indisponibilità di modelli vocali stranieri in MAUS. Inoltre, non esistono modelli acustici pre-addestrati per la BP in MAUS. Per i dati BP sono stati utilizzati i modelli acustici preesistenti di lingua italiana (vedi NOTA, fase di protocollo 1.3.5.7).

Nei lavori futuri (in corso), utilizzeremo il Montreal Forced Aligner (MFA)74 come parte del protocollo. Un grande vantaggio dell'MFA è la disponibilità di modelli acustici pre-addestrati e di modelli grafema-fonema per un'ampia varietà di lingue (incluso BP), nonché la capacità di addestrare nuovi modelli acustici e grafema-fonema su qualsiasi nuovo set di dati (ad esempio, il nostro corpus vocale con accento straniero)75.

Dichiarazioni

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gli autori non hanno conflitti di interesse da dichiarare.

Ringraziamenti

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questo studio è stato sostenuto dal Consiglio Nazionale per lo Sviluppo Scientifico e Tecnologico - CNPq, sovvenzione n. 307010/2022-8 per il primo autore e sovvenzione n. 302194/2019-3 per il secondo autore. Gli autori desiderano esprimere la loro sincera gratitudine ai partecipanti a questa ricerca per la loro generosa collaborazione e il loro prezioso contributo.

Materiali

Elenco dei materiali utilizzati in questo articolo
NomeAziendaNumero di catalogoCommenti
CreateLineupPersonal collection#Script per praat per la preparazione delle lineup vocali
Dell I3 (con unità a stato solido - SSD) Dell#Computer portatile
PraatPaul Boersma & David Weenink#Software per l'analisi fonetica
Python 3Python Software Foundation#Linguaggio di programmazione interpretato, di alto livello e generico 
RThe R Project for Statistical Computing#Linguaggio di programmazione per il calcolo statistico
Shure Beta SM7BShure#Microphone
SpeechRhythmExtractorPersonal collection#Script per praat per l'estrazione automatica di funzioni acustiche
SurveyMonkeySurveyMonkey Inc.#Assembla sondaggi personalizzabili gratuiti, nonché una suite di programmi di back-end che includono analisi dei dati, selezione dei campioni, debiasing e rappresentazione dei dati.
Tascam DR-100 MKIITascam#Registratore vocale digitale
Il sistema di segmentazione automatica di Monaco di Baviera MAUSUniversità di Monaco di Baviera#Allineamento forzato di file audio (.wav) e di informazioni linguistiche (.txt)
VVUnitAlignerCollezione personale#Script per praat per il riallineamento automatico e la post-elaborazione delle unità fonetiche

Riferimenti

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Moyer, A. Foreign Accent: The Phenomenon of Non-native Speech. , Cambridge University Press. (2013).
  2. Munro, M., Derwing, T. Foreign accent, comprehensibility and intelligibility, redux. J Second Lang Pronunciation. 6 (3), 283-309 (2020).
  3. Levis, J. Intelligibility, Oral Communication, and the Teaching of Pronunciation. , Cambridge University Press. (2018).
  4. Munro, M. Applying Phonetics: Speech Science in Everyday Life. , Wiley-Blackwell. (2022).
  5. Gut, U. Speaker Classification. Muller, C. , Springer-Verlag. 75-87 (2007).
  6. Rogers, H. Foreign accent in voice discrimination: a case study. Forensic Linguistics. 5 (2), 203-208 (1998).
  7. Solan, L., Tiersma, P. Hearing Voices: Speaker Identification in Court. Hastings Law Journal. 54, 373-436 (2003).
  8. Alcaraz, J. The long-term average spectrum in forensic phonetics: From collation to discrimination of speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 87-110 (2023).
  9. Silva, L. Jr, Barbosa, P. A. Voice disguise and foreign accent: Prosodic aspects of English produced by Brazilian Portuguese speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 195-226 (2023).
  10. Munro, M., Derwing, T. Modeling perceptions of the accentedness and comprehensibility of L2 speech. Studies in Second Language Acquisition. 23 (4), 451-468 (2001).
  11. Keating, P., Esposito, C. Linguistic Voice Quality. Working Papers in Phonetics. , 85-91 (2007).
  12. Niebuhr, O., Skarnitzl, R., Tylečková, L. The acoustic fingerprint of a charismatic voice -Initial evidence from correlations between long-term spectral features and listener ratings. Proceedings of Speech Prosody. , 359-363 (2018).
  13. Segundo San, E. International survey on voice quality: Forensic practitioners versus voice therapists. Estudios de Fonética Experimental. 29, 8-34 (2021).
  14. Farrús, M. Fusing prosodic and acoustic information for speaker recognition. International Journal of Speech, Language and the Law. 16 (1), 169(2009).
  15. Farrús, M. Voice disguise in automatic speaker recognition. ACM Computing Surveys. 51 (4), 1-2 (2018).
  16. Nolan, F. A recent voice parade. The International Journal of Speech, Language and the Law. 10 (2), 277-291 (2003).
  17. McDougall, K. Ear-catching versus eye-catching? Some developments and current challenges in earwitness identification evidence. Speaker Individuality in Phonetics and Speech Sciences. Bernardasci, C., Dipino, D., Garassino, D., Negrinelli, S., Pellegrino, E., Schmid, S. , Officinaventuno. 33-56 (2021).
  18. Gut, U. Rhythm in L2 speech. Speech and Language Technology. 14 (15), 83-94 (2012).
  19. Urbani, M. Pitch Range in L1/L2 English. An Analysis of F0 using LTD and Linguistic Measures. Coop. , Libraria Editrice Università di Padova. (2012).
  20. Gonzales, A., Ishihara, S., Tsurutani, C. Perception modeling of native and foreign-accented Japanese speech based on prosodic features of pitch accent. J Acoust Soc Am. 133 (5), 3572(2013).
  21. Silva, L. Jr, Barbosa, P. A. Speech rhythm of English as L2: an investigation of prosodic variables on the production of Brazilian Portuguese speakers. J Speech Sci. 8 (2), 37-57 (2019).
  22. Foreign accent and L2 speech rhythm of English a pilot study based on metric and prosodic parameters. Silva, L. Jr, Barbosa, P. A. Proceedings of the II Brazilian Conference on Prosody (Anais II Congresso Brasileiro de Prosódia), 1, 41-50 (2023).
  23. Costa, A. El cerebro bilingüe: La neurociencia del lenguaje. , Penguin Randon House. (2017).
  24. Eriksson, A. Tutorial on forensic speech science: Part I. Forensic Phonetics. , (2005).
  25. Harvey, M., Giroux, M., Price, H. Lineup size influences voice identification accuracy. Applied Cognitive Psychology. 37 (5), 42-89 (2023).
  26. Pautz, N., et al. Identifying unfamiliar voices: Examining the system variables of sample duration and parade size. Q J Exp Psychol (Hove). 76 (12), 2804-2822 (2023).
  27. McDougall, K., Nolan, F., Hudson, T. Telephone transmission and earwitnesses: Performance on voice parades controlled for voice similarity. Phonetica. 72 (4), 257-272 (2015).
  28. Nolan, F., McDougall, K., Hudson, T. Some acoustic correlates of perceived (dis) similarity between same-accent voices. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2011). , 1506-1509 (2011).
  29. Sheoran, S., Mahna, D. Voice identification and speech recognition: an arena of voice acoustics. Eur Chem Bull. 12 (5), 50-60 (2023).
  30. Hudson, T., McDougall, K., Hughes, V. Forensic phonetics. The Cambridge Handbook of Phonetics. Knight, R. -A., Setter, J. , Cambridge University Press. 631-656 (2021).
  31. Eriksson, A. The disguised voice: Imitating accents or speech styles and impersonating individuals. Language and identities. Llamas, C., Watt, D. , Edinburgh University Press. 86-96 (2010).
  32. Köster, O., Schiller, N. Different influences of the native language of a listener on speaker recognition. Forensic Linguistics. 4 (1), 18-27 (1997).
  33. The influence of native-language background on speaker recognition. Köster, O., Schiller, N., Künzel, H. Proceedings of the International Congress of Phonetic Sciences (ICPhS 1995), , 306-309 (1995).
  34. Thompson, C. P. A language effect in voice identification. Applied Cognitive Psychology. 1, 121-131 (1987).
  35. San Segundo, E., Univaso, P., Gurlekian, J. Sistema multiparamétrico para la comparación forense de hablantes. Estudios de Fonética Experimental. 28, 13-45 (2019).
  36. Council of Europe. Common European Framework of Reference for Languages: Learning, Teaching, Assessment. , Press Syndicate of the University of Cambridge. (2001).
  37. How to use Tascam DR-100 MKII: Getting started. , https://www.youtube.com/watch?v=O2E72uV9fWc (2018).
  38. Getting the most from your Shure SM58 microphone. , https://www.youtube.com/watch?v=wweNufW7EXA (2020).
  39. Kisler, T., Reichel, U. D., Schiel, F. Multilingual processing of speech via web services. Computer Speech & Language. 45, https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface/WebMAUSBasic 326-347 (2017).
  40. Escudero, P., Boersma, P., Rauber, A., Bion, R. A cross-dialect acoustic description of vowels: Brazilian and European Portuguese. J Acoust Soc Am. 126 (3), 1379-1393 (2009).
  41. Post-aspiration in standard Italian: some first cross-regional acoustic evidence. Stevens, M., Hajek, J. Proceedings 11th Conference of the International Speech Communication Association (INTERSPEECH 2010), , 1557-1560 (2011).
  42. Barbosa, P., Madureira, S. Manual de Fonética Acústica Experimental: aplicações a dados do português. , Cortez. (2015).
  43. Boersma, P., Weenink, D. Praat: Doing phonetics by computer. (Version 6.1.38) [Computer program]. , https://www.praat.org/ (1992-2021).
  44. Silva, L. Jr VVUnitAligner. [Computer program]. , https://github.com/leonidasjr/VVunitAlignerCode_webMAUS (2022).
  45. Silva, L. Jr, Barbosa, P. A. SpeechRhythmExtractor [Computer program]. , https://github.com/leonidasjr/VowelCode (2019-2023).
  46. R Core Team. A language and environment for statistical computing. R Foundation for Statistical Computing. , https://www.R-project.org/ (2023).
  47. Pigoli, D., Hadjipantelis, P. Z., Coleman, J. Z., Aston, J. The statistical analysis of acoustic phonetic data. Journal of the Royal Statistical Society. 67 (5), 1103-1145 (2018).
  48. Barbosa, P. A. CreateLineup [Computer program]. , https://github.com/pabarbosa/prosody-scripts-CreateLineUp (2021).
  49. Van Rossum, G., Drake, F. L. Python 3 Reference Manual. , CreateSpace. (2009).
  50. Silva, L. Jr AcousticSimilarity_cosine_euclidean. [Computer program]. , https://github.com/leonidasjr/AcousticSimilarity/blob/main/AcousticSmilarity_cosine_euclidean.py (2024).
  51. Automatic assessment of voice similarity within and across speaker groups with different accents. Gerlach, L., McDougall, K., Kelly, F., Alexander, A. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023), , 3785-3789 (2023).
  52. Gahman, N., Elangovan, V. A comparison of document similarity algorithms. International Journal of Artificial Intelligence and Applications. 14 (2), 41-50 (2023).
  53. San Segundo, E., Tsanas, A., Gómez-Vilda, P. Euclidean distances as measures of speaker similarity including identical twin pairs: A forensic investigation using source and Filter voice characteristics. Forensic Science International. 270, 25-38 (2017).
  54. Speaker's voice characteristics and similarity measurement using Euclidean distances. Singh, M. K., Singh, N., Singh, A. K. Proceedings of the International Conference on Signal Processing and Communication (ICSC 2019), , 317-322 (2019).
  55. Darling-White, M., Banks, W. Speech rate varies with sentence length in typically developing children. J Speech Lang Hear Res. 64 (6), 2385-2391 (2021).
  56. Barbosa, P. A. Incursões em torno do ritmo da Fala. , Pontes Editores. (2006).
  57. Golestani, N., Pallier, C. Anatomical correlates of foreign speech sound production. Cereb Cortex. 17 (4), 929-934 (2007).
  58. Trouvain, J., Fauth, C., Möbius, B. Breath and non-breath pauses in fluent and disfluent phases of German and French L1 and L2 read speech. Proceedings of Speech Prosody. , 31-35 (2016).
  59. Waaning, J. The Lombard effect: the effects of noise exposure and being instructed to speak clearly on speech acoustic parameters. [Master's thesis]. , Radboud University. (2021).
  60. Villegas, J., Perkins, J., Wilson, I. Effects of task and language nativeness on the Lombard effect and on its onset and offset timing. J Acoust Soc Am. 149 (3), 1855(2021).
  61. Differences between native and non-native Lombard speech in terms of pitch range. Proceedings of the 23rd International Congress on Acoustics(ICA 2019). Marcoux, K., Ernestus, M. , 5713-5720 (2019).
  62. Marcoux, K., Ernestus, M. Pitch in native and non-native Lombard speech. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2019). , 2605-2609 (2019).
  63. Marcoux, K., Ernestus, M. Acoustic characteristics of non-native Lombard speech in the DELNN corpus. Journal of Phonetics. 102, 1-25 (2024).
  64. Gil, J., San Segundo, E. La cualidad de voz en fonética judicial [Voice quality in judicial phonetics]. Lingüística Forense: la Lingüística en el ámbito legal y policial. Garayzábal, M., Jiménez, M., Reigosa, M. , Euphonía Ediciones. 154-199 (2014).
  65. Gil, J., San Segundo, E. El disimulo de la cualidad de voz en fonética judicial: Estudio perceptivo de la hiponasalidad [Voice quality disguise in judicial phonetics: A perceptual study of hyponasality. Panorama de la fonética española actual. Penas-báñez, M. A. , Arco Libros. 321-366 (2013).
  66. Passeti, R., Madureira, S., Barbosa, P. What can voice line-ups tell us about voice similarity. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 3765-3769 (2023).
  67. Nolan, F. The DyViS database: Style-controlled recordings of 100 homogeneous speakers for forensic phonetic research. International Journal of Speech Language and the Law. 16 (1), 31-57 (2009).
  68. Caroll, D. Psychology of Language. , Wadsworth. (1994).
  69. Ortega-Llebaria, M., Silva, L. Jr, Nagao, J. Macro- and micro-rhythm in L2 English: Exploration and Refinement of Measures. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 1582-1586 (2023).
  70. Fernández-Trinidad, M. Hacia la aplicabilidad de la cualidad de la voz en fonética judicial. Loquens. 9 (1-2), 1-11 (2022).
  71. Brouwer, S. The role of foreign accent and short-term exposure in speech-in-speech recognition. Atten Percep Psychophys. 81, 2053-2062 (2019).
  72. Love, R., Wright, D. Specifying challenges in transcribing covert recordings: Implications for forensic transcription. Front Commun. 6, 1-14 (2021).
  73. Meer, P. Automatic alignment for New Englishes: Applying state-of-the-art aligners to Trinidadian English. J Acoust Soc Am. 147 (4), 2283-2294 (2020).
  74. Montreal Forced Aligner: trainable text-speech alignment using Kaldi. McAuliffe, M., Socolof, M., Mihuc, S., Wagner, M., Sonderegger, M. Proceedings 18th Conference of the International Speech Communication Association (INTERSPEECH 2017), , 498-502 (2017).
  75. Chodroff, E. Montreal Forced Aligner: MFA Tutorial. , https://zenodo.org/records/7591607 (2023).

Ristampe e permessi

Richiedi il permesso di riutilizzare il testo o le figure di questo articolo JoVE

Richiedi permesso

Tag

Caratteristiche prosodichepercezione del parlatoqualit della vocefrequenza fondamentalericonoscimento del parlantesimilarit acustica

Articoli correlati