Artigo de método

Sotaque estrangeiro e identificação forense de locutores em escalações de voz: a influência de características acústicas baseadas em prosódia

DOI:

10.3791/66313

⸱

27 de setembro de 2024

 , 
1Center of Humanities, Department of Modern Languages, State University of Paraíba (Universidade Estadual da Paraíba), 2Institute of Language Studies, Department of Linguistics, University of Campinas (Universidade de Campinas)

Neste artigo

Resumo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Esta pesquisa teve como objetivo fazer uma comparação entre L1-L2-Inglês e L1-L2 Português para verificar o quanto o efeito de um sotaque estrangeiro é responsável tanto pela métrica quanto pelos parâmetros prosódico-acústicos, bem como pela escolha da voz-alvo em uma formação de voz.

Resumo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Esta pesquisa tem como objetivo examinar tanto as características prosódicas-acústicas quanto os correlatos perceptuais do inglês com sotaque estrangeiro e do português brasileiro com sotaque estrangeiro e verificar como as produções de sotaques estrangeiros e nativos dos falantes estão correlacionadas com a percepção dos ouvintes. Na Metodologia, realizamos um procedimento de produção de fala com um grupo de falantes americanos de L2 Português Brasileiro e um grupo de falantes brasileiros de L2 Inglês, e um procedimento de percepção de fala no qual realizamos alinhamentos de voz para ambas as línguas. Para a análise estatística da produção de fala, foram executados Modelos Aditivos Generalizados para avaliar o efeito dos grupos linguísticos em cada classe (métrica ou prosódico-acústica) de características controladas para o efeito de suavização da(s) covariável(is) da classe oposta. Para a análise estatística da percepção de fala, foi realizado um teste de Kruskal-Wallis e um teste post-hoc de Dunn para avaliar o efeito das vozes das formações sobre os escores julgados pelos ouvintes. No entanto, foram realizados testes de similaridade acústica (vocal) com base nas distâncias cosseno e euclidiana. Os resultados mostraram diferenças acústicas significativas entre os grupos linguísticos em termos de variabilidade do f0, duração e qualidade vocal. Para as escalações, os resultados indicaram que as características prosódicas de f0, intensidade e qualidade de voz se correlacionaram com os julgamentos percebidos pelos ouvintes.

Introdução

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O sotaque é um aspecto saliente e dinâmico da comunicação e fluência, tanto na língua nativa (L1) quanto em uma língua estrangeira (L2)1. O sotaque estrangeiro representa as características fonéticas de L2 de um idioma de destino e pode mudar (ao longo do tempo) em resposta à experiência de L2 do falante, estilo de fala, qualidade de entrada, exposição, entre outras variáveis. Um sotaque estrangeiro pode ser quantificado como um grau (escalar) de diferença entre a fala L2 produzida por um falante estrangeiro e um sotaque local ou de referência do idioma de destino2,3,4,5.

Esta pesquisa tem como objetivo examinar tanto as características prosódicas-acústicas quanto os correlatos perceptuais do inglês com sotaque estrangeiro e do português brasileiro (PB) com sotaque estrangeiro, bem como verificar em que medida as produções de sotaques estrangeiros e nativos dos falantes estão correlacionadas com a percepção dos ouvintes. Pesquisas anteriores no campo forense demonstraram a robustez das vogais e consoantes na identificação de sotaques estrangeiros como sendo estáveis para uma análise de longo prazo de um indivíduo (The Lo Case6) ou referindo-se à alta precisão de ID de um falante (The Lindbergh Case7). No entanto, a exploração de características prosódico-acústicas baseadas na duração, frequência fundamental (f0, ou seja, o correlato acústico da altura), intensidade e qualidade de voz (VQ) tem ganhado cada vez mais atenção8,9. Assim, a escolha por características prosódico-acústicas neste estudo representa um caminho promissor no campo da fonética forense8,10,11,12,13.

A presente pesquisa está apoiada em estudos dedicados aos sotaques estrangeiros como forma de disfarce de voz em casos forenses14,15, bem como na elaboração de lineups de voz para reconhecimento de locutores16,17. Por exemplo, a velocidade de fala desempenhou um papel importante na identificação de falantes de inglês, italiano, japonês e brasileiro de inglês18,19,20,21,22. Além da velocidade de fala, as características espectrais de longo prazo e f0 desafiam falantes proficientes em L2 com familiaridade com o idioma-alvo, pois o cérebro e as bases cognitivas sofrem um déficit de memória, atenção e emoção, refletindo no desempenho fonético do falante durante longos turnos de fala23. A visão dos sotaques estrangeiros no campo forense é que a definição do que realmente soa como um sotaque estrangeiro depende muito da falta de familiaridade do ouvinte, em vez de ter um grau zero a extremo de fala24.

No domínio perceptivo, uma ferramenta forense comum usada desde meados da década de 1990 para o reconhecimento de criminosos é o Voice Lineup (reconhecimento auditivo), que é análogo ao reconhecimento visual usado para identificar um perpetrador em uma cena de crime16,25. Em uma linha de voz, a voz do suspeito é apresentada ao lado de contrastes - vozes semelhantes em aspectos sociolinguísticos, como idade, sexo, localização geográfica, dialeto e status cultural - para identificação por uma testemunha auditiva. O sucesso ou falha de uma programação de voz dependerá do número de amostras de voz e das durações da amostra25,26. Além disso, para amostras do mundo real, considera-se que a qualidade do áudio afeta consistentemente a precisão do reconhecimento de voz. A baixa qualidade de áudio pode distorcer as características exclusivas de uma classe voice27. No caso de similaridade de voz, detalhes fonéticos finos baseados em f0 podem confundir o ouvinte durante o reconhecimento de voz28,29. Tais características acústicas se estendem além de f0 e abrangem elementos de duração e características espectrais de intensidade e classe VQ30. Essa visão de vários recursos prosódicos é crucial no contexto da comparação forense de voz para garantir a identificação precisa do falante9,14,15,29,31.

Em resumo, estudos em fonética forense mostraram alguma variação em relação à identificação de sotaque estrangeiro nas últimas décadas. Por um lado, um sotaque estrangeiro não parece afetar o processo de identificação de um falante32,33 (especialmente se o falante não estiver familiarizado com o sotaque estrangeiro alvo34). Por outro lado, há achados na direção oposta12,34,35.

Protocolo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este trabalho recebeu aprovação de um comitê de ética em pesquisa com seres humanos. Além disso, foi obtido o consentimento informado de todos os participantes envolvidos neste estudo para usar e publicar seus dados.

1. Produção de fala

NOTA: Coletamos a fala de uma tarefa de leitura em ambos os 'L1 English-L2 BP' produzidos pelo Grupo 1: The American English (dos EUA) Speakers (AmE-S), e em ambos os 'L1 BP-L2 English' produzidos pelo Grupo 2: The Brazilian Speakers (Bra-S). Consulte Figura 1 para obter um fluxograma para produção de fala.

figure-protocol-1
Figura 1: Fluxograma esquemático para produção de fala. Clique aqui para ver uma versão maior desta figura.

  1. Participantes
    1. Determine o número de participantes, o idioma (L1 Inglês, L2 BP; L1 BP, L2 Inglês), o sexo (feminino ou masculino), a idade (média, desvio padrão), as características do grupo (profissionais ou estudantes de graduação) e o nível de proficiência em L2 (avançado ou bem avançado) para cada grupo.
      NOTA: Para a presente pesquisa, tanto AmE-S quanto Bra-S foram considerados proficientes em L2 (ambos os grupos foram qualificados como B2-C136). O AmE-S residia há dois anos no Brasil quando os procedimentos foram realizados. O Bra-S morava há mais de dois anos nos EUA quando os procedimentos foram realizados. Enquanto moravam no exterior, ambos os grupos costumavam falar sua L2 para fins de estudo e trabalho pelo menos 6 dias por semana durante ~ 4-5 h por dia.
    2. Aloque os participantes em uma sala confortável e silenciosa e apresente o material de leitura para cada grupo.
  2. Coleta de dados
    NOTA: Os dados de fala devem ser coletados de uma tarefa de leitura nos seguintes idiomas: L1-Inglês e L2-BP; L1-BP e L2-Inglês. Deixe os participantes lerem os textos com antecedência, se necessário.
    1. Procedimentos de registo
      1. Grave os dados de fala em um local silencioso com condições acústicas adequadas.
      2. Use um gravador de voz digital (consulte a Tabela de Materiais)37 e um microfone cardióide unidirecional isolado eletromagnético (consulte a Tabela de Materiais)38.
      3. Grave os dados de áudio na forma '.wav'.
      4. Configure a taxa de amostragem em 48 kHz e a taxa de quantização em 16 bits.
        NOTA: O formato de áudio e a configuração para as taxas de amostragem e quantização descritas nas etapas 1.2.1.3 e 1.2.1.4 são aplicados para garantir alta qualidade e redução de ruído para preservar as características espectrais usadas para análise acústica posterior.
  3. Análise acústica
    NOTA: Divida os procedimentos de análise acústica em três etapas: alinhamento forçado, realinhamento e extração de características acústicas.
    1. Escreva a transcrição linguística (em um '.txt') para cada arquivo de áudio.
    2. Marque o par de arquivos '.txt'/'.wav' com o mesmo nome (ou seja, 'my_file.wav'/ 'my_file. txt').
      NOTA: Para melhorar o desempenho do procedimento descrito na seção 1.3.7, é altamente recomendável que os três caracteres iniciais das tags de arquivo '.txt/.wav' representem o idioma, dialeto ou sotaque, enquanto o quarto ao sexto caracteres denotam o sexo (por exemplo, EL1FEM para English L1 Femcerveja). A partir do sétimo caractere, o usuário deve indicar o número do alto-falante (por exemplo, 001 para o primeiro alto-falante). Consequentemente, o primeiro par '.txt/.wav' é EL1FEM001.
    3. Crie uma pasta para cada idioma L1-L2.
      NOTA: Uma pasta para L1-L2 em inglês e uma pasta para L1-L2 BP.
    4. Certifique-se de que todos os pares de arquivos do mesmo idioma estejam na mesma pasta.
    5. Conduza o alinhamento forçado.
      1. Acesse a interface web do alinhador forçado Munich Automatic Segmentation (MAUS) (webMAUS)39 em https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface/Pipeline.
      2. Arraste e solte cada par de arquivos . wav / . txt da pasta para o retângulo tracejado em Arquivos (ou clique dentro do retângulo, Figura 2A).
      3. Clique no botão Upload para carregar os arquivos no alinhador (consulte a seta vermelha em Figura 2A).
      4. Selecione as seguintes opções no menu Opções de serviço (Figura 2B): G2P-MAUS-PHO2SYL para Nome do pipeline; Inglês (EUA) (para Idioma) se dados de inglês L1-L2; Italiano (IT) (para Idioma) if L1-L2 BP data.
        NOTA: Escolhemos 'italiano' para os dados de PA porque o webMAUS não fornece modelos acústicos pré-treinados para alinhamento forçado de PA. A literatura fonética propõe que a fonologia italiana tem um inventário simétrico de sete vogais um tanto comparável, assim como BP40, bem como semelhanças acústicas consonantais41,42.
      5. Mantenha as opções padrão para 'Formato de saída' e 'Manter tudo'.
      6. Marque a caixa de opção Executar para aceitar os termos de uso (consulte a seta verde em Figura 2C).
      7. Clique no botão Executar Web Service para executar os arquivos carregados no alinhador.
        NOTA: Para cada arquivo de áudio, o alinhador forçado MAUS retorna um objeto Praat TextGrid (um arquivo '.txt' pré-formatado do Praat contendo a anotação de palavras, sílabas fonológicas e fones com base na transcrição linguística extraída do arquivo '.txt' descrito na etapa 1.3.1).
      8. Clique no botão Baixar como arquivo ZIP para baixar os arquivos TextGrid como um arquivo compactado (Figura 2C).
        NOTA: Certifique-se de que os arquivos TextGrid compactados sejam baixados na mesma pasta que os arquivos de áudio.
      9. Extraia os arquivos TextGrid para posterior realinhamento no software de análise fonética43.
    6. Conduza o realinhamento.
      1. Acesse e baixe o script para Praat VVUnitAligner44 do https://github.com/leonidasjr/VVunitAlignerCode_webMAUS/blob/main/VVunitAligner.praat.
      2. Certifique-se de que todos os pares de arquivos do mesmo idioma e o scriptr VVUnitAligne estejam na mesma pasta.
        NOTA: Uma pasta para os arquivos em inglês L1-L2 e o VVunitAligner, e uma pasta para os arquivos L1-L2 BP e o VVunitAligner.
      3. Abra o software de análise fonética.
      4. Clique Praat | Abra o script Praat... para chamar o script a partir da janela do objeto.
      5. Clique no botão Executar uma vez.
        NOTA: Um formulário chamado Alinhamento de sílabas fonéticas contendo as configurações para usar o script aparecerá na tela (Figura 3A).
      6. Clique no botão Idioma para escolher entre os idiomas 'Inglês (EUA)', 'Português (BR)', 'Francês (FR)' ou 'Espanhol (ES)'.
      7. Clique no botão Segmentação de partes para escolher entre o procedimento de segmentação "Automático", "Forçado (manual)" ou "Nenhum".
      8. Marque a opção Salvar arquivos TextGrid para salvar automaticamente os novos arquivos TextGrid.
      9. Clique em Ok | Botões Execute para um realinhamento das unidades fonéticas da etapa 1.3.5.7 .
        NOTA: Para cada arquivo de áudio, o VVUnitAligner gerará um novo arquivo TextGrid para a seção 1.3.7 (Figura 3B).
    7. Realize a extração automática das características acústicas.
      1. Acesse e baixe o script SpeechRhythmExtractor45 do https://github.com/leonidasjr/SpeechRhythmCode/blob/main/SpeechRhythmExtractor.praat para extração automática dos recursos prosódico-acústicos.
      2. Crie uma nova pasta e coloque SpeechRhythmExtractor junto com todos os pares de arquivos de áudio/TextGrid de todos os idiomas.
      3. Abra o software de análise fonética.
      4. Clique Praat | Abra o script Praat... para chamar o script a partir da janela do objeto.
      5. Clique no botão Executar apenas uma vez.
        NOTA: Um formulário contendo as configurações do script aparecerá na tela. Nas caixas dos nomes de arquivo de saída '.txt', renomeie os arquivos de acordo ou deixe os nomes padrão.
      6. Marque a opção de parâmetros de qualidade de voz para salvar o arquivo de saída VQ para qualidade de voz (Figura 3C).
        NOTA: Este segundo arquivo de saída (o arquivo de saída VQ) contém os parâmetros da diferença entre o1º e o2º harmônicos (H1-H2) e o Pico de Proeminência Cepstral (CPP)9.
      7. Marque a opção Destino linguístico para escolher entre os rótulos 'Idioma', 'Dialeto' ou 'Sotaque' (Figura 3C).
      8. Marque a opção Unidade para escolher os recursos f0 em Hz ou em Semitons (Figura 3C).
      9. Configure nos valores para o limite F0, os limites mínimo e máximo f0 (Figura 3C).
        NOTA: A menos que a pesquisa tenha propósitos específicos ou recursos de áudio específicos predefinidos, é altamente recomendável deixar os parâmetros da etapa 1.3.7.9 com os valores padrão.
      10. Clique em Ok | Execute a extração automática dos recursos acústicos .
        NOTA: O script SpeechRhythmExtractor retorna um arquivo '.txt' delimitado por tabulação (arquivo de saída/arquivo de saída VQ) contendo os recursos acústicos extraídos dos alto-falantes.
  4. análise estatística
    1. Carregue a planilha que contém os recursos acústicos no ambiente R46 (ou qualquer software/ambiente estatístico de sua escolha).
    2. Realizar estatísticas não paramétricas de Modelos Aditivos Generalizados (GAMs).
      1. Execute GAMs em R.
      2. Digite os seguintes comandos e pressione Enter.
        Biblioteca(MGCV)
        model = gam(a característica métrica/prosódico-acústica em análise ~ a Linguagem + s(a característica métrica escolhida, por = a Linguagem) + outras características métricas/prosódicas-acústicas, dados = o quadro de dados)
        NOTA: Decidimos realizar as estatísticas de teste do protocolo na linguagem de programação R devido à sua crescente popularidade entre os fonéticos (e linguistas) da comunidade acadêmica. R tem sido amplamente utilizado em pesquisas de campo fonéticas47. Lembre-se de que a etapa 1.4.2.2 contém um pseudocódigo. Escreva o código de acordo com as variáveis de pesquisa.

figure-protocol-2
Figura 2: Captura de tela do alinhamento fonético usando o alinhador forçado MAUS. (A) O retângulo tracejado destina-se a arrastar e soltar arquivos 'my_file.wav'/' my_file.txt' ou clicar dentro para pesquisar esses arquivos na pasta; O botão Upload é indicado pela seta vermelha. (B) Os arquivos carregados do painel A (veja a seta azul), o pipeline a ser usado, o idioma dos pares de arquivos, o formato do arquivo a ser retornado e um botão 'verdadeiro/falso' para manter todos os arquivos. (C) Os termos de uso da caixa de seleção (consulte a seta verde), o botão Executar serviços da Web e os resultados (arquivos TextGrid a serem baixados). Clique aqui para ver uma versão maior desta figura.

figure-protocol-3
Figura 3: Captura de tela do procedimento de realinhamento. (A) Formulário de configurações de entrada para o procedimento de realinhamento. (B) Forma de onda parcial, espectrograma de banda larga com contorno f0 (azul) e seis camadas segmentadas (e rotuladas) como camada 1: unidades de início da vogal para o próximo início da vogal (V_to_V); início vocálico (V_to_V); nível 2: unidades de vogal (V), consoante (C) e pausa (#); nível 3: representações fônicas V_to_V; Nível 4: algumas palavras do texto; nível 5: alguns pedaços (CH) de fala do texto; nível 6: nível tonal contendo o tom mais alto (H) e o tom mais baixo (L) de cada pedaço de fala produzido por um AmE-S feminino. (C) Configurações de entrada para a extração automática dos recursos acústicos. Clique aqui para ver uma versão maior desta figura.

2. Percepção da fala

NOTA: Realizamos quatro lineups de voz em inglês com ouvintes americanos e quatro lineups em BP com ouvintes brasileiros. Consulte Figura 4 para obter um fluxograma de percepção de fala.

figure-protocol-4
Figura 4: Fluxograma esquemático para percepção de fala. Clique aqui para ver uma versão ampliada desta figura.

  1. Participantes
    1. Escolha participantes diferentes para cada grupo dentre os que participaram do protocolo de produção de fala.
      NOTA: Dois grupos de participantes foram selecionados para esta parte do protocolo: Grupo 1: O Inglês Americano(dos EUA) Isoladores(AmE-L) e Grupo 2: Os Brasileiros(Bra-L). Para a presente pesquisa, tanto a AmE-L quanto a Bra-L foram consideradas proficientes em L2 (ambos os grupos foram qualificados como B2-C136 A AmE-L residia há dois anos no Brasil quando os procedimentos foram realizados. O Bra-L morava há mais de dois anos nos EUA quando os procedimentos foram realizados. Enquanto moravam no exterior, ambos os grupos costumavam falar sua L2 para fins de estudo e trabalho (pelo menos seis dias por semana por cerca de 4 a 5 horas por dia).
    2. Determine o número de participantes, o idioma (L1 Inglês, L2 BP; L1 BP, L2 Inglês), o sexo (feminino ou masculino), a idade (média, desvio padrão), as características do grupo (profissionais ou estudantes de graduação) e o nível de proficiência em L2 para cada grupo.
  2. As formações de voz
    NOTA: Divida os procedimentos das alinhamentos de voz em duas etapas diferentes: preparar e executar os alinhamentos de voz.
    1. Prepare quatro alinhamentos de voz para inglês e quatro para BP.
      1. Obtenha arquivos de áudio dos alto-falantes da seção 1: Produção de fala.
      2. Certifique-se de que os arquivos de áudio de cada fator de idioma estejam em pastas separadas.
      3. Escolha aleatoriamente seis pedaços de voz em inglês L1 ou BP.
        NOTA: Seis vozes na programação representam uma voz-alvo e cinco folhas.
      4. Escolha um pedaço de voz em inglês L2 ou BP L2 de um dos alto-falantes incluídos na etapa 2.2.1.3.
        NOTA: A parte de voz na etapa 2.2.1.4 é a voz de referência. Os pedaços devem ter aproximadamente 20 s de comprimento.8.
      5. Acesse e baixe o script para Praat CreateLineup48 do https://github.com/pabarbosa/prosody-scripts-CreateLineUp.
      6. Certifique-se de que a voz de referência L2, as folhas L1 e a voz de destino L1 estejam na mesma pasta antes de executar o script CreateLineup (Figura 5).
      7. Abra o software de análise fonética.
      8. Na janela do objeto, clique em Praat | Abra o script Praat... para chamar o script.
      9. Clique em Executar | Run.
        NOTA: O script retorna um arquivo na seguinte ordem: (a voz de referência L2) + (a voz de destino L1 e as folhas distribuídas aleatoriamente) (Figura 5).
    2. Executando as escalações de voz
      1. Crie um espaço online para hospedar as escalações em qualquer plataforma de sua escolha (por exemplo, SurveyMonkey. Consulte a Tabela de Materiais) para conduzir remotamente as escalações de voz.
      2. Acesse o link do espaço online.
      3. Carregue os arquivos retornados do script CreateLineup para a plataforma.
      4. Execute o procedimento antes dos participantes para testar cada etapa.
        OBS: Recomenda-se acessar previamente o link e executar as escalações para verificar se tudo está funcionando normalmente.
  3. análise estatística
    1. Carregue a planilha contendo as pontuações dos julgamentos dos ouvintes no ambiente R (ou em qualquer software/ambiente estatístico de sua escolha).
      1. Realizar o ensaio de Kruskal-Wallis em R.
      2. Digite os seguintes comandos e pressione Enter.
        modelo = kruskal.test(julgamentos ~ cada escalação de voz, dados = o quadro de dados)
    2. Execute um teste de Dunn post-hoc.
      1. Execute o teste de Dunn em R.
      2. Digite os seguintes comandos e pressione Enter.
        biblioteca(FSA)
        model = dunnTest(julgamentos ~ cada escalação de voz, dados = dados, método = "bonferroni")
        NOTA: Os códigos nas etapas 2.3.1.2 e 2.3.2.2 são pseudocódigos (consulte a NOTA 1.4.2.2).
  4. Análise de similaridade acústica
    1. Selecione os alinhamentos (cf. NOTA na etapa 2.2.1.3) que apresentaram diferenças não significativas entre o alvo e qualquer um dos metalizados.
    2. Repita os procedimentos das etapas 1.3.1 a 1.3.7.5 e das etapas 1.3.7.8 a 1.3.7.10.
    3. Acesse e baixe o script para Python49, AcousticSimilarity_cosine_euclidean50 do https://github.com/leonidasjr/AcousticSimilarity/blob/main/AcousticSmilarity_cosine_euclidean.py.
      NOTA: O script retorna três matrizes (em '.txt' e '.csv'): uma para similaridade de cosseno51,52, uma para distância euclidiana52,53 e uma para valores de distância euclidiana transformada, bem como uma comparação em pares entre a voz-alvo e cada folha.
    4. Certifique-se de que o script foi baixado na mesma pasta do conjunto de dados de programação.
    5. Clique no botão Abrir arquivo... para chamar o script.
    6. Clique em Executar | Executar sem depuração buttons.
      NOTA: O segundo botão Executar pode ser marcado como Executar ou Executar sem depuração ou Executar script. Todos eles executam os mesmos comandos. Depende simplesmente do ambiente Python usado.
    7. Realizar testes de similaridade vocal com base em características acústicas.
      NOTA: A similaridade de cosseno (ou distância de cosseno) é uma técnica aplicada em Inteligência Artificial (IA), particularmente em aprendizado de máquina em sistemas de reconhecimento automático de fala (ASR). É uma medida de similaridade entre zero e um. Uma semelhança de cosseno próxima a um significa que é bem provável que duas vozes sejam semelhantes. Uma semelhança de cosseno próxima de zero significa que as vozes provavelmente serão diferentes52. A distância euclidiana, muitas vezes chamada de similaridade euclidiana, também é amplamente utilizada em IA, aprendizado de máquina e ASR. Representa a distância em linha reta entre dois pontos no espaço53, ou seja, quanto mais próximos os pontos (valores de distância mais curtos), mais semelhantes são as vozes. Para uma compreensão mais clara dos resultados relatados de ambas as técnicas, realizamos uma transformação dos escores brutos da distância euclidiana em valores de zero (menor similaridade vocal) para um (maior similaridade vocal)54.

figure-protocol-5
Figura 5: Configuração de diretório para percepção de fala. Pastas de alinhamento. Cada pasta contém seis vozes L1, a voz de destino L2, o script "CreateLineup" e o arquivo de áudio de alinhamento de voz (retornado após a execução do script). Clique aqui para ver uma versão maior desta figura.

Resultados

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Resultados para produção de fala
Nesta seção, descrevemos o desempenho das características prosódico-acústicas estatisticamente significativas e métricas de ritmo. Tais características prosódicas foram as taxas de fala, articulação e pausa, que estão relacionadas à duração, e shimmer, que está relacionada à qualidade vocal. As métricas rítmicas foram desvio padrão (DP) da duração da sílaba, DP da consoante, DP da duração vocálica ou consonantal e o coeficiente de variação da duração da sílaba (ver Tabela Suplementar S1).

A velocidade de fala (Figura 6A) diminui mais rapidamente para o inglês L1-L2 do que para o BP L1-L2, embora a taxa seja menor para ambos os L2s. A velocidade de fala está relacionada a três métricas - DP de duração da sílaba (SD-S), DP de vogais (SD-V) e coeficiente de variação silábica (Varco-S). Também é importante ter em mente que tanto o grupo AmE-S quanto o Bra-S são proficientes em seus L2s. Parece que essa taxa é afetada pelos maiores valores de duração da sílaba e pela menor variabilidade produzida por L1-L2 BP, causando declives menos acentuados.

A taxa de articulação (Figura 6D) está relacionada ao SD-S, Varco-S, bem como à Razão do Ritmo Silábico (RR-S); esta última representa a razão entre sílabas mais curtas e mais longas. Tais métricas parecem afetar a taxa de articulação, assim como a taxa de fala afetada, devido ao comprimento da frase e à variação na duração, levando a um maior planejamento da fala em L2 e carga cognitiva de L29,23,54. Uma carga cognitivo-linguística mais alta pode ser necessária no domínio do comprimento da frase, de forma que os parâmetros prosódico-acústicos sejam afetados55.

Em relação às características prosódicas-acústicas das taxas de fala e articulação, nossos achados sugerem que quanto mais um falante varia a duração das sílabas (e vogais), menores são essas taxas. Nossa hipótese é que a percepção da fala de L1 e L2 BP soa um pouco mais lenta do que L1 e L2-Inglês, e que L1-Inglês soa mais rápido do que todos os outros níveis de idioma. Esse fato pode estar ligado ao ritmo da fala e à hipótese de que, enquanto L1-L2 BP se inclina para o pólo silábico-cronometrado do contínuo rítmico, L1-L2 o inglês se move em direção ao pólo21,22.

O brilho local, Figura 6B, é influenciado por SD-S e Varco-S. Para o brilho local, ambas as produções de Bra-S, L1-BP e L2-English apresentam uma trajetória um tanto monotônica à medida que a variabilidade da duração da sílaba aumenta (SD e Varco, consulte a Tabela Suplementar S1). A percepção do esforço vocal pode ser aparente ao ouvir as produções de Bra-S devido a uma baixa variação que varia entre 8,5 e 9 dB. A fala do Bra-S é afetada pela carga vocal. L1-BP é altamente afetada pelo comprimento da frase ser menos sensível a altas variações de duração da sílaba (o padrão rítmico do PB mostra menor variação silábica22,56).

A taxa de pausa (Figura 6C) mostra que os falantes de L2-inglês produzem pausas mais longas (de 200 ms a 375 ms) do que os falantes de L1-inglês, L1-BP e L2-BP (média de 30 ms para L1-inglês, 50 ms para L1-BP e 100 ms para L2-BP). O planejamento da fala, neste caso, pode ter afetado a produção do inglês L2 devido ao aumento da atividade cerebral54,57. Espera-se que uma maior proficiência no idioma resulte em uma maior velocidade de leitura e span54; no entanto, mesmo para falantes proficientes em L2, as tarefas de leitura apresentaram mais esforço em aspectos cognitivos de ordem superior da fala estrangeira e no processamento da linguagem54,57. Nossos resultados mostram, pelo menos preliminarmente, que os falantes de L2-BP podem ser menos afetados por pausas do que o L2-inglês devido a diferenças no padrão rítmico de ambas as línguas.

figure-results-1
Figura 6: Modelos aditivos generalizados para as características prosódicas-acústicas. No eixo Y, a variável resposta (as características acústicas a serem modeladas); no eixo X, as variáveis preditoras (o fator 'Linguagem' e as covariáveis nos modelos aditivos que fornecerão a forma e as trajetórias das curvas (ou seja, os efeitos de suavização: 'Linguagem + covariáveis') e o produto da 'Linguagem' e um recurso métrico que fornecerá uma projeção mais precisa da variável de resposta (ou seja, interações suaves de fator: 'covariável:Linguagem'). Abreviatura: GAMs = Modelos Aditivos Generalizados. Clique aqui para ver uma versão maior desta figura.

Em relação às métricas de ritmo, para SD-S (Figura 7A), nossos achados revelam que quanto mais um falante varia a curva f0 e aumenta a velocidade de fala, mais o SD-S diminui para todos os níveis de linguagem (um efeito espelho de Figura 6A). No caso do SD para consoantes (SD-C, Figura 7C), L1-BP, ao contrário do inglês L1, apresenta baixa variação à medida que a velocidade de fala ou a duração da pausa aumentam. Essa direção SD é prevista, uma vez que a variabilidade L1-Inglês da duração da sílaba é (estatisticamente) significativamente maior do que L1-BP44,58. O Varco-S (Figura 7B e Tabela Suplementar S1) parece um pouco correlacionado com a L1 e a L2 do mesmo grupo linguístico. À medida que a variabilidade f0 e a velocidade de fala aumentam, o Varco-S diminui para a L1-BP e parece diminuir e atenuar para L2-BP. Para as produções em inglês, enquanto a variabilidade f0 e a velocidade de fala aumentam, o Varco-S aumenta e atenua para L1-Inglês e L2-Inglês.

Em relação ao DS para vogais ou consoantes (SD-V_C, Figura 7D e Tabela Suplementar S1), nossos resultados mostram algumas semelhanças com o desempenho do Varco-S (Figura 7B). Por exemplo, maior velocidade de fala, duração da pausa e variabilidade de f0 promovem uma trajetória de queda e aumento do SD-V_C para L1-BP e para L2-BP. Nas produções inglesas, embora essas características prosódicas sejam mais altas, o SD-V_C diminui ligeiramente, atenua para o inglês L1, aumenta ligeiramente e depois atenua para o inglês L2. A correlação Varco-S e SD-V_C com a L1-L2 dos mesmos grupos linguísticos pode ser parcialmente explicada pelo Efeito Lombard, que se refere à alteração dos parâmetros acústicos na fala devido ao ruído de fundo59.

Na fala estrangeira, dependendo da complexidade da tarefa (por exemplo, ler a fala), os falantes usaram estratégias acústicas semelhantes em L1 e L259,60. Por um lado, Marcoux e Ernestus descobriram que as medidas f0 (intervalo e mediana) na fala lombarda L2 sugerem que os falantes de inglês L2 foram influenciados por sua classe L1 holandês61,62. Por outro lado, descobertas mais recentes propõem que, embora se espere que a fala lombarda L2 seja diferente da fala lombarda L1 devido à maior carga cognitiva ao falar a L2, os falantes de inglês L2 produziram a fala lombarda na mesma direção que os falantes de inglês L163. Até que ponto nossos achados estão alinhados com Marcoux e Ernestus63 e divergem de Waaning59, Villegas et al.60 e Marcoux e Ernestus61,62 precisa de mais investigação.

figure-results-2
Figura 7: Modelos aditivos generalizados para os recursos métricos. No eixo Y, a variável de resposta (as características métricas a serem modeladas); no eixo X, as variáveis preditoras (o fator 'Linguagem' e as covariáveis nos modelos aditivos que fornecerão a forma e as trajetórias das curvas (ou seja, os efeitos de suavização: 'Linguagem + covariáveis') e o produto da 'Linguagem' e um recurso métrico que fornecerá uma projeção mais precisa da variável de resposta (ou seja, interações suaves de fator: 'covariável:Linguagem'). Abreviatura: GAMs = Modelos Aditivos Generalizados. Clique aqui para ver uma versão maior desta figura.

Resultados para percepção de fala
Em relação às formações de voz BP, na linha #1 (Figura 8A), a voz de contraste #3 foi julgada como sendo a voz alvo. Na verdade, a voz alvo era a voz #4. Os resultados não mostram diferença estatisticamente significativa (ver Tabela Suplementar S1) entre a folha # 3 (83%) e a voz alvo # 4 (71%). Na linha # 2 (Figura 8B), uma comparação entre a voz alvo # 3 (40%) e a folha # 4 (20%) também não mostrou diferença estatisticamente significativa (consulte a Tabela Suplementar S1) para as escalações de voz em inglês. Na linha # 1 (Figura 9A), não houve diferença significativa (consulte a Tabela Suplementar S1) entre a folha # 2 (26%) e a voz alvo # 4 (54%).

Na análise da similaridade de voz, tanto a similaridade de cosseno (CoSim) quanto a distância euclidiana (EucDist, [EucDist transformed]54) mostraram uma correlação consistente entre a folha #3 e o alvo para a linha de BP #1 (CoSim = 0,99; EucDist = 77,4, [0,93]). A correlação entre a folha # 4 e o alvo foi igualmente forte na linha BP # 2 (CoSim = 0,99, EucDist = 76,3, [0,93]). Na escalação inglesa # 1, a correlação foi consistente para CoSim (0,83 (, mas fraca a satisfatória para EucDist (213,0, [0,47]. No geral, tanto o CoSim quanto o EucDist foram técnicas satisfatórias na determinação da similaridade vocal. Além disso, o CoSim teve um desempenho um pouco mais eficaz, conforme abordado por Gahman e Elangovan52 (consulte a Tabela Suplementar S1).

Em termos de semelhança, o que poderia ter levado a um aumento de alarmes falsos? As características prosódicas-acústicas mostraram evidências de que, embora as folhas e as vozes-alvo tenham se apresentado (estatisticamente) de maneira significativamente diferente - com exceção das formações apresentadas em Figura 8A,B e Figura 9A – as escolhas dos ouvintes se diversificaram um pouco ao longo de diferentes flâmulas nas outras formações (Figura 8C,D e Figura 9B-D). Tal julgamento parece depender mais de uma (ou talvez mais) característica acústica específica que os alto-falantes compartilham do que de toda uma classe de características acústicas prosódicas. Por exemplo, nosso estudo apresentou várias características (co)variando entre as produções; No entanto, os resultados perceptivos mostram as preferências dos juízes por uma folha específica para corresponder à voz-alvo8,35,64,65. Mais análises são necessárias em trabalhos futuros.

Ressalta-se considerar a escolha por uma matriz paramétrica multidimensional para similaridade acústica66 como a apresentada neste estudo. Nossos achados estão alinhados com estudos anteriores que utilizaram características acústicas baseadas em f0, VQ e intensity9,35. Tais recursos são notavelmente sugeridos para tarefas de comparação de alto-falantes no campo forense9,66. No entanto, é importante destacar que, na presente pesquisa, nenhuma das folhas foi prevista como semelhante à voz-alvo, embora tenhamos usado uma variante das diretrizes de McFarlane16,17 na preparação das escalações de voz para reconhecimento de locutor com sotaque estrangeiro. Além disso, devemos enfatizar que nosso procedimento de alinhamento de vozes contém diferenças importantes em relação às diretrizes de McFarlane, incluindo duração do estímulo, número de vozes, seleção de folhas (randomizadas aqui) e estilo de fala.

Até que ponto as características prosódicas-acústicas de f0, qualidade vocal e intensidade parecem estar relacionadas à percepção dos ouvintes dependeria muito do estilo de fala usado na pesquisa. Aqui, usamos passagens de leitura. A maioria dos estudos de testemunhas auditivas opta por estímulos (semi) espontâneos como uma solução equilibrada - por exemplo, o corpus DyVis67 – que tem sido amplamente empregado em investigações contemporâneas de testemunhas auditivas28,68. O motivo que nos levou a escolher as tarefas de leitura é que nosso corpus, no momento da composição deste manuscrito, era composto exclusivamente por dados obtidos em tarefas de leitura. É, no entanto, importante reconhecer que o processo de compilação de um corpus (semi) espontâneo já está em andamento. Além disso, o ato de ler uma história pode gerar um nível confiável de uniformidade e variação, tanto intra-falante quanto inter-falante. Isso facilita a ênfase em características prosódicas ou fonéticas - individuais ou dialetais - em situações que envolvem comparação de voz. Isso se torna especialmente perceptível em casos de carga vocal durante a produção de um sotaque estrangeiro, mesmo entre falantes proficientes 8,9,23,54.

figure-results-3
Figura 8: Gráficos de barras contendo os resultados das quatro formações realizadas pelos ouvintes brasileiros. (A, B) Diferença não significativa entre a voz alvo (em azul) e uma folha (em azul claro). (C,D) diferenças significativas em relação às folhas e à voz-alvo. Abreviatura: NS = não significativo. Clique aqui para ver uma versão maior desta figura.

figure-results-4
Figura 9: Gráficos de barras contendo os resultados para as quatro formações realizadas pelos ouvintes americanos. (A) Diferença não significativa entre a voz-alvo (em vermelho) e uma folha (em rosa). (B, C, D) Diferenças significativas entre as folhas e a voz-alvo. Abreviatura: NS = não significativo. Clique aqui para ver uma versão maior desta figura.

Tabela Suplementar S1: Estatísticas de produção de fala - Modelos Aditivos Generalizados (GAMs): As estatísticas F (graus de liberdade), o R2 ajustado de cada característica prosódico-acústica estatisticamente significativa (Figura 6) e métrica rítmica (Figura 7) por nível de idioma, bem como os valores individuais de cada termo suave (as covariáveis). Estatísticas de percepção de fala: As estatísticas do χ2 de Kruskall-Wallis (graus de liberdade), os valores de p e o η2 ajustado, bem como um teste post-hoc de Dunn para comparação entre pares (Figura 8 e Figura 9) de cada diferença estatisticamente não significativa entre os pares de vozes de contraste-alvo (Figura 8A,B e ="xfig">Figura 9A). Matrizes de similaridade acústica para distância cosseno e euclidiana de cada formação. Clique aqui para ver uma versão maior desta figura.

Discussão

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O protocolo atual apresenta uma novidade no campo da fonética (forense). Está dividido em duas fases: uma baseada na produção (análise acústica) e outra baseada na percepção (análise do julgamento). A fase de análise de produção compreende a preparação de dados e alinhamento forçado, realinhamento e extração automática de características prosódicas-acústicas, além das estatísticas. Este protocolo conecta a etapa de coleta de dados à análise de dados de forma mais rápida e eficiente do que os protocolos tradicionais baseados em uma segmentação predominantemente manual.

No entanto, o processo de realinhamento, mostrado nas etapas de protocolo 1.3.6 a 1.3.6.9, funciona basicamente nas unidades de telefone e palavra geradas nas etapas de protocolo 1.3.1 a 1.3.4. A novidade do processo de realinhamento é que ele gera um novo TextGrid contendo três novas camadas de texto: uma camada silábica, uma camada de bloco de fala que pode ser gerada automática ou manualmente com base em palavras e uma camada de tom que pode ser bastante útil para calcular medidas f0. As diretrizes de realinhamento propostas para este protocolo foram previamente utilizadas em estudos de ritmo de fala de L221 , 69 , 70 , estudos para detecção de grau de sotaque estrangeiro usando técnicas de aprendizado de máquina22 e estudos no domínio forense9.

A extração automática de características prosódicas, apresentada nas etapas 1.3.7 a 1.3.7.10 do protocolo, gera uma matriz multidimensional de características prosódico-acústicas, como pôde ser atestado na presente pesquisa. Tais características incluem características melódicas, duracionais e espectrais (qualidade e intensidade da voz)71. Um número considerável dessas características acústicas é menos sensível e um tanto robusto a gravações de áudio ruidosas eventualmente coletadas no cenário forense ou em qualquer outro cenário72. Além disso, a matriz multidimensional pode ser aplicada a sistemas de reconhecimento de fala por meio de várias técnicas de IA (trabalho em andamento). Ainda pode ser bastante útil no ensino de aspectos prosódicos nas aulas de pronúncia de L221 (trabalho em andamento).

A análise estatística desta parte do protocolo representa o uso do método GAM, uma vez que lidamos com uma relação complexa entre uma característica acústica específica e falantes de múltiplos fatores de linguagem. Para modelar uma característica acústica específica, por exemplo, foi necessário verificar como outras características acústicas da matriz (os termos suaves) se comportariam para que pudéssemos descrever com mais precisão o que estava acontecendo durante a produção da fala.

Em relação à análise de percepção, o protocolo atual foi constituído por meio da elaboração e implementação das escalações vocais, análise estatística e análise de similaridade acústica. Para preparar as escalações, usamos o script CreateLineup para Praat, que gera automaticamente um arquivo de áudio para cada escalação contendo folhas sequenciadas aleatoriamente e voz-alvo, conforme descrito nas etapas 2.2 a 2.2.1.9 do protocolo.

Para a análise estatística deste protocolo, foi realizado o teste não paramétrico de Kruskal-Wallis, uma vez que nossos dados não atenderam aos pressupostos da Análise de Variância (ANOVA). Uma vez que tivemos uma relação entre os escores de julgamento avaliados pelos ouvintes e controlados para a voz-alvo e os foils, optou-se por utilizar a estatística do modelo linear.

Para a análise de similaridade acústica, utilizou-se o script AcousticSmilarity_cosine_euclidean para Python. O programa abre a árvore de diretórios do computador e pede ao usuário que escolha o arquivo que contém as características prosódico-acústicas das folhas e a voz-alvo que compõe a formação em análise. Com o clique de um botão, o script gera três matrizes de similaridade: um cosseno, um euclidiano e um euclidiano transformado (zero para um), em arquivos '.txt' (delimitado por tabulação) e '.csv'. Ainda devemos ter em mente que cada conjunto de dados (o arquivo '.txt' contendo as características prosódicas-acústicas das folhas e do alvo) deve estar na pasta original da escalação, e cada pasta de escalação deve ter uma cópia do script AcousticSmilarity_cosine_euclidean .

Em resumo, o protocolo atual avança na pesquisa fonética (forense). Compreendendo fases distintas - análises de produção e percepção, bem como similaridade acústica - ele preenche a lacuna entre a coleta de dados e a análise multidimensional de características acústicas. Os pesquisadores podem se beneficiar de uma perspectiva holística, explorando aspectos de produção e percepção. Além disso, esse protocolo garante a reprodutibilidade da pesquisa, permitindo que outros se baseiem nas diretrizes deste trabalho.

Limitações e direções futuras
Ainda devemos ter em mente que tudo funcionará com sucesso se a preparação dos dados seguir as diretrizes propostas nas etapas do protocolo 1.3.1 a 1.3.4. Além disso, nos procedimentos de alinhamento forçado, devemos estar cientes de que um alinhador forçado pré-treinado externo - como MAUS usado no trabalho atual - é suscetível a erros de segmentação, especialmente em dados com sotaque estrangeiro não pré-treinados ou mesmo em alinhadores pré-treinados, seja o áudio não tendo uma boa qualidade ou o alinhador não contenha o idioma do áudio (esse fato tornaria o trabalho do especialista mais difícil e demorado). A transcrição forense, especialmente de arquivos de áudio mais longos, encontra dificuldades no que diz respeito à representação precisa e confiável das gravações faladas72.

Existem também vários desafios na transcrição e alinhamento de arquivos de áudio mais longos. O desempenho do alinhador é afetado pelo estilo de fala e pelo ambiente fonético, bem como por fatores específicos do dialeto. Embora existam diferenças específicas do alinhador, em geral, seu desempenho é semelhante e gera segmentações que se comparam bem ao alinhamento manual geral73. Além disso, a produção de inglês L1 e L2 foi executada com um modelo acústico pré-treinado de inglês americano devido à indisponibilidade de modelos de fala estrangeiros no MAUS. Além disso, não há modelos acústicos pré-treinados para PA em MAUS. Para os dados de PA, foram utilizados os modelos acústicos pré-existentes do italiano (ver NOTA, passo 1.3.5.7 do protocolo).

Em trabalhos futuros (em andamento), usaremos o Montreal Forced Aligner (MFA)74 como parte do protocolo. Uma grande vantagem da MFA é a disponibilidade de modelos acústicos pré-treinados e modelos de grafema para fonema para uma ampla variedade de idiomas (incluindo PB), bem como a capacidade de treinar novos modelos acústicos e de grafema para fonema para qualquer novo conjunto de dados (ou seja, nosso corpus de fala com sotaque estrangeiro) 75 .

Divulgações

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os autores não têm conflitos de interesse a declarar.

Agradecimentos

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este estudo foi financiado pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico - CNPq, processo nº 307010/2022-8 para o primeiro autor e processo nº 302194/2019-3 para o segundo autor. Os autores gostariam de expressar sua sincera gratidão aos participantes desta pesquisa por sua generosa cooperação e contribuições inestimáveis.

Materiais

Lista de materiais utilizados neste artigo
NomeEmpresaNúmero de catálogoComentários
CreateLineupColeção pessoal#Script para praat para preparação de lineups de voz
Dell I3 (com unidade de estado sólido - SSD) Dell#Computador portátil
PraatPaul Boersma & David Weenink#Software para análise fonética
Python 3Python Software Foundation#Linguagem de programação interpretada, de alto nível e de uso geral 
RThe R Project for Statistical Computing#Linguagem de programação para computação estatística
Shure Beta SM7BShure#Microphone
SpeechRhythmExtractorPersonal collection#Script para praat para extração automática de recursos acústicos
SurveyMonkeySurveyMonkey Inc.#Montagem de pesquisas personalizáveis gratuitas, bem como um conjunto de programas de back-end que incluem análise de dados, seleção de amostras, eliminação de vieses e representação de dados.
Tascam DR-100 MKIITascam#Gravador de voz digital
O Sistema de Segmentação Automática de Munique MAUSUniversidade de Munique#Alinhador forçado de arquivos de áudio (.wav) e informações linguísticas (.txt)
VVUnitAlignerColeção pessoal#Script para praat para realinhamento automático e pós-processamento de unidades fonéticas

Referências

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Moyer, A. Foreign Accent: The Phenomenon of Non-native Speech. , Cambridge University Press. (2013).
  2. Munro, M., Derwing, T. Foreign accent, comprehensibility and intelligibility, redux. J Second Lang Pronunciation. 6 (3), 283-309 (2020).
  3. Levis, J. Intelligibility, Oral Communication, and the Teaching of Pronunciation. , Cambridge University Press. (2018).
  4. Munro, M. Applying Phonetics: Speech Science in Everyday Life. , Wiley-Blackwell. (2022).
  5. Gut, U. Speaker Classification. Muller, C. , Springer-Verlag. 75-87 (2007).
  6. Rogers, H. Foreign accent in voice discrimination: a case study. Forensic Linguistics. 5 (2), 203-208 (1998).
  7. Solan, L., Tiersma, P. Hearing Voices: Speaker Identification in Court. Hastings Law Journal. 54, 373-436 (2003).
  8. Alcaraz, J. The long-term average spectrum in forensic phonetics: From collation to discrimination of speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 87-110 (2023).
  9. Silva, L. Jr, Barbosa, P. A. Voice disguise and foreign accent: Prosodic aspects of English produced by Brazilian Portuguese speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 195-226 (2023).
  10. Munro, M., Derwing, T. Modeling perceptions of the accentedness and comprehensibility of L2 speech. Studies in Second Language Acquisition. 23 (4), 451-468 (2001).
  11. Keating, P., Esposito, C. Linguistic Voice Quality. Working Papers in Phonetics. , 85-91 (2007).
  12. Niebuhr, O., Skarnitzl, R., Tylečková, L. The acoustic fingerprint of a charismatic voice -Initial evidence from correlations between long-term spectral features and listener ratings. Proceedings of Speech Prosody. , 359-363 (2018).
  13. Segundo San, E. International survey on voice quality: Forensic practitioners versus voice therapists. Estudios de Fonética Experimental. 29, 8-34 (2021).
  14. Farrús, M. Fusing prosodic and acoustic information for speaker recognition. International Journal of Speech, Language and the Law. 16 (1), 169(2009).
  15. Farrús, M. Voice disguise in automatic speaker recognition. ACM Computing Surveys. 51 (4), 1-2 (2018).
  16. Nolan, F. A recent voice parade. The International Journal of Speech, Language and the Law. 10 (2), 277-291 (2003).
  17. McDougall, K. Ear-catching versus eye-catching? Some developments and current challenges in earwitness identification evidence. Speaker Individuality in Phonetics and Speech Sciences. Bernardasci, C., Dipino, D., Garassino, D., Negrinelli, S., Pellegrino, E., Schmid, S. , Officinaventuno. 33-56 (2021).
  18. Gut, U. Rhythm in L2 speech. Speech and Language Technology. 14 (15), 83-94 (2012).
  19. Urbani, M. Pitch Range in L1/L2 English. An Analysis of F0 using LTD and Linguistic Measures. Coop. , Libraria Editrice Università di Padova. (2012).
  20. Gonzales, A., Ishihara, S., Tsurutani, C. Perception modeling of native and foreign-accented Japanese speech based on prosodic features of pitch accent. J Acoust Soc Am. 133 (5), 3572(2013).
  21. Silva, L. Jr, Barbosa, P. A. Speech rhythm of English as L2: an investigation of prosodic variables on the production of Brazilian Portuguese speakers. J Speech Sci. 8 (2), 37-57 (2019).
  22. Foreign accent and L2 speech rhythm of English a pilot study based on metric and prosodic parameters. Silva, L. Jr, Barbosa, P. A. Proceedings of the II Brazilian Conference on Prosody (Anais II Congresso Brasileiro de Prosódia), 1, 41-50 (2023).
  23. Costa, A. El cerebro bilingüe: La neurociencia del lenguaje. , Penguin Randon House. (2017).
  24. Eriksson, A. Tutorial on forensic speech science: Part I. Forensic Phonetics. , (2005).
  25. Harvey, M., Giroux, M., Price, H. Lineup size influences voice identification accuracy. Applied Cognitive Psychology. 37 (5), 42-89 (2023).
  26. Pautz, N., et al. Identifying unfamiliar voices: Examining the system variables of sample duration and parade size. Q J Exp Psychol (Hove). 76 (12), 2804-2822 (2023).
  27. McDougall, K., Nolan, F., Hudson, T. Telephone transmission and earwitnesses: Performance on voice parades controlled for voice similarity. Phonetica. 72 (4), 257-272 (2015).
  28. Nolan, F., McDougall, K., Hudson, T. Some acoustic correlates of perceived (dis) similarity between same-accent voices. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2011). , 1506-1509 (2011).
  29. Sheoran, S., Mahna, D. Voice identification and speech recognition: an arena of voice acoustics. Eur Chem Bull. 12 (5), 50-60 (2023).
  30. Hudson, T., McDougall, K., Hughes, V. Forensic phonetics. The Cambridge Handbook of Phonetics. Knight, R. -A., Setter, J. , Cambridge University Press. 631-656 (2021).
  31. Eriksson, A. The disguised voice: Imitating accents or speech styles and impersonating individuals. Language and identities. Llamas, C., Watt, D. , Edinburgh University Press. 86-96 (2010).
  32. Köster, O., Schiller, N. Different influences of the native language of a listener on speaker recognition. Forensic Linguistics. 4 (1), 18-27 (1997).
  33. The influence of native-language background on speaker recognition. Köster, O., Schiller, N., Künzel, H. Proceedings of the International Congress of Phonetic Sciences (ICPhS 1995), , 306-309 (1995).
  34. Thompson, C. P. A language effect in voice identification. Applied Cognitive Psychology. 1, 121-131 (1987).
  35. San Segundo, E., Univaso, P., Gurlekian, J. Sistema multiparamétrico para la comparación forense de hablantes. Estudios de Fonética Experimental. 28, 13-45 (2019).
  36. Council of Europe. Common European Framework of Reference for Languages: Learning, Teaching, Assessment. , Press Syndicate of the University of Cambridge. (2001).
  37. How to use Tascam DR-100 MKII: Getting started. , https://www.youtube.com/watch?v=O2E72uV9fWc (2018).
  38. Getting the most from your Shure SM58 microphone. , https://www.youtube.com/watch?v=wweNufW7EXA (2020).
  39. Kisler, T., Reichel, U. D., Schiel, F. Multilingual processing of speech via web services. Computer Speech & Language. 45, https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface/WebMAUSBasic 326-347 (2017).
  40. Escudero, P., Boersma, P., Rauber, A., Bion, R. A cross-dialect acoustic description of vowels: Brazilian and European Portuguese. J Acoust Soc Am. 126 (3), 1379-1393 (2009).
  41. Post-aspiration in standard Italian: some first cross-regional acoustic evidence. Stevens, M., Hajek, J. Proceedings 11th Conference of the International Speech Communication Association (INTERSPEECH 2010), , 1557-1560 (2011).
  42. Barbosa, P., Madureira, S. Manual de Fonética Acústica Experimental: aplicações a dados do português. , Cortez. (2015).
  43. Boersma, P., Weenink, D. Praat: Doing phonetics by computer. (Version 6.1.38) [Computer program]. , https://www.praat.org/ (1992-2021).
  44. Silva, L. Jr VVUnitAligner. [Computer program]. , https://github.com/leonidasjr/VVunitAlignerCode_webMAUS (2022).
  45. Silva, L. Jr, Barbosa, P. A. SpeechRhythmExtractor [Computer program]. , https://github.com/leonidasjr/VowelCode (2019-2023).
  46. R Core Team. A language and environment for statistical computing. R Foundation for Statistical Computing. , https://www.R-project.org/ (2023).
  47. Pigoli, D., Hadjipantelis, P. Z., Coleman, J. Z., Aston, J. The statistical analysis of acoustic phonetic data. Journal of the Royal Statistical Society. 67 (5), 1103-1145 (2018).
  48. Barbosa, P. A. CreateLineup [Computer program]. , https://github.com/pabarbosa/prosody-scripts-CreateLineUp (2021).
  49. Van Rossum, G., Drake, F. L. Python 3 Reference Manual. , CreateSpace. (2009).
  50. Silva, L. Jr AcousticSimilarity_cosine_euclidean. [Computer program]. , https://github.com/leonidasjr/AcousticSimilarity/blob/main/AcousticSmilarity_cosine_euclidean.py (2024).
  51. Automatic assessment of voice similarity within and across speaker groups with different accents. Gerlach, L., McDougall, K., Kelly, F., Alexander, A. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023), , 3785-3789 (2023).
  52. Gahman, N., Elangovan, V. A comparison of document similarity algorithms. International Journal of Artificial Intelligence and Applications. 14 (2), 41-50 (2023).
  53. San Segundo, E., Tsanas, A., Gómez-Vilda, P. Euclidean distances as measures of speaker similarity including identical twin pairs: A forensic investigation using source and Filter voice characteristics. Forensic Science International. 270, 25-38 (2017).
  54. Speaker's voice characteristics and similarity measurement using Euclidean distances. Singh, M. K., Singh, N., Singh, A. K. Proceedings of the International Conference on Signal Processing and Communication (ICSC 2019), , 317-322 (2019).
  55. Darling-White, M., Banks, W. Speech rate varies with sentence length in typically developing children. J Speech Lang Hear Res. 64 (6), 2385-2391 (2021).
  56. Barbosa, P. A. Incursões em torno do ritmo da Fala. , Pontes Editores. (2006).
  57. Golestani, N., Pallier, C. Anatomical correlates of foreign speech sound production. Cereb Cortex. 17 (4), 929-934 (2007).
  58. Trouvain, J., Fauth, C., Möbius, B. Breath and non-breath pauses in fluent and disfluent phases of German and French L1 and L2 read speech. Proceedings of Speech Prosody. , 31-35 (2016).
  59. Waaning, J. The Lombard effect: the effects of noise exposure and being instructed to speak clearly on speech acoustic parameters. [Master's thesis]. , Radboud University. (2021).
  60. Villegas, J., Perkins, J., Wilson, I. Effects of task and language nativeness on the Lombard effect and on its onset and offset timing. J Acoust Soc Am. 149 (3), 1855(2021).
  61. Differences between native and non-native Lombard speech in terms of pitch range. Proceedings of the 23rd International Congress on Acoustics(ICA 2019). Marcoux, K., Ernestus, M. , 5713-5720 (2019).
  62. Marcoux, K., Ernestus, M. Pitch in native and non-native Lombard speech. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2019). , 2605-2609 (2019).
  63. Marcoux, K., Ernestus, M. Acoustic characteristics of non-native Lombard speech in the DELNN corpus. Journal of Phonetics. 102, 1-25 (2024).
  64. Gil, J., San Segundo, E. La cualidad de voz en fonética judicial [Voice quality in judicial phonetics]. Lingüística Forense: la Lingüística en el ámbito legal y policial. Garayzábal, M., Jiménez, M., Reigosa, M. , Euphonía Ediciones. 154-199 (2014).
  65. Gil, J., San Segundo, E. El disimulo de la cualidad de voz en fonética judicial: Estudio perceptivo de la hiponasalidad [Voice quality disguise in judicial phonetics: A perceptual study of hyponasality. Panorama de la fonética española actual. Penas-báñez, M. A. , Arco Libros. 321-366 (2013).
  66. Passeti, R., Madureira, S., Barbosa, P. What can voice line-ups tell us about voice similarity. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 3765-3769 (2023).
  67. Nolan, F. The DyViS database: Style-controlled recordings of 100 homogeneous speakers for forensic phonetic research. International Journal of Speech Language and the Law. 16 (1), 31-57 (2009).
  68. Caroll, D. Psychology of Language. , Wadsworth. (1994).
  69. Ortega-Llebaria, M., Silva, L. Jr, Nagao, J. Macro- and micro-rhythm in L2 English: Exploration and Refinement of Measures. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 1582-1586 (2023).
  70. Fernández-Trinidad, M. Hacia la aplicabilidad de la cualidad de la voz en fonética judicial. Loquens. 9 (1-2), 1-11 (2022).
  71. Brouwer, S. The role of foreign accent and short-term exposure in speech-in-speech recognition. Atten Percep Psychophys. 81, 2053-2062 (2019).
  72. Love, R., Wright, D. Specifying challenges in transcribing covert recordings: Implications for forensic transcription. Front Commun. 6, 1-14 (2021).
  73. Meer, P. Automatic alignment for New Englishes: Applying state-of-the-art aligners to Trinidadian English. J Acoust Soc Am. 147 (4), 2283-2294 (2020).
  74. Montreal Forced Aligner: trainable text-speech alignment using Kaldi. McAuliffe, M., Socolof, M., Mihuc, S., Wagner, M., Sonderegger, M. Proceedings 18th Conference of the International Speech Communication Association (INTERSPEECH 2017), , 498-502 (2017).
  75. Chodroff, E. Montreal Forced Aligner: MFA Tutorial. , https://zenodo.org/records/7591607 (2023).

Reimpressões e permissões

Solicitar permissão para reutilizar o texto ou as figuras deste artigo JoVE

Solicitar permissão

Etiquetas

Caracter sticas Pros dicasPercep o da FalaQualidade da VozFrequ ncia FundamentalReconhecimento do LocutorSimilaridade Ac stica

Artigos relacionados