Sotaque estrangeiro e identificação forense de locutores em escalações de voz: a influência de características acústicas baseadas em prosódia
27 de setembro de 2024
Esta pesquisa teve como objetivo fazer uma comparação entre L1-L2-Inglês e L1-L2 Português para verificar o quanto o efeito de um sotaque estrangeiro é responsável tanto pela métrica quanto pelos parâmetros prosódico-acústicos, bem como pela escolha da voz-alvo em uma formação de voz.
Nossa pesquisa examina como um sotaque estrangeiro influenciou a identificação do falante. Nós nos concentramos em características prosódicas com base na frequência fundamental, que é o tom da voz, a duração e a qualidade da voz. Nosso objetivo é entender como esses recursos influenciam os julgamentos dos ouvintes nas escalações de voz.
Há um foco e pesquisas crescentes sobre o desempenho do reconhecimento automático de alto-falantes, que aplica a automação ao fluxo de trabalho de comparação forense de alto-falantes. No entanto, a informação é como uma caixa preta para os cientistas forenses relatarem à polícia, juízes e jurados. Sistemas de reconhecimento automático de alto-falantes baseados em técnicas clássicas, como modelos GMM, UBM e atores ao vivo.
Há também pesquisas neurais baseadas em inteligência artificial. Propomos um fluxo automatizado preservando as informações linguísticas perdidas pelos sistemas automáticos de reconhecimento de fala. Nosso protocolo usa uma abordagem auditiva e acústica combinada para comparação forense da fala ao estabelecer os países onde a ciência foi desenvolvida, mas usando ferramentas automatizadas para extrair uma ampla gama de características acústicas, bem como para executar procedimentos de similaridade acústica.
Para começar, escreva a transcrição linguística de cada arquivo de áudio em um formato de arquivo TXT. Marque o par de arquivos TXT e WAV com o mesmo nome. Crie uma pasta para cada idioma L1, L2.
Certifique-se de que todos os pares de arquivos do mesmo idioma estejam na mesma pasta. Acesse a interface web do alinhador forçado de segmentação automática de Munique, arraste e solte cada par de arquivos WAV e TXT da pasta para o retângulo tracejado nos arquivos. Clique no botão de upload para carregar os arquivos para o alinhador.
No menu de opções de serviço, para dados em inglês L1 L2, selecione grafema para fonema para mouse para telefone para sílaba para nome do pipeline e inglês-EUA para idioma. Mantenha as opções padrão para o formato de saída e mantenha tudo. Marque a caixa de opção de execução para aceitar os termos de uso.
Clique no botão executar serviço da Web para executar os arquivos carregados no alinhador. Depois que os arquivos forem processados, clique no botão baixar como arquivo zip para baixar os arquivos de grade de texto. Extraia os arquivos de grade de texto para posterior realinhamento no software de análise fonética.
Acesse e baixe o script para PRAAT VVUnitAligner. Certifique-se de que todos os pares de arquivos do mesmo idioma e o script VVUnitAligner estejam na mesma pasta. Abra o software de análise fonética.
Na janela do objeto, clique em Praat e abra o script Praat para carregar o script. Clique no botão Executar e selecione o idioma como inglês-EUA. Agora, no botão de segmentação de blocos, selecione automático.
Marque a opção salvar arquivos de grade de texto para salvar automaticamente os arquivos de grade de texto recém-gerados. Clique nos botões ok e executar para realinhar as unidades fonéticas. No site fornecido, baixe o script do extrator de ritmo de fala para extração automática de recursos acústicos prosódicos.
Crie uma nova pasta e adicione o script do extrator de ritmo de fala junto com todos os arquivos de grade de texto de áudio de todos os idiomas. Abra o software de análise fonética. Na janela do objeto, clique em Praat e abra o script Praat para carregar o script.
Em seguida, clique no botão Executar uma vez. Marque a opção de parâmetros de qualidade de voz para salvar o arquivo de saída VQ para qualidade de voz. Agora marque a opção de destino linguístico para escolher o idioma.
Em seguida, marque a opção de unidade para escolher os recursos F0 em semitons. Defina os valores para o limite F0, incluindo limites mínimo e máximo. Clique em OK, seguido de executar para a extração automática de recursos acústicos.
Para executar modelos aditivos generalizados, análise estatística não paramétrica, digite o comando indicado e carregue a planilha contendo os recursos acústicos extraídos no ambiente R. Por fim, pressione enter para executar. A velocidade de fala diminuiu mais rapidamente para L1 L2 inglês em comparação com L1 L2 BP, que teve declives menos acentuados devido à maior duração da sílaba e menor variabilidade.
O shimmer local permaneceu relativamente estável para falantes brasileiros, L1 BP e L2 English, apesar do aumento da variabilidade da duração da sílaba. A taxa de pausa foi maior para falantes de L2 BP, com pausas mais longas em comparação com falantes de inglês L1, L1 BP e L2. A velocidade de articulação foi afetada de forma semelhante à velocidade de fala, com taxas mais baixas associadas a maior carga linguística cognitiva e variação de sílabas.
O desvio padrão da duração da sílaba diminuiu à medida que a velocidade da fala aumentou em todos os níveis de linguagem. O varco de sílabas diminuiu para L1 BP e L2 BP com o aumento da variabilidade F0 e da velocidade de fala, enquanto aumentou para o inglês L1 e o inglês L2. O desvio padrão das consoantes mostrou menor variabilidade na L1 BP à medida que a velocidade de fala ou a duração da pausa aumentavam em comparação com o inglês L1.
O desvio padrão para vogais e consoantes seguiu um padrão de aumento de queda para L1 BP e L2 BP, com características prosódicas crescentes, enquanto diminuiu e depois atenuou para L1 inglês e L2 inglês. Depois de preparar quatro alinhamentos de voz para inglês e BP, obtenha os arquivos de áudio dos alto-falantes selecionados e organize-os em pastas específicas do idioma. Selecione aleatoriamente seis partes de voz em inglês L1 ou BP L1. Em seguida, escolha um pedaço de voz em inglês L2 ou BP L2 de um dos seis pedaços de voz.
Acesse e baixe o script para Praat Create Lineup. Antes de executar o script, certifique-se de que a voz de referência L2, as folhas L1 e a voz de destino L1 sejam colocadas na mesma pasta. Abra o software de análise fonética.
Na janela do objeto, clique em Praat e abra o script Praat para carregar o script. Em seguida, clique em executar para executar o script de criação de programação. No ambiente R, para executar o teste de Kruskal-Wallace, digite o comando indicado.
Em seguida, carregue a planilha contendo as pontuações dos julgamentos dos ouvintes e pressione enter. Em seguida, para o teste post-hoc de Dunn, digite o seguinte comando e pressione enter. Acesse e baixe o script Python, Acoustic Similarity Cosine Euclidean.
Certifique-se de que o script baixado seja salvo na mesma pasta que o conjunto de dados de alinhamento de voz. Clique no botão abrir arquivo para chamar o script e, em seguida, clique nos botões executar e executar sem depuração para executar o script. Por fim, realize testes de similaridade de voz com base em características acústicas.
Na linha de voz BP um, a voz foil três foi julgada como a voz alvo, sem diferença significativa entre a folha três e a voz alvo quatro. Na linha de voz BP dois, nenhuma diferença significativa foi encontrada entre a voz alvo três e a folha quatro. Tanto a similaridade do cosseno quanto a distância euclidiana mostraram uma forte correlação entre o foil três e a voz-alvo na linha BP um.
Na linha dois da BP, ambas as métricas de similaridade se correlacionaram fortemente entre a folha quatro e o alvo.
Visão Geral
Esta pesquisa examina como um sotaque estrangeiro influencia a identificação do falante, concentrando-se em características prosódicas como altura da voz, duração e qualidade. O estudo tem como objetivo compreender como essas características afetam os julgamentos dos ouvintes em reconhecimentos vocais.
Componentes Principais do Estudo
Área da Ciência
- Neurociência
- Psicologia
- Ciência Forense
Contexto
- A pesquisa sobre reconhecimento automático de locutor está aumentando.
- As características prosódicas desempenham um papel crucial na identificação do locutor.
- Cientistas forenses frequentemente enfrentam desafios na interpretação de sistemas de reconhecimento automático.
- Compreender os julgamentos dos ouvintes pode melhorar as práticas forenses.
Objetivo do Estudo
- Comparar os efeitos de sotaques estrangeiros na identificação do falante.
- Analisar parâmetros prosódico-acústicos em rodadas de voz.
- Aprimorar a compreensão dos julgamentos dos ouvintes em contextos forenses.
Métodos Utilizados
- Análise da frequência fundamental e do tom vocal.
- Exame das métricas de duração e qualidade vocal.
- Estudo comparativo entre L1-L2-inglês e L1-L2-português.
- Avaliação das respostas dos ouvintes em reconhecimentos vocais.
Resultados Principais
- Acentos estrangeiros afetam significativamente a identificação do falante.
- As características prosódicas influenciam os julgamentos do ouvinte.
- Foram observadas diferenças entre falantes de inglês e de português.
- Os resultados contribuem para a compreensão da comparação forense de falantes.
Conclusões
- O sotaque influencia a percepção do ouvinte em reconhecimento vocal.
- As características prosódicas são fundamentais em tarefas de reconhecimento de falantes.
- São necessárias mais pesquisas para aprimorar as metodologias forenses.
Perguntas Frequentes
Relevância Executiva para a Indústria
A análise quantitativa de características prosódico-acústicas na fala com sotaque estrangeiro permite a avaliação objetiva da identidade do falante, apoiando fluxos de pesquisa e desenvolvimento voltados para perícia e segurança. A integração de modelagem estatística e métricas de similaridade acústica aumenta a confiança preditiva na identificação baseada em voz, reduzindo ambiguidades em pontos de decisão críticos. Essas capacidades são fundamentais para fluxos de trabalho empresariais nos quais a comparação robusta e reprodutível de falantes orienta decisões de portfólio ajustadas ao risco.
Aplicações Estratégicas em P&D de Biotecnologia Farmacêutica
Descoberta Inicial e Validação de Alvo
- Permite testes rigorosos de hipóteses sobre o impacto de características prosódicas na diferenciação de falantes.
- Apoia a redução de riscos mecanicistas ao quantificar a variabilidade em f0, duração e qualidade vocal.
- Facilita a validação funcional de marcadores acústicos relevantes para a verificação de identidade.
Triagem e Desenvolvimento de Ensaios
- Padroniza a extração de características acústicas para análise posterior reproduzível.
- Prepara conjuntos de dados validados para triagem escalável de amostras de voz em contextos forenses.
- Permite a comparação quantitativa de vozes em fileiras, apoiando protocolos de avaliação confiáveis.
Pesquisa Translacional e Pré-clínica
- Alinha a análise de características acústicas às necessidades translacionais em aplicações forenses e de segurança.
- Garante a continuidade desde a descoberta de marcadores prosódicos até a validação pré-clínica de sistemas de identificação.
- Apoia o avanço ajustado ao risco de estratégias baseadas em biomarcadores de voz.
Integração de Pipeline e Fluxo de Trabalho
Este protocolo integra desde a descoberta inicial de marcadores acústicos até a validação estatística e triagem, apoiando fluxos de trabalho desde o teste de hipóteses até a avaliação de sistemas pré-clínicos.
- Biologia da Descoberta: Quantifica características prosódico-acústicas para esclarecer os mecanismos subjacentes à identificação do falante.
- Triagem: Fornece extração padronizada e reprodutível de características para avaliação de formações lineares.
- Análise: Oferece saídas estatísticas (GAMs, Kruskal-Wallis, teste de Dunn) e métricas de similaridade para comparação robusta entre condições.
- Pesquisa Tradutiva: Conecta a descoberta de marcadores acústicos às aplicações forenses operacionais.
- Reutilização Empresarial: Estabelece um pipeline analítico reutilizável para estudos de identificação baseada na voz.
Impacto Operacional e Empresarial
- Valor Científico: Aumenta a confiança preditiva e reduz a ambiguidade mecanicista na identificação do falante.
- Valor Operacional: Fornece fluxos de trabalho padronizados, escaláveis e reprodutíveis de análise acústica.
- Valor Estratégico: Orienta decisões de prosseguir/interromper e melhora a eficiência do capital em portfólios de P&D forense.
- Impacto no Portfólio: Apoia a priorização ajustada ao risco de tecnologias de identificação baseadas na voz.
Considerações sobre a Implementação
- Requer experiência em análise acústica, modelagem estatística e software fonético.
- Depende do acesso a instrumentação especializada e infraestrutura analítica (por exemplo, PRAAT, R, scripts em Python).
- Exige padronização entre equipes nos formatos de dados e protocolos de extração de características.
- Deve ser adaptado para sistemas de modelos específicos de idioma e sotaque.
- As limitações práticas incluem a variabilidade na percepção do ouvinte e as diferenças entre grupos linguísticos.
