Se requiere una suscripción a JoVE para ver este contenido. Inicie sesión o comience su prueba gratuita.

Artículo de método

Acento extranjero e identificación forense de hablantes en alineaciones de voz: la influencia de las características acústicas basadas en la prosodia

1.5K visualizaciones

⸱

DOI:

10.3791/66313

⸱

27 de septiembre de 2024

 , 
1Center of Humanities, Department of Modern Languages, State University of Paraíba (Universidade Estadual da Paraíba), 2Institute of Language Studies, Department of Linguistics, University of Campinas (Universidade de Campinas)

En este artículo

Resumen

Esta investigación tuvo como objetivo hacer una comparación entre L1-L2-inglés y L1-L2 portugués para comprobar cuánto el efecto de un acento extranjero tiene en cuenta tanto las métricas como los parámetros prosódico-acústicos, así como la elección de la voz objetivo en una alineación de voz.

Resumen

Esta investigación tiene como objetivo examinar tanto las características prosódico-acústicas como los correlatos perceptivos del inglés con acento extranjero y el portugués brasileño con acento extranjero y verificar cómo las producciones de los hablantes de acentos extranjeros y nativos se correlacionan con la percepción de los oyentes. En la Metodología, llevamos a cabo un procedimiento de producción de habla con un grupo de hablantes americanos de L2 de portugués brasileño y un grupo de hablantes brasileños de L2 de inglés, y un procedimiento de percepción del habla en el que realizamos alineaciones de voz para ambas lenguas. Para el análisis estadístico de la producción del habla, se ejecutaron modelos aditivos generalizados para evaluar el efecto de los grupos lingüísticos en cada clase (métrica o prosódico-acústica) de características controladas para el efecto suavizante de las covariables de la clase opuesta. Para el análisis estadístico de la percepción del habla, se realizó una prueba de Kruskal-Wallis y una prueba de Dunn post-hoc para evaluar el efecto de las voces de las alineaciones en las puntuaciones juzgadas por los oyentes. Sin embargo, realizamos pruebas de similitud acústica (voz) basadas en las distancias del coseno y euclidiano. Los resultados mostraron diferencias acústicas significativas entre los grupos lingüísticos en términos de variabilidad del f0, duración y calidad de la voz. Para las alineaciones, los resultados indicaron que las características prosódicas de f0, intensidad y calidad de voz se correlacionaron con los juicios percibidos de los oyentes.

Introducción

El acento es un aspecto destacado y dinámico de la comunicación y la fluidez, tanto en la lengua materna (L1) como en una lengua extranjera (L2)1. El acento extranjero representa las características fonéticas de la L2 de una lengua de destino, y puede cambiar (con el tiempo) en respuesta a la experiencia del hablante en la L2, el estilo de habla, la calidad de la entrada, la exposición, entre otras variables. Un acento extranjero se puede cuantificar como un grado (escalar) de diferencia entre el habla L2 producida por un hablante extranjero y un acento local o de referencia del idioma de destino2,3,4,5.

Esta investigación tiene como objetivo examinar tanto las características prosódico-acústicas como los correlatos perceptivos del inglés con acento extranjero y el portugués brasileño (BP) con acento extranjero, así como verificar hasta qué punto las producciones de los hablantes de acentos extranjeros y nativos están correlacionadas con la percepción de los oyentes. Investigaciones previas en el campo forense han demostrado la robustez de las vocales y consonantes en la identificación de acento extranjero, ya sea como estables para un análisis a largo plazo de un individuo (The Lo Case6) o refiriéndose a la alta precisión de identificación de un hablante (The Lindbergh Case7). Sin embargo, la exploración de las características prosódico-acústicas basadas en la duración, la frecuencia fundamental (f0, es decir, el correlato acústico del tono), la intensidad y la calidad de la voz (VQ) ha ganado cada vez más atención8,9. Por lo tanto, la elección de las características prosódico-acústicas en este estudio representa una vía prometedora en el campo de la fonética forense8,10,11,12,13.

La presente investigación está respaldada por estudios dedicados a los acentos extranjeros como una forma de disfraz de voz en casos forenses14,15, así como en la preparación de alineaciones de voz para el reconocimiento de hablantes16,17. Por ejemplo, la velocidad del habla jugó un papel importante en la identificación de los hablantes de inglés, alemán, italiano, japonés y brasileño18,19,20,21,22. Además de la velocidad del habla, las características espectrales y f0 a largo plazo desafían a los hablantes competentes en L2 con la familiaridad con el idioma objetivo porque el cerebro y las bases cognitivas sufren un déficit en la memoria, la atención y la emoción, lo que se refleja en el rendimiento fonético del hablante durante los turnos largos del habla23. La visión de los acentos extranjeros en el campo forense es que la definición de lo que realmente suena como un acento extranjero depende en gran medida de la falta de familiaridad del oyente en lugar de tener un grado nada extremo de habla con acento extranjero24.

En el dominio perceptivo, una herramienta forense común utilizada desde mediados de la década de 1990 para el reconocimiento de criminales es la Alineación de Voz (reconocimiento auditivo), que es análoga al reconocimiento visual utilizado para identificar a un perpetrador en una escena del crimen16,25. En una alineación de voces, la voz del sospechoso se presenta junto a otras voces similares en aspectos sociolingüísticos como la edad, el sexo, la ubicación geográfica, el dialecto y el estado cultural, para su identificación por parte de un testigo. El éxito o el fracaso de una alineación de voces dependerá del número de muestras de voz y de la duración de las muestras25,26. Además, en el caso de las muestras del mundo real, se considera que la calidad del audio influye constantemente en la precisión del reconocimiento de voz. Una mala calidad de audio puede distorsionar las características únicas de una voz27. En el caso de similitud de voz, los detalles fonéticos finos basados en f0 pueden confundir al oyente durante el reconocimiento de voz28,29. Tales características acústicas se extienden más allá de f0 y abarcan elementos de duración, y características espectrales de intensidad y VQ30. Esta visión de múltiples características prosódicas es crucial en el contexto de la comparación forense de voces para garantizar una identificación precisa del hablante9,14,15,29,31.

En resumen, los estudios de fonética forense han mostrado algunas variaciones con respecto a la identificación del acento extranjero en las últimas décadas. Por un lado, un acento extranjero no parece afectar el proceso de identificación de un hablante32,33 (especialmente si el hablante no está familiarizado con el acento extranjero objetivo34). Por otro lado, hay hallazgos en la dirección opuesta12,34,35.

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Protocolo

Este trabajo recibió la aprobación de un comité de ética en investigación humana. Además, se obtuvo el consentimiento informado de todos los participantes involucrados en este estudio para utilizar y publicar sus datos.

1. Producción del habla

NOTA: Recopilamos habla de una tarea de lectura en ambos casos, 'L1 inglés-L2 PB', producida por Grupo 1: El American Einglés (de los Estados Unidos de América) Saltavoces (inglés de EE. UU.), y en ambos producidos por 'L1 BP-L2 inglés' Grupo 2: El Brazilian Saltavoces (Bra-S). Véase Figura 1 para un diagrama de flujo para la producción del habla.

figure-protocol-1
Figura 1: Diagrama esquemático del flujo de producción del habla. Haga clic aquí para ver una versión más grande de esta figura.

  1. Participantes
    1. Determinar el número de participantes, el idioma (L1 inglés, L2 portugués; L1 portugués, L2 inglés), el sexo (hembra o macho), el edad (media, desviación estándar), el características del grupo (profesionales o estudiantes universitarios), y el Nivel de competencia en L2 (adelantado o muy adelantado) para cada grupo.
      NOTA: Para la presente investigación, tanto el AmE-S como el Bra-S se consideraron con dominio del L2 (ambos grupos fueron clasificados como B2-C1)36). El AmE-S había vivido dos años en Brasil cuando se realizaron los procedimientos. El Bra-S había vivido más de dos años en Estados Unidos cuando se realizaron los procedimientos. Durante su estancia en el extranjero, ambos grupos solían hablar su L2 con fines académicos y laborales al menos 6 días por semana durante aproximadamente 4-5 horas diarias.
    2. Asigne a los participantes a una habitación cómoda y tranquila y presente el material de lectura para cada grupo.
  2. Recolección de datos
    NOTA: Los datos de habla deben recopilarse mediante una tarea de lectura en los siguientes idiomas: L1-inglés y L2-portugués brasileño; L1-portugués brasileño y L2-inglés. Permita que los participantes lean los textos previamente si es necesario.
    1. Procedimientos de grabación
      1. Grabe los datos de habla en un lugar tranquilo con condiciones acústicas adecuadas.
      2. Utilice una grabadora de voz digital (consulte el Tabla de materiales)37 y un micrófono cardioide unidireccional con aislamiento electromagnético (ver el Tabla de materiales)38.
      3. Registre los datos de audio en '.wavforma.
      4. Configure la frecuencia de muestreo a 48 kHz y la tasa de cuantización a 16 bits.
        NOTA: El formato de audio y la configuración de las tasas de muestreo y cuantización descritas en los pasos 1.2.1.3 y 1.2.1.4 se aplican para garantizar una alta calidad y reducción de ruido, preservando así las características espectrales utilizadas en el análisis acústico posterior.
  3. Análisis acústico
    NOTA: Divida los procedimientos de análisis acústico en tres pasos: alineación forzada, realineación y extracción de características acústicas.
    1. Escriba la transcripción lingüística (en un '.txt' archivo) para cada archivo de audio.
    2. Etiquete el par de '.txt'/'.wav' archivos con el mismo nombre (es decir, 'my_file.wav'/ 'mi_archivo.txt').
      NOTA: Para mejorar el rendimiento del procedimiento descrito en la sección 1.3.7, se recomienda encarecidamente que los tres primeros caracteres de las etiquetas de los archivos ‘.txt/.wav’ representen el Idioma, Dialecto, o Acento, mientras que los caracteres cuarto a sexto indican el Sexo (p. ej., EL1FEM para Einglés L1 Female). A partir del séptimo carácter, el usuario debe indicar el número del hablante (por ejemplo, 001 para el primer altavoz). En consecuencia, el primer par ‘.txt/.wav’ es EL1FEM001.
    3. Cree una carpeta para cada idioma L1-L2.
      NOTA: Una carpeta para inglés L1-L2 y una carpeta para BP L1-L2.
    4. Asegúrese de que todos los pares de archivos del mismo idioma se encuentren en la misma carpeta.
    5. Realice la alineación forzada.
      1. Acceda a la interfaz web del alineador forzado Munich Automatic Segmentation (MAUS)webMAUS39 en https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface/Pipeline
      2. Arrastre y suelte cada par de .onda / .txt archivos del carpeta al rectángulo punteado en Archivos (o haga clic dentro del rectángulo, Figura 2A).
      3. Haga clic en el Subir botón para cargar los archivos en el alineador (ver flecha roja en Figura 2A).
      4. Seleccione las siguientes opciones en el Opciones de servicio menú (Figura 2B): G2P-MAUS-PHO2SYL para Nombre de la tubería; Español (EE. UU.) (para Idioma) si Datos en inglés L1-L2; italiano (IT) (para Idioma) si Datos de BP L1-L2.
        NOTA: Elegimos el italiano para los datos del PB porque webMAUS no proporciona modelos acústicos preentrenados para la alineación forzada del PB. La literatura fonética señala que la fonología del italiano posee un inventario de siete vocales simétrico algo comparable, al igual que el PB40, así como similitudes acústicas consonánticas41,42.
      5. Mantenga las opciones predeterminadas para 'Formato de salida' y 'Conservar todo'.
      6. Verifique el Ejecutar cuadro de opción para aceptar los términos de uso (ver flecha verde en Figura 2C).
      7. Haga clic en el Servicio web de ejecución botón para ejecutar los archivos cargados en el alineador.
        NOTA: Para cada archivo de audio, el alineador MAUS devuelve un Praat TextGrid objeto (un archivo '.txt' preformateado para Praat que contiene la anotación de palabras, sílabas fonológicas y fonos basada en la transcripción lingüística extraída del archivo '.txt' descrito en el paso 1.3.1).
      8. Haga clic en el Descargar como archivo ZIP botón para descargar los archivos TextGrid como un archivo comprimido (zip)Figura 2C).
        NOTA: Asegúrese de que los archivos TextGrid comprimidos se descarguen en la misma carpeta que los archivos de audio.
      9. Extraiga los archivos TextGrid para un posterior realineamiento en el software de análisis fonético43.
    6. Realice el realineamiento.
      1. Acceda y descargue el script para Praat VVUnitAligner44 desde https://github.com/leonidasjr/VVunitAlignerCode_webMAUS/blob/main/VVunitAligner.praat
      2. Certifique que todos los pares de archivos del mismo idioma y el VVUnitAligner los guiones están en la misma carpeta
        NOTA: Una carpeta para los archivos en inglés L1-L2 y el VVunitAligner, y una carpeta para los archivos BP L1-L2 y el VVunitAligner.
      3. Abra el software de análisis fonético.
      4. Haga clic Praat | Abrir script de Praat… para llamar el script desde el ventana del objeto.
      5. Haga clic en el Ejecutar botón una vez
        NOTA: Un formulario denominado Alineación silábica fonética que contiene la configuración para usar el script aparecerá en la pantalla (Figura 3A).
      6. Haga clic en el Idioma botón para elegir entre los idiomas 'inglés (EE. UU.)', 'portugués (BR)', 'francés (FR)' o 'español (ES)'
      7. Haga clic en el Segmentación de fragmentos botón para elegir entre el procedimiento de segmentación 'Automático', 'Forzado (manual)' o 'Ninguno'.
      8. Verifique el Guardar archivos TextGrid opción para guardar automáticamente los nuevos archivos TextGrid.
      9. Haga clic Aceptar | Ejecutar botones para una realineación de las unidades fonéticas del paso 1.3.5.7
        NOTA: Para cada archivo de audio, VVUnitAligner generará un nuevo archivo TextGrid para la sección 1.3.7Figura 3B).
    7. Realice la extracción automática de las características acústicas.
      1. Acceda y descargue el script SpeechRhythmExtractor45 desde https://github.com/leonidasjr/SpeechRhythmCode/blob/main/SpeechRhythmExtractor.praat para la extracción automática de las características prosódico-acústicas.
      2. Cree una nueva carpeta y coloque SpeechRhythmExtractor junto con todos los pares de archivos de audio y TextGrid de todos los idiomas.
      3. Abra el software de análisis fonético.
      4. Haga clic Praat | Abrir script de Praat… para llamar el script desde el ventana del objeto.
      5. Haga clic en el Ejecutar botón solo una vez
        NOTA: Aparecerá en la pantalla un formulario con la configuración del script. En los cuadros correspondientes a los nombres de archivo de salida '.txt', cambie los nombres de los archivos según corresponda o mantenga los nombres predeterminados.
      6. Verifique el parámetros de calidad de la voz opción para guardar el Archivo de salida VQ para la calidad de la voz (Figura 3C).
        NOTA: Este segundo archivo de salida (el Archivo de salida VQ) contiene los parámetros de la diferencia entre el 1st y el 2nd armónicos (H1-H2) y el Pico de Prominencia Cepstral (CPP)9.
      7. Verifique el Objetivo lingüístico opción para elegir entre las etiquetas 'Idioma', 'Dialecto' o 'Acento' (Figura 3C).
      8. Verifique el Unidad opción para elegir las características de f0 en Hz o en semitonos (Figura 3C).
      9. Configurar los valores para umbral F0, los umbrales mínimo y máximo de f0 (Figura 3C).
        NOTA: A menos que la investigación tenga objetivos específicos o características de audio preestablecidas, se recomienda encarecidamente dejar los parámetros del paso 1.3.7.9 con los valores predeterminados.
      10. Haga clic Aceptar | Ejecutar para la extracción automática de las características acústicas.
        NOTA: El guion SpeechRhythmExtractor devuelve un archivo '.txt' delimitado por tabulaciones (Archivo de salida/ Archivo de salida VQ) que contiene las características acústicas extraídas de los hablantes.
  4. Análisis estadístico
    1. Cargue la hoja de cálculo que contiene las características acústicas en R46 entorno (o cualquier entorno/software estadístico de elección).
    2. Realice estadísticas no paramétricas mediante modelos aditivos generalizados (GAM).
      1. Realice GAM en R.
      2. Escriba los siguientes comandos y presione Introducir.
        library(mgcv)
        modelo = gam(el característica métrica/prosódica-acústica en el análisis ~ el Idioma + s(la seleccionada característica métrica, por = el Idioma) + otros características métricas/prosódicas-acústicas, datos = el marco de datos)
        NOTA: Decidimos realizar las estadísticas de prueba del protocolo en el lenguaje de programación R debido a su creciente popularidad entre los fonetistas (y lingüistas) en la comunidad académica. R ha sido ampliamente utilizado en investigaciones fonéticas de campo47. Tenga en cuenta que el paso 1.4.2.2 contiene un pseudocódigo. Escriba el código según las variables de la investigación.

figure-protocol-2
Figura 2: Captura de pantalla del alineamiento fonético utilizando el alineador forzado MAUS. (A) El rectángulo punteado sirve para arrastrar y soltar los archivos 'my_file.wav'/'my_file.txt' o hacer clic dentro para buscar dichos archivos en la carpeta; el botón de carga se indica con la flecha roja. (B) Los archivos cargados desde el panel A (ver flecha azul), la canalización que se utilizará, el idioma para los pares de archivos, el formato de archivo que se devolverá y un botón 'verdadero/falso' para conservar todos los archivos. (C) Los términos de uso con casilla de verificación (ver flecha verde), el botón Ejecutar servicios web y los resultados (archivos TextGrid para descargar). Haga clic aquí para ver una versión más grande de esta figura.

figure-protocol-3
Figura 3: Captura de pantalla del procedimiento de realineación. (A) Formulario de configuración de entrada para el procedimiento de realineación. (B) Forma de onda parcial, espectrograma de banda ancha con contorno de f0 (azul) y seis niveles segmentados (y etiquetados) como nivel 1: unidades desde el inicio de una vocal hasta el inicio de la siguiente vocal (V_a_V); inicio de vocal (V_a_V); nivel 2: unidades de vocal (V), consonante (C) y pausa (#); nivel 3: representaciones fónicas V_a_V; nivel 4: algunas palabras del texto; nivel 5: algunos fragmentos (CH) del habla del texto; nivel 6: nivel tonal que contiene el tono más alto (H) y el más bajo (L) de cada fragmento de habla producido por una hablante nativa de inglés americano. (C) Configuración de entrada para la extracción automática de las características acústicas. Haga clic aquí para ver una versión más grande de esta figura.

2. Percepción del habla

NOTA: Realizamos cuatro ruedas de reconocimiento vocal en inglés con oyentes estadounidenses y cuatro ruedas en portugués brasileño con oyentes brasileños. Véase Figura 4 para un diagrama de flujo sobre la percepción del habla.

figure-protocol-4
Figura 4: Diagrama de flujo esquemático para la percepción del habla. Haga clic aquí para ver una versión más grande de esta figura.

  1. Participantes
    1. Elija participantes diferentes para cada grupo a los que participaron en el protocolo de producción del habla.
      NOTA: Se seleccionaron dos grupos de participantes para esta parte del protocolo: Grupo 1: El American Einglés (de los Estados Unidos) Loyentes (AmE-L), y Grupo 2: El Brazilian Loyentes (Bra-L). Para la presente investigación, tanto AmE-L como Bra-L se consideraron competentes en el segundo idioma (ambos grupos fueron calificados como B2-C1)36 El hablante de inglés como lengua materna (AmE-L) había vivido dos años en Brasil cuando se realizaron los procedimientos. El hablante de portugués brasileño como lengua materna (Bra-L) había vivido más de dos años en Estados Unidos cuando se realizaron los procedimientos. Durante su estancia en el extranjero, ambos grupos solían hablar su segunda lengua (L2) con fines académicos y laborales (al menos seis días a la semana durante aproximadamente 4 a 5 horas diarias).
    2. Determinar el número de participantes, el idioma (L1 inglés, L2 portugués; L1 portugués, L2 inglés), el sexo (hembra o macho), el edad (media, desviación estándar), el características del grupo (profesionales o estudiantes universitarios) y el Nivel de competencia en L2 para cada grupo.
  2. Las ruedas de reconocimiento vocal
    NOTA: Divida los procedimientos de los reconocimientos vocales en dos pasos diferentes: preparar y realizar los reconocimientos vocales.
    1. Preparar cuatro ruedas de reconocimiento vocal en inglés y cuatro en portugués brasileño.
      1. Obtenga archivos de audio de los hablantes de la sección 1: Producción del habla.
      2. Certifique que los archivos de audio de cada factor lingüístico se encuentran en carpetas separadas.
      3. Elija aleatoriamente seis segmentos de voz en inglés L1 o BP L1.
        NOTA: Seis voces en la lista representan una voz objetivo y cinco láminas.
      4. Elija un fragmento de voz en inglés L2 o en portugués brasileño L2 de uno de los hablantes incluidos en el paso 2.2.1.3.
        NOTA: El fragmento de voz en el paso 2.2.1.4 es el voz de referencia. Los fragmentos deben tener aproximadamente 20 s de duración.8.
      5. Acceda y descargue el script para Praat CreateLineup48 desde https://github.com/pabarbosa/prosody-scripts-CreateLineUp
      6. Asegúrese de que la voz de referencia L2, las distracciones L1 y la voz objetivo L1 se encuentren en la misma carpeta antes de ejecutar el script CreateLineup (Figura 5).
      7. Abra el software de análisis fonético.
      8. Desde el ventana del objeto, haga clic Praat | Abrir script de Praat… para llamar el script.
      9. Haga clic Ejecutar | Ejecutar.
        NOTA: El script devuelve un archivo en el siguiente orden: (la voz de referencia L2) + (la voz objetivo L1 y las voces distractoras distribuidas aleatoriamente)Figura 5).
    2. Realización de los reconocimientos auditivos
      1. Cree un espacio en línea para alojar las alineaciones en cualquier plataforma de su elección (por ejemplo, SurveyMonkey. Consulte el Tabla de materiales) para realizar de forma remota los reconocimientos orales.
      2. Acceda al enlace del espacio en línea.
      3. Suba los archivos devueltos por el script CreateLineup a la plataforma.
      4. Realice el procedimiento antes que los participantes para probar cada paso.
        NOTA: Se recomienda acceder previamente al enlace y ejecutar las alineaciones para verificar si todo está funcionando correctamente.
  3. Análisis estadístico
    1. Cargue la hoja de cálculo que contiene las puntuaciones de las valoraciones de los oyentes en el entorno R (o cualquier software/entorno estadístico de elección).
      1. Realice la prueba de Kruskal-Wallis en R.
      2. Escriba los siguientes comandos y presione Ingresar.
        ​modelo = kruskal.test(juicios ~ cada uno ronda de voces, datos = el marco de datos)
    2. Realice una prueba post hoc de Dunn.
      1. Realice la prueba de Dunn en R.
      2. Escriba los siguientes comandos y presione Entrar.
        library(FSA)
        modelo = dunnTest(juicios ~ cada uno ronda de voces, datos = datos, método = "bonferroni")
        NOTA: Los códigos en los pasos 2.3.1.2 y 2.3.2.2 son pseudocódigos (ver NOTA 1.4.2.2).
  4. Análisis de similitud acústica
    1. Seleccione las alineaciones (véase NOTA en el paso 2.2.1.3) que presentaron diferencias no significativas entre el objetivo y cualquiera de las distractores.
    2. Repita los procedimientos de los pasos 1.3.1 a 1.3.7.5, y de los pasos 1.3.7.8 a 1.3.7.10.
    3. Acceda y descargue el script para Python49, SimilitudAcústica_coseno_euclidiana50 de https://github.com/leonidasjr/AcousticSimilarity/blob/main/AcousticSmilarity_cosine_euclidean.py
      NOTA: El script devuelve tres matrices (en formato '.txt' y '.csv'): una para la similitud del coseno51,52, uno para la distancia euclidiana52,53y uno para los valores de distancia euclidiana transformada, así como una comparación por pares entre la voz objetivo y cada distractor.
    4. Asegúrese de que el script se haya descargado en la misma carpeta que el conjunto de datos de alineación.
    5. Haga clic en Abrir archivo… botón para llamar al script.
    6. Haga clic Ejecutar | Ejecutar sin depuración botones.
      NOTA: El segundo Ejecutar el botón puede estar etiquetado como Ejecutar o ejecutar sin depuración o Ejecutar secuencia de comandos. Todos ejecutan los mismos comandos. Simplemente depende del entorno de Python utilizado.
    7. Realice pruebas de similitud vocal basadas en características acústicas.
      ​NOTA: La similitud del coseno (o distancia del coseno) es una técnica aplicada en inteligencia artificial (IA), particularmente en aprendizaje automático en sistemas de reconocimiento automático del habla (RAH). Es una medida de similitud entre cero y uno. Una similitud del coseno cercana a uno significa que es muy probable que dos voces sean similares. Una similitud del coseno cercana a cero indica que es muy probable que las voces sean diferentes.52La distancia euclidiana, a menudo denominada similitud euclidiana, también se utiliza ampliamente en inteligencia artificial, aprendizaje automático y reconocimiento automático del habla. Representa la distancia en línea recta entre dos puntos en el espacio euclidiano.53, es decir, cuanto más cercanos sean los puntos (valores más bajos de distancia), mayor será la similitud entre las voces. Para una comprensión más clara de los resultados obtenidos con ambas técnicas, transformamos los puntajes brutos de la distancia euclidiana en valores que van de cero (menor similitud vocal) a uno (mayor similitud vocal)54.

figure-protocol-5
Figura 5: Configuración del directorio para la percepción del habla. Carpetas de formación en fila. Cada carpeta contiene seis voces de L1, la voz objetivo de L2, el script «CreateLineup» y el archivo de audio de la formación en fila (devuelto tras ejecutar el script). Haga clic aquí para ver una versión más grande de esta figura.

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Resultados

Resultados para la producción del habla
En esta sección, describimos el desempeño de las características prosódico-acústicas y métricas rítmicas estadísticamente significativas. Dichas características prosódicas fueron las tasas de habla, articulación y pausas, que se relacionan con la duración, y el temblor, que se relaciona con la calidad de la voz. Las métricas rítmicas fueron la desviación estándar (SD) de la duración silábica, SD de consonante, SD de duración vocálica o consonántica y el coefi...

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Discusión

El protocolo actual presenta una novedad en el campo de la fonética (forense). Se divide en dos fases: una basada en la producción (análisis acústico) y otra basada en la percepción (análisis de juicio). La fase de análisis de producción comprende la preparación de datos y la alineación forzada, la realineación y la extracción automática de características prosódico-acústicas además de las estadísticas. Este protocolo conecta la etapa de recopilación de datos con el análisis de datos de una manera más rápida y eficiente ...

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Divulgaciones

Los autores no tienen conflictos de intereses que declarar.

Agradecimientos

Este estudio fue apoyado por el Consejo Nacional de Desarrollo Científico y Tecnológico - CNPq, subvención n.º 307010/2022-8 para el primer autor, y subvención n.º 302194/2019-3 para el segundo autor. Los autores desean expresar su sincero agradecimiento a los participantes de esta investigación por su generosa cooperación e invaluables contribuciones.

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Materiales

Lista de materiales utilizados en este artículo
NombreEmpresaNúmero de catálogoComentarios
CreateLineupColección personal#Script for praat para la preparación de alineaciones
de voz Dell I3 (con unidad de estado sólido - SSD) Dell#Ordenador portátil
PraatPaul Boersma & David Weenink#Software para el análisis fonético
Python 3Python Software Foundation#Lenguaje de programación interpretado, de alto nivel, de propósito general 
RThe R Project for Statistical Computing#Lenguaje de programación para la computación estadística
Shure Beta SM7BShure#Microphone
SpeechRhythmExtractorPersonal collection#Script for praat for automatic extraction of acoustic
features SurveyMonkeySurveyMonkey Inc.#Ensamblaje de encuestas personalizables gratuitas, así como un conjunto de programas de back-end que incluyen análisis de datos, selección de muestras, eliminación de sesgos y representación de datos.
Tascam DR-100 MKIITascam#Grabadora de voz digital
El sistema de segmentación automática de Múnich MAUSUniversidad de Múnich#Alineador forzado de archivos de audio (.wav) e información lingüística (.txt)
VVUnitAlignerColección personal#Script para praat para el realineamiento automático y el post-procesamiento de unidades fonéticas

Referencias

  1. Moyer, A. Foreign Accent: The Phenomenon of Non-native Speech. , Cambridge University Press. (2013).
  2. Munro, M., Derwing, T. Foreign accent, comprehensibility and intelligibility, redux. J Second Lang Pronunciation. 6 (3), 283-309 (2020).
  3. Levis, J. Intelligibility, Oral Communication, and the Teaching of Pronunciation. , Cambridge University Press. (2018).
  4. Munro, M. Applying Phonetics: Speech Science in Everyday Life. , Wiley-Blackwell. (2022).
  5. Gut, U. Speaker Classification. Muller, C. , Springer-Verlag. 75-87 (2007).
  6. Rogers, H. Foreign accent in voice discrimination: a case study. Forensic Linguistics. 5 (2), 203-208 (1998).
  7. Solan, L., Tiersma, P. Hearing Voices: Speaker Identification in Court. Hastings Law Journal. 54, 373-436 (2003).
  8. Alcaraz, J. The long-term average spectrum in forensic phonetics: From collation to discrimination of speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 87-110 (2023).
  9. Silva, L. Jr, Barbosa, P. A. Voice disguise and foreign accent: Prosodic aspects of English produced by Brazilian Portuguese speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 195-226 (2023).
  10. Munro, M., Derwing, T. Modeling perceptions of the accentedness and comprehensibility of L2 speech. Studies in Second Language Acquisition. 23 (4), 451-468 (2001).
  11. Keating, P., Esposito, C. Linguistic Voice Quality. Working Papers in Phonetics. , 85-91 (2007).
  12. Niebuhr, O., Skarnitzl, R., Tylečková, L. The acoustic fingerprint of a charismatic voice -Initial evidence from correlations between long-term spectral features and listener ratings. Proceedings of Speech Prosody. , 359-363 (2018).
  13. Segundo San, E. International survey on voice quality: Forensic practitioners versus voice therapists. Estudios de Fonética Experimental. 29, 8-34 (2021).
  14. Farrús, M. Fusing prosodic and acoustic information for speaker recognition. International Journal of Speech, Language and the Law. 16 (1), 169(2009).
  15. Farrús, M. Voice disguise in automatic speaker recognition. ACM Computing Surveys. 51 (4), 1-2 (2018).
  16. Nolan, F. A recent voice parade. The International Journal of Speech, Language and the Law. 10 (2), 277-291 (2003).
  17. McDougall, K. Ear-catching versus eye-catching? Some developments and current challenges in earwitness identification evidence. Speaker Individuality in Phonetics and Speech Sciences. Bernardasci, C., Dipino, D., Garassino, D., Negrinelli, S., Pellegrino, E., Schmid, S. , Officinaventuno. 33-56 (2021).
  18. Gut, U. Rhythm in L2 speech. Speech and Language Technology. 14 (15), 83-94 (2012).
  19. Urbani, M. Pitch Range in L1/L2 English. An Analysis of F0 using LTD and Linguistic Measures. Coop. , Libraria Editrice Università di Padova. (2012).
  20. Gonzales, A., Ishihara, S., Tsurutani, C. Perception modeling of native and foreign-accented Japanese speech based on prosodic features of pitch accent. J Acoust Soc Am. 133 (5), 3572(2013).
  21. Silva, L. Jr, Barbosa, P. A. Speech rhythm of English as L2: an investigation of prosodic variables on the production of Brazilian Portuguese speakers. J Speech Sci. 8 (2), 37-57 (2019).
  22. Foreign accent and L2 speech rhythm of English a pilot study based on metric and prosodic parameters. Silva, L. Jr, Barbosa, P. A. Proceedings of the II Brazilian Conference on Prosody (Anais II Congresso Brasileiro de Prosódia), 1, 41-50 (2023).
  23. Costa, A. El cerebro bilingüe: La neurociencia del lenguaje. , Penguin Randon House. (2017).
  24. Eriksson, A. Tutorial on forensic speech science: Part I. Forensic Phonetics. , (2005).
  25. Harvey, M., Giroux, M., Price, H. Lineup size influences voice identification accuracy. Applied Cognitive Psychology. 37 (5), 42-89 (2023).
  26. Pautz, N., et al. Identifying unfamiliar voices: Examining the system variables of sample duration and parade size. Q J Exp Psychol (Hove). 76 (12), 2804-2822 (2023).
  27. McDougall, K., Nolan, F., Hudson, T. Telephone transmission and earwitnesses: Performance on voice parades controlled for voice similarity. Phonetica. 72 (4), 257-272 (2015).
  28. Nolan, F., McDougall, K., Hudson, T. Some acoustic correlates of perceived (dis) similarity between same-accent voices. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2011). , 1506-1509 (2011).
  29. Sheoran, S., Mahna, D. Voice identification and speech recognition: an arena of voice acoustics. Eur Chem Bull. 12 (5), 50-60 (2023).
  30. Hudson, T., McDougall, K., Hughes, V. Forensic phonetics. The Cambridge Handbook of Phonetics. Knight, R. -A., Setter, J. , Cambridge University Press. 631-656 (2021).
  31. Eriksson, A. The disguised voice: Imitating accents or speech styles and impersonating individuals. Language and identities. Llamas, C., Watt, D. , Edinburgh University Press. 86-96 (2010).
  32. Köster, O., Schiller, N. Different influences of the native language of a listener on speaker recognition. Forensic Linguistics. 4 (1), 18-27 (1997).
  33. The influence of native-language background on speaker recognition. Köster, O., Schiller, N., Künzel, H. Proceedings of the International Congress of Phonetic Sciences (ICPhS 1995), , 306-309 (1995).
  34. Thompson, C. P. A language effect in voice identification. Applied Cognitive Psychology. 1, 121-131 (1987).
  35. San Segundo, E., Univaso, P., Gurlekian, J. Sistema multiparamétrico para la comparación forense de hablantes. Estudios de Fonética Experimental. 28, 13-45 (2019).
  36. Council of Europe. Common European Framework of Reference for Languages: Learning, Teaching, Assessment. , Press Syndicate of the University of Cambridge. (2001).
  37. How to use Tascam DR-100 MKII: Getting started. , https://www.youtube.com/watch?v=O2E72uV9fWc (2018).
  38. Getting the most from your Shure SM58 microphone. , https://www.youtube.com/watch?v=wweNufW7EXA (2020).
  39. Kisler, T., Reichel, U. D., Schiel, F. Multilingual processing of speech via web services. Computer Speech & Language. 45, https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface/WebMAUSBasic 326-347 (2017).
  40. Escudero, P., Boersma, P., Rauber, A., Bion, R. A cross-dialect acoustic description of vowels: Brazilian and European Portuguese. J Acoust Soc Am. 126 (3), 1379-1393 (2009).
  41. Post-aspiration in standard Italian: some first cross-regional acoustic evidence. Stevens, M., Hajek, J. Proceedings 11th Conference of the International Speech Communication Association (INTERSPEECH 2010), , 1557-1560 (2011).
  42. Barbosa, P., Madureira, S. Manual de Fonética Acústica Experimental: aplicações a dados do português. , Cortez. (2015).
  43. Boersma, P., Weenink, D. Praat: Doing phonetics by computer. (Version 6.1.38) [Computer program]. , https://www.praat.org/ (1992-2021).
  44. Silva, L. Jr VVUnitAligner. [Computer program]. , https://github.com/leonidasjr/VVunitAlignerCode_webMAUS (2022).
  45. Silva, L. Jr, Barbosa, P. A. SpeechRhythmExtractor [Computer program]. , https://github.com/leonidasjr/VowelCode (2019-2023).
  46. R Core Team. A language and environment for statistical computing. R Foundation for Statistical Computing. , https://www.R-project.org/ (2023).
  47. Pigoli, D., Hadjipantelis, P. Z., Coleman, J. Z., Aston, J. The statistical analysis of acoustic phonetic data. Journal of the Royal Statistical Society. 67 (5), 1103-1145 (2018).
  48. Barbosa, P. A. CreateLineup [Computer program]. , https://github.com/pabarbosa/prosody-scripts-CreateLineUp (2021).
  49. Van Rossum, G., Drake, F. L. Python 3 Reference Manual. , CreateSpace. (2009).
  50. Silva, L. Jr AcousticSimilarity_cosine_euclidean. [Computer program]. , https://github.com/leonidasjr/AcousticSimilarity/blob/main/AcousticSmilarity_cosine_euclidean.py (2024).
  51. Automatic assessment of voice similarity within and across speaker groups with different accents. Gerlach, L., McDougall, K., Kelly, F., Alexander, A. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023), , 3785-3789 (2023).
  52. Gahman, N., Elangovan, V. A comparison of document similarity algorithms. International Journal of Artificial Intelligence and Applications. 14 (2), 41-50 (2023).
  53. San Segundo, E., Tsanas, A., Gómez-Vilda, P. Euclidean distances as measures of speaker similarity including identical twin pairs: A forensic investigation using source and Filter voice characteristics. Forensic Science International. 270, 25-38 (2017).
  54. Speaker's voice characteristics and similarity measurement using Euclidean distances. Singh, M. K., Singh, N., Singh, A. K. Proceedings of the International Conference on Signal Processing and Communication (ICSC 2019), , 317-322 (2019).
  55. Darling-White, M., Banks, W. Speech rate varies with sentence length in typically developing children. J Speech Lang Hear Res. 64 (6), 2385-2391 (2021).
  56. Barbosa, P. A. Incursões em torno do ritmo da Fala. , Pontes Editores. (2006).
  57. Golestani, N., Pallier, C. Anatomical correlates of foreign speech sound production. Cereb Cortex. 17 (4), 929-934 (2007).
  58. Trouvain, J., Fauth, C., Möbius, B. Breath and non-breath pauses in fluent and disfluent phases of German and French L1 and L2 read speech. Proceedings of Speech Prosody. , 31-35 (2016).
  59. Waaning, J. The Lombard effect: the effects of noise exposure and being instructed to speak clearly on speech acoustic parameters. [Master's thesis]. , Radboud University. (2021).
  60. Villegas, J., Perkins, J., Wilson, I. Effects of task and language nativeness on the Lombard effect and on its onset and offset timing. J Acoust Soc Am. 149 (3), 1855(2021).
  61. Differences between native and non-native Lombard speech in terms of pitch range. Proceedings of the 23rd International Congress on Acoustics(ICA 2019). Marcoux, K., Ernestus, M. , 5713-5720 (2019).
  62. Marcoux, K., Ernestus, M. Pitch in native and non-native Lombard speech. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2019). , 2605-2609 (2019).
  63. Marcoux, K., Ernestus, M. Acoustic characteristics of non-native Lombard speech in the DELNN corpus. Journal of Phonetics. 102, 1-25 (2024).
  64. Gil, J., San Segundo, E. La cualidad de voz en fonética judicial [Voice quality in judicial phonetics]. Lingüística Forense: la Lingüística en el ámbito legal y policial. Garayzábal, M., Jiménez, M., Reigosa, M. , Euphonía Ediciones. 154-199 (2014).
  65. Gil, J., San Segundo, E. El disimulo de la cualidad de voz en fonética judicial: Estudio perceptivo de la hiponasalidad [Voice quality disguise in judicial phonetics: A perceptual study of hyponasality. Panorama de la fonética española actual. Penas-báñez, M. A. , Arco Libros. 321-366 (2013).
  66. Passeti, R., Madureira, S., Barbosa, P. What can voice line-ups tell us about voice similarity. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 3765-3769 (2023).
  67. Nolan, F. The DyViS database: Style-controlled recordings of 100 homogeneous speakers for forensic phonetic research. International Journal of Speech Language and the Law. 16 (1), 31-57 (2009).
  68. Caroll, D. Psychology of Language. , Wadsworth. (1994).
  69. Ortega-Llebaria, M., Silva, L. Jr, Nagao, J. Macro- and micro-rhythm in L2 English: Exploration and Refinement of Measures. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 1582-1586 (2023).
  70. Fernández-Trinidad, M. Hacia la aplicabilidad de la cualidad de la voz en fonética judicial. Loquens. 9 (1-2), 1-11 (2022).
  71. Brouwer, S. The role of foreign accent and short-term exposure in speech-in-speech recognition. Atten Percep Psychophys. 81, 2053-2062 (2019).
  72. Love, R., Wright, D. Specifying challenges in transcribing covert recordings: Implications for forensic transcription. Front Commun. 6, 1-14 (2021).
  73. Meer, P. Automatic alignment for New Englishes: Applying state-of-the-art aligners to Trinidadian English. J Acoust Soc Am. 147 (4), 2283-2294 (2020).
  74. Montreal Forced Aligner: trainable text-speech alignment using Kaldi. McAuliffe, M., Socolof, M., Mihuc, S., Wagner, M., Sonderegger, M. Proceedings 18th Conference of the International Speech Communication Association (INTERSPEECH 2017), , 498-502 (2017).
  75. Chodroff, E. Montreal Forced Aligner: MFA Tutorial. , https://zenodo.org/records/7591607 (2023).

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Reimpresiones y permisos

Explorar más artículos

Características prosódicaspercepción del hablacalidad de la vozfrecuencia fundamentalreconocimiento del hablantesimilitud acústica
Acento extranjero e identificación forense de hablantes en alineaciones de voz: la influencia de las características acústicas basadas en la prosodia
Contáctenos
Recomendar a la biblioteca

Privacidad

Términos de uso

Políticas

Copyright © 2026 MyJoVE Corporation. Todos los derechos reservados.