Name: Acento extranjero e identificación forense de hablantes en alineaciones de voz: la influencia de las características acústicas basadas en la prosodia (Video) | JoVE Journal
Uploaded: 2024-09-27T12:35:00.000+00:00
Duration: 9 min 9 s
Description: Aprende cómo el acento extranjero afecta la identificación forense de hablantes mediante análisis de prosodia, frecuencia fundamental y calidad vocal. Este método mejora la comprensión de los juicios de oyentes en alineaciones de voz.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Este estudio fue apoyado por el Consejo Nacional de Desarrollo Científico y Tecnológico - CNPq, subvención n.º 307010/2022-8 para el primer autor, y subvención n.º 302194/2019-3 para el segundo autor. Los autores desean expresar su sincero agradecimiento a los participantes de esta investigación por su generosa cooperación e invaluables contribuciones.

Prosodic-Acoustic Features and L2 Speech Production for Forensic Applications

Los autores no tienen conflictos de intereses que declarar.

El protocolo actual presenta una novedad en el campo de la fonética (forense). Se divide en dos fases: una basada en la producción (análisis acústico) y otra basada en la percepción (análisis de juicio). La fase de análisis de producción comprende la preparación de datos y la alineación forzada, la realineación y la extracción automática de características prosódico-acústicas además de las estadísticas. Este protocolo conecta la etapa de recopilación de datos con el análisis de datos de una manera más rápida y eficiente que los protocolos tradicionales basados en una segmentación predominantemente manual.
Sin embargo, el proceso de realineación, que se muestra en los pasos de protocolo 1.3.6 a 1.3.6.9, funciona básicamente en las unidades de teléfono y palabra generadas en los pasos de protocolo 1.3.1 a 1.3.4. La novedad del proceso de realineación es que genera un nuevo TextGrid que contiene tres nuevos niveles de texto: un nivel silábico, un nivel de fragmento de voz que se puede generar de forma automática o manual en función de las palabras, y un nivel de tono que puede ser bastante útil para calcular los compases de f0. Las pautas de realineación propuestas para este protocolo se utilizaron previamente en estudios de ritmo del habla L2 21,69,70, estudios para la detección del grado de acento extranjero utilizando técnicas de aprendizaje automático22 y estudios en el dominio forense 9.
La extracción automática de características prosódicas, presentada en los pasos del protocolo 1.3.7 a 1.3.7.10, genera una matriz multidimensional de características prosódicas-acústicas como se pudo atestiguar en la investigación actual. Tales características incluyen características de habla melódicas, de duración y espectrales (calidad e intensidad de la voz)71. Un número considerable de estas características acústicas son menos sensibles y algo robustas a las grabaciones de audio ruidosas que eventualmente se recopilan en el escenario forense o en cualquier otro escenario72. Además, la matriz multidimensional se puede aplicar a los sistemas de reconocimiento de voz a través de varias técnicas de IA (trabajo en curso). Todavía puede ser bastante útil en la enseñanza de aspectos prosódicos en las clases de pronunciación L221 (trabajo en progreso).
El análisis estadístico de esta parte del protocolo representa el uso del método GAM, ya que se trata de una relación compleja entre una característica acústica específica y múltiples hablantes de factor de lenguaje. Para modelar una característica acústica específica, por ejemplo, era necesario verificar cómo se comportarían otras características acústicas de la matriz (los términos suaves) para que pudiéramos describir con mayor precisión lo que estaba sucediendo durante la producción del habla.
En cuanto al análisis de percepción, el protocolo actual se constituyó mediante la preparación e implementación de las alineaciones de voz, el análisis estadístico y el análisis de similitud acústica. Para preparar las alineaciones, usamos el script CreateLineup para Praat, que genera automáticamente un archivo de audio para cada alineación que contiene láminas secuenciadas aleatoriamente y voz de destino como se describe en los pasos del protocolo 2.2 a 2.2.1.9.
Para el análisis estadístico de este protocolo, se realizó la prueba no paramétrica de Kruskal-Wallis, ya que nuestros datos no cumplían con los supuestos del Análisis de Varianza (ANOVA). Una vez que tuvimos una relación entre las puntuaciones de juicio evaluadas por los oyentes y controlamos la voz objetivo y las láminas, optamos por utilizar las estadísticas del modelo lineal.
Para el análisis de similitud acústica, utilizamos el script AcousticSmilarity_cosine_euclidean para Python. El programa abre el árbol de directorios de la computadora y le pide al usuario que elija el archivo que contiene las características prosódico-acústicas de las láminas y la voz objetivo que compone la alineación en análisis. Con solo hacer clic en un botón, el script genera tres matrices de similitud: un coseno, un euclidiano y un euclidiano transformado (cero a uno), tanto en archivos '.txt' (delimitados por tabulaciones) como en '.csv'. Aún debemos tener en cuenta que cada conjunto de datos (el archivo '.txt' que contiene las características prosódico-acústicas de las láminas y el objetivo) debe estar en la carpeta original de la alineación, y cada carpeta de alineación debe tener una copia del script AcousticSmilarity_cosine_euclidean .
En resumen, el protocolo actual avanza en la investigación fonética (forense). Comprende distintas fases (análisis de producción y percepción, así como similitud acústica), cierra la brecha entre la recopilación de datos y el análisis multidimensional de características acústicas. Los investigadores pueden beneficiarse de una perspectiva holística, explorando tanto los aspectos de producción como los de percepción. Además, este protocolo garantiza la reproducibilidad de la investigación, lo que permite a otros basarse en las pautas de este trabajo.
Limitaciones y direcciones futuras Aún debemos tener en cuenta que todo saldrá bien si la preparación de los datos sigue las pautas propuestas en los pasos del protocolo 1.3.1 a 1.3.4. Además, en los procedimientos de alineación forzada, debemos ser conscientes de que un alineador forzado externo preentrenado -como MAUS utilizado en el presente trabajo- es susceptible de errores de segmentación, especialmente en datos con acento extranjero no preentrenados o incluso en alineadores preentrenados, ya sea que el audio no tenga una buena calidad o que el alineador no contenga el idioma de audio (este hecho haría que el trabajo del experto sea más difícil y lento). La transcripción forense, especialmente de archivos de audio más largos, encuentra dificultades con respecto a la representación precisa y confiable de las grabaciones habladas72.
También hay varios desafíos en la transcripción y alineación de archivos de audio más largos. El rendimiento del alineador se ve afectado por el estilo de habla y el entorno fonético, así como por factores específicos del dialecto. Aunque existen diferencias específicas de alineadores, en general, su rendimiento es similar y genera segmentaciones que se comparan bien con la alineación manualen general 73. Además, la producción de inglés L1 y L2 se llevó a cabo con un modelo acústico preentrenado de inglés americano debido a la falta de disponibilidad de modelos de habla extranjera en MAUS. Además, no hay modelos acústicos preentrenados para BP en MAUS. Para los datos de BP, se utilizaron los modelos acústicos preexistentes de italiano (véase NOTA, paso 1.3.5.7 del protocolo).
En trabajos futuros (en curso), utilizaremos el Alineador Forzado de Montreal (MFA)74 como parte del protocolo. Una gran ventaja de MFA es la disponibilidad de modelos acústicos preentrenados y modelos de grafema a fonema para una amplia variedad de idiomas (incluido BP), así como la capacidad de entrenar nuevos modelos acústicos y de grafema a fonema para cualquier conjunto de datos nuevo (es decir, nuestro corpus de habla con acento extranjero)75.

El acento es un aspecto destacado y dinámico de la comunicación y la fluidez, tanto en la lengua materna (L1) como en una lengua extranjera (L2)1. El acento extranjero representa las características fonéticas de la L2 de una lengua de destino, y puede cambiar (con el tiempo) en respuesta a la experiencia del hablante en la L2, el estilo de habla, la calidad de la entrada, la exposición, entre otras variables. Un acento extranjero se puede cuantificar como un grado (escalar) de diferencia entre el habla L2 producida por un hablante extranjero y un acento local o de referencia del idioma de destino2,3,4,5.
Esta investigación tiene como objetivo examinar tanto las características prosódico-acústicas como los correlatos perceptivos del inglés con acento extranjero y el portugués brasileño (BP) con acento extranjero, así como verificar hasta qué punto las producciones de los hablantes de acentos extranjeros y nativos están correlacionadas con la percepción de los oyentes. Investigaciones previas en el campo forense han demostrado la robustez de las vocales y consonantes en la identificación de acento extranjero, ya sea como estables para un análisis a largo plazo de un individuo (The Lo Case6) o refiriéndose a la alta precisión de identificación de un hablante (The Lindbergh Case7). Sin embargo, la exploración de las características prosódico-acústicas basadas en la duración, la frecuencia fundamental (f0, es decir, el correlato acústico del tono), la intensidad y la calidad de la voz (VQ) ha ganado cada vez más atención8,9. Por lo tanto, la elección de las características prosódico-acústicas en este estudio representa una vía prometedora en el campo de la fonética forense8,10,11,12,13.
La presente investigación está respaldada por estudios dedicados a los acentos extranjeros como una forma de disfraz de voz en casos forenses14,15, así como en la preparación de alineaciones de voz para el reconocimiento de hablantes16,17. Por ejemplo, la velocidad del habla jugó un papel importante en la identificación de los hablantes de inglés, alemán, italiano, japonés y brasileño18,19,20,21,22. Además de la velocidad del habla, las características espectrales y f0 a largo plazo desafían a los hablantes competentes en L2 con la familiaridad con el idioma objetivo porque el cerebro y las bases cognitivas sufren un déficit en la memoria, la atención y la emoción, lo que se refleja en el rendimiento fonético del hablante durante los turnos largos del habla23. La visión de los acentos extranjeros en el campo forense es que la definición de lo que realmente suena como un acento extranjero depende en gran medida de la falta de familiaridad del oyente en lugar de tener un grado nada extremo de habla con acento extranjero24.
En el dominio perceptivo, una herramienta forense común utilizada desde mediados de la década de 1990 para el reconocimiento de criminales es la Alineación de Voz (reconocimiento auditivo), que es análoga al reconocimiento visual utilizado para identificar a un perpetrador en una escena del crimen16,25. En una alineación de voces, la voz del sospechoso se presenta junto a otras voces similares en aspectos sociolingüísticos como la edad, el sexo, la ubicación geográfica, el dialecto y el estado cultural, para su identificación por parte de un testigo. El éxito o el fracaso de una alineación de voces dependerá del número de muestras de voz y de la duración de las muestras25,26. Además, en el caso de las muestras del mundo real, se considera que la calidad del audio influye constantemente en la precisión del reconocimiento de voz. Una mala calidad de audio puede distorsionar las características únicas de una voz27. En el caso de similitud de voz, los detalles fonéticos finos basados en f0 pueden confundir al oyente durante el reconocimiento de voz28,29. Tales características acústicas se extienden más allá de f0 y abarcan elementos de duración, y características espectrales de intensidad y VQ30. Esta visión de múltiples características prosódicas es crucial en el contexto de la comparación forense de voces para garantizar una identificación precisa del hablante9,14,15,29,31.
En resumen, los estudios de fonética forense han mostrado algunas variaciones con respecto a la identificación del acento extranjero en las últimas décadas. Por un lado, un acento extranjero no parece afectar el proceso de identificación de un hablante32,33 (especialmente si el hablante no está familiarizado con el acento extranjero objetivo34). Por otro lado, hay hallazgos en la dirección opuesta12,34,35.

<table><tbody><tr><td>CreateLineup</td><td>Colección personal</td><td>#</td><td>Script for praat para la preparación de alineaciones</td></tr><tr><td>de voz Dell I3 (con unidad de estado sólido - SSD)&nbsp;</td><td>Dell</td><td>#</td><td>Ordenador portátil</td></tr><tr><td>Praat</td><td>Paul Boersma & David Weenink</td><td>#</td><td>Software para el análisis fonético</td></tr><tr><td>Python 3</td><td>Python Software Foundation</td><td>#</td><td>Lenguaje de programación interpretado, de alto nivel, de propósito general&nbsp;</td></tr><tr><td>R</td><td>The R Project for Statistical Computing</td><td>#</td><td>Lenguaje de programación para la computación estadística</td></tr><tr><td>Shure Beta SM7B</td><td>Shure</td><td>#</td><td>Microphone</td></tr><tr><td>SpeechRhythmExtractor</td><td>Personal collection</td><td>#</td><td>Script for praat for automatic extraction of acoustic</td></tr><tr><td>features SurveyMonkey</td><td>SurveyMonkey Inc.</td><td>#</td><td>Ensamblaje de encuestas personalizables gratuitas, así como un conjunto de programas de back-end que incluyen análisis de datos, selección de muestras, eliminación de sesgos y representación de datos.</td></tr><tr><td>Tascam DR-100 MKII</td><td>Tascam</td><td>#</td><td>Grabadora de voz digital</td></tr><tr><td>El sistema de segmentación automática de Múnich MAUS</td><td>Universidad de Múnich</td><td>#</td><td>Alineador forzado de archivos de audio (.wav) e información lingüística (.txt)</td></tr><tr><td>VVUnitAligner</td><td>Colección personal</td><td>#</td><td>Script para praat para el realineamiento automático y el post-procesamiento de unidades fonéticas</td></tr></tbody></table>

acento extranjero e identificación forense de hablantes en alineaciones de voz: la influencia de las características acústicas basadas en la prosodia

Foreign Accent and Forensic Speaker Identification in Voice Lineups: The Influence of Acoustic Features Based on Prosody

Esta investigación tiene como objetivo examinar tanto las características prosódico-acústicas como los correlatos perceptivos del inglés con acento extranjero y el portugués brasileño con acento extranjero y verificar cómo las producciones de los hablantes de acentos extranjeros y nativos se correlacionan con la percepción de los oyentes. En la Metodología, llevamos a cabo un procedimiento de producción de habla con un grupo de hablantes americanos de L2 de portugués brasileño y un grupo de hablantes brasileños de L2 de inglés, y un procedimiento de percepción del habla en el que realizamos alineaciones de voz para ambas lenguas. Para el análisis estadístico de la producción del habla, se ejecutaron modelos aditivos generalizados para evaluar el efecto de los grupos lingüísticos en cada clase (métrica o prosódico-acústica) de características controladas para el efecto suavizante de las covariables de la clase opuesta. Para el análisis estadístico de la percepción del habla, se realizó una prueba de Kruskal-Wallis y una prueba de Dunn post-hoc para evaluar el efecto de las voces de las alineaciones en las puntuaciones juzgadas por los oyentes. Sin embargo, realizamos pruebas de similitud acústica (voz) basadas en las distancias del coseno y euclidiano. Los resultados mostraron diferencias acústicas significativas entre los grupos lingüísticos en términos de variabilidad del f0, duración y calidad de la voz. Para las alineaciones, los resultados indicaron que las características prosódicas de f0, intensidad y calidad de voz se correlacionaron con los juicios percibidos de los oyentes.

Esta investigación tuvo como objetivo hacer una comparación entre L1-L2-inglés y L1-L2 portugués para comprobar cuánto el efecto de un acento extranjero tiene en cuenta tanto las métricas como los parámetros prosódico-acústicos, así como la elección de la voz objetivo en una alineación de voz.

Acento extranjero e identificación forense de hablantes en alineaciones de voz: la influencia de las características acústicas basadas en la prosodia

This research aims to examine both the prosodic-acoustic features and the perceptual correlates of foreign-accented English and foreign-accented Brazilian ...

foreign-accent-forensic-speaker-identification-voice-lineups

Research

Investigación

JoVE Journal

Behavior

Comportamiento

El estudio introduce un paradigma de pruebas de entrenamiento para investigar los efectos antiguos/nuevos de los potenciales relacionados con eventos en escenarios prosódicos seguros y dudosos. Los datos revelan un componente positivo tardío mejorado entre 400-850 ms en Pz y otros electrodos. Esta canalización puede explorar factores más allá de la prosodia del habla y su influencia en la identificación de objetivos de enlace de señales.

Paradigma de entrenamiento y prueba basado en la memorización para el reconocimiento robusto de la identidad vocal en el habla expresiva mediante el análisis de potenciales relacionados con eventos

Un procedimiento que permite una demostración del aumento robusto de búsqueda de drogas en ratas con restricción alimenticia se describe. Después del entrenamiento de auto-administración de heroína, las ratas pasan por un período de abstinencia, en un ambiente libre de drogas, durante los cuales son levemente comida restringida. Búsqueda de drogas se prueba a continuación, en el medio ambiente asociados con las drogas.

Un procedimiento para estudiar el efecto de la prolongada restricción de alimentos en heroína Buscando en ratas abstinentes

No está claro cómo las señales de arriba hacia abajo de la corriente visual ventral afectan al movimiento. Hemos desarrollado un paradigma para probar el comportamiento del motor hacia un objetivo en una ilusión inversión de la profundidad 3D. Las diferencias significativas se registraron en ambos movimientos deliberados dirigidos a un objetivo y las acciones automáticas en condiciones de visión ilusoria y verídicos.

Los métodos para explorar la influencia de arriba hacia abajo Procesos Visuales en Comportamiento Motor

Se describe el paradigma de enlace distractor-respuesta. Se puede utilizar para arrojar luz sobre la influencia que los estímulos irrelevantes, que compiten con los objetivos por una respuesta, pueden tener en la acción humana. Tanto los efectos de recuperación de la respuesta como los efectos de inhibición del distractor pueden analizarse dentro del paradigma.

Estímulos irrelevantes y Control de la Acción: analizar la influencia de Ignorado estímulos a través del distractor-Respuesta Encuadernación Paradigma

Este protocolo describe un nuevo y eficiente método para iniciar rápidamente operante de responder durante etanol en ratas que, contrariamente a los métodos estándar, no requiere privación de agua o sacarina / sacarosa desvanecimiento para iniciar de responder.

Un método para evaluar las propiedades reforzantes de etanol en ratas sin privación de agua, la sacarina o el desvanecimiento de Formación Extended Access

Aquí, presentamos un protocolo para evaluar comportamientos de conducción siguiendo un vehículo en un entorno de conducción simulado. El protocolo presentado se utiliza para comparar el impacto de diferentes auditivos en comportamientos de conducción.

Conducir bajo la influencia: Cómo escuchar música afecta comportamientos de conducción

Presentamos un protocolo para examinar el uso de señales morfológicas durante la comprensión de la oración en tiempo real por los niños con autismo.

Utilizando el paradigma de mundo Visual para el estudio de comprensión de la frase en mandarín-los niños con autismo

Se describe un protocolo de comportamiento diseñado para evaluar cómo influyen en su respuesta al agua corrientes y campos magnéticos débiles personalidades de pez cebra. Peces con los mismo personajes se separan en base a su comportamiento exploratorio. Luego, se observa su comportamiento de orientación rheotactic en un túnel de natación con un bajo caudal y bajo diferentes condiciones magnéticas.

Evaluar la influencia de la personalidad en la sensibilidad a los campos magnéticos en el pez cebra

Presentamos un protocolo para disociar los factores entrelazados de dificultad integrativa e imprevisto en frases semánticamente anómalas aplicando múltiples repeticiones para mejorar la expectativa de los participantes para oraciones anómalas. La disociación ayuda a investigar el principal contribuyente de los efectos relacionados con los eventos (ERP) como el N400 en los estudios de idiomas.

Disociación de las influencias confundentes de la expectativa y la dificultad integrativa que residen en sentencias anómalas en estudios potenciales relacionados con eventos

Este documento introduce un método para evaluar la coherencia de las narrativas cortas de los padres con respecto a su hijo y su relación mediante el procedimiento de muestra de habla de cinco minutos.

Evaluar la coherencia de las narrativas cortas de los padres con respecto a su hijo utilizando el procedimiento de muestra de habla de cinco minutos

Aprende cómo el acento extranjero afecta la identificación forense de hablantes mediante análisis de prosodia, frecuencia fundamental y calidad vocal. Este método mejora la comprensión de los juicios de oyentes en alineaciones de voz.

Acento extranjero e identificación forense de hablantes en alineaciones de voz: la influencia de las características acústicas basadas en la prosodia (Video) | JoVE Journal

Acento extranjero e identificación forense de hablantes en alineaciones de voz: la influencia de las características acústicas basadas en la prosodia

Explorar más videos