Name: Accent étranger et identification du locuteur médico-légal dans les alignements vocaux : l’influence des caractéristiques acoustiques basées sur la prosodie (Vidéo) | JoVE Journal
Uploaded: 2024-09-27T12:35:00.000+00:00
Duration: 9 min 9 s
Description: Découvrez comment l'accent étranger influence l'identification du locuteur en sciences forensiques. Cette étude analyse les caractéristiques prosodiques comme la hauteur et la durée vocale pour comprendre les jugements des auditeurs.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Cette étude a été soutenue par le Conseil national pour le développement scientifique et technologique - CNPq, subvention n° 307010/2022-8 pour le premier auteur, et subvention n° 302194/2019-3 pour le deuxième auteur. Les auteurs tiennent à exprimer leur sincère gratitude aux participants à cette recherche pour leur généreuse collaboration et leurs contributions inestimables.

Prosodic-Acoustic Features and L2 Speech Production for Forensic Applications

Les auteurs n’ont aucun conflit d’intérêts à déclarer.

Le protocole actuel présente une nouveauté dans le domaine de la phonétique (médico-légale). Elle est divisée en deux phases : l’une basée sur la production (analyse acoustique) et l’autre basée sur la perception (analyse du jugement). La phase d’analyse de la production comprend la préparation des données et l’alignement forcé, le réalignement et l’extraction automatique des caractéristiques acoustiques prosodiques en plus des statistiques. Ce protocole relie l’étape de collecte des données à l’analyse des données de manière plus rapide et plus efficace que les protocoles traditionnels basés sur une segmentation principalement manuelle.
Cependant, le processus de réalignement, illustré dans les étapes de protocole 1.3.6 à 1.3.6.9, fonctionne essentiellement sur les unités de téléphone et de mot générées dans les étapes de protocole 1.3.1 à 1.3.4. La nouveauté du processus de réalignement est qu’il génère un nouveau TextGrid contenant trois nouveaux niveaux de texte : un niveau syllabique, un niveau de bloc de parole qui peut être généré automatiquement ou manuellement en fonction des mots, et un niveau de ton qui peut être très utile pour calculer les mesures f0. Les lignes directrices de réalignement proposées pour ce protocole ont déjà été utilisées dans des études sur le rythme de parole L2 21,69,70, des études sur la détection du degré d’accent étranger à l’aide de techniques d’apprentissage automatique22 et des études dans le domaine médico-légal 9.
L’extraction automatique des caractéristiques prosodiques, présentée dans les étapes de protocole 1.3.7 à 1.3.7.10, génère une matrice multidimensionnelle de caractéristiques prosodiques-acoustiques comme on a pu en témoigner dans la recherche actuelle. Ces caractéristiques comprennent des caractéristiques mélodiques, temporelles et spectrales (qualité et intensité de la voix)71. Un nombre considérable de ces caractéristiques acoustiques sont moins sensibles et quelque peu résistantes aux enregistrements audio bruyants qui finissent par être recueillis dans le cadre de la criminalistique ou de tout autre scénario72. De plus, la matrice multidimensionnelle peut être appliquée aux systèmes de reconnaissance vocale via plusieurs techniques d’IA (travaux en cours). Il peut encore être très utile dans l’enseignement des aspects prosodiques dans les cours de prononciationL2 21 (travail en cours).
L’analyse statistique de cette partie du protocole représente l’utilisation de la méthode GAM puisque nous avons traité une relation complexe entre une caractéristique acoustique spécifique et plusieurs locuteurs à facteur de langue. Pour modéliser une caractéristique acoustique spécifique, par exemple, il était nécessaire de vérifier comment d’autres caractéristiques acoustiques de la matrice (les termes lisses) se comporteraient afin de pouvoir décrire plus précisément ce qui se passait pendant la production de la parole.
En ce qui concerne l’analyse de perception, le protocole actuel a été constitué par la préparation et la mise en œuvre des alignements de voix, l’analyse statistique et l’analyse de similarité acoustique. Pour préparer les alignements, nous avons utilisé le script CreateLineup pour Praat, qui génère automatiquement un fichier audio pour chaque alignement contenant des feuilles séquencées de manière aléatoire et la voix cible, comme décrit dans les étapes de protocole 2.2 à 2.2.1.9.
Pour l’analyse statistique de ce protocole, nous avons effectué le test non paramétrique de Kruskal-Wallis car nos données ne répondaient pas aux hypothèses de l’analyse de variance (ANOVA). Une fois que nous avons établi une relation entre les scores de jugement évalués par les auditeurs et contrôlés pour la voix cible et les feuilles, nous avons choisi d’utiliser les statistiques du modèle linéaire.
Pour l’analyse de similarité acoustique, nous avons utilisé le script AcousticSmilarity_cosine_euclidean pour Python. Le programme ouvre l'arborescence des répertoires de l'ordinateur et demande à l'utilisateur de choisir le fichier contenant les caractéristiques prosodiques-acoustiques des feuilles et la voix cible qui compose la composition de la composition de l'alignement en analyse. D'un simple clic, le script génère trois matrices de similarité : un cosinus, un euclidien et un euclidien transformé (de zéro à un), sur les fichiers '.txt' (délimités par des tabulations) et '.csv. Nous devons toujours garder à l'esprit que chaque ensemble de données (le fichier '.txt' contenant les caractéristiques prosodiques-acoustiques des feuilles et de la cible) doit être dans le dossier d'origine de la programmation, et chaque dossier de programmation doit avoir une copie du script AcousticSmilarity_cosine_euclidean .
En résumé, le protocole actuel fait progresser la recherche phonétique (médico-légale). Comprenant des phases distinctes - analyses de production et de perception, ainsi que de similarité acoustique - il comble le fossé entre la collecte de données et l’analyse multidimensionnelle des caractéristiques acoustiques. Les chercheurs peuvent bénéficier d’une perspective holistique, en explorant à la fois les aspects de production et de perception. De plus, ce protocole garantit la reproductibilité de la recherche, permettant à d’autres de s’appuyer sur les lignes directrices de ce travail.
Limites et orientations futures Nous devons toujours garder à l’esprit que tout se passera bien si la préparation des données suit les directives proposées dans les étapes de protocole 1.3.1 à 1.3.4. En outre, dans les procédures d'alignement forcé, nous devons être conscients qu'un aligneur forcé externe pré-entraîné - comme MAUS utilisé dans le travail actuel - est susceptible d'erreurs de segmentation, en particulier dans les données accentuées étrangères non pré-entraînées ou même dans les aligneurs pré-entraînés, que l'audio n'ait pas une bonne qualité ou que l'aligneur ne contienne pas le langage audio (ce fait rendrait le travail de l'expert plus difficile et plus long). La transcription médico-légale, en particulier des fichiers audio plus longs, rencontre des difficultés en ce qui concerne la représentation précise et fiable des enregistrements parlés72.
La transcription et l’alignement de fichiers audio plus longs présentent également plusieurs défis. Les performances des aligneurs sont influencées par le style de parole et l’environnement phonétique, ainsi que par des facteurs spécifiques au dialecte. Bien qu’il existe des différences spécifiques aux aligneurs, en général, leurs performances sont similaires et génèrent des segmentations qui se comparent bien à l’alignement manuel dans son ensemble73. De plus, la production anglaise L1 et L2 a été exécutée avec un modèle acoustique pré-entraîné de l’anglais américain en raison de l’indisponibilité de modèles de parole étrangers dans MAUS. De plus, il n’existe pas de modèles acoustiques pré-entraînés pour la PA dans les MAUS. Pour les données BP, les modèles acoustiques italiens préexistants ont été utilisés (voir NOTE, étape de protocole 1.3.5.7).
Dans le cadre de travaux futurs (en cours), nous utiliserons l’aligneur forcé de Montréal (AMF)74 dans le cadre du protocole. L’un des grands avantages de l’authentification multifacteur est la disponibilité de modèles acoustiques pré-entraînés et de modèles graphème-phonème pour une grande variété de langues (y compris BP), ainsi que la possibilité d’entraîner de nouveaux modèles acoustiques et graphème-phonème à n’importe quel nouvel ensemble de données (c’est-à-dire notre corpus vocal avec accent étranger)75.

L’accent est un aspect saillant et dynamique de la communication et de la fluidité, à la fois dans la langue maternelle (L1) et dans une langue étrangère (L2)1. L’accent étranger représente les caractéristiques phonétiques L2 d’une langue cible, et il peut changer (au fil du temps) en réponse à l’expérience L2 du locuteur, au style de parole, à la qualité de l’entrée, à l’exposition, entre autres variables. Un accent étranger peut être quantifié comme un degré (scalaire) de différence entre le discours L2 produit par un locuteur étranger et un accent local ou de référence de la langue cible2,3,4,5.
Cette recherche vise à examiner à la fois les caractéristiques prosodiques-acoustiques et les corrélats perceptifs de l'anglais avec un accent étranger et du portugais brésilien (BP) avec un accent étranger, ainsi qu'à vérifier dans quelle mesure les productions d'accents étrangers et natifs des locuteurs sont corrélées à la perception des auditeurs. Des recherches antérieures dans le domaine médico-légal ont démontré que la robustesse des voyelles et des consonnes dans l’identification des accents étrangers est soit stable pour une analyse à long terme d’un individu (The Lo Case6), soit se référant à la grande précision d’identification d’un locuteur (The Lindbergh Case7). Cependant, l’exploration des caractéristiques acoustiques prosodiques basées sur la durée, la fréquence fondamentale (f0, c’est-à-dire le corrélat acoustique de la hauteur), l’intensité et la qualité de la voix (VQ) a suscité de plus en plus d’attention 8,9. Ainsi, le choix des caractéristiques prosodiques-acoustiques dans cette étude représente une piste prometteuse dans le domaine de la phonétique médico-légale 8,10,11,12,13.
La présente recherche est soutenue par des études consacrées aux accents étrangers comme forme de déguisement de la voix dans les cas médico-légaux14,15, ainsi que dans la préparation des alignements vocaux pour la reconnaissance des locuteurs16,17. Par exemple, le débit de parole a joué un rôle important dans l’identification des locuteurs allemands, italiens, japonais et brésiliens de l’anglais18,19,20,21,22. Outre le débit de parole, les caractéristiques spectrales à long terme et f0 mettent au défi les locuteurs compétents en L2 avec la familiarité avec la langue cible, car le cerveau et les bases cognitives souffrent d'un déficit de mémoire, d'attention et d'émotion, ce qui se reflète dans les performances phonétiques du locuteur pendant les longs tours de parole23. Le point de vue sur les accents étrangers dans le domaine médico-légal est que la définition de ce qui ressemble vraiment à un accent étranger dépend beaucoup de la méconnaissance de l'auditeur plutôt que d'avoir un degré de discours avec accent étranger24.
Dans le domaine perceptuel, un outil médico-légal couramment utilisé depuis le milieu des années 1990 pour la reconnaissance des criminels est la Voice Lineup (reconnaissance auditive), qui est analogue à la reconnaissance visuelle utilisée pour identifier un auteur sur une scène de crime16,25. Dans une séance d'identification, la voix du suspect est présentée à côté de faire-valoir - des voix similaires sur le plan sociolinguistique tels que l'âge, le sexe, l'emplacement géographique, le dialecte et le statut culturel - pour être identifiée par un témoin auditif. Le succès ou l’échec d’une composition vocale dépend du nombre d’échantillons de voix et de la durée des échantillons25,26. De plus, pour les échantillons du monde réel, on considère que la qualité audio a un impact constant sur la précision de la reconnaissance vocale. Une mauvaise qualité audio peut déformer les caractéristiques uniques d’une voix27. Dans le cas d’une similitude vocale, des détails phonétiques fins basés sur f0 peuvent dérouter l’auditeur lors de la reconnaissance vocale 28,29. Ces caractéristiques acoustiques s’étendent au-delà de f0 et englobent des éléments de durée, ainsi que des caractéristiques spectrales d’intensité et de VQ30. Cette vue de plusieurs caractéristiques prosodiques est cruciale dans le contexte de la comparaison de voix médico-légales pour garantir une identification précise du locuteur 9,14,15,29,31.
En résumé, les études en phonétique médico-légale ont montré certaines variations concernant l’identification des accents étrangers au cours des dernières décennies. D’une part, un accent étranger ne semble pas affecter le processus d’identification d’un locuteur32,33 (surtout si le locuteur n’est pas familier avec l’accent étranger cible34). D’un autre côté, il y a des résultats dans la direction opposée 12,34,35.

<table><tbody><tr><td>CreateLineup</td><td>Personal collection</td><td>#</td><td>Script for praat pour la préparation des alignements vocaux</td></tr><tr><td>Dell I3 (avec disque SSD - Solid State Drive)&nbsp ;</td><td>Dell</td><td>#</td><td>Ordinateur portable</td></tr><tr><td>Praat Paul</td><td>Boersma & David Weenink</td><td>#</td><td>Logiciel d’analyse phonétique</td></tr><tr><td>Python 3</td><td>Python Software Foundation</td><td>#</td><td>Langage de programmation interprété, de haut niveau et à usage général.</td></tr><tr><td>R</td><td>Le Projet R pour l’Informatique Statistique</td><td>#</td><td>Langage de programmation pour l’informatique statistique</td></tr><tr><td>Shure Beta SM7B</td><td>Shure</td><td>#</td><td>Microphone</td></tr><tr><td>SpeechRhythmExtractor</td><td>Collection personnelle</td><td>#</td><td>Script pour praat pour l’extraction automatique de caractéristiques acoustiques</td></tr><tr><td>SurveyMonkey</td><td>SurveyMonkey Inc.</td><td>#</td><td>Assemblez des enquêtes personnalisables gratuites, ainsi qu’une suite de programmes back-end qui incluent l’analyse des données, la sélection d’échantillons, la suppression des biais et la représentation des données.</td></tr><tr><td>Tascam DR-100 MKII</td><td>Tascam</td><td>#</td><td>Enregistreur vocal numérique</td></tr><tr><td>Système de segmentation automatique de Munich MAUS</td><td>Université de Munich</td><td>#</td><td>Alignement forcé de fichiers audio (.wav) et d’informations linguistiques (.txt)</td></tr><tr><td>VVUnitAligner</td><td>Personal collection</td><td>#</td><td>Script pour praat pour le réalignement automatique et le post-traitement des unités phonétiques</td></tr></tbody></table>

accent étranger et identification du locuteur médico-légal dans les alignements vocaux : l’influence des caractéristiques acoustiques basées sur la prosodie

Foreign Accent and Forensic Speaker Identification in Voice Lineups: The Influence of Acoustic Features Based on Prosody

Cette recherche vise à examiner à la fois les caractéristiques prosodiques-acoustiques et les corrélats perceptifs de l'anglais avec un accent étranger et du portugais brésilien avec un accent étranger, et à vérifier comment les productions d'accents étrangers et natifs des locuteurs sont corrélées à la perception des auditeurs. Dans la méthodologie, nous avons mené une procédure de production de parole avec un groupe de locuteurs américains de portugais brésilien L2 et un groupe de locuteurs brésiliens de l’anglais L2, ainsi qu’une procédure de perception de la parole dans laquelle nous avons effectué des alignements vocaux pour les deux langues. Pour l’analyse statistique de la production de la parole, nous avons exécuté des modèles additifs généralisés pour évaluer l’effet des groupes de langues sur chaque classe (métrique ou prosodique-acoustique) des caractéristiques contrôlées pour l’effet de lissage de la ou des covariables de la classe opposée. Pour l'analyse statistique de la perception de la parole, nous avons effectué un test de Kruskal-Wallis et un test de Dunn post-hoc pour évaluer l'effet des voix des alignements sur les scores jugés par les auditeurs. Nous avons néanmoins effectué des tests de similarité acoustique (voix) basés sur les distances cosinus et euclidienne. Les résultats ont montré des différences acoustiques significatives entre les groupes linguistiques en termes de variabilité du f0, de durée et de qualité de la voix. Pour les alignements, les résultats ont indiqué que les caractéristiques prosodiques de f0, d'intensité et de qualité de la voix étaient corrélées aux jugements perçus par les auditeurs.

Cette recherche visait à faire une comparaison entre L1-L2-anglais et L1-L2 portugais afin de vérifier dans quelle mesure l’effet d’un accent étranger compte à la fois pour les métriques et les paramètres prosodiques-acoustiques, ainsi que pour le choix de la voix cible dans une gamme de voix.

Accent étranger et identification du locuteur médico-légal dans les alignements vocaux : l’influence des caractéristiques acoustiques basées sur la prosodie

This research aims to examine both the prosodic-acoustic features and the perceptual correlates of foreign-accented English and foreign-accented Brazilian ...

foreign-accent-forensic-speaker-identification-voice-lineups

Research

Recherche

JoVE Journal

Behavior

Comportement

L’étude introduit un paradigme de test d’entraînement pour étudier les effets anciens/nouveaux des potentiels liés aux événements dans des scénarios prosodiques confiants et douteux. Les données révèlent une composante positive tardive améliorée entre 400 et 850 ms à Pz et à d’autres électrodes. Ce pipeline peut explorer des facteurs au-delà de la prosodie de la parole et leur influence sur l’identification des cibles de liaison aux indices.

Paradigme d’entraînement et de test basé sur la mémorisation pour une reconnaissance robuste de l’identité vocale dans la parole expressive à l’aide de l’analyse des potentiels liés aux événements

Une procédure qui permet une augmentation de démonstration robuste de recherche de drogue chez le rat soumis à des restrictions alimentaires est décrite. Après héroïne formation à l'auto-administration, les rats passent par une période d'abstinence, dans un environnement exempt de drogues, au cours de laquelle ils sont légèrement restriction alimentaire. la recherche de drogue est ensuite testé dans l'environnement de médicament associé.

Une procédure d&#39;étudier l&#39;effet de la restriction alimentaire prolongée sur l&#39;héroïne cherche à rats abstinents

On ne sait pas comment les signaux de haut en bas de la voie visuelle ventrale affectent mouvement. Nous avons développé un modèle pour tester le comportement du moteur vers une cible sur une profondeur 3D inversion illusion. Des différences significatives sont signalées dans les deux mouvements dirigés vers un but délibérées et les actions automatiques dans des conditions d'écoute illusoires et véridiques.

Méthodes pour explorer l&#39;influence de haut en bas Visual Processes sur le comportement du moteur

Le paradigme de liaison distracteur-réponse est décrit. Il peut être utilisé pour mettre en lumière l’influence que des stimuli non pertinents, en concurrence avec des cibles pour une réponse, peuvent avoir sur l’action humaine. Les effets de récupération de la réponse et les effets d’inhibition du distracteur peuvent être analysés dans le cadre du paradigme.

Stimuli pertinents et de contrôle d&#39;action: analyse de l&#39;influence de stimuli Ignoré par le distracteur-réponse Reliure Paradigm

Ce protocole décrit une nouvelle méthode et efficace pour initier rapidement operant répondre pour l'éthanol chez les rats que, contrairement aux méthodes classiques, ne nécessite pas la privation d'eau ou de la saccharine / saccharose fondu pour initier la réponse.

Une méthode d&#39;évaluation des propriétés de renforcement de l&#39;éthanol chez les rats sans eau Privation, saccharine fading ou formation d&#39;accès étendu

Nous présentons ici un protocole visant à évaluer les comportements de conduite tout en suivant un véhicule dans un environnement de conduite simulé. Le protocole présenté est utilisé pour comparer l’impact de différentes origines auditifs sur les comportements au volant.

Conduite sous l’Influence : Comment écouter de la musique affecte les comportements au volant

Nous présentons un protocole afin d’examiner l’utilisation d’indices morphologiques au cours de la compréhension de la phrase en temps réel par les enfants atteints d’autisme.

En utilisant le paradigme de l’univers visuel d’étudier la compréhension de la phrase en langue mandarine enfants atteints d’autisme

Les auteurs décrivent un protocole comportemental visant à évaluer l’influence des personnalités du poisson-zèbre sur leur réaction à l’eau des courants et des champs magnétiques faibles. Poissons avec les mêmes personnalités sont séparés selon leur comportement exploratoire. Puis, on observe leur comportement rhéotaxique orientation dans un tunnel de natation avec un débit faible et sous différentes conditions magnétiques.

Évaluer l’Influence de la personnalité sur la sensibilité aux champs magnétiques chez le poisson zèbre

Nous présentons un protocole pour dissocier les facteurs entrelacés de la difficulté intégrative et de l'inattendu dans les phrases sémantiquement anormale en appliquant des répétitions multiples pour augmenter l'espérance du participant pour les phrases anormale. La dissociation aide à étudier le principal contributeur des effets des potentiels d'événements (ERP) tels que N400 dans les études linguistiques.

Dissociation des influences confondantes de l'attente et de la difficulté intégrative résidant dans des phrases anormale dans des études potentielles liées à l'événement

Cet article introduit une méthode pour évaluer la cohérence des récits courts des parents concernant leur enfant et leur relation à l'aide de la procédure d'échantillon de la parole de cinq minutes.

Évaluer la cohérence des récits courts des parents concernant leur enfant à l'aide de la procédure d'échantillonnage de la parole de cinq minutes

Découvrez comment l'accent étranger influence l'identification du locuteur en sciences forensiques. Cette étude analyse les caractéristiques prosodiques comme la hauteur et la durée vocale pour comprendre les jugements des auditeurs.

Accent étranger et identification du locuteur médico-légal dans les alignements vocaux : l’influence des caractéristiques acoustiques basées sur la prosodie (Vidéo) | JoVE Journal

Accent étranger et identification du locuteur médico-légal dans les alignements vocaux : l’influence des caractéristiques acoustiques basées sur la prosodie

Explorer plus de vidéos