Name: 音声ラインナップにおける外国語アクセントと法医学的話者識別:韻律に基づく音響特徴の影響 (動画) | JoVE Journal
Uploaded: 2024-09-27T12:35:00.000+00:00
Duration: 9 min 9 s
Description: 学ぶ音声ラインナップにおける外国語アクセントと法医学的話者識別。韻律に基づく音響特徴が聞き手の判断に与える影響を分析し、法医学的スピーカー比較の信頼性向上に貢献する。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

この研究は、全米科学技術開発評議会 - CNPq、第一著者に助成金番号307010/2022-8、第二著者に助成金番号302194/2019-3の支援を受けました。筆者より、本研究の参加者の皆様の多大なるご協力と貴重なご貢献に心より感謝申し上げます。

Prosodic-Acoustic Features and L2 Speech Production for Forensic Applications

著者には宣言すべき利益相反はありません。

現在のプロトコルは、(法医学的)音声学の分野に目新しさをもたらします。それは、生産に基づくフェーズ(音響分析)と知覚に基づくフェーズ(判断分析)の2つのフェーズに分かれています。生産分析フェーズは、統計に加えて、データ準備と強制アライメント、再アライメント、および韻律音響特徴の自動抽出で構成されます。このプロトコルは、主に手動のセグメンテーションに基づく従来のプロトコルよりも高速かつ効率的な方法で、データ収集の段階をデータ分析に接続します。
ただし、プロトコル ステップ 1.3.6 から 1.3.6.9 に示されている再調整プロセスは、基本的にプロトコル ステップ 1.3.1 から 1.3.4 で生成された電話およびワード ユニットで機能します。再配置プロセスの目新しさは、音節層、単語に基づいて自動または手動で生成できる音声チャンク層、およびf0小節の計算に非常に役立つトーン層の3つの新しいテキスト層を含む新しいTextGridを生成することです。このプロトコルに提案された再調整ガイドラインは、L2 音声リズム21、69、70 の研究、機械学習技術を使用した外国アクセント程度の検出に関する研究22、および法医学領域9 の研究で以前に使用されていました。
プロトコルステップ1.3.7から1.3.7.10で提示された韻律的特徴の自動抽出は、現在の研究で証明できるような、韻律音響的特徴の多次元マトリックスを生成する。このような特徴には、メロディック、持続時間、およびスペクトル(音声品質および強度)の音声特徴71が含まれる。これらの音響的特徴のかなりの数は、感度が低く、フォレンジックまたは他のシナリオ72で最終的に収集されるノイズの多い音声録音に対してやや堅牢である。さらに、多次元行列は、いくつかの AI 技術を介して音声認識システムに適用できます (作業中)。これは、L2 発音クラス21 (作業中) の運韻の側面を教える際に依然として非常に役立ちます。
プロトコルのこの部分の統計分析は、特定の音響特徴と複数の言語要因の話者との間の複雑な関係を扱ったため、GAM法の使用を表しています。たとえば、特定の音響特徴をモデル化するには、音声生成中に何が起こっているかをより正確に説明できるように、マトリックスの他の音響特徴 (滑らかな項) がどのように機能するかを確認する必要がありました。
知覚分析については、音声ラインナップの作成と実装、統計分析、音響類似性分析によって現在のプロトコルが構成されました。ラインナップを準備するために、プロトコルのステップ2.2から2.2.1.9で説明されているように、ランダムにシーケンスされたフォイルとターゲット音声を含む各ラインナップのオーディオファイルを自動的に生成するPraat用のCreateLineupスクリプトを使用しました。
このプロトコルの統計分析では、データが分散分析 (ANOVA) の仮定を満たさなかったため、Kruskal-Wallis ノンパラメトリック検定を実行しました。リスナーによって評価され、ターゲットの声とフォイルに対して制御された判断スコアの間に関係ができたら、線形モデル統計を使用することを選択しました。
音響類似性解析では、Python用の AcousticSmilarity_cosine_euclidean スクリプトを使用しました。プログラムはコンピューターのディレクトリ ツリーをポップアップし、フォイルの韻律音響的特徴と、分析のラインナップを構成するターゲット音声を含むファイルを選択するようにユーザーに求めます。ボタンをクリックするだけで、スクリプトは '.txt' (タブ区切り) ファイルと '.csv' ファイルの両方で、コサイン、ユークリッド、変換 (0 対 1) ユークリッドの 3 つの類似行列を生成します。すべてのデータセット(フォイルとターゲットの韻律音響的特徴を含む「.txt」ファイル)はラインナップの元のフォルダにある必要があり、すべてのラインナップフォルダには AcousticSmilarity_cosine_euclidean スクリプトのコピーが必要であることに留意する必要があります。
要約すると、現在のプロトコルは(法医学)音声学研究を進めています。生産と知覚の分析、音響の類似性という異なるフェーズで構成され、データ収集と多次元音響特徴分析の間のギャップを埋めます。研究者は、生産と知覚の両方の側面を探求し、全体的な視点から恩恵を受けることができます。さらに、このプロトコルは研究の再現性を保証し、他の人がこの研究のガイドラインに基づいて構築できるようにします。
制限と今後の方向性 データ準備がプロトコルのステップ1.3.1から1.3.4で提案されたガイドラインに従えば、すべてがうまくいくことを心に留めておく必要があります。さらに、強制アライメント手順では、現在の作業で使用されている外部の事前トレーニング済み強制アライナー(MAUSのような)は、特に事前トレーニングされていない外国アクセント付きデータや事前トレーニング済みアライナーでさえ、オーディオの品質が良くないか、アライナーに音声言語が含まれていないかにかかわらず、セグメンテーションエラーの影響を受けやすいことに注意する必要があります(この事実は、専門家の作業をより困難で時間がかかります)。法医学的転写、特に長い音声ファイルの転写は、音声録音の正確で信頼性の高い表現に関して困難に遭遇します72。
また、長いオーディオファイルの文字起こしや整列には、いくつかの課題があります。アライナーのパフォーマンスは、話し方や音声環境、方言固有の要因の影響を受けます。アライナー固有の違いはありますが、一般的に、それらのパフォーマンスは類似しており、手動アライメント全体に匹敵するセグメンテーションを生成します73。さらに、MAUS では外国語の音声モデルが利用できないため、L1 および L2 英語の制作は、事前にトレーニングされたアメリカ英語の音響モデルを使用して実行されました。さらに、MAUSにはBPの事前学習済み音響モデルはありません。血圧データには、イタリア語の既存の音響モデルが使用されました(注、プロトコルステップ1.3.5.7を参照)。
将来の研究 (進行中) では、プロトコルの一部としてモントリオール強制アライナー (MFA)74 を使用します。MFAの大きな利点は、さまざまな言語(BPを含む)に対して事前トレーニングされた音響モデルと書記素から音素へのモデルが利用可能であること、および新しいデータセット(つまり、外国語アクセントの音声コーパス)に新しい音響モデルと書記素から音素へのモデルをトレーニングする機能です75。

アクセントは、母国語(L1)と外国語(L2)の両方で、コミュニケーションと流暢さの顕著でダイナミックな側面です。1。外国語アクセントは、ターゲット言語のL2音声機能を表し、話者のL2経験、話し方、入力品質、説明などの変数に応じて(時間の経過とともに)変化する可能性があります。外国語アクセントは、外国語話者によって生成された L2 音声と、ターゲット言語のローカルまたは参照アクセントとの間の (スカラー) 程度として定量化できます2,3,4,5.
この研究は、外国語アクセントの英語と外国語アクセントのブラジルポルトガル語(BP)の韻律音響的特徴と知覚的相関の両方を調べるとともに、話者の外国語アクセントとネイティブアクセントの制作がリスナーの知覚とどの程度相関しているかを確認することを目的としています。法医学分野の先行研究では、外国語のアクセント識別における母音と子音の堅牢性は、個人の長期的な分析に対して安定している(The Lo Case6)、話者の高いID精度を参照している(The Lindbergh Case7)ことが示されています。しかし、持続時間、基本周波数(f0、つまりピッチの音響相関)、強度、および音声品質(VQ)に基づく韻律音響特性の探求は、ますます注目を集めています8,9。したがって、この研究における韻律音響機能の選択は、法医学音声学の分野で有望な道筋を表しています8,10,11,12,13.
本研究は、法医学的なケースにおける音声変装の一形態としての外国語アクセントに特化した研究によって支えられています14,15、および話者認識のための音声ラインナップの準備16,17。たとえば、ドイツ語、イタリア語、日本語、ブラジル語の英語話者の識別には、発話速度が重要な役割を果たしました18,19,20,21,22.発話速度に加えて、脳と認知基盤が記憶、注意、感情に欠損しているため、長期のスペクトルとf0の特徴は、ターゲット言語に精通しているL2に熟練した話者に挑戦します。これは、長時間の話しかしゃぶり23。法医学分野での外国語アクセントの見方は、実際に外国語アクセントのように聞こえるものの定義は、外国語アクセントのスピーチが極端にない程度にあるのではなく、リスナーのなじみのなさに大きく依存するということです24。
知覚領域では、1990年代半ばから犯罪者の認識に使われる一般的な法医学ツールは、犯罪現場で加害者を特定するために使用される視覚認識に類似した音声ラインナップ(聴覚認識)です16,25。ボイスラインナップでは、容疑者の声は、年齢、性別、地理的位置、方言、文化的地位などの社会言語学的側面で類似したフォイルと一緒に提示され、目撃者による識別に使用されます。音声ラインナップの成功または失敗は、音声サンプルの数とサンプルの持続時間によって異なります25,26。さらに、実際のサンプルでは、音声品質が一貫して音声認識の精度に影響を与えると考えられます。オーディオ品質が悪いと、voice27 の固有の特性が歪む可能性があります。音声の類似性の場合、f0 に基づく詳細な音声の詳細は、音声認識中にリスナーを混乱させる可能性があります28,29。このような音響的特徴は f0 を超えて拡張され、持続時間の要素と、強度と VQ30 のスペクトル特徴が含まれます。この複数の韻律的特徴のビューは、フォレンジック音声比較のコンテキストで、正確な話者識別を確保するために重要です9,14,15,29,31.
要約すると、法医学的音声学の研究は、過去数十年にわたって外国語のアクセントの識別に関していくつかのバリエーションを示しています。一方では、外国語のアクセントは話者を識別するプロセスに影響を与えないように思われます32,33（特に、話者が対象の外国語のアクセントに詳しくない場合34)。一方、逆方向の調査結果があります12,34,35。

<table><tbody><tr><td>CreateLineup</td><td>Personal collection</td><td>#</td><td>音声ラインナップ用スクリプト</td></tr><tr><td>Dell I3 (ソリッドステートドライブ - SSD)&nbsp;</td><td>Dell</td><td>#</td><td>ラップトップコンピュータPraat</td></tr><tr><td></td><td>Paul Boersma &David Weenink</td><td>#</td><td>音声解析用ソフトウェア</td></tr><tr><td>Python 3</td><td>Python Software Foundation</td><td>#</td><td>インタープリター、高水準、汎用プログラミング言語&nbsp;</td></tr><tr><td>R</td><td>The R Project for Statistical Computing</td><td>#</td><td>Programming language for stattistical computing</td></tr><tr><td>Shure Beta SM7B</td><td>Shure</td><td>#</td><td>Microphone</td></tr><tr><td>SpeechRhythmExtractor</td><td>Personal collection</td><td>#</td><td>Script for praat for automatic extraction of acoustic features</td></tr><tr><td>SurveyMonkey</td><td>SurveyMonkey Inc.</td><td>#</td><td>無料のカスタマイズ可能な調査と、データ分析、サンプル選択、バイアス除去、データ表現を含む一連のバックエンドプログラムの組み立て。</td></tr><tr><td>Tascam DR-100 MKII</td><td>Tascam</td><td>#</td><td>デジタルボイスレコーダー</td></tr><tr><td>ミュンヘン自動セグメンテーションシステム MAUS</td><td>ミュンヘン大学</td><td>#</td><td>オーディオ (.wav) および言語情報 (.txt) ファイルの強制アライナー</td></tr><tr><td>VVUnitAligner</td><td>個人コレクション</td><td>#</td><td>音声単位の自動再調整と後処理のためのプラアットのスクリプト</td></tr></tbody></table>

音声ラインナップにおける外国語アクセントと法医学的話者識別:韻律に基づく音響特徴の影響

Foreign Accent and Forensic Speaker Identification in Voice Lineups: The Influence of Acoustic Features Based on Prosody

本研究は、外国語アクセントの英語と外国語アクセントのブラジルポルトガル語の韻律音響的特徴と知覚的相関性の両方を調べ、話者の外国語アクセントとネイティブアクセントの制作がリスナーの知覚とどのように相関しているかを確認することを目的としています。方法論では、L2ブラジルポルトガル語のアメリカ人グループとL2英語のブラジル人グループとの音声生成手順と、両方の言語の音声ラインナップを実行する音声認識手順を実行しました。音声生成統計分析では、一般化加法モデルを実行して、反対クラスの共変量の平滑化効果を制御する特徴の各クラス(メトリックまたは韻律音響)に対する言語グループの影響を評価しました。音声知覚統計分析では、Kruskal-WallisテストとPost-hoc Dunn'sテストを実行して、リスナーが判断するスコアに対するラインナップの音声の影響を評価しました。それにもかかわらず、コサイン距離とユークリッド距離に基づく音響(音声)類似性テストを実施しました。その結果、f0のばらつき、持続時間、および声質の点で、言語グループ間で大きな音響的違いが示されました。ラインナップについては、f0、強度、および音声品質の韻律的特徴がリスナーの知覚判断と相関していることが示されました。

この研究は、外国語アクセントの影響がメトリックと韻律音響パラメータの両方、および音声ラインナップのターゲット音声の選択にどの程度影響するかを確認するために、L1-L2-EnglishとL1-L2ポルトガル語を比較することを目的としています。

This research aims to examine both the prosodic-acoustic features and the perceptual correlates of foreign-accented English and foreign-accented Brazilian ...

foreign-accent-forensic-speaker-identification-voice-lineups

Research

JoVE Journal

Behavior

行動

この研究では、自信のある韻律シナリオと疑わしい韻律シナリオにおけるイベント関連の可能性の古い/新しい影響を調査するためのトレーニングテストパラダイムを導入しています。データは、Pzおよび他の電極で400〜850ミリ秒の間に強化された遅延正極成分を明らかにしています。このパイプラインでは、音声の韻律を超えた要因と、それらがキューバインディングターゲットの同定に与える影響を探ることができます。...

イベント関連ポテンシャル分析を用いた表現力豊かな音声におけるロバストな音声同一認識のための暗記ベース訓練とテストパラダイム

食物制限されたラットで薬物探索のロバスト増強のデモンストレーションを可能にする手順が記載されている。ヘロイン自己投与の訓練後、ラットは、彼らは穏やかに制限された食品である時に、薬物のない環境で、禁欲期間を経る。薬物探索はその後、薬物に関連した環境でテストされています。...

禁欲ラットで探しているヘロインに長期の食事制限の影響を研究するための手順

これは、腹側ビジュアルストリームからトップダウン信号が運動にどのように影響するかは不明である。我々は、3D奥行き反転錯覚に目標に向けた運動行動をテストするためのパラダイムを開発しました。有意差は幻想と真実を告げる観察条件の下で意図的な、目標指向の動きや自動アクションの両方で報告されている。...

運動行動上のトップダウン視覚プロセスの影響を探索する方法

気を散らす-反応のバインディングパラダイムが説明されています。これは、反応をめぐってターゲットと競合する無関係な刺激が人間の行動に与える影響を明らかにするために使用できます。応答検索効果と気晴らし抑制効果の両方をパラダイム内で分析できます。...

無関係な刺激と行動制御：ディストラクタ - 応答パラダイムを結合することにより無視された刺激の影響を分析

このプロトコルは、すぐに水の欠乏または応答を開始するフェージングサッカリン/ショ糖を必要としない標準的な方法とは逆に、ラットでのエタノールの応答をオペラントを開始するための新規かつ効率的な方法を説明します。...

水剥奪、サッカリンフェージングまたは拡張アクセストレーニングなしでラットにおけるエタノールの補強性を評価するための方法

ここでは、シミュレーション環境で走行車両に従いながら運転行動を評価するためのプロトコルを提案する.提示プロトコルを使用して、さまざまな聴覚背景自動車運転行動上の影響を比較しています。...

影響下の運転: 運転行動のしくみ音楽を聴く

自閉症児でリアルタイム文理の間に形態学的手がかりの利用を検討するためのプロトコルを提案します。...

北京語を話す自閉症児の文理を勉強する視覚的な世界のパラダイムを使用してください。

ゼブラフィッシュの人格が電流と弱い磁場を水への対応をどのように影響するかを評価するために設計された行動プロトコルについて述べる。同じ個性を持つ魚は彼らの探索行動に基づく区切られます。さらに、スイミング トンネルの低流速率と磁気の異なる条件の下で彼らの rheotactic...

ゼブラフィッシュにおける磁界感度に人格の影響を評価します。

我々は、異常な文章に対する参加者の期待を高めるために複数の繰り返しを適用することにより、セマンシー的に異常な文における統合的な難しさと予期せぬ要因の絡み合いを解離するためのプロトコルを提示する。解離は、言語研究におけるN400のような引き出された事象関連ポテンシャル(ERP)効果の主要な要因を調査するのに役立ちます。...

事象関連の潜在的研究における異常文における期待と統合困難の交絡的影響の解離

本論文では,5分間の音声サンプル手順を用いて,子供に関する親の短い物語の一貫性と関係を評価する手法を紹介する.

5分間の音声サンプル手順を用いた子どもに関する親の短い物語の一貫性の評価

学ぶ音声ラインナップにおける外国語アクセントと法医学的話者識別。韻律に基づく音響特徴が聞き手の判断に与える影響を分析し、法医学的スピーカー比較の信頼性向上に貢献する。

音声ラインナップにおける外国語アクセントと法医学的話者識別:韻律に基づく音響特徴の影響

さらに動画を探す