Name: 语音阵容中的外国口音和法医说话人识别：基于韵律的声学特征的影响 (视频) | JoVE Journal
Uploaded: 2024-09-27T12:35:00.000+00:00
Duration: 9 min 9 s
Description: 探索外国口音对法医说话人识别的影响，重点分析基频、音高、时长和音质等韵律声学特征。本研究通过英语与葡萄牙语母语者对比，揭示口音如何影响听者在语音阵容中的判断，为法医语音比较提供重要依据。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本研究由国家科学技术发展委员会（CNPq）资助，第一作者获资助号 307010/2022-8，第二作者获资助号 302194/2019-3。作者谨向参与本研究的各位受试者致以诚挚的感谢，感谢他们慷慨的合作与宝贵贡献。

Prosodic-Acoustic Features and L2 Speech Production for Forensic Applications

作者声明无任何利益冲突。

本方案在（法医）语音学领域具有创新性，分为两个阶段：一个基于发音（声学分析），另一个基于感知（听辨分析）。发音分析阶段包括数据准备、强制对齐、重新对齐以及韵律-声学特征的自动提取，此外还包括统计分析。该方案相较于主要依赖人工分段的传统方案，能够以更快且更高效的方式连接数据采集与数据分析阶段。
然而，重对齐过程（如方案步骤 1.3.6 至 1.3.6.9 所示）主要基于方案步骤 1.3.1 至 1.3.4 中生成的音素和词单元进行操作。该重对齐过程的创新之处在于，它生成了一个新的 TextGrid，其中包含三个新的文本层：一个音节层、一个语音语块层（可根据词自动或手动生成），以及一个声调层（可用于计算基频 f0 参数）。本方案所提出的重对齐准则此前已应用于二语语音节奏的研究21,69,70、利用机器学习技术检测外语口音程度的研究22，以及法医学领域的相关研究9。
韵律特征的自动提取（见实验方案步骤1.3.7至1.3.7.10）可生成一个多维的韵律-声学特征矩阵，这一点已在当前研究中得到证实。这些特征包括旋律、时长以及频谱特征（嗓音质量和强度）71。其中许多声学特征对法医或其他实际场景中最终采集到的含噪声音频录音具有较低的敏感性和一定的鲁棒性72。此外，该多维矩阵可通过多种人工智能技术应用于语音识别系统（正在进行的研究）。它在第二语言发音教学中用于教授韵律特征方面仍然具有相当高的应用价值21（正在进行的研究）。
本部分方案的统计分析采用了广义相加模型（GAM）方法，因为我们面对的是特定声学特征与多个语言因素说话者之间的复杂关系。为了对某一特定声学特征进行建模，例如，有必要检验来自矩阵的其他声学特征（即平滑项）的表现情况，以便更准确地描述言语产生过程中发生的变化。
关于感知分析，本方案包括准备和实施语音列队、统计分析以及声学相似性分析。为准备列队，我们使用了适用于Praat的CreateLineup脚本，该脚本可自动生成每个列队的音频文件，其中包含随机排序的干扰语音和目标语音，具体步骤如方案2.2至2.2.1.9所述。
对于本方案的统计分析，由于数据不符合方差分析（ANOVA）的假设条件，我们采用了Kruskal-Wallis非参数检验。在确定了听者评估的判断分数与目标声音及干扰声音之间的关系后，我们选择使用线性模型统计方法。
在进行声学相似性分析时，我们使用了 Python 的 AcousticSmilarity_cosine_euclidean 脚本。该程序会弹出计算机的目录树，并提示用户选择包含陪衬样本与目标声纹的韵律-声学特征的文件，以构成待分析的声纹序列。点击按钮后，脚本将生成三个相似性矩阵：余弦相似度矩阵、欧氏距离矩阵，以及经过转换的（0 到 1）欧氏距离矩阵，并同时输出为“.txt”（制表符分隔）和“.csv”格式的文件。需要注意的是，每个数据集（即包含陪衬样本与目标声纹韵律-声学特征的“.txt”文件）必须保留在对应声纹序列的原始文件夹中，且每个声纹序列的文件夹内都应复制一份 AcousticSmilarity_cosine_euclidean 脚本。
总之，本方案推动了（法医）语音学研究的发展。该方案包含多个明确阶段——发音分析、感知分析以及声学相似性分析，弥合了数据采集与多维声学特征分析之间的差距。研究人员可从中获得整体性视角，同时探究发音与感知两个方面。此外，本方案确保了研究的可重复性，使其他研究者能够在此工作的指导原则基础上进一步开展研究。
局限性与未来方向 
我们必须始终牢记，只有当数据准备遵循本方案步骤1.3.1至1.3.4中提出的指南时，一切才能顺利进行。此外，在强制对齐过程中，我们需要注意，当前研究所使用的外部预训练强制对齐工具（如MAUS）容易出现分段错误，尤其是在未经训练的带外国口音的数据中，甚至在已预训练的对齐器中，如果音频质量不佳或对齐器不支持该音频语言，也会出现此类问题（这种情况将使专家的工作更加困难且耗时）。法医语音转录，特别是针对较长音频文件的转录，在准确可靠地呈现口语录音方面面临诸多挑战72。
转录和对齐较长音频文件也存在若干挑战。对齐工具的性能受到说话风格、语音环境以及特定方言因素的影响。尽管不同对齐工具有其各自的特点，但总体而言，它们的性能相似，生成的切分结果与人工对齐相比具有较好的一致性73。此外，由于MAUS中缺乏适用于外语的语音模型，本研究在处理英语母语者（L1）和第二语言英语使用者（L2）的英语产出时，采用了预训练的美式英语声学模型。同时，MAUS中目前尚无适用于巴西葡萄牙语（BP）的预训练声学模型。针对BP数据，本研究使用了现有的意大利语音声学模型（参见注释，实验方案步骤1.3.5.7）。
在未来的工作（进行中）中，我们将把蒙特利尔强制对齐工具（Montreal Forced Aligner, MFA）74作为实验方案的一部分。MFA 的一个显著优势是提供了多种语言（包括巴西葡萄牙语 BP）的预训练声学模型和音素转换模型，同时还具备针对任何新数据集（例如我们的带外国口音的语音语料库）训练新的声学模型和音素转换模型的能力75。

口音是语言交流和流利表达中一个显著且动态的方面，无论是在母语（L1）还是在第二语言（L2）中均如此1。外国口音 指的是第二语言学习者在目标语言中表现出的语音特征，它会随着说话者的第二语言经验、说话风格、输入质量、接触程度以及其他变量而发生变化（随时间推移）。外国口音可以被量化为外国说话者产出的第二语言语音与目标语言的本地或标准口音之间差异程度（标量）的度量2,3,4,5。
本研究旨在考察外国口音英语和外国口音巴西葡萄牙语（BP）的韵律-声学特征及其感知相关性，并检验说话人产出的外语口音与母语口音在多大程度上与听者的感知相关联。法医学领域的前期研究表明，元音和辅音在外国口音识别中具有较强的稳定性，这种稳定性要么体现在对个体进行长期分析时的稳定性（The Lo Case6），要么体现在说话人身份识别的高准确率上（The Lindbergh Case7）。然而，基于时长、基频（f0，即音高的声学对应参数）、强度以及嗓音质量（VQ）的韵律-声学特征研究正受到越来越多的关注8,9。因此，本研究选择韵律-声学特征作为分析对象，代表了法医语音学领域一个具有前景的研究方向8,10,11,12,13。
目前的研究得到了法医学领域关于外国口音作为声音伪装形式的相关研究的支持14,15，同时也得到了用于准备语音辨认听辨列队研究的支持16,17。例如，语速在识别以英语为第二语言的德国、意大利、日本和巴西说话者方面发挥了重要作用18,19,20,21,22。除了语速之外，长期频谱特征和基频（f0）特征也对熟悉目标语言的第二语言熟练使用者构成挑战，因为其大脑和认知基础在记忆、注意力和情绪方面存在不足，这些因素会在说话者进行较长语段表达时反映在语音表现上23。法医学领域对外国口音的看法是，某种语音是否真正听起来像外国口音，在很大程度上取决于听者的陌生感，而非说话者本身具有从无到极端程度的外国口音特征24。
在感知领域，自20世纪90年代中期以来，一种常用于识别罪犯的法庭科学工具是语音列队（听觉识别），其原理类似于通过视觉识别在犯罪现场辨认作案人16,25。在语音列队中，嫌疑人的声音会与若干干扰声音（foils）一同呈现，这些干扰声音在社会语言学特征方面（如年龄、性别、地理位置、方言和文化背景）与嫌疑人相似，供听觉证人进行辨认。语音列队的成功与否取决于语音样本的数量及每段样本的持续时间25,26。此外，对于真实场景中的语音样本，音频质量被普遍认为会持续影响语音识别的准确性。低质量的音频可能扭曲声音的独特特征27。当语音相似时，基于基频（f0）的细微语音细节可能在语音识别过程中使听者产生混淆28,29。此类声学特征不仅限于f0，还包括时长、强度谱特征以及声门波形（VQ）等要素30。这种多维度韵律特征的观点在法庭语音比对中至关重要，有助于确保说话人识别的准确性9,14,15,29,31。
总之，近几十年来，法医语音学在外国口音识别方面的研究显示出一些差异。一方面，外国口音似乎并不影响说话人识别的过程32,33（特别是当听者不熟悉目标外国口音时34）。另一方面，也有研究得出了相反的结果12,34,35。

<table><tbody><tr><td>创建队列</td><td>个人收藏</td><td>#</td><td>用于准备语音队列的 Praat 脚本</td></tr><tr><td>Dell I3 (带固态硬盘 - SSD)&amp;nbsp;</td><td>Dell</td><td>#</td><td>笔记本电脑</td></tr><tr><td>Praat</td><td>Paul Boersma &amp;amp; David Weenink</td><td>#</td><td>语音学分析软件</td></tr><tr><td>Python 3</td><td>Python 软件基金会</td><td>#</td><td>解释型、高级、通用编程语言&amp;nbsp;</td></tr><tr><td>R</td><td>统计计算 R 项目</td><td>#</td><td>用于统计计算的编程语言</td></tr><tr><td>Shure Beta SM7B</td><td>Shure</td><td>#</td><td>麦克风</td></tr><tr><td>SpeechRhythmExtractor</td><td>个人收藏</td><td>#</td><td>用于自动提取声学特征的 Praat 脚本</td></tr><tr><td>SurveyMonkey</td><td>SurveyMonkey 公司</td><td>#</td><td>提供免费可自定义的调查问卷集合，以及一系列后端程序，包括数据分析、样本选择、去偏和数据呈现。</td></tr><tr><td>Tascam DR-100 MKII</td><td>Tascam</td><td>#</td><td>数字语音录音机</td></tr><tr><td>慕尼黑自动分割系统 MAUS</td><td>慕尼黑大学</td><td>#</td><td>用于音频文件（.wav）和语言信息文件（.txt）的强制对齐工具</td></tr><tr><td>VVUnitAligner</td><td>个人收藏</td><td>#</td><td>用于语音单元自动重对齐和后处理的 Praat 脚本</td></tr></tbody></table>

外国口音与语音列队中的法医语音识别：基于韵律的声学特征的影响

Foreign Accent and Forensic Speaker Identification in Voice Lineups: The Influence of Acoustic Features Based on Prosody

本研究旨在考察外语口音英语和外语口音巴西葡萄牙语的韵律-声学特征及其感知相关性，并分析说话人产出的外语与母语口音与其听者感知之间的关联。在方法部分，我们对一组以巴西葡萄牙语为第二语言的美国说话人和一组以英语为第二语言的巴西说话人进行了言语产出实验，同时开展了言语感知实验，针对两种语言分别实施了语音列队识别测试。在言语产出的统计分析中，我们采用广义加性模型（Generalized Additive Models），在控制对立类别（韵律或声学-韵律）协变量平滑效应的前提下，评估语言组别对每一类特征的影响。在言语感知的统计分析中，我们采用Kruskal-Wallis检验及事后Dunn检验，评估语音列队中不同声音对听者评分结果的影响。此外，我们还基于余弦距离和欧氏距离进行了声学（语音）相似性检验。结果显示，不同语言组在基频（f0）变异度、时长和嗓音质量方面存在显著的声学差异。在语音列队测试中，结果表明基频（f0）、强度和嗓音质量等韵律特征与听者的感知判断存在相关性。

言语产生的结果 
在本节中，我们描述了具有统计学显著性的韵律-声学特征和节奏性指标的表现。这些韵律特征包括与持续时间相关的言语、发音和停顿速率，以及与声音质量相关的微扰（shimmer）。节奏性指标包括音节时长的标准差（SD）、辅音时长的标准差、元音或辅音时长的标准差，以及音节时长的变异系数（参见补充表 S1）。
对于英语为第二语言（L1-L2英语）的学习者，其语速（图6A）下降得比以巴西葡萄牙语为第二语言（L1-L2 BP）的学习者更迅速，尽管两种第二语言的语速均较低。该语速与三个指标相关：音节时长的标准差（SD-S）、元音时长的标准差（SD-V）以及音节变异系数（Varco-S）。还需注意的是，AmE-S组和Bra-S组的受试者对其第二语言均具有较高熟练度。似乎L1-L2 BP组由于音节时长较长且变异性较低，导致其语速下降斜率较缓。 
发音速率（图6D）与SD-S、Varco-S以及音节节奏比（RR-S）相关；后者表示较短音节与较长音节之间的比率。这些参数似乎会影响发音速率，其影响方式类似于因句子长度及持续时间变化导致第二语言言语规划增加和第二语言认知负荷升高而对言语速率产生的影响9,23,54。在句子长度范畴内，可能需要更高的认知-语言负荷，从而影响韵律-声学参数55。
关于言语和发音速率的韵律-声学特征，我们的研究结果表明，说话人对音节（及元音）时长的变化程度越大，其语速速率越低。我们推测，母语及二语巴西葡萄牙语（BP）的言语感知速度似乎比母语及二语英语更慢，而母语英语则比其他所有语言水平听起来更快。这一现象可能与言语节奏有关，并支持如下假设：母语及二语巴西葡萄牙语倾向于节奏连续体中的“音节定时”一端，而母语及二语英语则趋向于“重音定时”一端21,22。
局部闪烁度（Local shimmer，图6B）受音节时长标准差（SD-S）和音节时长变异系数（Varco-S）的影响。对于局部闪烁度，Bra-S、L1-BP 和 L2-英语三种语言的发音均表现出一定的单调变化趋势，即随着音节时长变异性的增加（SD 和 Varco，见补充表 S1），局部闪烁度相应变化。在聆听 Bra-S 发音时，可能察觉到其发声费力的感知，这与其较低的变异范围有关（介于 8.5 至 9 dB 之间）。Bra-S 的言语受到发声负荷的影响。L1-BP 则受句子长度影响较大，对音节时长的高变异性相对不敏感（巴西葡萄牙语的节奏模式表现出较少的音节变异22,56）。
该 暂停率 (图&#160;6C) 显示，L2-英语使用者的停顿时长（200 毫秒至 375 毫秒）长于 L1-英语、L1-巴西葡萄牙语（BP）和 L2-BP 使用者（L1-英语平均为 30 毫秒，L1-BP 为 50 毫秒，L2-BP 为 100 毫秒）。在此情况下，言语规划可能因大脑活动增强而影响了 L2-英语的产出54,57语言熟练度越高，阅读速度和阅读广度预计也会越大54然而，即使对于L2熟练的说话者而言，阅读任务在更高层次的认知加工和语言处理方面仍表现出更大的认知负荷54,57我们的研究结果表明，至少在初步基础上，由于两种语言在节奏模式上的差异，第二语言为汉语普通话（L2-BP）的学习者可能比第二语言为英语（L2-English）的学习者更少受到停顿的影响。
<img alt="图6" class="xfigimg" src="/files/ftp_upload/66313/66313fig06.jpg" /> 
图6：韵律-声学特征的广义可加模型。 Y轴为响应变量（待建模的声学特征）；X轴为预测变量（因子“语言”以及可加模型中的协变量，用于确定曲线的形状与轨迹（即平滑效应：“语言 + 协变量”），以及“语言”因子与一个度量特征的乘积项，用于更精确地预测响应变量（即因子-平滑交互项：“协变量:语言”）。缩写：GAMs = 广义可加模型。<a href="https://www.jove.com/files/ftp_upload/66313/66313fig06large.jpg" target="_blank">请点击此处查看该图的高清版本。</a>
在韵律指标方面，对于SD-S（图7A），研究结果表明，说话人对基频（f0）曲线的变化程度越大、语速越快，所有语言水平上的SD-S值就越低（与图6A呈镜像效应）。对于辅音的时长标准差（SD-C，图7C），随着语速或停顿时长的增加，母语为巴西葡萄牙语（L1-BP）的说话人表现出较低的变异，而母语为英语（L1 English）则相反。这种SD变化趋势是可以预见的，因为英语母语者在音节时长上的变异性（在统计学上）显著高于巴西葡萄牙语母语者44,58。关于Varco-S（图7B 和 补充表S1），其变化趋势似乎与同语系的L1和L2具有一定相关性。随着f0变异性和语速的增加，L1-BP的Varco-S降低，L2-BP也呈现降低并趋于减弱的趋势；而对于英语语料，随着f0变异性和语速的增加，L1-English和L2-English的Varco-S则上升并逐渐减弱。
关于元音或辅音的标准差（SD-V_C、图7D 和 补充表S1），我们的结果在某些方面与 Varco-S 的表现相似（图7B）。例如，较高的 语速、停顿时长 和 f0 变异性 会促使母语为巴西葡萄牙语者（L1-BP）以及第二语言为巴西葡萄牙语者（L2-BP）的 SD-V_C 呈现先下降后上升的趋势。在英语产出中，尽管这些韵律特征更高，SD-V_C 在母语为英语者（L1-English）中略有下降并减弱，在第二语言为英语者（L2-English）中则先轻微上升，随后减弱。同一语言组内母语与第二语言的 Varco-S 与 SD-V_C 相关性，可能部分由Lombard效应解释，该效应指由于背景噪声导致语音声学参数发生改变的现象59。
在非母语语音中，根据任务复杂程度（例如朗读语音），说话者在第一语言（L1）和第二语言（L2）中采用了相似的声学策略59,60。一方面，Marcoux 和 Ernestus 发现，L2 罗曼语语音中的基频（f0）指标（范围和中位数）表明，L2 英语说话者受到其母语荷兰语的影响61,62。另一方面，较新的研究提出，尽管由于使用第二语言时认知负荷更高，L2 罗曼语语音预期会与 L1 罗曼语语音存在差异，但 L2 英语说话者产生的罗曼语语音方向与 L1 英语说话者一致63。本研究结果在多大程度上与 Marcoux 和 Ernestus63 的发现一致，而与 Waaning59、Villegas 等人60 以及 Marcoux 和 Ernestus61,62 的研究相偏离，尚需进一步研究。
<img alt="图7" class="xfigimg" src="/files/ftp_upload/66313/66313fig07.jpg" /> 
图7：度量特征的广义可加模型。 Y轴为响应变量（待建模的度量特征）；X轴为预测变量（因子“语言”以及可加模型中的协变量，这些协变量将决定曲线的形状和轨迹（即平滑效应：“语言 + 协变量”），以及“语言”与一个度量特征的乘积项，用于更精确地预测响应变量（即因子-平滑交互项：“协变量:语言”）。缩写：GAMs = 广义可加模型。 <a href="https://www.jove.com/files/ftp_upload/66313/66313fig07large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
言语感知实验结果 
在巴西葡萄牙语（BP）语音列队中，列队 #1（图 8A）的干扰语音 #3 被判断为目标语音。实际上，目标语音应为语音 #4。结果显示，干扰语音 #3（83%）与目标语音 #4（71%）之间无统计学显著差异（见补充表 S1）。在列队 #2（图 8B）中，目标语音 #3（40%）与干扰语音 #4（20%）之间的比较也未显示出统计学显著差异（见补充表 S1），适用于英语语音列队。在列队 #1（图 9A）中，干扰语音 #2（26%）与目标语音 #4（54%）之间亦无显著差异（见补充表 S1）。
在声音相似性分析中，余弦相似度（CoSim）和欧氏距离（EucDist，[EucDist&#160;transformed]54）均显示，在 BP 队列 #1 中，干扰项 #3 与目标声音之间存在一致的相关性（CoSim = 0.99；EucDist = 77.4，[0.93]）。在 BP 队列 #2 中，干扰项 #4 与目标声音之间的相关性同样较强（CoSim = 0.99，EucDist = 76.3，[0.93]）。在英语队列 #1 中，CoSim 的相关性保持一致（0.83），而 EucDist 的相关性则为弱至中等水平（213.0，[0.47]）。总体而言，CoSim 和 EucDist 均为判断声音相似性提供了令人满意的分析方法。此外，如 Gahman 和 Elangovan52 所述，CoSim 的表现略为更优（见 补充表 S1）。
从相似性的角度来看，是什么导致了误报率的上升？韵律-声学特征的分析表明，尽管干扰项与目标声音在多数情况下表现出统计学上的显著差异（但图&#160;8A、B 和 图&#160;9A 所示的列队除外），听者的判断在其他列队中对不同干扰项的选择呈现出一定程度的多样化（图&#160;8C、D 以及 图&#160;9B–D）。这种判断似乎更多地依赖于说话人之间共享的一个（或多个）特定声学特征，而非整类韵律-声学特征。例如，本研究中呈现了多个在不同语音样本间（共同）变化的特征；然而，感知实验结果表明，听者倾向于选择某个特定的干扰项与目标声音相匹配8,35,64,65。未来的研究还需进行更深入的分析。
值得注意的是，应考虑采用多维参数矩阵进行声学相似性分析66，正如本研究所提出的方案。我们的研究结果与先前使用基于基频（f0）、声门波形（VQ）和强度等声学特征的研究一致9,35。此类特征在法医学领域的说话人比对任务中被显著推荐使用9,66。然而需要强调的是，在本研究中，尽管我们在准备带有外国口音的说话人识别语音列队时采用了McFarlane指南的一种变体16,17，但没有一个干扰语音被预测为与目标语音相似。此外，我们必须指出，我们的语音列队程序与McFarlane指南存在若干重要差异，包括刺激材料的长度、语音数量、干扰语音的选择（本研究中为随机选择）以及言语风格。
语调-声学特征（如基频 f0、声音质量和强度）在多大程度上与听者的感知相关，很大程度上取决于研究所采用的说话风格。本研究采用朗读语篇作为材料。大多数耳证研究倾向于选择（半）自发性言语刺激作为平衡方案，例如 DyVis 语料库67-在当代耳证调查中被广泛使用28,68选择阅读任务的原因在于，截至撰写本文时，我们的语料库完全由阅读任务所获得的数据构成。然而需要指出的是，构建（半）自发语料库的工作已在进行中。此外，朗读故事的行为能够在说话人内部和说话人之间产生可靠程度的一致性与变异，这有助于在语音比对情境中突出韵律或语音特征——无论是个体层面还是方言层面的特征。这种作用在产生外语口音时的发声负荷情况下尤为明显，即使是在语言能力较强的说话者中也是如此。 8,9,23,54.
<img alt="图8" class="xfigimg" src="/files/ftp_upload/66313/66313fig08.jpg" /> 
图8：巴西听者参与的四次列队辨认结果的柱状图。（A，B）目标声音（蓝色）与干扰项（浅蓝色）之间无显著差异。（C，D）目标声音与干扰项之间存在显著差异。缩写：NS = 无显著性差异。<a href="https://www.jove.com/files/ftp_upload/66313/66313fig08large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="图9" class="xfigimg" src="/files/ftp_upload/66313/66313fig09.jpg" /> 
图9：美国听音者完成的四次列队辨认测试结果的柱状图。（A）目标声音（红色）与干扰项（粉色）之间无显著差异。（B、C、D）目标声音与干扰项之间存在显著差异。缩写：NS = 无显著性。<a href="https://www.jove.com/files/ftp_upload/66313/66313fig09large.jpg" target="_blank">请点击此处查看该图的高清版本。</a>
补充表 S1：言语产出统计——广义可加模型（GAMs）：每个语言水平下具有统计学意义的韵律-声学特征（图6）和节奏度量（图7）的F统计量（自由度）、调整后的R2，以及每个平滑项（协变量）的单独数值。言语感知统计：Kruskall-Wallis χ2统计量（自由度）、p值和调整后的η2，以及针对目标-干扰声音对之间每项无统计学显著差异的事后Dunn检验（图8 和 图9）（图8A、B 和 图&#160;9A）。每组听辨序列的余弦距离与欧氏距离的声学相似性矩阵。<a href="https://www.jove.com/files/ftp_upload/66313/66313_JoVE_Supplemental_Table_S1 (2).xlsx" target="_blank">请点击此处查看该图表的高清版本。</a>

本研究旨在比较从母语到第二语言的英语与从母语到第二语言的葡萄牙语，以检验外国口音在各项指标、韵律-声学参数以及在语音列队中选择目标声音时所产生的影响程度。

本研究旨在考察外语口音英语和外语口音巴西葡萄牙语的韵律-声学特征及其感知相关性。

我们的研究探讨了外国口音如何影响说话人识别。我们重点关注基于基频（即声音音高）、时长和音质等韵律特征。研究目标是理解这些特征如何影响听者在语音辨认 lineup 中的判断。目前，针对自动说话人识别性能的研究日益增多，该技术将自动化应用于法庭语音比对的工作流程中。然而，对于需要向警方、法官和陪审员报告结果的法庭科学家而言，这些信息如同一个黑箱。基于经典技术（如 GMM、UBM 模型）和真人语音样本的自动说话人识别系统。此外，还有基于人工智能的神经科学研究。我们提出了一种自动化流程，用于保留自动语音识别系统所遗漏的语言学信息。本方案采用结合听觉与声学的方法进行法医语音比对，同时明确该科学技术的发展国家，并利用自动化工具提取广泛的声学特征，以及执行声学相似性分析程序。首先，以 TXT 文件格式为每个音频文件编写语言转录文本。将 TXT 文件和 WAV 文件使用相同的名称进行配对标注。为每种第一语言（L1）和第二语言（L2）创建独立的文件夹。确保相同语言的所有文件对位于同一文件夹中。访问慕尼黑自动分割强制对齐工具（Munich Automatic Segmentation forced aligner）的网页界面，从文件夹中将每一对WAV和TXT文件拖放到文件区域的虚线矩形内。单击上传按钮，将文件上传至对齐工具。在服务选项菜单中，针对 L1 L2 英文数据，选择“grapheme to phoneme to mouse to phone to syllable”作为管道名称，选择“English-US”作为语言。输出格式保持默认选项，并保留所有内容。勾选运行选项框以接受使用条款。单击运行网络服务按钮，以在比对工具中运行已上传的文件。文件处理完成后，单击下载为压缩文件按钮，下载文本格文件。提取文本格文件，以供后续在语音学分析软件中重新对齐使用。获取并下载 PRAAT VVUnitAligner 脚本。确保同一语言的所有文件对以及 VVUnitAligner 脚本均位于同一文件夹中。打开语音分析软件。在对象窗口中，点击 Praat 并打开 Praat 脚本以加载脚本。点击运行按钮，然后选择语言为 English-US。接着，从片段分割按钮中选择自动模式。勾选“保存文本网格文件”选项，以自动保存新生成的文本网格文件。单击“确定”和“运行”按钮，以重新对齐语音单元。从指定网站下载语音节奏提取脚本，用于自动提取韵律声学特征。创建一个新文件夹，并将语音节奏提取脚本以及所有语言的音频文本网格文件添加到该文件夹中。打开语音分析软件，在对象窗口中点击 Praat，然后打开 Praat 脚本以加载该脚本。然后单击运行按钮一次。勾选“语音质量参数”选项，以保存用于语音质量的输出文件 VQ。现在勾选“语言目标”选项以选择语言。然后选中单位选项，以选择以半音为单位的基频（F0）特征。设置基频阈值，包括最小值和最大值阈值。点击“确定”，然后点击“运行”，以自动提取声学特征。为了进行广义加性模型和非参数统计分析，请输入指定命令，并将包含提取的声学特征的电子表格上传到 R 环境中，最后按回车键执行。与母语为葡萄牙语、第二语言为英语（L1 L2 BP）的说话者相比，母语为英语、第二语言为英语（L1 L2 English）的说话者的语速下降更为迅速，后者由于音节持续时间较长且变异程度较低，其斜率较平缓。尽管音节时长的变异性增加，巴西葡萄牙语母语者（L1 BP）和以英语为第二语言者（L2 English）的局部微扰（local shimmer）仍保持相对稳定。与英语母语者（L1 English）、巴西葡萄牙语母语者（L1 BP）以及以英语为第二语言者（L2 English）相比，以巴西葡萄牙语为第二语言者（L2 BP）的停顿频率更高，且停顿时间更长。构音速率受到的影响与语速相似，较低的构音速率与较高的认知语言负荷及音节变异相关。随着语速在所有语言水平上的提高，音节时长的标准差减小。对于母语为巴西葡萄牙语（L1 BP）和第二语言为巴西葡萄牙语（L2 BP）的说话者，音节变异系数（Varco）随着基频（F0）变异性和语速的增加而减小；而对于母语为英语（L1 English）和第二语言为英语（L2 English）的说话者，该值则增加。随着语速或停顿时长的增加，母语为巴西葡萄牙语（L1 BP）的辅音标准差表现出比母语为英语（L1 English）更低的变异性。对于母语为巴西葡萄牙语（L1 BP）和第二语言为巴西葡萄牙语（L2 BP）的发音人，元音和辅音的标准差随着韵律特征的增强呈现出先下降后上升的模式，而在母语为英语（L1 English）和第二语言为英语（L2 English）中则表现为先下降后趋于平缓。分别准备四组英语和巴西葡萄牙语的语音列队后，获取所选发音人的音频文件，并将其整理到按语言分类的文件夹中。随后，从L1英语或L1巴西葡萄牙语中随机选取六个语音片段，再从这六个片段中选择其一对应的L2英语或L2巴西葡萄牙语的一个语音片段。获取并下载 Praat 创建音列的脚本。运行脚本前，请确保将第二语言参考声音、第一语言干扰项以及第一语言目标声音放置在同一文件夹中。打开语音分析软件。在对象窗口中，单击 Praat 并打开 Praat 脚本以加载脚本。然后单击运行以执行创建队列脚本。在 R 环境中，要执行 Kruskal-Wallace 检验，请输入指定的命令。然后上传包含听者评分结果的电子表格并按回车键。接着进行事后 Dunn 检验，输入以下命令并按回车键。访问并下载 Python 脚本“Acoustic Similarity Cosine Euclidean”。确保下载的脚本与语音列队数据集保存在同一文件夹中。点击打开文件按钮调用该脚本，然后依次点击运行和“运行不调试”按钮以执行脚本。最后，基于声学特征进行语音相似性测试。在BP语音列队一中，干扰语音三被判定为目标语音，且干扰语音三与目标语音四之间无显著差异。在BP语音列队二中，目标语音三与干扰语音四之间亦无显著差异。余弦相似度和欧氏距离均显示，在BP列队一中，干扰语音三与目标语音之间存在强相关性。在BP队列二中，两种相似性指标在第四箔片与目标之间均表现出强相关性。

foreign-accent-forensic-speaker-identification-voice-lineups

Research

科研

JoVE Journal

Behavior

行为

语音阵容中的外国口音和法医说话人识别：基于韵律的声学特征的影响

该研究引入了一种训练-测试范式，用于探究在确信与怀疑语调情境下事件相关电位的新/旧效应。数据显示，在Pz及其他电极处，400-850...

基于记忆的训练与测试范式结合事件相关电位分析用于表达性言语中稳健的语音身份识别

本文描述了一种可在食物限制大鼠中显著增强觅药行为的实验方法。在完成海洛因自给药训练后，大鼠进入一段在无药物环境中的戒断期，期间对其进行轻度食物限制。随后，在与药物相关的环境中检测其觅药行为。...

一种研究长期食物限制对戒断大鼠海洛因觅药行为影响的实验方法

目前尚不清楚来自腹侧视觉通路的自上而下信号如何影响运动。我们建立了一种实验范式，用于检测在三维深度反转错觉条件下朝向目标的运动行为。研究发现，在错觉和真实视觉条件下，无论是有意识的目标导向运动，还是自动动作，均存在显著差异。...

探索自上而下视觉过程对运动行为影响的方法

本文介绍了干扰刺激-反应绑定范式。该范式可用于揭示无关刺激在与目标竞争反应时对人类行为所产生的影响。在此范式中，可同时分析反应提取效应和干扰刺激抑制效应。...

无关刺激与动作控制：通过干扰项-反应绑定范式分析被忽略刺激的影响

本方案描述了一种新颖且高效的方法，可快速诱导大鼠对乙醇产生操作性反应；与标准方法不同，该方法无需通过限水或逐步减少糖精/蔗糖浓度来启动反应。...

一种无需限水、糖精淡化或长时间接触训练评估大鼠乙醇强化特性的方法

本文介绍了一种在模拟驾驶环境中评估跟随车辆行驶时驾驶行为的实验方案。该方案用于比较不同听觉背景对驾驶行为的影响。...

音乐对驾驶行为的影响：驾驶时听音乐的后果

我们提出了一项方案，用于研究自闭症儿童在实时句子理解过程中对形态学线索的使用情况。...

使用视觉世界范式研究汉语母语自闭症儿童的句子理解能力

我们描述了一种行为学实验方案，旨在评估斑马鱼的个性如何影响其对水流和弱磁场的反应。具有相同个性特征的鱼类根据其探索行为被区分开来，随后观察它们在低流速的游泳通道中、不同磁场条件下产生的趋流性定向行为。...

评估人格特质对斑马鱼磁场敏感性的影响

我们提出一种实验方案，通过对语义异常句子进行多次重复以增强受试者的预期，从而分离整合难度与意外性这两个相互交织的因素。这种分离有助于探究语言研究中诱发事件相关电位（ERP）效应（如N400）的主要成因。...

事件相关电位研究中分离异常句子中期望效应与整合难度的混杂影响

本文介绍了一种利用五分钟言语样本程序评估父母关于其子女及其亲子关系的简短叙述连贯性的方法。...

使用五分钟言语样本法评估父母关于其子女的简短叙述的连贯性

探索外国口音对法医说话人识别的影响，重点分析基频、音高、时长和音质等韵律声学特征。本研究通过英语与葡萄牙语母语者对比，揭示口音如何影响听者在语音阵容中的判断，为法医语音比较提供重要依据。

外国口音与语音列队中的法医语音识别：基于韵律的声学特征的影响

探索更多视频