fMRI 映射与协和音程及不协和音程发声相关的脑活动

摘要

聆听协和音程与不协和音程的神经相关机制已被广泛研究，但与产生协和及不协和音程相关的神经机制尚不明确。本文结合行为测试与功能性磁共振成像（fMRI），并通过音程识别和歌唱任务来描述这些机制。

摘要

和谐与不和谐感知的神经相关机制已被广泛研究，但其产生过程的神经相关机制却鲜有研究。音乐产生的最直接方式是歌唱，但从成像角度来看，歌唱比听音更具挑战性，因为它涉及运动活动。准确演唱音程需要听觉反馈处理与发声运动控制之间的整合，以正确发出每一个音符。本方案提出了一种方法，可用于监测与演唱和谐及不和谐音程相关的神经激活。实验采用四个音乐音程作为刺激材料，其中两个为和谐音程，两个为不和谐音程，分别用于听觉辨别测试以及“先聆听后模仿演唱”任务。所有受试者均为音乐学院水平的女性声乐学生，在执行歌唱任务时接受功能磁共振成像（fMRI）扫描，而聆听任务作为对照条件。通过该方式，可同时观察运动系统与听觉系统的神经活动，并获取歌唱任务中发声准确性的量化指标。因此，该方案也可用于追踪与演唱不同类型音程或更准确地演唱指定音符相关的神经激活。结果表明，与演唱和谐音程相比，演唱不和谐音程需要听觉系统与感觉运动系统外部反馈整合相关的神经机制参与程度更高。

引言

某些音高的组合通常被认为是协和的，通常会带来愉悦的感觉。而其他组合则通常被称为不协和，会引发不愉快或未解决的感觉¹。尽管可以合理地假设文化熏陶和训练在协和感的感知中起到一定作用²，但最近的研究表明，人们对协和与不协和音程及和弦的感知差异可能并不像过去认为的那样依赖于音乐文化³，甚至可能源于简单的生物学基础^4,5,6。为了防止对“协和”一词产生歧义，Terhardt⁷提出了“感官协和”的概念，以区别于音乐语境中的协和——例如，在音乐语境中，和声等因素可能会影响人们对特定和弦或音程的反应。在本实验方案中，仅使用了孤立的双音音程 ，目的正是为了单独提取仅与感官协和相关的神经激活，避免受到依赖上下文加工过程的干扰⁸。

从纯物理角度对协和感进行表征的尝试始于亥姆霍兹（Helmholtz）⁹，他将不协和和弦所引发的听觉粗糙感归因于相邻频率成分之间的拍频现象。然而，近期研究表明，感觉上的协和性不仅与缺乏粗糙感有关，还与谐波性相关，即某一音符或和弦的泛音分量与一个未实际发出的、频率更低的音符的泛音分量相一致^10,11。行为学研究证实，主观协和性确实受到诸如频率间距等纯物理参数的影响^12,13，但更广泛的研究已明确表明，仅靠物理现象无法完全解释感知上的协和与不协和之间的差异^14,15,16,17。然而，所有这些研究均是在聆听各种音程或和弦时报告了这些差异。大量采用正电子发射断层扫描（Positron Emission Tomography, PET）和功能性磁共振成像（functional Magnetic Resonance Imaging, fMRI）的研究揭示，聆听协和与不协和音程及和弦时，大脑皮层中被激活的区域存在显著差异^8,18,19,20。本研究的目的是探讨在演奏而非聆听协和与不协和音程时，大脑活动的差异。

在音乐生成过程中对感觉-运动控制的研究通常涉及乐器的使用，而且往往需要制造专门改装过的乐器，以便在神经影像学实验期间使用²¹。然而，歌唱从一开始就似乎为分析音乐生成过程中的感觉-运动过程提供了一个合适的机制，因为其“乐器”本身就是人类的声音，且发声器官无需任何改装即可适用于成像环境²²。尽管在过去二十年中，已有大量研究探讨了与歌唱相关的神经机制，例如音高控制²³、声音模仿²⁴、训练引起的适应性变化²⁵，以及对外部反馈的整合^{25,26,27,28,29}，但歌唱协和与不协和音程的神经相关性直到最近才被描述³⁰。为此，本文介绍了一种行为测试方法，旨在确认参与者能够准确识别协和与不协和音程。随后进行了一项fMRI研究，让参与者演唱多种协和与不协和音程。该fMRI实验方案相对直接，但与所有MRI研究一样，必须极为谨慎地正确设置实验条件。在此情况下，尤其重要的是尽量减少歌唱任务期间头部、口腔和嘴唇的运动，以便更清晰地识别出与歌唱本身无直接关联的神经效应。该方法可用于研究与歌唱相关的各类音乐生成活动背后的神经机制。

方案

本方案已获得墨西哥“费德里科·戈麦斯”儿童医院研究、伦理与安全委员会的批准。

1. 行为学预测试

1. 进行标准的纯音测听，以确认所有潜在受试者的听力正常（在250至8,000 Hz的倍频程频率范围内，听阈≤20 dB 听力级（HL））。使用爱丁堡利手量表³¹ 确保所有参与者均为右利手。
2. 生成间隔序列。
   1. 使用音频编辑程序生成纯音，频率范围覆盖两个八度，从G4到G6。
      注意：此处介绍的是免费开源的音频编辑软件 Audacity。也可使用其他软件包实现此目的。
      1. 对每个音调，在音频编辑软件中新建一个项目。
      2. 在“生成”菜单下，选择“音调”。在弹出的窗口中，选择正弦波形、振幅为 0.8、持续时间为 1 s。输入与所需音符对应的频率值（例如， 440 赫兹（A4）。点击“确定”按钮。
      3. 在“文件”菜单下，选择“导出音频”。在打开的窗口中，输入音频文件的所需名称，并选择WAV作为目标文件类型。点击“保存”。
   2. 根据选择两个协和音程和两个不协和音程 表1，使得每个协和音程都接近于一个不协和音程。
      注意：以纯五度和八度这两个协和音程，以及增四度（三全音）和大七度这两个不协和音程为例。这些音程是作者所开展研究中选定的实验音程。
   3. 在 G4 到 G6 的音高范围内，生成对应这四个音程的所有可能的音符组合。
      1. 对于每个区间，在音频编辑软件中新建一个项目，然后在“文件”菜单下使用“导入音频”功能，导入需要连接的两个WAV文件。
      2. 将光标置于第二个音调的任意位置并单击以选中。在“编辑”菜单下点击“全选”，然后在同一菜单下点击“复制”。
      3. 将光标置于第一个音调的任意位置并单击。在“编辑”菜单下，点击“将光标移至轨道末尾”，然后在同一菜单下点击“粘贴”。按照步骤 1.2.1.3 中所述导出音频。
   4. 使用随机序列生成器生成包含100个间隔的序列，这些间隔以伪随机方式生成，使得四种不同的间隔每种恰好出现25次³⁰使用统计分析软件中的随机置换函数（参见 材料表）。将四个时间间隔作为参数输入，并创建一个循环，重复此过程25次。
   5. 使用行为研究软件生成两个独立的运行。为每次运行加载包含100个区间的WAV格式序列，并将每个区间的识别与单次试验相关联³⁰.
      注意：此处使用 E-Prime 行为研究软件，也可使用其他等效的行为研究软件。
3. 向参与者说明，他们将听到两组序列，每组包含100个时间间隔，每个序列对应不同的任务及相应的操作指令。告知参与者，在两次实验过程中，只有当按下有效按键后，才会播放下一个时间间隔。
   注意：一旦开始识别间隔序列，就不应中断，因此所有参与者都应清楚了解操作流程。
   1. 让受试者在笔记本电脑前坐下，并佩戴提供的耳机。使用高质量的包耳式耳机。为每位受试者调节声音至舒适水平。
   2. 如果使用此处所述的行为研究软件，请使用 E-Run 打开在步骤 1.2.5 中创建的任务。在弹出的窗口中输入实验会话编号和被试编号，然后点击“确定”。使用会话编号以区分每位参与者的不同运行记录。
      注意：当前任务的说明将显示在屏幕上，随后任务本身即开始。
      1. 首先，在二选一强制选择任务中，让参与者简单判断他们所听到的音程是协和还是不协和。要求参与者在计算机键盘上按“C”表示协和，按“D”表示不协和。
         注意：由于所有参与者均需具备音乐学院水平的音乐训练背景，因此均应能够区分明显的协和音程与明显的不协和音程。第一项任务在某种程度上用于验证这一能力是否确实具备。
      2. 其次，在四选一强制选择任务中，让参与者自行识别音程。要求参与者按计算机键盘上的数字“4”、“5”、“7”和“8”来分别识别增四度、纯五度、大七度和八度音程。
   3. 每次任务结束时，按下“确定”以自动将每位参与者的结果保存为单独的 E-DataAid 2.0 文件，文件名包含被试编号和会话编号，扩展名为 .edat2。
   4. 使用统计分析软件（例如， Matlab、SPSS Statistics 或开源替代软件）计算每项任务的成功率即 判断音程是否协和的成功回答百分比，以及识别音程本身的成功回答百分比（包括个体和整体组别）³².

2. fMRI 实验

1. fMRI 实验前准备。
   1. 生成与步骤 1.2.3 中相同音程的序列，再次由两个连续的纯音组成，每个纯音持续时间为 1 秒。
      注意：现在必须考虑参与者的发声范围，所有音符必须处于每位参与者舒适歌唱的音域之内。
      1. 使用随机序列生成器创建一个包含 30 个音程的随机序列，用于仅聆听试验³⁰。对于歌唱试验，创建一个包含 120 个音程的伪随机序列，供参与者先聆听特定音程，然后用自己的歌声匹配该目标音程。对于伪随机序列，采用与步骤 1.2.4 中所述相同的方法，再次以 4 个音程作为参数，但将此过程重复 30 次。
      2. 按照步骤 1.2.5 的相同流程，使用行为研究软件生成三个独立的运行序列，每个序列最初包含 10 次静默基线试验，随后是 10 次连续的仅聆听试验，最后是 40 次连续的歌唱试验。
         注意：在基线试验期间，4 个音程以随机顺序出现；而在歌唱试验期间，4 个音程以伪随机顺序出现，使得每个音程最终恰好呈现 10 次。每次试验持续时间为 10 秒，因此单个完整运行持续 10 分钟。由于每位受试者需完成 3 次实验运行，整个实验总时长为 30 分钟。然而，考虑到参与者进出扫描仪的时间、麦克风设置与测试时间、获取解剖图像的时间以及功能扫描运行之间的间隔，每位参与者应分配约 1 小时的扫描仪使用时间。
   2. 向参与者解释将在试验中呈现的试验序列顺序（如步骤 2.1.1.2 所述），并解答他们可能存在的任何疑问。指导参与者在歌唱试验期间闭口哼唱音符，保持嘴唇静止，同时发出“m”音。
   3. 将一副非磁性、磁共振兼容的耳机连接至笔记本电脑。为每位受试者调节至舒适的音量水平。
   4. 将一个小型电容式麦克风通过屏蔽三绞线连接至音频接口，该音频接口再连接至笔记本电脑。
      注意：麦克风电源、音频接口和笔记本电脑均应放置在扫描仪所在房间之外。
   5. 检查麦克风的频率响应。
      注意：本测试的目的是确认麦克风在扫描仪内部的工作性能符合预期。
      1. 在音频编辑软件中新建一个项目，并选择电容式麦克风作为输入设备。
      2. 按照第 1.2.1 节所述方法，生成一个频率为 440 Hz、持续时间为 10 秒的测试音，使用适当的频率和持续时间参数。
      3. 使用笔记本电脑上的默认声音播放软件，点击“播放”，将测试音通过耳机在扫描仪内部（头枕上方）和外部（控制室内）播放，每次均将麦克风置于耳机两侧之间。
      4. 在音频编辑软件中点击“录音”，在每个位置录制约 1 秒的测试音。
      5. 在“分析”菜单中选择“绘制频谱”，分别对每种情况进行分析，并通过检查各位置接收到的信号基频是否为 440 Hz，来比较麦克风在扫描仪内外对测试音的响应。
   6. 用电工胶带将电容式麦克风固定在参与者颈部，位置位于喉部下方。
   7. 让参与者佩戴耳机，并将其安置于磁共振（MR）扫描仪中。
2. fMRI 实验过程。
   1. 在实验开始时，打开磁共振用户界面（MRUI）软件包。使用 MRUI 编程设定数据采集方案。
      注意：不同型号设备的界面可能存在差异。
      1. 从屏幕菜单中选择“患者”选项，输入参与者的姓名、年龄和体重。
      2. 点击“检查”按钮，首先选择“头部”，然后选择“大脑”。
      3. 选择“3D”然后选择“T1 等体素”，相关参数设置如下：重复时间（TR）= 10.2 ms，回波时间（TE）= 4.2 ms，翻转角 = 90°，体素大小 = 1 × 1 × 1 mm³。
         注意：对每位参与者，将使用梯度回波脉冲序列采集 T1 加权解剖图像，作为解剖学参考。
      4. 点击“程序”并选择 EchoPlanaImage_diff_perf_bold（T2*），相关参数设置如下：TE = 40 ms，TR = 10 s，采集时间（TA）= 3 s，TR 延迟 = 7 s，翻转角 = 90°，视野（FOV）= 256 mm²，矩阵尺寸 = 64 × 64。使用“Dummy”选项采集 5 次扫描体积，并将总体积数设为“55”。
         注意：这些参数允许根据 图 1 所示的稀疏采样方案采集功能性的 T2* 加权全脑扫描，其中先采集并丢弃一次回波平面成像（EPI）“伪”扫描，以消除 T1 饱和效应。请注意，在某些 MRUI 系统中，TR 值应为 3 s，因其被定义为实际采集发生的总时间。
      5. 点击“复制”以复制该序列。将光标移至序列列表底部，然后点击“粘贴”两次，以设置三个连续的稀疏采样序列。
      6. 点击“开始”以启动 T1 加权解剖图像的采集。
      7. 向参与者呈现三个运行序列，运行内容如步骤 2.1.1.2 所述。使用扫描仪触发盒将运行开始时间与扫描仪采集同步。
         1. 按照第 1.3.2 节所述流程启动每一次运行，使用会话编号区分不同运行。采用步骤 1.3.3 中所述相同方法保存三次完整运行的结果。
            注意：试验呈现的时间系统性地随机抖动 ±500 ms。

图1：稀疏采样设计。（A）仅包含聆听双音音程（2秒）而无后续外显复现任务的试验中各事件的时间线。（B）包含聆听与歌唱任务的试验中各事件的时间线。请点击此处查看该图的放大版本。

3. 数据分析

1. 使用专为脑成像数据序列分析设计的软件，按照标准流程对功能数据进行预处理³³。
   注意：所有数据处理均使用同一软件完成。
   1. 使用提供的菜单选项，将图像重定位至第一个体积，并进行重采样和空间标准化（最终体素大小：2 x 2 x 2 mm³），以匹配标准蒙特利尔神经学研究所（MNI）立体定位空间³⁴。
   2. 使用提供的菜单选项，采用各向同性、8 mm半高全宽（FWHM）高斯核对图像进行平滑处理。
   3. 为建模BOLD反应，选择单箱有限脉冲响应（FIR）作为基函数（阶数为1）或方波函数，覆盖体积采集时间（3 s）²⁸。
      注意：对于稀疏采样方案（如本实验），通常无需将FIR与血流动力学响应函数进行卷积，这与常见的事件相关fMRI不同。
   4. 对每个事件的BOLD信号应用高通滤波器（“歌唱网络”为1,000 s，其他区域为360 s）。
      注意：将所有歌唱任务合并建模相当于一个400 s的区块³⁵。

结果

我们实验中的所有11名参与者均为音乐学院水平的女性声乐学生，她们在音程识别任务中表现良好，因而被选中进行扫描。音程识别任务的成功率为65.72 ±21.67%，正如预期，该数值低于识别不协和音程与协和音程的成功率（74.82 ±14.15%）。

为了验证本研究的基本设计，我们希望在已知构成“歌唱网络”的脑区中识别出歌唱时的神经活动，这些脑区已在多项先前研究中被定义^{25,26,27,28,29,30,31<...}

讨论

本研究描述了一种利用歌唱来研究产生协和与不协和音程时大脑活动的实验方案。尽管歌唱可能是产生音乐音程的最简单方法²²，但它无法产生和弦。然而，尽管大多数关于协和性概念的物理表征在一定程度上依赖于同时发声音符的叠加，已有大量研究表明，由对应于协和或不协和和弦的音符构成的音程，仍分别被感知为协和或不协和^4,6,15,41,42。

在参与者进入扫描环节之前，需通过行为时间间隔感知任务来确定其是否能够充分区分不同时间间隔，以确保其在磁共振设备内能够良好地完成任务。任何在执行这些识别任务时无法达到预设阈值的参与者，均不应进入功能磁共振成像实验。该筛选过程的主要目的是确保参与者之间的表现差异并非源于感知能力的不足。入选的参与者...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
Achieva 1.5-T 磁共振成像仪	Philips	Release 6.4
Audacity	开源软件	2.0.5
音频接口	Tascam	US-144MKII
听力计	Brüel & Kjaer	Type 1800
E-Prime 专业版	Psychology Software Tools, Inc.	2.0.0.74
Matlab	Mathworks	R2014A
磁共振兼容插入式耳机	Sensimetrics	S14
Praat	开源软件	5.4.12
专业电容话筒	Shure	SM93
SPSS 统计软件	IBM	20
统计参数映射软件	Wellcome Trust 神经影像中心	8