需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

一种研究适应左右反转听觉的方法

6.3K 次观看

⸱

DOI：

10.3791/56808

⸱

2018年10月29日

1Faculty of Environment and Information Studies, Shonan Fujisawa Campus (SFC), Keio University, 2School of Information Environment, Tokyo Denki University

本文内容

摘要

本研究提出了一种利用神经影像学方法研究仅通过可穿戴设备实现左右反转听觉适应的实验方案，该方法可作为揭示人类在听觉领域对新环境适应能力的有效工具。

摘要

一种非寻常的感官空间是揭示人类对新环境适应机制的有效工具之一。尽管以往大多数研究采用带棱镜的特殊眼镜来实现视觉领域的非寻常空间，但针对非寻常听觉空间适应性的研究方法尚未完全建立。本研究提出了一种新方案，仅使用可穿戴设备构建、验证并使用左右反转的立体声系统，结合神经影像技术研究个体对左右反转听觉的适应性。尽管目前尚未实现个体化声学特征的定制，且存在轻微的未反转声音串扰且较难控制，但所构建的装置在360°声源定位任务中表现出高性能，并能较好地耦合听觉特性且延迟极小。此外，该装置外观类似于便携式音乐播放器，可使受试者在日常生活中保持专注，不易引起他人好奇或注意。由于在知觉、行为和神经层面均成功检测到了适应效应，因此可以认为，该方案为研究左右反转听觉的适应性提供了有前景的方法，是揭示人类在听觉领域对新环境适应能力的有效工具。

引言

适应新环境是人类在各种情况下稳健生存的基本功能之一。研究人类环境适应机制的一个有效工具是通过仪器人为制造的异常感觉空间。在以往大多数相关研究中，通常使用带有棱镜的特殊眼镜来实现左右反转的视觉。1,2,3,4,5 或上下颠倒的视觉6,7此外，暴露于此类视觉刺激数天至一个多月后，可观察到感知和行为上的适应现象。1,2,3,4,5,6,7 (例如骑自行车的能力2,5,7）。此外，使用神经影像技术（如脑电图（EEG））对脑活动进行定期测量1，脑磁图（MEG）3，以及功能性磁共振成像（fMRI）2,4,5,7，已检测到与适应相关的神经活动变化（例如单侧视觉刺激下的双侧视觉激活4,5）。尽管参与者的外观在某种程度上变得异常，且观察者需要格外注意以确保参与者的安全，但通过棱镜实现的倒置视觉能够以可穿戴的方式无延迟地提供精确的三维（3D）视觉信息。因此，在视觉领域，揭示环境适应性机制的研究方法已相对成熟。

1879年，Thompson 提出了假声的概念， "一种通过声音空间感知中的错觉来研究双耳听觉规律的仪器"8然而，与视觉情况相反1,2,3,4,5,6,7尽管虚拟听觉显示技术已有较长的发展历史，但针对非寻常听觉空间适应性的研究却鲜有开展，迄今为止尚未获得显著的认知成果。9,10，用于控制三维听觉的可穿戴设备鲜有开发。因此，仅有少数研究报告探讨了对左右反转听觉的适应。一种传统装置由一对弯曲的喇叭组成，这些喇叭交叉后以相反的方式插入受试者的耳道中11,121928年，杨首次报道了这些交叉喇叭的使用，并连续佩戴最长达3天，总计85小时，以测试对左右反转听觉的适应能力。Willey 等12 对三名分别佩戴喇叭状装置3天、7天和8天的参与者重新测试了适应情况。弯曲的喇叭状装置虽能较容易地实现左右反转听觉，但在空间定位准确性、佩戴舒适性及外观方面存在不足。一种更为先进的反转听觉装置是电子系统，该系统将耳机/耳麦和麦克风的左右声道反向连接。13,14. Ohtsubo 等13 使用首套连接固定放大器的双耳耳机式麦克风实现了听觉反转，并对其性能进行了评估。最近，Hofman 等14 交叉链接的完全耳道式助听器，并对两名分别在3天内佩戴49小时和连续佩戴3周的受试者进行了适应性测试。尽管这些研究已报道助听器在前听觉场域中具有较高的声源定位性能，但其在后方场域的声源定位能力以及电子设备可能存在的延迟效应尚未得到评估。特别是在Hofman 等在本研究中，助听器在头部固定条件下的前方60°范围内以及在头部自由条件下前方150°范围内均保证了空间听觉性能，提示其全向性能尚不明确。此外，与视觉倒置研究中较长的适应周期相比，本研究的暴露时间可能过短，难以检测到与适应相关的现象。2,4,5这些研究均未采用神经影像技术来测量大脑活动。因此，空间-时间精确性的不确定性、较短的暴露时间以及未使用神经影像技术，可能是导致关于对左右反转听觉适应的研究报告数量较少且相关知识有限的原因。

得益于可穿戴声学技术的最新进展，Aoyama 和 Kuriki15 成功仅使用近期可获得的可穿戴设备构建了左右反转的三维听觉系统，并实现了具有高时空精度的全向听觉系统。此外，使用该设备进行约一个月的反转听觉暴露后，脑磁图（MEG）测量显示出一些代表性结果。基于该研究报告，本文详细描述了该系统的搭建、验证与使用方法，以及在定期不使用该系统的情况下借助神经影像技术测试对左右反转听觉适应性的实验方案。该方法对于揭示人类在听觉领域对新环境的适应能力具有重要意义。

访问受限。请登录或开始试用以查看此内容。

方案

本文所述所有方法均已获得东京电机大学伦理委员会的批准。在向每位参与者详细说明实验方案后，均获得了其知情同意书。

1. 左右反转听觉系统的设置

  1. 无受试者时的反向听觉系统设置
    1. 准备一台线性脉冲编码调制（LPCM）录音机、双耳麦克风和双耳入耳式耳机。
    2. 将麦克风的左、右声道线路交叉连接至LPCM录音机，使左右反转的模拟声音信号被数字化。此外，将耳机的左、右声道线路直接连接至录音机，以便立即播放经过反转的数字信号。
      注意：若使用双耳麦克风-耳机组合设备作为双耳耳机时，应避免使用耳机部分，以减少声音通过麦克风部分泄漏造成的串扰。
    3. 将每侧耳朵对应的麦克风和耳机本体放在一起，并用隔音材料进行轻微隔离，同时使用专用防风罩覆盖麦克风，以抑制风噪。
    4. 向LPCM录音机中插入可充电电池和大容量高速存储卡，并打开电源。正确设置录音参数，使声音信号以96 kHz采样率、24位深度的LPCM格式记录在存储卡上。
    5. 将系统主机放入一个口袋大小的包中。
  2. 有受试者时的反向听觉系统设置
    1. 指导受试者将反向听觉系统的耳机紧密插入外耳道。
    2. 断开左、右麦克风的线路连接，将优势耳一侧的麦克风线路直接连接至录音机。
    3. 指导受试者反复摘下并佩戴系统的优势耳侧部件，同时调节录音机的音量，使直接声（正常）与间接声（反转）的主观响度相等（尽可能接近）。
    4. 同样检查非优势耳的响度，并重新连接系统的所有线路。
    5. 将系统放入受试者的口袋中，适当固定导线于受试者衣物上以防止缠绕，并清除不必要的噪声。

2. 左右反转听觉系统的验证

注意：无论实验是否研究对左右反转的适应性，均需执行以下步骤以验证左右反转的听觉系统。

  1. 验证反向听觉系统的声源定位功能
    1. 在消声室中心放置一个数字角度规，将其初始方向定义为0°，并以此点为圆心假设一个半径为2米的虚拟圆。沿该虚拟圆周，从-180°到175°每隔5°标记一个可能的声源位置（共72个），并在这些位置设置指向圆心的平面波扬声器。
    2. 在房间中心附近架设一台摄像机，用于记录数字角度规的显示读数。
      注意：由于角度规的显示屏随其本体移动，摄像机的视野应足够大以覆盖所有可能的位置区域。此外，摄像机的放置需谨慎，避免干扰受试者的坐姿及声音呈现。
    3. 准备进行两轮声源定位测试：第一轮中，受试者不佩戴反向听觉系统；第二轮中，受试者佩戴设备，完成校准并尽快检查系统功能（如步骤1.2所述）。
    4. 引导受试者舒适地坐在圆心位置，蒙上双眼，面朝0°声源方向，等待实验开始。
    5. 进行两轮声源定位测试。在每轮测试中，要求受试者使用角度规尽可能准确地指示其感知到的声音方向，且头部不得移动。
    6. 每轮测试开始时，启动摄像机记录角度规的读数，并从任意声源位置播放频率为1000 Hz、声压级为65 dB（SPL）的声音：每10秒随机切换至另一个声源位置发声，确保每个位置仅使用一次。
      注意：本实验使用MATLAB配合心理物理学工具箱16,17,18。尽管该工具箱常用于声音呈现，也可使用其他可靠的刺激呈现软件。
    7. 每轮测试结束后，停止录像，并指导受试者充分休息一段时间。
    8. 从录制的视频中逐次读取受试者指示的感知角度，并通过将正常与反向条件下的感知角度与声源实际物理角度进行比较，评估反向听觉系统的空间定位性能。
  2. 验证反向听觉系统的时间延迟
    1. 将反向听觉系统置于安静房间内的桌面上，不安排受试者参与。
    2. 断开左侧麦克风的连接线，将一个平面波扬声器和左侧耳机尽可能靠近地放置于右侧麦克风处。
    3. 通过右侧麦克风同时录制来自扬声器的直接（正常）声音和来自左侧耳机的间接（反向）声音。
    4. 以适中的刺激间隔，从扬声器播放持续时间为1 ms、声压级为65 dB SPL的点击声。
    5. 在完成足够次数的试验后，停止声音的播放与录制。
    6. 为验证系统的对称性配置，重复上述步骤，改用右侧耳机和左侧麦克风进行测试。
    7. 使用软件（例如，MATLAB）读取录制的声音数据，并分析直接（正常）声音与间接（反向）声音起始时间之间的差异，该差异即为信号在系统电通路中传输所导致的潜在延迟。

3. 研究对左右反转听觉的适应

  1. 左右反转听觉暴露的操作步骤
    1. 反复提醒参与者有权在任何时间退出暴露实验。
      注意：如果参与者报告身体不适，或观察者注意到参与者因任何原因想要退出暴露，应立即尽快停止暴露。
    2. 准备足够数量的备用可充电电池和大容量高速存储卡，以便参与者随时更换。
    3. 指导参与者在暴露期间自行佩戴、校准并检查左右反转听觉系统，具体操作如步骤1.2所述。每次参与者在中断后重新佩戴系统时，均需重复相同操作流程。
    4. 指导参与者在约一个月的时间内持续佩戴该系统进行日常生活活动，仅在睡眠、洗澡、神经影像扫描及其他紧急情况下除外。在这些情况下，请参与者立即取下系统，并迅速将耳塞插入耳道，以防止适应状态恢复。
      注意：尽管理想情况是参与者全天候佩戴系统，但强烈建议在睡眠和洗澡时不要佩戴，以分别避免意外强噪声和电击风险。
    5. 在电池耗尽和存储卡容量满之前，定期更换电池和存储卡。在安静且无声音产生的环境中迅速取下系统，并立即替换为耳塞。
    6. 当参与者需要外出移动时，研究人员应亲自驾车接送、陪同其行动，或要求其单独行动时使用安全的交通方式。
      注意：研究人员必须格外注意，确保暴露期间参与者的人身安全，尤其是在外出时。严禁参与者从事任何危险行为。
    7. 为促进适应过程，指导参与者尽可能长时间地体验高听觉输入的情境，例如在商场或校园中行走、与两人以上进行对话，以及玩三维视频游戏等。
    8. 指导参与者尽可能频繁地记录日记，或向观察者提交主观报告，内容包括感知与行为变化、经历的事件以及任何其注意到的现象。
    9. 在达到目标暴露周期后，指导参与者取下左右反转听觉系统。
      注意：为考察从左右反转听觉适应中恢复的过程，后续跟踪感知与行为变化同样重要。
  2. 左右反转听觉暴露期间的神经影像学实验
    1. 指导参与者尽可能充分地训练将在神经影像实验中使用的任务。
      1. 例如，训练参与者在两种条件下完成选择性反应时任务：相容条件与不相容条件15。相容条件要求参与者立即用右食指对右耳声音作出反应，用左食指对左耳声音作出反应；不相容条件则要求用左食指对右耳声音作出反应，用右食指对左耳声音作出反应。
      2. 使用持续0.1秒、声压级为65 dB SPL的1000 Hz声音，刺激间隔伪随机设置为2.5–3.5秒，声音随机出现在任一侧耳朵。
    2. 在开始左右反转听觉暴露前，使用训练过的任务进行一次神经影像实验。
      1. 例如，在选择性反应时任务中记录脑磁图（MEG）或脑电图（EEG）信号，同时记录左右手指的反应15。该任务包含两个相容条件和两个不相容条件的实验区块，区块之间交替排列，区块间间隔至少30秒，每个区块通过插入式耳机（带塑料耳管）呈现80次声音刺激。
        注意：尽管Aoyama和Kuriki15使用了122通道MEG系统，但多通道EEG系统也适用于本实验方案。
      2. 对于MEG/EEG记录，设置采样率为1 kHz，模拟记录通带为0.03–200 Hz。
    3. 在约一个月的左右反转听觉暴露期间，每周在完全相同的条件下（即不佩戴反转听觉系统）重复进行一次与暴露前实验（步骤3.2.2）相同的神经影像实验。
      注意：每次实验前立即取下系统，实验结束后立即重新佩戴。
    4. 暴露结束后一周，再次以与暴露前实验完全相同的方式（步骤3.2.2），在训练任务下进行一次神经影像实验。
    5. 分析在左右反转听觉暴露前、期间及之后采集的数据。
      1. 例如，在剔除受眼动相关伪迹污染的片段、去除刺激前基线偏移、并设置40 Hz低通滤波后，对声音刺激开始前后100 ms至500 ms内的MEG/EEG数据进行平均，分别针对刺激-反应相容与不相容条件进行处理15。
      2. 使用MNE软件包19,20，基于皮层表面图像叠加动态统计参数图（dSPM），估算脑活动源，并利用最小范数估计（MNE）对平均数据中每个时间点的脑活动强度进行量化。
      3. 基于单次试验的零均值MEG/EEG数据，计算每种条件下声音刺激开始后90至500 ms的听觉-运动功能连接性
        注意：此处我们使用 MATLAB结合多元格兰杰因果性工具箱21进行分析。
      4. 对于行为数据，计算刺激-反应相容与不相容条件下的平均反应时间。

访问受限。请登录或开始试用以查看此内容。

结果

此处展示的代表性结果基于 Aoyama 和 Kuriki15 的研究。本方案实现了具有高时空精度的左右反转听觉效果。图1 显示了六名参与者在佩戴左右反转听觉系统之前和之后立即进行的360°方向范围内的声源定位结果（以余弦相似性表示，图1A）。如图1B所示，在正常条件下的感知角度与物理角度高度相关（正相关，校正后R2 = 0.99）。在反转条件下，感知角度与物理角度也表现出良好的相关性（负相关，校正后R2 = 0.96；另见 Aoyama 和 Kuriki15 中的图4），尽管存在轻微的逆时针方向感知偏差，尤其是来自右前和左后方向的声音。值得注意的是，如

访问受限。请登录或开始试用以查看此内容。

讨论

本方案旨在建立一种研究人类对左右反转听觉适应的方法，以有效揭示人类对新型听觉环境的适应能力。代表性结果表明，所构建的装置实现了高时空精度的左右反转听觉。尽管以往用于听觉反转的装置11,12,13,14在前方听觉区域大多可靠，但本方案在结合听觉特性的360º声源定位中表现出优异性能。此外，系统电路径中可能存在的2 ms延迟在其他电子装置中从未被评估过13,14，但由于人类听觉的时间敏锐度22，该延迟可忽略不计。与以往使用弯曲号角11,12、外形奇特且佩戴不适的传统装置不同，本方案所用的听觉反转系统外观类似便...

访问受限。请登录或开始试用以查看此内容。

披露

作者无任何利益冲突需要披露。

致谢

本工作部分由日本学术振兴会（JSPS）科研费资助项目编号JP17K00209资助。作者感谢Takayuki Hoshino和Kazuhiro Shigeta提供的技术协助。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
线性脉冲编码调制录音机SonyPCM-M10
双耳麦克风RolandCS-10EM
双耳入耳式耳机Etymotic ResearchER-4B
数字角度测角仪Wenzhou Sanhe Measuring Instrument5422-200
平面波扬声器AlphagreenSS-2101
摄像机SonyHDR-CX560
MATLABMathworksR2012a, R2015aR2012a 用于刺激呈现，R2015a 用于数据分析
心理物理学工具箱Free版本 3http://psychtoolbox.org
插入式耳机Etymotic ResearchER-2
脑磁图系统NeuromagNeuromag-122 TM
脑电图系统Brain Productsacti64CHamp
MNEFreeMNE 软件版本 2.7,
MNE 0.13		https://martinos.org/mne/stable/index.html
多元格兰杰因果性工具箱Freemvgc_v1.0http://www.sussex.ac.uk/sackler/mvgc/

参考文献

  1. Sugita, Y. Visual evoked potentials of adaptation to left-right reversed vision. Perceptual and Motor Skills. 79 (2), 1047-1054 (1994).
  2. Sekiyama, K., Miyauchi, S., Imaruoka, T., Egusa, H., Tashiro, T. Body image as a visuomotor transformation device revealed in adaptation to reversed vision. Nature. 407 (6802), 374-377 (2000).
  3. Takeda, S., Endo, H., Honda, S., Weinberg, H., Takeda, T. MEG recording for spatial S-R compatibility task under adaptation to right-left reversed vision. Proceedings of the 12th International Conference on Biomagnetism. , Espoo. 347-350 (2001).
  4. Miyauchi, S., Egusa, H., Amagase, M., Sekiyama, K., Imaruoka, T., Tashiro, T. Adaptation to left-right reversed vision rapidly activates ipsilateral visual cortex in humans. Journal of Physiology Paris. 98 (1-3), 207-219 (2004).
  5. Sekiyama, K., Hashimoto, K., Sugita, Y. Visuo-somatosensory reorganization in perceptual adaptation to reversed vision. Acta psychologica. 141 (2), 231-242 (2012).
  6. Stratton, G. M. Some preliminary experiments on vision without inversion of the retinal image. Psychological Review. 3 (6), 611-617 (1896).
  7. Linden, D. E., Kallenbach, U., Heinecke, A., Singer, W., Goebel, R. The myth of upright vision. A psychophysical and functional imaging study of adaptation to inverting spectacles. Perception. 28 (4), 469-481 (1999).
  8. Thompson, S. P. The pseudophone. The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science: Series 5. 5 (50), 385-390 (1879).
  9. Wenzel, E. M. Localization in virtual acoustic displays. Presence: Teleoperators & Virtual Environments. 1 (1), 80-107 (1992).
  10. Carlile, S. Virtual Auditory Space: Generation and Applications. , Springer-Verlag. Berlin Heidelberg. (2013).
  11. Young, T. P. Auditory localization with acoustical transposition of the ears. Journal of Experimental Psychology. 11 (6), 399-429 (1928).
  12. Willey, C. F., Inglis, E., Pearce, C. H. Reversal of auditory localization. Journal of Experimental Psychology. 20 (2), 114-130 (1937).
  13. Ohtsubo, H., Teshima, T., Nakamizo, S. Effects of head movements on sound localization with an electronic pseudophone. Japanese Psychological Research. 22 (3), 110-118 (1980).
  14. Hofman, P. M., Vlaming, M. S., Termeer, P. J., van Opstal, A. J. A method to induce swapped binaural hearing. Journal of Neuroscience Methods. 113 (2), 167-179 (2002).
  15. Aoyama, A., Kuriki, S. A wearable system for adaptation to left-right reversed audition tested in combination with magnetoencephalography. Biomedical Engineering Letters. 7 (3), 205-213 (2017).
  16. Brainard, D. H. The Psychophysics Toolbox. Spatial Vision. 10 (4), 433-436 (1997).
  17. Pelli, D. G. The VideoToolbox software for visual psychophysics: transforming numbers into movies. Spatial Vision. 10 (4), 437-442 (1997).
  18. Kleiner, M., Brainard, D., Pelli, D. What's new in Psychtoolbox-3? Perception. 36 (14), ECVP Abstract Supplement (2007).
  19. Gramfort, A., et al. MEG and EEG data analysis with MNE-Python. Frontiers in Neuroscience. 7, 267(2013).
  20. Gramfort, A., et al. MNE software for processing MEG and EEG data. NeuroImage. 86, 446-460 (2014).
  21. Barnett, L., Seth, A. K. The MVGC multivariate Granger causality toolbox: a new approach to Granger-causal inference. Journal of Neuroscience Methods. 223, 50-68 (2014).
  22. Green, D. M. Temporal auditory acuity. Psychological Review. 78 (6), 540-551 (1971).
  23. He, S., Cavanagh, P., Intriligator, J. Attentional resolution and the locus of visual awareness. Nature. 383 (6598), 334-337 (1996).
  24. Anton-Erxleben, K., Carrasco, M. Attentional enhancement of spatial resolution: linking behavioural and neurophysiological evidence. Nature Reviews Neuroscience. 14 (3), 188-200 (2013).
  25. Perrott, D. R., Saberi, K. Minimum audible angle thresholds for sources varying in both elevation and azimuth. Journal of the Acoustical Society of America. 87 (4), 1728-1731 (1990).
  26. Grantham, D. W., Hornsby, B. W., Erpenbeck, E. A. Auditory spatial resolution in horizontal, vertical, and diagonal planes. Journal of the Acoustical Society of America. 114 (2), 1009-1022 (2003).
  27. Xie, B. Head-Related Transfer Function and Virtual Auditory Display. , J. Ross Publishing. Plantation. (2013).
  28. Stenfelt, S. Acoustic and physiologic aspects of bone conduction hearing. Advances in Oto-Rhino-Laryngology. 71, 10-21 (2011).
  29. Zwiers, M. P., van Opstal, A. J., Paige, G. D. Plasticity in human sound localization induced by compressed spatial vision. Nature Neuroscience. 6 (2), 175-181 (2003).
  30. Huster, R. J., Debener, S., Eichele, T., Herrmann, C. S. Methods for simultaneous EEG-fMRI: an introductory review. Journal of Neuroscience. 32 (18), 6053-6060 (2012).
  31. Veniero, D., Vossen, A., Gross, J., Thut, G. Lasting EEG/MEG aftereffects of rhythmic transcranial brain stimulation: level of control over oscillatory network activity. Frontiers in Cellular Neuroscience. 9, 477(2015).

访问受限。请登录或开始试用以查看此内容。

重印与许可

标签

听觉适应双耳麦克风神经影像实验选择性反应时声源定位MEG EEG记录可穿戴音频系统听觉运动连接性格兰杰因果检验
一种研究适应左右反转听觉的方法
联系我们
向图书馆推荐

隐私政策

使用条款

政策

版权所有 © 2026 MyJoVE Corporation。保留所有权利。