本文综述了结合听觉、发音和视觉信息以及变换器（transformer）和时序卷积网络（TCN）模型的多模态架构，如何提升构音障碍言语中音素识别的准确性。重点强调了这些架构在言语可懂度评估和个性化治疗方面的潜力，超越了传统自动语音识别（ASR）系统的性能。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本文综述了结合听觉、发音和视觉信息以及变换器（transformer）和时序卷积网络（TCN）模型的多模态架构，如何提升构音障碍言语中音素识别的准确性。重点强调了这些架构在言语可懂度评估和个性化治疗方面的潜力，超越了传统自动语音识别（ASR）系统的性能。
由于构音问题和音素变异，构音障碍等言语障碍在临床康复中面临重大挑战。传统的自动语音识别（ASR）系统通常在规范数据集上进行训练，往往难以准确解码构音障碍者的语音。近年来，人工智能与深度学习的突破使得多模态架构得以整合，例如融合听觉、构音和视觉信息以记录复杂的语音模式，使这一目标日益成为可能。在本综述中，我们探讨了在多模态框架内结合Transformer模型与时间卷积网络（TCN）以解决构音障碍语音中音素标注不精确的问题。本文讨论了基于Transformer的上下文建模与基于TCN的时间精度如何提升音素边界检测、分类以及康复反馈的效果。综述还探讨了此类混合系统在个体化言语治疗中的潜力、可解释性问题及其临床应用。多模态架构通过连接临床医学与医学信息学，为运动性言语障碍患者提供了一种转化性方法，可用于增强治疗监测、交流辅助工具以及言语可懂度评估。
神经系统损伤常可导致严重的突发性健康后果，包括肌肉骨骼系统疾病、神经血管疾病以及其他如神经源性交流障碍等疾病。神经源性交流障碍包括构音障碍和言语失用症，前者可定义为因肌肉无力导致的言语含糊，后者则为难以规划言语动作1。言语由五个子系统组成：呼吸、发声、共鸣、构音和韵律，这些子系统必须协同且无缝地工作，才能实现有效交流2。由这些子系统功能障碍引起的构音障碍会降低言语的可听性、自然性、可懂度和交流效率，从而显著影响患者及其家庭的生活质量。构音障碍可由多种神经系统疾病和潜在病理引起，包括大脑皮层、基底节、小脑、基底核、脑神经或周围神经的功能障碍。其他因素还包括舌、喉和咽喉部位的原发性运动问题3。
构音障碍是用于描述一组症状的统称 由影响呼吸、发声、共鸣、言语产生和发声功能的神经肌肉控制改变所引起的运动性言语障碍， 以及节奏。因此，构音障碍是一种常与神经肌肉损伤和伤害相关的言语障碍，其特点是用于言语的肌肉变得虚弱、迟缓或瘫痪。参与言语的具体肌肉包括舌肌、咽喉肌、面部肌、唇肌、声带、下颌肌以及上呼吸道肌肉。这些肌肉的损伤可能表现为多种形式，例如支配这些肌肉的运动神经元受损，或其血管系统受损导致肌肉缺氧。常见的影响言语传导的神经系统损伤包括：上运动神经元损伤，可导致言语肌肉僵硬或痉挛；下运动神经元损伤，因神经信号中断而导致肌肉....
访问受限。请登录或开始试用以查看此内容。
构音障碍言语中多模态数据采集概述
鉴于构音障碍症状的复杂性和多样性，必须进行多模态数据采集，以全面研究言语运动控制，并开发高效的诊断和康复技术。
声学记录装置
声学通道仍然至关重要。录音最好在经过声学处理的环境中进行，以减少混响和环境噪声。常用的麦克风为高质量电容式麦克风，可采用心形指向的头戴式或桌面式设备，并保持一致的摆放位置，以控制信号电平并避免不同录音会话之间的差异。常见的采样率为 16 kHz 或 44.1 kHz，其中 16 kHz 已足以满足可懂度和韵律分析的需求，而 44.1 kHz 可提供更高的保真度，适用于精细的声学/发声研究。多通道音频接口可实现多个音频流的同步采集，必须保持增益设置和动态余量的一致性，以避免削波或本底噪声。为了确保可重复性，建立校准流程并记录麦克风增益、环境噪声本底及漂移情况尤为重要。在构音障碍言语语料库中，音频质量尤为关键，因为声学信号的异常可能较为细微，容易被不良的录音条件所掩盖15。
可选的言语运动/唇部追踪/肌电图/超声成像模态
为了超越声学波形的局限，通常需要结....
访问受限。请登录或开始试用以查看此内容。
本文综述了多模态深度学习架构在构音障碍语音音素标注和语音恢复中的日益广泛应用。这些架构结合声学、发音运动和视觉分析，以克服基于音频的语音识别在病理语音（其特征为可懂度低和发音构型非标准化）中的局限性。电磁发音描记术、超声舌成像和面部标志点检测是更为整体化的语音产生模型，可能使我们能够捕捉到障碍语音中的声学细节和运动指令。这些技术有望改善音素边界识别、序列稳定性以及对退化模态的抗干扰能力。通过采用基于注意力机制的上下文编码（如Transformer模型）、时间卷积优化以及多模态融合策略，有望开发出更优的语音评估工具，并更有效地监测治疗进展。在临床方面，多模态模型可提供客观且可解释的语音产生及康复效果评估指标。未来的研究方向包括在更大规模的多模态数据集上进行训练、提升模型的可解释性，以及开发用户友好的临床平台，以促进这些多模态模型在真实临床环境中的应用。总体而言，深度学习的多模态方法在提高构音障碍评估与康复技术的准确性、临床实用性和可及性方面展现出巨大前景。
访问受限。请登录或开始试用以查看此内容。
作者声明无利益冲突。
作者感谢中国药科大学附属南京中医院为本研究提供了必要的奖学金和经费支持（江苏省研究生科研创新计划项目 KYCX25_2282）。
....访问受限。请登录或开始试用以查看此内容。
访问受限。请登录或开始试用以查看此内容。