传统医学中舌诊的客观化、数据分析与研究应用

摘要

本研究采用U-Net及其他深度学习算法对舌象图像进行分割，并比较分割结果，以探讨舌诊的客观化。

摘要

舌诊是中医诊断中的一项关键技术，通过图像处理技术实现舌象客观化的需求日益增长。本文综述了近十年来舌象客观化研究的进展，并对多种分割模型进行了比较。研究构建了多种深度学习模型，利用真实舌象图像数据集对算法进行验证与对比，分析了各模型的优缺点。结果表明，U-Net算法在精确度（PA）、召回率和平均交并比（MIoU）等指标上优于其他模型。然而，尽管在舌象图像采集与处理方面已取得显著进展，舌诊客观化的统一标准尚未建立。为了促进移动设备采集的舌象图像在舌诊客观化中的广泛应用，未来研究可进一步解决复杂环境下舌象图像采集所带来的挑战。

引言

舌诊是传统中医民族医学中广泛使用的一种技术。舌的颜色和形态可以反映机体的生理状况以及各种疾病的性质、严重程度和预后。例如，在传统苗医中，通过舌色判断体温状况，舌色红或紫提示与热相关的病理因素。在藏医中，通过观察患者的舌象来判断病情，重点关注舌黏膜的颜色、形态和湿润度。例如，赫依病患者的舌头会变得红而粗糙，或黑而干燥¹；赤巴病²患者表现为舌黄而干；而培根病³患者则表现为舌白、湿润且柔软⁴。这些观察结果揭示了舌象特征与生理、病理之间的密切关系。总体而言，舌的状态在疾病诊断、辨病以及治疗效果评估中具有重要作用。

同时，由于不同民族群体的生活环境和饮食习惯存在差异，舌象表现也呈现出明显区别。Lab 色彩模型是基于国际色彩判定标准建立的，由国际照明委员会（Commission International Eclairage, CIE）于1931年提出。1976年，该色彩模式经过修正并重新命名。Lab 色彩模型由三个要素组成：L 代表亮度，a 和 b 则为两个色度通道。a 通道涵盖从深绿色（低亮度值）经灰色（中等亮度值）到亮粉色（高亮度值）的颜色变化；b 通道则从亮蓝色（低亮度值）经灰色（中等亮度值）至黄色（高亮度值）变化。Yang 等人⁵通过比较五个民族群体舌色的 L × a × b 数值发现，苗族、回族、壮族、汉族和蒙古族的舌象特征彼此之间具有显著差异。例如，蒙古族人群舌体偏暗，舌苔呈黄色，而苗族人群舌体较浅，舌苔为白色，提示舌象特征可作为评估人群健康状况的诊断指标。此外，舌象还可作为民族医学临床研究中循证医学的评价指标。He 等人⁶以舌象为基础开展中医诊断，系统评价了丑灵丹丸（CLD 颗粒——在中医中用于治疗包括季节性流感在内的炎症性和发热性疾病）联合中西医治疗的安全性和有效性。研究结果证实了舌象作为临床研究评价指标的科学有效性。然而，传统医学 practitioners 通常依赖主观判断来观察舌象特征，并据此评估患者的生理与病理状态，亟需更为精确的量化指标。

互联网与人工智能技术的兴起为舌诊的数字化和客观化奠定了基础。该过程通过数学模型对舌象图像进行定性与客观描述，反映舌象图像的内容。该过程包括多个步骤：图像采集、光学补偿、色彩校正和几何变换。预处理后的图像随后输入算法模型，进行图像定位与分割、特征提取、模式识别等操作。该流程的输出结果是对舌象图像数据的高效且精确的诊断，从而实现舌诊的客观化、量化和信息化⁷。因此，实现了舌诊数据高效、高精度处理的目标。本研究基于舌诊知识与深度学习技术，利用计算机算法自动从舌象图像中分离舌体与舌苔，旨在为医生提取舌象的量化特征，提高诊断的可靠性与一致性，并为后续舌诊客观化研究提供方法支持⁸⁹。

方案

本研究已获得国家自然科学基金项目“基于关联分析的中医面部图像动态变化规律构建”的批准。伦理批件号为2021KL-027，伦理委员会已批准按照以下批准文件开展临床研究：临床研究方案（2021.04.12，V2.0）、知情同意书（2021.04.12，V2.0）、受试者招募材料（2021.04.12，V2.0）、病例及/或病例报告、受试者日记卡及其他问卷（2021.04.12，V2.0）、临床试验参与人员名单、研究项目审批文件等。已获取参与研究患者的知情同意。本研究的主要实验方法是使用真实的舌象图像来验证并比较模型的分割效果。图1展示了舌诊客观化的组成部分。

1. 图像采集

1. 使用自主研发的手持式舌面诊断仪采集患者的舌面图像。
2. 在计算机页面上填写患者的姓名、性别、年龄和疾病信息。此处图像来自到门诊就诊并被告知研究目的和内容后同意拍照的患者。确认患者坐姿端正，将整个面部置于图像采集仪中，并指导患者尽可能将舌头伸出嘴外。
3. 手持连接计算机的图像采集设备，并通过计算机屏幕上的图像确认患者处于正确位置，且舌部和面部完全暴露。
4. 在计算机屏幕上按下拍摄按钮三次，连续拍摄三张照片。
   注：该图像采集仪目前仅处于专利申请阶段，尚未用于商业用途，因此不对外销售。
5. 人工选择并筛选所采集的舌面图像。过滤并剔除舌面暴露不完整或因光照不足导致过暗的图像。图2展示了软件的图像采集界面。
6. 在实验设计中，每次从每位患者采集三张图像作为备选，从中选取一张相对标准、暴露充分、光照良好且清晰的图像，作为后续算法训练与测试的样本。
7. 拍摄完成后进行数据收集，导出数据进行人工筛选，并删除肉眼可见的非标准图像。采用以下筛选与排除标准：舌面暴露不完整，以及因光照不足导致图像过暗。光照不足、暴露不完整及标准图像的示例如图3所示。
   ​注：光照不足通常由患者未将面部完全放入仪器中所致；只有正确拍摄患者图像，才能获得完整的暴露效果。

2. 舌部分割

1. 使用在线标注工具进行舌象图像分割，具体步骤如下：
   1. 安装 Labelme，在标签界面左上角点击打开按钮，选择图像所在文件夹，并打开照片。
   2. 点击创建多边形开始逐点追踪，勾勒舌头及舌面轮廓，根据所选区域命名（例如：舌头、舌表面），并保存标注结果。
   3. 完成所有标注后，点击保存，将图像保存至数据文件夹。详细流程参见图4。
      注意：由于图像可能存在像素差异，因此不能直接用于算法的训练与测试。
2. 通过边缘填充方式将图像统一为相同尺寸，以图像的长边作为目标填充长度，进行白色边缘填充，使图像变为正方形，边长等于原图像的长边。设备采集的图像尺寸为 1080 × 1920 像素，填充后的图像尺寸为 1920 × 1920 像素。参见图5。
3. 根据需要应用图像增强处理。本研究未进行图像增强，因为所用图像在固定场景下拍摄，受环境、光照等因素影响较小。
4. 由于在拍摄过程中为每位患者采集了三张图像，以应对受试者眨眼、镜头遮挡等不可控因素，需手动筛选每位患者的图像，保留一张最具代表性的图像。
5. 为模型训练目的，共收集 200 人（即 600 张图像）的数据。经筛选后，保留约 200 张可用图像。
6. 根据图像编号，将所有舌象图像随机划分，在电子表格中将 70% 的图像划入训练集，30% 划入测试集。

3. 舌象分类

1. 访问官方网站，下载并安装 Anaconda、Python 和 Labelme。激活环境，并完成整体环境的安装与配置。软件安装与设置流程图见图6。
2. 在已安装的环境中构建深度学习算法模型，调整参数，并使用训练集完成模型训练。按照以下步骤进行模型选择与调优。
   1. 模型选择：根据研究目的选择合适的模型。在回顾近五年舌象图像处理相关研究后，本研究选取了四种算法——U-Net、Seg-Net、DeeplabV3 和 PSPNet——进行验证（模型代码详见补充编码文件1、补充编码文件2、补充编码文件3和补充编码文件4）。
   2. 数据集构建：完成模型选择后，结合研究内容构建所需数据集，主要采用上文所述的 Labelme 标注方法和统一图像尺寸方法。
3. 按以下步骤进行模型训练。图7展示了算法训练操作的详细过程。
   1. 将数据输入神经网络进行前向传播，每个神经元首先输入加权累加值，再通过激活函数输出该神经元的结果值。
   2. 将输出结果输入误差函数，与期望值进行比较以获得误差，并据此判断识别错误程度。损失函数越小，模型性能越好。
   3. 通过反向传播减小误差，确定梯度向量，并依据梯度向量调整权重，使结果趋于目标方向，从而使误差趋近于零或不断缩小。
   4. 重复此训练过程，直至达到预设训练轮次或误差值不再下降，此时模型训练完成。训练与测试阶段的算法模型流程图见图8。
4. 使用相同的测试数据对四个模型进行分割测试，并根据分割效果评估模型性能。采用精确率、召回率、平均像素精度（MPA）和 MIoU 四项指标，可对模型性能进行更全面的评价。
5. 在生成四个模型的结果后，对其进行横向数值比较；数值越高，表示分割精度越高，模型性能越好。详见图9、图10和图11。

结果

关于比较结果，请参见图12、图13和表1，其中本研究构建的环境使用相同的样本对算法模型进行训练与测试。MIoU指标：U-Net > Seg-Net > PSPNet > DeeplabV3；MPA指标：U-Net > Seg-Net > PSPNet > DeeplabV3；精确率指标：U-Net > Seg-Net > DeeplabV3 > PSPNet；召回率：U-Net > Seg-Net > PSPNet > DeeplabV3。指标值越大，分割准确率越高，模型性能越好。根据指标结果可分析得出，U-Net算法在MIoU、MPA、精确率和召回率方面均优于其他算法，其分割准确率也高于其他算法。因此，U-Net算法在四种不同算法中性能最优。PSPNet在MIoU、MPA和召回率方面优于DeeplabV3，而DeeplabV3模型在所有指标上均低于Seg-Net模型。因此，可以得出结论：在本研究环境中，Deepl...

讨论

根据上述比较结果可以看出，所考虑的四种算法具有不同的特性，其各自的优缺点如下所述。U-Net结构基于全卷积网络的改进与扩展，通过收缩路径和对称的扩展路径获取上下文信息并实现精确定位。该算法通过对每个像素点进行分类，实现了较高的分割精度，并能利用训练好的模型更快速地完成图像分割。另一方面，Seg-Net算法由编码器和解码器组成的对称结构构成，在适应新问题方面具有优势，且在语音、语义、视觉和游戏等任务中表现良好。然而，该算法需要大量数据，对硬件配置要求较高，因此仅适用于部分任务。作为更为通用的框架，DeeplabV3算法的优势在于可对大多数网络的ASSP模块进行改进，并将其以级联或并行方式布局，从而提升整体性能。但其最终特征图需通过8倍和16倍的上采样获得，相对粗糙，仍有改进空间。此外，PSPNet模型最显著的特点是通过PSP模块聚合来自不同区域的上下文信息，从而增强对全局信息的获取能力，在多个数据集上均取得了良好效果。结果表明，在本研究环境下，U-Net模型具有最高的分割精度和最佳的分割效果。

U-Net 架构在医学图像分割中展现出其优越性¹²

材料

本文使用的材料清单

姓名	公司	目录编号	评论
中央处理器	Intel(R) Core(TM) i7-9700K
图形处理器	NVIDIA GeForce RTX 3070 Ti (8192MB)
操作系统	Microsoft Windows 10 专业版 (64 位)
编程语言	Python
内存	16G