Summary
本研究采用U-Net等深度学习算法对舌头图像进行分割，并对比分割结果，以研究舌头诊断的客观化。
Abstract
舌诊是中医诊断的一项基本技术，通过图像处理技术客观化舌头图像的需求正在增长。本研究概述了过去十年在舌头客观化方面取得的进展，并比较了分割模型。构建了各种深度学习模型，以使用真实的舌头图像集来验证和比较算法。分析了每种模型的优缺点。结果表明，U-Net算法在精度精度（PA）、召回率和平均交集（MIoU）指标方面优于其他模型。然而，尽管在舌头图像采集和处理方面取得了重大进展，但尚未建立客观化舌头诊断的统一标准。为了促进使用移动设备捕获的舌头图像在舌头诊断对象化中的广泛应用，进一步的研究可以解决在复杂环境中捕获的舌头图像带来的挑战。
Introduction
舌观察是中国传统民族医学（TCM）中广泛使用的技术。舌头的颜色和形状可以反映身体状况和各种疾病特性、严重程度和预后。例如，在传统苗族医学中，舌头的颜色用于识别体温，例如，红色或紫色舌头表示与热有关的病理因素。在藏医中，通过观察患者的舌头，注意粘液的颜色，形状和水分来判断病情。例如，和易病患者的舌头变得红而粗糙或又黑又干1;Xieri 病2 患者出现舌黄和干燥;同时，巴达坎病3 患者舌头发白、湿润、柔软4。这些观察揭示了舌头特征与生理和病理学之间的密切关系。总体而言，舌头的状态在诊断、疾病识别和治疗效果评估中起着至关重要的作用。
同时，由于不同种族群体的生活条件和饮食习惯不同，舌头图像的差异很明显。实验室模型是在颜色测定国际标准的基础上建立的，由国际克莱里奇委员会（CIE）于1931年制定。1976年，一种颜色图案被修改并命名。Lab 颜色模型由三个元素组成：L 对应于亮度，而 a 和 b 是两个颜色通道。a 包括从深绿色（低亮度值）到灰色（中等亮度值）到亮粉色（高亮度值）的颜色;b 从亮蓝色（低亮度值）到灰色（中等亮度值）再到黄色（高亮度值）。通过比较5个民族舌色的L x a x b值，Yang等5发现苗族、回族、壮族、汉族和蒙古族的舌头图像特征彼此明显不同。例如，蒙古人的舌头颜色深，舌苔是黄色的，而苗族人的舌头是浅色的，舌苔是白色的，这表明舌头特征可以作为评估人口健康状况的诊断指标。此外，舌头图像可以作为民族医学临床研究中循证医学的评价指标。他等6以舌象作为中医诊断的基础，系统评价了周灵丹丸（CLD颗粒，用于治疗炎症和发热性疾病，包括中医季节性流感）联合中西医的安全性和有效性。研究结果确立了舌头图像作为临床研究评价指标的科学有效性。然而，传统医学从业者一般依靠主观性来观察舌头特征，评估患者的生理和病理状况，需要更精确的指标。
互联网和人工智能技术的出现为舌头诊断的数字化和客观化铺平了道路。该过程涉及使用数学模型来提供舌头图像7的定性和客观描述，反映舌头图像的内容。该过程包括几个步骤：图像采集、光学补偿、色彩校正和几何变换。然后将预处理后的图像馈送到算法模型中，用于图像定位和分割、特征提取、模式识别等。该过程的输出是对舌头图像数据的高效、精确诊断，从而达到舌诊客观化、量化化、信息化的目标8。从而达到舌诊数据高效、高精度处理的目的。本研究基于舌诊知识和深度学习技术，利用计算机算法自动将舌体和舌苔与舌头图像分离，以期为医生提取舌头定量特征，提高诊断的可靠性和一致性，为后续舌诊客观化研究提供途径9.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
本研究已获国家自然科学基金项目“基于关联分析的中医面部图像动态变化规则构建”批准。伦理批准文号为2021KL-027，伦理委员会已批准按照批准的文件开展临床研究，这些文件包括临床研究方案（2021.04.12，V2.0）、知情同意书（2021.04.12，V2.0）、受试者招募材料（2021.04.12、V2.0）、研究案例和/或病例报告、受试者日记卡和其他问卷（2021.04.12，V2.0）、临床试验参与者名单， 研究项目审批等获得了参与研究的患者的知情同意。本研究的主要实验方法是使用真实的舌头图像来验证和比较模型分割效果。 图1 显示了舌诊对象的组成部分。
1. 图像采集
- 使用自主研发的手持式舌面诊断仪采集患者的舌面图像。
- 在计算机页面上填写患者的姓名、性别、年龄和疾病。此处包含的图像来自来到诊所并在被告知研究目的和内容后同意拍照的患者。确认患者坐直，将整个面部放入图像采集仪中，并指导患者最大限度地将舌头伸出嘴外。
- 握住连接到计算机的图像采集设备，并通过计算机屏幕上的图像验证患者是否处于正确的位置以及舌头和面部是否完全暴露。
- 按电脑屏幕上的拍摄按钮三次即可 拍摄 三张照片。
注意：图像采集仪器目前仅处于专利申请阶段，不用于商业用途，因此不出售。 - 手动选择和过滤收集的舌头和面部图像。过滤并排除舌头和面部曝光不完整的图像，以及由于光线不足而太暗的图像。 图2 显示了该软件的图像采集页面。
- 在实验设计中，一次从每位患者身上收集三张图像作为替代方案，并选择相对标准、曝光充分、照明良好、清晰的图像作为后续算法训练和测试的样本。
- 拍摄后采集数据，导出数据进行人工筛选，删除肉眼可见的非标图像。使用以下过滤和排除标准：舌头和面部曝光不完整，以及由于光线不足而导致太暗的图像。 图3显示了光线不足、不完整和标准图像的示例。
注意：光线不足通常是由于患者未能将面部完全放入器械引起的。通常只有通过正确拍摄患者才能获得完全曝光。
2. 舌头分割
- 使用在线注释工具执行舌头图像分割，如下所述。
- 安装Labelme，点击标签界面左上角的“打开”按钮，选择图片所在的文件夹， 打开 照片。
- 单击创建 多边形 以开始跟踪点，跟踪舌头和舌头形状，根据所选区域（例如舌头和舌面）命名它们，然后保存它们。
- 完成所有标记后，单击“ 保存 ”将图像保存到数据文件夹。有关详细的流程图，请参见 图 4 。
注意：由于图像可能存在像素差异，因此图像不能直接用于算法训练和测试。
- 通过边缘填充图像，将图像统一为相同大小，将图像的长边作为目标填充长度，并执行白色边缘填充以将图像填充到正方形，图像的长边作为边缘长度。设备捕获的图像大小为 1080 x 1920 像素，填充图像的大小为 1920 x 1920 像素。参见 图 5。
- 如果需要，应用图像增强。本研究没有应用增强功能，因为使用的图像是在固定场景中拍摄的，受环境、照明和其他因素的影响较小。
- 由于在拍摄过程中为每位患者收集了三张图像，以解决无法控制的因素，例如被摄体闪烁和镜头遮挡，因此请手动筛选每位患者的图像以保留每位患者一张图像。
- 为了训练模型，请从 200 人或 600 张图像中收集数据。筛选后，保留约200张可用图像。
- 根据图像编号，随机划分所有舌头图像，将其中70%放入训练集中，30%放入电子表格中的测试集中。
3. 舌头分类
- 访问官方网站并下载并安装Anaconda，Python和Labelme。激活环境，完成整体环境的安装和调整。有关描述软件安装和设置的流程图，请参见 图 6 。
- 在已安装的环境中构建深度学习算法模型，调整参数，并使用训练集完成模型训练。执行模型选择和调整，如以下步骤中所述。
- 模型选择：根据研究目的选择合适的模型。在回顾了过去5年对舌头图像处理的研究后，本研究选择了U-Net，Seg-Net，DeeplabV3和PSPNet四种算法进行验证（参见补充编码文件1，补充 编码文件2，补充 编码文件3和 补充编码文件4 的模型代码）。
- 数据集构建：完成模型选择后，结合研究内容构建所需的数据集，主要采用Labelme标注和统一图像大小的方法，如上所述。
- 执行如下所述的模型训练。 图 7 显示了算法训练操作的详细信息。
- 将数据输入神经网络进行前向传播，每个神经元首先输入加权累积的值，然后输入激活函数作为该神经元的输出值以获得结果。
- 将结果输入误差函数，与期望值对比，得到误差，误判识别度。损失函数越小，模型就越好。
- 通过反向传播减少误差并确定梯度矢量。通过梯度向量将权重调整为结果趋势，使误差趋于零或缩小。
- 重复此训练过程，直到集合完成或错误值不再下降，此时模型训练完成。有关算法模型在训练和测试中的流程图，请参见 图 8 。
- 使用相同的测试数据对四个模型进行分割，并根据分割效果判断模型性能。精度、召回率、平均像素精度 （MPA） 和 MIoU 这四个指标提供了更全面的模型性能评估。
- 生成四个模型的结果后，水平比较它们的值;值越高，分割精度越高，模型的性能越好。请参见图 9、图 10 和 图 11。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
有关比较结果，请参见图 12、 图 13 和 表 1，其中本研究构建的环境使用相同的样本来训练和测试算法模型。MIoU指标：U-Net > Seg-Net > PSPNet > DeeplabV3;MPA指标：U-Net>Seg-Net>PSPNet>DeeplabV3;精准指标：U-Net > Seg-Net > DeeplabV3 > PSPNet;回想一下：U-Net > Seg-Net > PSPNet > DeeplabV3。指标值越大，分割精度越高，模型性能越好。根据指标结果可以分析出U-Net算法在MIoU、MPA、精度和召回率方面优于其他算法，其分割精度也高于其他算法。因此，U-Net 算法在四种不同的算法中具有最佳性能。PSPNet在MIoU，MPA和recall方面优于DeeplabV3，而DeeplabV3模型在所有指标上都低于Seg-Net模型。因此，可以得出结论，DeeplabV3算法在本次研究环境中的四种算法中综合性能最差。
评价指标
本研究主要通过精度、召回率、MPA和MIoU验证了算法模型的性能。模型的性能指标与混淆矩阵直接相关，混淆矩阵由模型分类结果组成，反映了模型正确和错误分类的样本数。矩阵表示估计值，相当于测试集结果，实际值表示基本事实。两个类别分为真和假，分别由 T 和 F 表示，产生四种组合：TP、FP、FN 和 TN.MPA 是每个类别中正确分类像素比例的平均值，MIoU 是平均交集与合并比。这是语义分割最常见的指标;它计算交集的比率，并将真实值和预测值合并10。这些公式为：
精度 = 、召回率 = 、MPA = （CPA = ，其中 N 是类别总数），MIoU = 
（IoU= ）。 
这四个指标对舌头图像的分割效果提供了更全面的评估。
本研究选取了U-Net、Seg-Net、DeeplabV3和PSPNet四种深度学习算法模型，使用真实的语言图像数据对算法模型进行训练和测试。U-Net 11 采用U形架构，左边是编码器，右边是解码器，具有用更少的数据训练更准确的分类结果，全面提取图像特征的优点。DeepLabV3基于Res-Net网络解决多尺度目标分割问题，采用空心卷积结构，设计了捕获多尺度上下文的模块，去除了条件随机场（CRF），升级了空洞空间金字塔池化（ASPP）模块，显著提升了模型性能。语义分割旨在获取分割对象每个像素的类别标签。Seg-Net是一种卷积神经网络（CNN）架构，具有用于语义分割的对称结构，包括编码器和解码器。这样做的优点是，解码器对低分辨率特征图的上采样方法消除了上采样学习时间。PSPNet模型主要应用于场景解析，在语义分割中加入上下文信息，可以避免局部误差，解决缺乏使用全局场景分类信息的适当策略的问题，提高最终预测结果的可靠性。
图1：舌诊对象化的组成部分。 舌头诊断组件，包括图像拍摄元素、舌头分割和舌头分类。 请点击此处查看此图的大图。
图 2：图像采集页面。 舌头图像采集界面和问卷内容。 请点击此处查看此图的大图。
图 3：图像过滤和抑制标准。 绿色勾号表示纳入标准，红叉表示排除标准。 请点击此处查看此图的大图。
图 4：标签标记过程示意图。 Labelme软件用于注释图像的整个过程，从打开文件夹到保存文件。 请点击此处查看此图的大图。
图 5：图片预处理图。拍摄图像的大小为 1080 x 1920 像素，填充图像的大小为 1920 x 1920 像素。请点击此处查看此图的大图。
图 6：环境配置流程图。该算法只能在配置环境后运行。请点击此处查看此图的大图。
图 7：算法训练运行详细图。 算法操作中的详细步骤和执行方法。请点击此处查看此图的大图。
图 8：算法模型在训练和测试中的流程图。算法的重要步骤，包括数据处理、算法训练、算法测试等。请点击此处查看此图的大图。
图 9：Seg-Net 算法结构。 Seg-Net算法逻辑结构和代码运行过程。 请点击此处查看此图的大图。
图 10：U-Net 算法结构。 U-Net算法逻辑结构和代码运行过程。 请点击此处查看此图的大图。
图11：舌头图像分割研究的流程。 图像中的红色区域是舌头分割的结果，绿色区域是舌苔分割的结果。 请点击此处查看此图的大图。
图 12：四个算法指标的比较图。MIoU、MPA、精度和召回率都是算法性能的评价指标。数值越大，算法性能越好，分割精度越高。请点击此处查看此图的大图。
图 13：舌头分割的四种算法结果的比较。 图像中的红色区域是舌头分割的结果，绿色区域是舌苔分割的结果。 请点击此处查看此图的大图。
图 14：U-Net 算法结构图。蓝色/白色框表示特征图，而特征图上方的数字表示通道数。请点击此处查看此图的大图。
| 米奥乌 | .MPA | 精度 | 召回 | |
| 优网 | 84.00% | 89.38% | 91.90% | 89.38% |
| 深度实验室V3 | 59.68% | 61.33% | 84.21% | 61.33% |
| PSPNet. | 67.80% | 72.56% | 82.71% | 72.56% |
| 赛格网 | 80.09% | 87.14% | 88.53% | 87.14% |
表 1：四个算法分割结果指标的比较。 指标是MIoU，MPA，精度和召回率。
补充编码文件 1：U-Net_training。 U-Net 模型训练代码。 请点击此处下载此文件。
补充编码文件 2：Seg-Net_training。 Seg-Net模型训练代码。 请点击此处下载此文件。
补充编码文件 3：DeeplabV3_training。 DeeplabV3 模型训练代码。 请点击此处下载此文件。
补充编码文件 4：PSPNet_training。 PSPNet模型训练代码。 请点击此处下载此文件。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
根据上面给出的比较结果，很明显，所考虑的四种算法的特点是不同的，它们的独特优点和缺点如下所述。U-Net结构基于全卷积网络的修改和扩展，可以通过收缩路径和对称扩展路径获得上下文信息和精确定位。通过对每个像素点进行分类，该算法实现了更高的分割精度，并更快地使用训练好的模型对图像进行分割。另一方面，Seg-Net算法由编码器和解码器的对称结构组成，具有快速适应新问题并在语音，语义，视觉和游戏等任务中表现良好的优势。但是，该算法需要大量数据，因此在硬件配置方面要求很高，因此仅适用于某些任务。作为一个更通用的框架，DeeplabV3算法具有改进大多数网络的ASSP模块的优势，并将它们级联或并行布置以提高整体性能。但是，最终的特征图需要以8和16的速率进行上采样，这相对粗糙，以后可以改进。此外，PSPNet模型具有通过PSP模块汇总来自不同区域的背景信息的最显着特点，从而改善了对全球信息的获取，并在多个数据集上提供了良好的结果。结果表明，U-Net模型在研究环境中具有最高的分割精度和最佳的分割效果。
U-Net架构证明了其在医学图像分割方面的优越性12.U-Net算法最初是为2D细胞图像分割而设计的，通过用3D模块替换其2D模块得到了进一步发展。这种修改增强了其处理3D图像的能力，例如磁共振成像（MRI），计算机断层扫描（CT）和三维（3D）超声图像。通过将医学图像分割成器官、组织和病变，可以获得有价值的临床数据。改进的U-Net算法是后续检查和治疗的有效工具。在医学诊断中，图像的分类是许多诊断过程的关键部分。传统医学依赖于观察所有可见的迹象，包括舌头、皮肤和表情。医学图像分割技术的出现和进步在医学诊断中具有重要意义。在中医中，分析人脸和舌头图像需要使用各种深度学习算法进行特征提取分类。另一方面，图像分割算法在西医中应用广泛，为临床诊断和病理学提供了基础13。
本研究的研究过程包括数据预处理、算法训练和测试以及算法性能比较等关键步骤。最初，对原始数据进行处理、标注，并划分为训练集和测试集，以方便后续的算法构建。然后将处理后的数据馈送到神经网络中，并设置损失函数以通过反向传播确定梯度向量。随后，调整参数，直到训练过程完成。利用MIoU、MPA、精度、召回率等多个指标测试图像分割效果，全面评估算法性能。在实际的算法训练过程中，可能会发生过度拟合，其中模型对数据（包括噪声数据的特征）学习得太彻底。这会导致在以后的测试中识别数据、不正确的数据分类和较差的泛化能力。如果发生过度拟合，可以增加训练数据或重新清理数据。本研究采用梯度下降迭代法。过度拟合也可以通过提前切断迭代来防止。
这项研究的局限性是显而易见的;这些图像是使用固定仪器收集的，实验仪器目前不能用于商业目的。因此，本研究中的舌头图像来自单个场景，并不能完全反映临床背景和复杂多变的光线条件。因此，需要进一步研究复杂环境和低光照条件下的图像处理技术。舌诊的客观化研究内容丰富，因此准确的舌体分割至关重要。因此，比较和验证具有最合适分割效果的算法对于后续研究具有重要意义。舌头分割与分类相结合，理论上可以实现舌头图像自动判断，辅助诊断;学者们对这个问题进行了探索和研究。在医疗保健领域，使用物联网和无线通信技术来处理生物医学图像以及诊断辅助可以提高系统的效率。Mansour等人14 设计了一种基于协作深度学习和物联网的自动舌头彩色图像（ASDL-TCI）。它包括数据采集、预处理、特征提取、分类和参数优化。该模型的精度、召回率和准确率分别为0.984、0.973和0.983，优于其他方法。
图像采集和预处理
在图像采集过程中，光源的强度和种类会直接影响图像质量，进而影响图像分割和分类结果。因此，必须设置光源以尽可能接近自然光源的效果。此外，利用标准光源或采用多个光源并在固定场景中拍摄等方法可以防止光线、背景等因素的负面影响，从而提高算法分割的准确性。用于采集舌头图像的仪器照明参数与标准照明不同，影响舌头图像的显色效果。因此，最常用的预处理方法是色彩校正。Cai等人15 发现，为了解决舌头图像的颜色数据与相应舌头的颜色色度之间的差异，有必要对舌头图像的色彩空间转换和颜色校正进行归一化。显示设备的色彩性能也偏离了真实的舌头主体，需要进行测试和调整。此外，图像尺寸因在图像采集过程中使用的不同采集仪器而变化16。为了提高训练效率并节省存储空间，深度学习网络对输入图片大小有限制。因此，在图片预处理阶段必须对图片尺寸进行标准化。通常，这是通过统一重塑用于模型训练的输入图片大小来实现的，常用的重塑方法是插值、裁剪、包含、平铺和镜像。
舌头图像分割
舌头图像分割可分为两种类型：传统和深度学习分割方法17.传统的舌头图像分割方法由Snake算法和Otsu算法等算法组成。作为活动轮廓模型，Snake 算法18 首先设置轮廓曲线，然后调整初始轮廓以演变为真实轮廓曲线。初始轮廓的获取和轮廓的演变是Snake算法的主要研究重点。另一方面，Otsu算法是一种经典的阈值分割算法，它采用一个或多个阈值来计算原始图像上的灰度值，并将每个像素的灰度值与阈值进行比较。根据比较结果，描绘了深度学习方法出现之前的舌头和背景。这两种算法常用于舌头图像处理和舌头诊断对象化。
自深度学习理论问世以来，无数学者研究了舌诊客观化与深度学习的融合。Zheng等19 通过融合各种算法，在开放环境下探索舌头检测方法，设计了一种基于图像分割的舌头检测方法，最终取得了良好的舌头分割效果。Yuan等人20 提出了一种基于区域关联的单像素损失函数的舌头分割方法，其中改进的损失函数考虑了区域像素之间的相关性。采用像素标签语义监督学习，提高了模型训练效率，MIoU指数达到96.32%。舌头图像表现出特定的形态特征，如牙痕、裂缝和穿刺，与疾病发作密切相关。因此，舌头观察可以帮助诊断疾病的进展。Wang等人21 提出了一种针对小样本数据集的深度学习舌头骨折分割方法，该方法提高了准确性和稳定性。这种方法涉及首先分裂舌体，然后是舌裂，并通过将焦点损失纳入功能损失来改进U-Net算法。
舌头图像分类
对舌头图像进行分类主要涉及识别舌头颜色、刺、裂缝和涂层颜色等特征。Wang等人22 采用Snake算法对舌体进行分割，并利用互信息图像配准、对数边缘检测、平行线等技术来识别穿刺。这种方法有效地解决了自动穿刺识别和计数的问题，同时便于早期发现和预防。为了解决与舌头图像算法训练相关的局限性，如数据量大、训练时间长、设备要求高等人，Yang等人23提出了一种基于迁移学习的全连接神经网络。该方法利用训练有素的Inception_v3提取特征，并与全连接神经网络（FCN）相结合，准确率超过90%。这种方法解决了小样本和多重分类的深度学习问题。Song et al.24 使用级联分类器在 GoogLe-Net 和 Res-Net 上定位图像，用于迁移学习、训练和应用深度学习来自动分类三个舌头图像特征：牙痕、裂缝和舌苔厚度。分类结果的平均准确率超过94%。然而，舌头图像分类算法极易受到面部其他不相关部位的干扰，直接影响分类精度25。
Zhai等人26 开发了一种使用注意力机制对舌头图像进行分类的多阶段算法。该方法通过从各种感知视野中提取特征来提高识别舌头区域的准确性，这些特征在舌头定位阶段融合在一起。此外，注意力机制模块提高了舌头图像分类的准确性，从而抑制了舌头杂质的干扰。面对不同疾病27的舌头特征分类问题，深度学习算法也可能提供新的方法。此外，Shi等人28 还研究了基于C5.0决策树算法的非小细胞肺癌的典型分类方法。他们确定了与气虚证书和阴虚证书分类相关的七个属性分类规则。发现该模型的准确率为80.37%。此外，Li等人29 使用随机森林算法开发了糖尿病诊断模型。他们进一步分析了舌头图像的纹理和颜色特征，以提高模型的性能。
结论
与当代西医的诊断方法相比，中医的诊断方法是微创的，危害最小。此外，观察、听或闻、询问和触诊这四种诊断方法在中医的各个方面都有其基础。然而，由于中医诊疗严重依赖从业者的专业知识和个人治疗理念，可能缺乏客观性和规范性。因此，中医诊断客观化的趋势已成为进一步研究的方向，有望推动中医的发展。
舌诊的客观化具有高效处理图像和大量数据的潜力，可以显着帮助医生。然而，必须注意的是，舌头诊断不仅是一种传统方法，而且已经得到验证。Chen等人30 进行了一项研究，他们收集了382名COVID-19患者的舌头图像的临床数据。他们统计分析了舌头图像特征和实验室所有成像组的颜色模式参数。这项研究的结果揭示了舌头图像的特征与使用的西药类型之间的相关性。此外，舌头图像的变化与疾病的整体发病机制一致。舌头图像的一些参数可能有助于预测中医31中COVID-19的致病性变化。
在客观化传统医学舌诊的同时，许多研究人员利用了分割和分类方法。深度学习和卷积神经网络对于对舌头图像特征进行分类至关重要。舌头图像分割算法的准确性至关重要，因为它决定了舌头是否可以与面部精确分离，从而影响后续特征分类的准确性。因此，提高当前算法模型的准确性是该领域的重要研究重点。目前，改进算法模型及其准确性是一个研究热点。
本研究使用相同的测试集数据来比较U-Net，Seg-Net，DeeplabV3和PSPNet4算法的性能。采取这一措施是为了确保所用数据质量的一致性。在本文采用的实验环境下，U-Net算法在分割精度方面明显优于其他三种算法。MIoU是语义分割算法32的标注度量，是用来评价算法性能的最关键指标。U-Net算法的MIoU值比Seg-Net算法高3.91%，比DeeplabV3高23.32%，比PSPNet高16.2%。这提供了U-Net算法优于其他算法的证据。
然而，使用深度学习算法对舌头图像进行分割和分类存在一些问题。例如，由于患者隐私，医学图像数据集相对于其他语义分割数据集的尺寸太小，这限制了深度学习在大数据中的优势。大参数模型分割容易出现拟合问题。因此，需要通过选择合适的改进模式来调整网络结构。目前，舌诊的客观化研究尚未形成统一的采集标准;采集环境和光源类型缺乏适当的标准化。研究人员通常会建立收集环境并建立自己的非公共数据库。同时，目前的算法模型虽然能达到较好的准确性，但所使用的数据经过仔细筛选和预处理，在实际诊疗环境中难以实现，从而限制了其临床应用。此外，舌头诊断的进一步客观化将处理由不同设备捕获的复杂环境或舌头图像33。另一个趋势是动态信息处理，特别是视频图像处理，它提供了更详细的舌头信息，更全面地反映了舌头诊断的优势。因此，有必要开发深度学习算法来处理动态细节。总体而言，医学舌诊的客观化与深度学习算法相结合，有望降低中医诊断的主观性。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
作者没有利益冲突需要声明。
Acknowledgments
这项工作得到了国家自然基金（批准号：82004504）、国家科技部重点研发计划（批准号：2018YFC1707606）、四川省中医药管理局（批准号：2021MS199）和国家自然基金（批准号：82174236）的支持。
Materials
| Name | Company | Catalog Number | Comments |
| CPU | Intel(R) Core(TM) i7-9700K | ||
| GPU | NVIDIA GeForce RTX 3070 Ti (8192MB) | ||
| Operating systems | Microsoft Windows 10 Professional Edition (64-bit) | ||
| Programming language | Python | ||
| RAM | 16G |
References
- Jiu, G., et al. Effects of herbal therapy on intestinal microbiota and serum metabolomics in different rat models of Mongolian medicine. Evidence-Based Complementary and Alternative. 2022, 7255780 (2022).
- Xi, J., Xin, Y., Teregle, Study on the correlation between the animal model of Mongolian medicine 34;Xieri disease" and serum ALT and AST. Electronic Journal of Cardiovascular Diseases in Combination of Traditional Chinese. 4 (33), 134-135 (2016).
- Yin, L., et al. Study on the mechanism of serum differential protein changes in bronchial asthma based on proteomics. Chinese Journal of Traditional Chinese Medicine. 47 (22), 6227-6234 (2022).
- Wang, X. H., Bao, L. Band Seed. The origin and development of tongue diagnosis in Mongolian medicine. Chinese Ethnic Folk Medicine. (1), 64-65 (2008).
- Yang, S., et al. A comparative study on the feature parameters of tongue diagnosis images in five nationalities. Chinese Journal of Traditional Chinese Medicine. 36 (11), 6428-6430 (2021).
- He, J. Y., et al. Efficacy and safety of Chou-Ling-Dan granules in the treatment of seasonal influenza via combining Western and traditional Chinese medicine, protocol for a multicentre, randomised controlled clinical trial. BMJ Open. 9 (4), e024800 (2019).
- Wang, D. J., et al. Scientific knowledge mapping and visualization analysis in the field of Chinese medicine tongue feature objectification research. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3032-3040 (2021).
- Yuan, S. M., Qian, P., Li, F. F. Research progress of color correction methods for tongue and face diagnosis in traditional Chinese Medicine. Chinese Journal of Traditional Chinese Medicine. 34 (9), 4183-4185 (2019).
- Kanawong, R., et al. Tongue image analysis and its mobile app development for health diagnosis. Advances in Experimental Medicine and Biology. 1005, 99-121 (2017).
- Yu, Y., et al. Semantic segmentation evaluation index and evaluation method. Computer Engineering and Application. , (2023).
- Sehyung, L., Negishi, M., Urakubo, H., Kasai, H., Ishii, S. Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration. Neural Networks. 125, 92-103 (2020).
- Huang, X. M., et al. A review on the application of U-Net and its variants in medical image segmentation. Chinese Journal of Biomedical Engineering. 41 (5), 567-576 (2022).
- Lu, J. H., Xu, Y. F., Wang, Y. Q., Hao, Y. M. Research overview of tongue objectification in traditional Chinese medicine based on computer image technology. World Science and Technology - Modernization of Traditional Chinese Medicine. 24 (11), 4568-4573 (2022).
- Mansour, R. F., Althobaiti, M. M., Ashour, A. A. Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification. IEEE Access. 9, 94769-94779 (2021).
- Cai, Y. H., Hu, S. B., Guan, J., Zhang, X. F. Analysis of the development and application of tongue diagnosis objectification techniques in Chinese medicine. World Science and Technology - Modernization of Chinese Medicine. 23 (7), 2447-2453 (2021).
- Ghosh, S., Das, N., Nasipuri, M. Reshaping inputs for convolutional neural network: some common and uncommon methods. Pattern Recognition. 93, 79-94 (2019).
- Shang, Z. M., et al. Research progress of digital acquisition and characterization of tongue diagnosis information. Chinese Journal of Traditional Chinese Medicine. 36 (10), 6010-6013 (2021).
- Ning, J., Zhang, D., Wu, C., Yue, F. Automatic tongue image segmentation based on gradient vector flow and region merging. Neural Computing and Applications. 21, 1819-1826 (2012).
- Zheng, F., Huang, X. Y., Wang, B. L., Wang, Y. H. A method for tongue detection based on image segmentation. Journal of Xiamen University. 55 (6), 895-900 (2016).
- Li, Y. T., Luo, Y. S., Zhu, Z. M. Deep learning-based tongue feature analysis. Computer Science. 47 (11), 148-158 (2020).
- Wang, Y. D., Sun, C. H., Cui, J. L., Wu, X. R., Qin, Y. X. Research on deep learning-based tongue fissure segmentation algorithm. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3065-3073 (2021).
- Wang, X. M., Wang, R. Y., Guo, D., Lu, S. Z., Zhou, P. Research on the identification method of tongue punctures based on auxiliary light source. Journal of Sensing Technology. 29 (10), 1553-1559 (2016).
- Yang, J. D., Zhang, P. A fully connected neural network based on migration learning for tongue image classification. Journal of the Second Military Medical University. 39 (8), 897-902 (2018).
- Song, C., Wang, B., Xu, J. T. Research on tongue feature classification method based on deep migration learning. Computer Engineering and Science. 43 (8), 1488-1496 (2021).
- Ding, H. J., He, J. C. Study on modern techniques and methods of tongue diagnosis. Shi Zhen Chinese Medicine. 21 (5), 1230-1232 (2010).
- Zhai, P. B., et al. A multi-stage tongue image classification algorithm incorporating attention mechanism. Computer Engineering and Design. 42 (6), 1606-1613 (2021).
- Hou, Y. S. A new clustering analysis algorithm based on deep learning. Journal of Xinxiang University. 35 (12), 4 (2018).
- Shi, Y. L., et al. A decision tree algorithm for classification of non-small cell lung cancer evidence based on tongue and pulse data. World Science and Technology - Modernization of Chinese Medicine. 24 (7), 2766-2775 (2022).
- Li, J., Hu, X. J., Zhou, C. L., Xu, J. T. Study on the feature analysis and diagnosis model of diabetic tongue based on random forest algorithm. Chinese Journal of Traditional Chinese Medicine. 37 (3), 1639-1643 (2022).
- Chen, C. H., et al. The characteristics of the combination of the four diagnostic methods of traditional Chinese medicine from the perspective of the differences between Chinese and Western medical diagnosis methods. Journal of Guangzhou University of Traditional Chinese Medicine. 28 (3), 332-334 (2011).
- Chen, R., et al. Correlation analysis of tongue image and western medicine typing in 382 patients with novel coronavirus pneumonia based on Lab colour model and imaging histology. Chinese Journal of Traditional Chinese Medicine. 36 (12), 7010-7014 (2021).
- Ju, J. W., Jung, H., Lee, Y. J., Mun, S. W., Lee, J. H. Semantic segmentation dataset for AI-based quantification of clean mucosa in capsule endoscopy. Medicina. 58 (3), 397 (2022).
- Wu, X., et al. A review of research on deep learning in tongue image classification. Computer Science and Exploration. , 1-23 (2022).
