2023年4月14日
本研究采用U-Net及其他深度学习算法对舌象图像进行分割,并比较分割结果,以探讨舌诊的客观化。
本方案采用深度学习算法对舌象图像进行分割,可自动将舌头从整幅图像中分离出来,用于后续研究。本方案比较了四种舌象图像分割算法的性能,以选择能够清晰分割舌体轮廓的基准算法。本研究使用了已获专利的仪器和算法。
建议使用专业仪器并掌握计算机技术。首先,准备好自行研发的手持式舌面诊断仪,以采集患者的舌面图像。在计算机页面上填写患者的姓名、性别、年龄及疾病信息。
接下来,让患者坐直,并调整连接到计算机的图像采集设备。然后,将患者面部置于图像采集仪器中,要求其尽可能将舌头伸出口腔外。通过计算机屏幕上的图像确认患者处于正确位置,且舌头和面部完全暴露。
在计算机屏幕上按下拍摄按钮三次,以采集三幅图像。然后,手动选择采集到的面部和舌部图像,并根据软件中的“图像采集”页面对它们进行筛选。
每次从每位患者采集三张图像,并将图像导出至一个文件夹以进行人工筛查。接下来,选择一张标准的、曝光充分、照明良好且清晰的图像,作为算法训练和测试的样本。删除不符合标准图像要求的图像。
排除标准包括舌象和面部暴露不完整,以及图像过暗。进行舌象图像分割时,打开 LabelMe 软件,点击界面左上角的“Open”按钮。选择包含待分割图像的文件夹,并打开相应照片。
单击“创建多边形”按钮以追踪点。追踪舌头和舌部形态,并根据所选区域命名,然后保存。完成所有追踪后,单击“保存”以将图像保存至数据文件夹。
将设备设置为以 1080x1920 像素的尺寸采集图像,并确保填充后图像的尺寸为 1920x1920 像素。对每位患者的图像进行人工筛选,从因不可控因素(如受试者眨眼或镜头遮挡)而拍摄的三张图像中选择并保留一张。为训练模型,收集来自 200 名个体的数据(共 600 张图像),经筛选后保留约 200 张可用图像。
根据图像编号将所有舌象图像随机分为两组,其中70%放入训练集,30%放入测试集文件夹。从其官方网站下载并安装Anaconda Python和LabelMe。激活环境,并完成整体环境的安装与配置。
根据研究目的选择合适的模型。本研究中选择了UNet、SegNet、DeepLab Version 3和PSPNet进行验证。接下来,在已安装的环境中构建深度学习算法模型。
通过调整参数值并使用训练集完成模型训练。结合研究内容,利用LabelMe标注和统一图像尺寸的方法构建所需数据集。通过分割结果的分析,基于精确率、召回率、平均像素精度(MPA)和MIOU四项指标对模型性能进行评估,以获得更全面的评价。
比较四种模型生成的数值,数值越高,表示分割准确率越高,模型性能越好。根据指标结果,UNet 算法在 MIOU、MPA、精确率和召回率方面均优于其他算法,其分割准确率也更高。
PSPNet 在 MIOU、MPA 和召回率方面优于 DeepLab Version 3,而 DeepLab Version 3 模型在所有指标上均低于分割模型。在舌体分割中,图像中的外层红色区域来自舌体分割结果,内层绿色区域来自舌苔分割结果。本研究中,该单元算法在舌体分割中表现良好,后续研究可基于该单元算法进一步开展。
查看完整文字稿并访问数千部科学视频
本研究利用深度学习算法(特别是U-Net)对舌象图像进行有效分割。通过比较分割结果,评估舌诊的准确性。
利用深度学习模型进行客观化的舌象图像分割,满足了转化研究中对标准化、可重复诊断成像的需求。对分割算法(特别是U-Net)的比较评估,可提高数字表型分析的预测可信度,并支持生物标志物发现中的可扩展数据整合。建立稳健的图像分析工作流程,对于推动数字病理学发展以及生物制药研发中的跨队列数据标准化至关重要。
该分割方案可整合到数字病理工作流程中,涵盖图像采集、标注、模型训练和定量评估。通过生成标准化、高质量的图像数据集,该方案支持从早期发现到临床前研究的过渡。