Name: 舌诊在传统医学中的客观化、数据分析与研究应用 (视频) | JoVE Journal
Uploaded: 2023-04-14T14:15:00.000+00:00
Duration: 5 min 56 s
Description: 探索使用深度学习算法进行舌诊图像分割的方法。本研究比较U-Net等四种算法的性能，通过手持舌面诊断仪采集图像，评估分割精度与清晰度，为传统医学舌诊客观化提供技术支持。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本工作得到中国国家自然科学基金（资助号：82004504）、中国科学技术部国家重点研发计划（资助号：2018YFC1707606）、四川省中医药管理局（资助号：2021MS199）和中国国家自然科学基金（资助号：82174236）的支持。

本研究已获得国家自然科学基金项目“基于关联分析的中医面部图像动态变化规律构建”的批准。伦理批件号为2021KL-027，伦理委员会已批准按照以下批准文件开展临床研究：临床研究方案（2021.04.12，V2.0）、知情同意书（2021.04.12，V2.0）、受试者招募材料（2021.04.12，V2.0）、病例及/或病例报告、受试者日记卡及其他问卷（2021.04.12，V2.0）、临床试验参与人员名单、研究项目审批文件等。已获取参与研究患者的知情同意。本研究的主要实验方法是使用真实的舌象图像来验证并比较模型的分割效果。图1展示了舌诊客观化的组成部分。
1. 图像采集
<ol>
	<li>使用自主研发的手持式舌面诊断仪采集患者的舌面图像。</li>
	<li>在计算机页面上填写患者的姓名、性别、年龄和疾病信息。此处图像来自到门诊就诊并被告知研究目的和内容后同意拍照的患者。确认患者坐姿端正，将整个面部置于图像采集仪中，并指导患者尽可能将舌头伸出嘴外。</li>
	<li>手持连接计算机的图像采集设备，并通过计算机屏幕上的图像确认患者处于正确位置，且舌部和面部完全暴露。</li>
	<li>在计算机屏幕上按下拍摄按钮三次，连续拍摄三张照片。 
	注：该图像采集仪目前仅处于专利申请阶段，尚未用于商业用途，因此不对外销售。</li>
	<li>人工选择并筛选所采集的舌面图像。过滤并剔除舌面暴露不完整或因光照不足导致过暗的图像。图2展示了软件的图像采集界面。</li>
	<li>在实验设计中，每次从每位患者采集三张图像作为备选，从中选取一张相对标准、暴露充分、光照良好且清晰的图像，作为后续算法训练与测试的样本。</li>
	<li>拍摄完成后进行数据收集，导出数据进行人工筛选，并删除肉眼可见的非标准图像。采用以下筛选与排除标准：舌面暴露不完整，以及因光照不足导致图像过暗。光照不足、暴露不完整及标准图像的示例如图3所示。 
	&#8203;注：光照不足通常由患者未将面部完全放入仪器中所致；只有正确拍摄患者图像，才能获得完整的暴露效果。</li>
</ol>
2. 舌部分割
<ol>
	<li>使用在线标注工具进行舌象图像分割，具体步骤如下：
	<ol>
		<li>安装 Labelme，在标签界面左上角点击打开按钮，选择图像所在文件夹，并打开照片。</li>
		<li>点击创建多边形开始逐点追踪，勾勒舌头及舌面轮廓，根据所选区域命名（例如：舌头、舌表面），并保存标注结果。</li>
		<li>完成所有标注后，点击保存，将图像保存至数据文件夹。详细流程参见图4。 
		注意：由于图像可能存在像素差异，因此不能直接用于算法的训练与测试。</li>
	</ol>
	</li>
	<li>通过边缘填充方式将图像统一为相同尺寸，以图像的长边作为目标填充长度，进行白色边缘填充，使图像变为正方形，边长等于原图像的长边。设备采集的图像尺寸为 1080 × 1920 像素，填充后的图像尺寸为 1920 × 1920 像素。参见图5。</li>
	<li>根据需要应用图像增强处理。本研究未进行图像增强，因为所用图像在固定场景下拍摄，受环境、光照等因素影响较小。</li>
	<li>由于在拍摄过程中为每位患者采集了三张图像，以应对受试者眨眼、镜头遮挡等不可控因素，需手动筛选每位患者的图像，保留一张最具代表性的图像。</li>
	<li>为模型训练目的，共收集 200 人（即 600 张图像）的数据。经筛选后，保留约 200 张可用图像。</li>
	<li>根据图像编号，将所有舌象图像随机划分，在电子表格中将 70% 的图像划入训练集，30% 划入测试集。</li>
</ol>
3. 舌象分类
<ol>
	<li>访问官方网站，下载并安装 Anaconda、Python 和 Labelme。激活环境，并完成整体环境的安装与配置。软件安装与设置流程图见图6。</li>
	<li>在已安装的环境中构建深度学习算法模型，调整参数，并使用训练集完成模型训练。按照以下步骤进行模型选择与调优。
	<ol>
		<li>模型选择：根据研究目的选择合适的模型。在回顾近五年舌象图像处理相关研究后，本研究选取了四种算法——U-Net、Seg-Net、DeeplabV3 和 PSPNet——进行验证（模型代码详见补充编码文件1、补充编码文件2、补充编码文件3和补充编码文件4）。</li>
		<li>数据集构建：完成模型选择后，结合研究内容构建所需数据集，主要采用上文所述的 Labelme 标注方法和统一图像尺寸方法。</li>
	</ol>
	</li>
	<li>按以下步骤进行模型训练。图7展示了算法训练操作的详细过程。
	<ol>
		<li>将数据输入神经网络进行前向传播，每个神经元首先输入加权累加值，再通过激活函数输出该神经元的结果值。</li>
		<li>将输出结果输入误差函数，与期望值进行比较以获得误差，并据此判断识别错误程度。损失函数越小，模型性能越好。</li>
		<li>通过反向传播减小误差，确定梯度向量，并依据梯度向量调整权重，使结果趋于目标方向，从而使误差趋近于零或不断缩小。</li>
		<li>重复此训练过程，直至达到预设训练轮次或误差值不再下降，此时模型训练完成。训练与测试阶段的算法模型流程图见图8。</li>
	</ol>
	</li>
	<li>使用相同的测试数据对四个模型进行分割测试，并根据分割效果评估模型性能。采用精确率、召回率、平均像素精度（MPA）和 MIoU 四项指标，可对模型性能进行更全面的评价。</li>
	<li>在生成四个模型的结果后，对其进行横向数值比较；数值越高，表示分割精度越高，模型性能越好。详见图9、图10和图11。</li>
</ol>

<ol><li>Jiu, G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Effects+of+herbal+therapy+on+intestinal+microbiota+and+serum+metabolomics+in+different+rat+models+of+Mongolian+medicine%5BTitle%5D)+AND+%22Evidence-Based+Complementary+and+Alternative%22%5BJournal%5D)">Effects of herbal therapy on intestinal microbiota and serum metabolomics in different rat models of Mongolian medicine.</a> Evidence-Based Complementary and Alternative. 2022, 7255780(2022).</li>
<li>Xi, J., Xin, Y., Teregle, <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Study+on+the+correlation+between+the+animal+model+of+Mongolian+medicine+34%3BXieri+disease%26%2334%3B+and+serum+ALT+and+AST%5BTitle%5D)+AND+%22Electronic+Journal+of+Cardiovascular+Diseases+in+Combination+of+Traditional+Chinese%22%5BJournal%5D)">Study on the correlation between the animal model of Mongolian medicine 34;Xieri disease&#34; and serum ALT and AST.</a> Electronic Journal of Cardiovascular Diseases in Combination of Traditional Chinese. 4 (33), 134-135 (2016).</li>
<li>Yin, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Study+on+the+mechanism+of+serum+differential+protein+changes+in+bronchial+asthma+based+on+proteomics%5BTitle%5D)+AND+%22Chinese+Journal+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">Study on the mechanism of serum differential protein changes in bronchial asthma based on proteomics.</a> Chinese Journal of Traditional Chinese Medicine. 47 (22), 6227-6234 (2022).</li>
<li>Wang, X. H., Bao, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Band+Seed.+The+origin+and+development+of+tongue+diagnosis+in+Mongolian+medicine%5BTitle%5D)+AND+%22Chinese+Ethnic+Folk+Medicine%22%5BJournal%5D)">Band Seed. The origin and development of tongue diagnosis in Mongolian medicine.</a> Chinese Ethnic Folk Medicine. (1), 64-65 (2008).</li>
<li>Yang, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+comparative+study+on+the+feature+parameters+of+tongue+diagnosis+images+in+five+nationalities%5BTitle%5D)+AND+%22Chinese+Journal+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">A comparative study on the feature parameters of tongue diagnosis images in five nationalities.</a> Chinese Journal of Traditional Chinese Medicine. 36 (11), 6428-6430 (2021).</li>
<li>He, J. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Efficacy+and+safety+of+Chou-Ling-Dan+granules+in+the+treatment+of+seasonal+influenza+via+combining+Western+and+traditional+Chinese+medicine%2C+protocol+for+a+multicentre%2C+randomised+controlled+clinical+trial%5BTitle%5D)+AND+%22BMJ+Open%22%5BJournal%5D)">Efficacy and safety of Chou-Ling-Dan granules in the treatment of seasonal influenza via combining Western and traditional Chinese medicine, protocol for a multicentre, randomised controlled clinical trial.</a> BMJ Open. 9 (4), e024800(2019).</li>
<li>Wang, D. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Scientific+knowledge+mapping+and+visualization+analysis+in+the+field+of+Chinese+medicine+tongue+feature+objectification+research%5BTitle%5D)+AND+%22World+Science+and+Technology+-+Modernization+of+Chinese+Medicine%22%5BJournal%5D)">Scientific knowledge mapping and visualization analysis in the field of Chinese medicine tongue feature objectification research.</a> World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3032-3040 (2021).</li>
<li>Yuan, S. M., Qian, P., Li, F. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+progress+of+color+correction+methods+for+tongue+and+face+diagnosis+in+traditional+Chinese+Medicine%5BTitle%5D)+AND+%22Chinese+Journal+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">Research progress of color correction methods for tongue and face diagnosis in traditional Chinese Medicine.</a> Chinese Journal of Traditional Chinese Medicine. 34 (9), 4183-4185 (2019).</li>
<li>Kanawong, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Tongue+image+analysis+and+its+mobile+app+development+for+health+diagnosis%5BTitle%5D)+AND+%22Advances+in+Experimental+Medicine+and+Biology%22%5BJournal%5D)">Tongue image analysis and its mobile app development for health diagnosis.</a> Advances in Experimental Medicine and Biology. 1005, 99-121 (2017).</li>
<li>Yu, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Semantic+segmentation+evaluation+index+and+evaluation+method%5BTitle%5D)+AND+%22Computer+Engineering+and+Application%22%5BJournal%5D)">Semantic segmentation evaluation index and evaluation method.</a> Computer Engineering and Application. , (2023).</li>
<li>Sehyung, L., Negishi, M., Urakubo, H., Kasai, H., Ishii, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mu-net%3A+Multi-scale+U-net+for+two-photon+microscopy+image+denoising+and+restoration%5BTitle%5D)+AND+%22Neural+Networks%22%5BJournal%5D)">Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration.</a> Neural Networks. 125, 92-103 (2020).</li>
<li>Huang, X. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+review+on+the+application+of+U-Net+and+its+variants+in+medical+image+segmentation%5BTitle%5D)+AND+%22Chinese+Journal+of+Biomedical+Engineering%22%5BJournal%5D)">A review on the application of U-Net and its variants in medical image segmentation.</a> Chinese Journal of Biomedical Engineering. 41 (5), 567-576 (2022).</li>
<li>Lu, J. H., Xu, Y. F., Wang, Y. Q., Hao, Y. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+overview+of+tongue+objectification+in+traditional+Chinese+medicine+based+on+computer+image+technology%5BTitle%5D)+AND+%22World+Science+and+Technology+-+Modernization+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">Research overview of tongue objectification in traditional Chinese medicine based on computer image technology.</a> World Science and Technology - Modernization of Traditional Chinese Medicine. 24 (11), 4568-4573 (2022).</li>
<li>Mansour, R. F., Althobaiti, M. M., Ashour, A. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Internet+of+things+and+synergic+deep+learning+based+biomedical+tongue+color+image+analysis+for+disease+diagnosis+and+classification%5BTitle%5D)+AND+%22IEEE+Access%22%5BJournal%5D)">Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification.</a> IEEE Access. 9, 94769-94779 (2021).</li>
<li>Cai, Y. H., Hu, S. B., Guan, J., Zhang, X. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Analysis+of+the+development+and+application+of+tongue+diagnosis+objectification+techniques+in+Chinese+medicine%5BTitle%5D)+AND+%22World+Science+and+Technology+-+Modernization+of+Chinese+Medicine%22%5BJournal%5D)">Analysis of the development and application of tongue diagnosis objectification techniques in Chinese medicine.</a> World Science and Technology - Modernization of Chinese Medicine. 23 (7), 2447-2453 (2021).</li>
<li>Ghosh, S., Das, N., Nasipuri, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Reshaping+inputs+for+convolutional+neural+network%3A+some+common+and+uncommon+methods%5BTitle%5D)+AND+%22Pattern+Recognition%22%5BJournal%5D)">Reshaping inputs for convolutional neural network: some common and uncommon methods.</a> Pattern Recognition. 93, 79-94 (2019).</li>
<li>Shang, Z. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+progress+of+digital+acquisition+and+characterization+of+tongue+diagnosis+information%5BTitle%5D)+AND+%22Chinese+Journal+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">Research progress of digital acquisition and characterization of tongue diagnosis information.</a> Chinese Journal of Traditional Chinese Medicine. 36 (10), 6010-6013 (2021).</li>
<li>Ning, J., Zhang, D., Wu, C., Yue, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+tongue+image+segmentation+based+on+gradient+vector+flow+and+region+merging%5BTitle%5D)+AND+%22Neural+Computing+and+Applications%22%5BJournal%5D)">Automatic tongue image segmentation based on gradient vector flow and region merging.</a> Neural Computing and Applications. 21, 1819-1826 (2012).</li>
<li>Zheng, F., Huang, X. Y., Wang, B. L., Wang, Y. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+method+for+tongue+detection+based+on+image+segmentation%5BTitle%5D)+AND+%22Journal+of+Xiamen+University%22%5BJournal%5D)">A method for tongue detection based on image segmentation.</a> Journal of Xiamen University. 55 (6), 895-900 (2016).</li>
<li>Li, Y. T., Luo, Y. S., Zhu, Z. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning-based+tongue+feature+analysis%5BTitle%5D)+AND+%22Computer+Science%22%5BJournal%5D)">Deep learning-based tongue feature analysis.</a> Computer Science. 47 (11), 148-158 (2020).</li>
<li>Wang, Y. D., Sun, C. H., Cui, J. L., Wu, X. R., Qin, Y. X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+on+deep+learning-based+tongue+fissure+segmentation+algorithm%5BTitle%5D)+AND+%22World+Science+and+Technology+-+Modernization+of+Chinese+Medicine%22%5BJournal%5D)">Research on deep learning-based tongue fissure segmentation algorithm.</a> World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3065-3073 (2021).</li>
<li>Wang, X. M., Wang, R. Y., Guo, D., Lu, S. Z., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+on+the+identification+method+of+tongue+punctures+based+on+auxiliary+light+source%5BTitle%5D)+AND+%22Journal+of+Sensing+Technology%22%5BJournal%5D)">Research on the identification method of tongue punctures based on auxiliary light source.</a> Journal of Sensing Technology. 29 (10), 1553-1559 (2016).</li>
<li>Yang, J. D., Zhang, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+fully+connected+neural+network+based+on+migration+learning+for+tongue+image+classification%5BTitle%5D)+AND+%22Journal+of+the+Second+Military+Medical+University%22%5BJournal%5D)">A fully connected neural network based on migration learning for tongue image classification.</a> Journal of the Second Military Medical University. 39 (8), 897-902 (2018).</li>
<li>Song, C., Wang, B., Xu, J. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+on+tongue+feature+classification+method+based+on+deep+migration+learning%5BTitle%5D)+AND+%22Computer+Engineering+and+Science%22%5BJournal%5D)">Research on tongue feature classification method based on deep migration learning.</a> Computer Engineering and Science. 43 (8), 1488-1496 (2021).</li>
<li>Ding, H. J., He, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Study+on+modern+techniques+and+methods+of+tongue+diagnosis%5BTitle%5D)+AND+%22Shi+Zhen+Chinese+Medicine%22%5BJournal%5D)">Study on modern techniques and methods of tongue diagnosis.</a> Shi Zhen Chinese Medicine. 21 (5), 1230-1232 (2010).</li>
<li>Zhai, P. B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multi-stage+tongue+image+classification+algorithm+incorporating+attention+mechanism%5BTitle%5D)+AND+%22Computer+Engineering+and+Design%22%5BJournal%5D)">A multi-stage tongue image classification algorithm incorporating attention mechanism.</a> Computer Engineering and Design. 42 (6), 1606-1613 (2021).</li>
<li>Hou, Y. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+clustering+analysis+algorithm+based+on+deep+learning%5BTitle%5D)+AND+%22Journal+of+Xinxiang+University%22%5BJournal%5D)">A new clustering analysis algorithm based on deep learning.</a> Journal of Xinxiang University. 35 (12), 4(2018).</li>
<li>Shi, Y. L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+decision+tree+algorithm+for+classification+of+non-small+cell+lung+cancer+evidence+based+on+tongue+and+pulse+data%5BTitle%5D)+AND+%22World+Science+and+Technology+-+Modernization+of+Chinese+Medicine%22%5BJournal%5D)">A decision tree algorithm for classification of non-small cell lung cancer evidence based on tongue and pulse data.</a> World Science and Technology - Modernization of Chinese Medicine. 24 (7), 2766-2775 (2022).</li>
<li>Li, J., Hu, X. J., Zhou, C. L., Xu, J. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Study+on+the+feature+analysis+and+diagnosis+model+of+diabetic+tongue+based+on+random+forest+algorithm%5BTitle%5D)+AND+%22Chinese+Journal+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">Study on the feature analysis and diagnosis model of diabetic tongue based on random forest algorithm.</a> Chinese Journal of Traditional Chinese Medicine. 37 (3), 1639-1643 (2022).</li>
<li>Chen, C. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+characteristics+of+the+combination+of+the+four+diagnostic+methods+of+traditional+Chinese+medicine+from+the+perspective+of+the+differences+between+Chinese+and+Western+medical+diagnosis+methods%5BTitle%5D)+AND+%22Journal+of+Guangzhou+University+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">The characteristics of the combination of the four diagnostic methods of traditional Chinese medicine from the perspective of the differences between Chinese and Western medical diagnosis methods.</a> Journal of Guangzhou University of Traditional Chinese Medicine. 28 (3), 332-334 (2011).</li>
<li>Chen, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Correlation+analysis+of+tongue+image+and+western+medicine+typing+in+382+patients+with+novel+coronavirus+pneumonia+based+on+Lab+colour+model+and+imaging+histology%5BTitle%5D)+AND+%22Chinese+Journal+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">Correlation analysis of tongue image and western medicine typing in 382 patients with novel coronavirus pneumonia based on Lab colour model and imaging histology.</a> Chinese Journal of Traditional Chinese Medicine. 36 (12), 7010-7014 (2021).</li>
<li>Ju, J. W., Jung, H., Lee, Y. J., Mun, S. W., Lee, J. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Semantic+segmentation+dataset+for+AI-based+quantification+of+clean+mucosa+in+capsule+endoscopy%5BTitle%5D)+AND+%22Medicina%22%5BJournal%5D)">Semantic segmentation dataset for AI-based quantification of clean mucosa in capsule endoscopy.</a> Medicina. 58 (3), 397(2022).</li>
<li>Wu, X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+review+of+research+on+deep+learning+in+tongue+image+classification%5BTitle%5D)+AND+%22Computer+Science+and+Exploration%22%5BJournal%5D)">A review of research on deep learning in tongue image classification.</a> Computer Science and Exploration. , 1-23 (2022).</li>
</ol>

作者声明无利益冲突。

根据上述比较结果可以看出，所考虑的四种算法具有不同的特性，其各自的优缺点如下所述。U-Net结构基于全卷积网络的改进与扩展，通过收缩路径和对称的扩展路径获取上下文信息并实现精确定位。该算法通过对每个像素点进行分类，实现了较高的分割精度，并能利用训练好的模型更快速地完成图像分割。另一方面，Seg-Net算法由编码器和解码器组成的对称结构构成，在适应新问题方面具有优势，且在语音、语义、视觉和游戏等任务中表现良好。然而，该算法需要大量数据，对硬件配置要求较高，因此仅适用于部分任务。作为更为通用的框架，DeeplabV3算法的优势在于可对大多数网络的ASSP模块进行改进，并将其以级联或并行方式布局，从而提升整体性能。但其最终特征图需通过8倍和16倍的上采样获得，相对粗糙，仍有改进空间。此外，PSPNet模型最显著的特点是通过PSP模块聚合来自不同区域的上下文信息，从而增强对全局信息的获取能力，在多个数据集上均取得了良好效果。结果表明，在本研究环境下，U-Net模型具有最高的分割精度和最佳的分割效果。
U-Net 架构在医学图像分割中展现出其优越性12</...

舌诊是传统中医民族医学中广泛使用的一种技术。舌的颜色和形态可以反映机体的生理状况以及各种疾病的性质、严重程度和预后。例如，在传统苗医中，通过舌色判断体温状况，舌色红或紫提示与热相关的病理因素。在藏医中，通过观察患者的舌象来判断病情，重点关注舌黏膜的颜色、形态和湿润度。例如，赫依病患者的舌头会变得红而粗糙，或黑而干燥1；赤巴病2患者表现为舌黄而干；而培根病3患者则表现为舌白、湿润且柔软4。这些观察结果揭示了舌象特征与生理、病理之间的密切关系。总体而言，舌的状态在疾病诊断、辨病以及治疗效果评估中具有重要作用。
同时，由于不同民族群体的生活环境和饮食习惯存在差异，舌象表现也呈现出明显区别。Lab 色彩模型是基于国际色彩判定标准建立的，由国际照明委员会（Commission International Eclairage, CIE）于1931年提出。1976年，该色彩模式经过修正并重新命名。Lab 色彩模型由三个要素组成：L 代表亮度，a 和 b 则为两个色度通道。a 通道涵盖从深绿色（低亮度值）经灰色（中等亮度值）到亮粉色（高亮度值）的颜色变化；b 通道则从亮蓝色（低亮度值）经灰色（中等亮度值）至黄色（高亮度值）变化。Yang 等人5通过比较五个民族群体舌色的 L × a × b 数值发现，苗族、回族、壮族、汉族和蒙古族的舌象特征彼此之间具有显著差异。例如，蒙古族人群舌体偏暗，舌苔呈黄色，而苗族人群舌体较浅，舌苔为白色，提示舌象特征可作为评估人群健康状况的诊断指标。此外，舌象还可作为民族医学临床研究中循证医学的评价指标。He 等人6以舌象为基础开展中医诊断，系统评价了丑灵丹丸（CLD 颗粒——在中医中用于治疗包括季节性流感在内的炎症性和发热性疾病）联合中西医治疗的安全性和有效性。研究结果证实了舌象作为临床研究评价指标的科学有效性。然而，传统医学 practitioners 通常依赖主观判断来观察舌象特征，并据此评估患者的生理与病理状态，亟需更为精确的量化指标。
互联网与人工智能技术的兴起为舌诊的数字化和客观化奠定了基础。该过程通过数学模型对舌象图像进行定性与客观描述，反映舌象图像的内容。该过程包括多个步骤：图像采集、光学补偿、色彩校正和几何变换。预处理后的图像随后输入算法模型，进行图像定位与分割、特征提取、模式识别等操作。该流程的输出结果是对舌象图像数据的高效且精确的诊断，从而实现舌诊的客观化、量化和信息化7。因此，实现了舌诊数据高效、高精度处理的目标。本研究基于舌诊知识与深度学习技术，利用计算机算法自动从舌象图像中分离舌体与舌苔，旨在为医生提取舌象的量化特征，提高诊断的可靠性与一致性，并为后续舌诊客观化研究提供方法支持89。

<table><tbody><tr><td>中央处理器</td><td>Intel(R) Core(TM) i7-9700K</td><td></td><td></td></tr><tr><td>图形处理器</td><td>&amp;nbsp;NVIDIA GeForce RTX 3070 Ti (8192MB)</td><td></td><td></td></tr><tr><td>操作系统</td><td>Microsoft Windows 10 专业版 (64 位)</td><td></td><td></td></tr><tr><td>编程语言</td><td>Python</td><td></td><td></td></tr><tr><td>内存</td><td>16G</td><td></td><td></td></tr></tbody></table>

传统医学中舌诊的客观化、数据分析与研究应用

Objectification of Tongue Diagnosis in Traditional Medicine, Data Analysis, and Study Application

舌诊是中医诊断中的一项关键技术，通过图像处理技术实现舌象客观化的需求日益增长。本文综述了近十年来舌象客观化研究的进展，并对多种分割模型进行了比较。研究构建了多种深度学习模型，利用真实舌象图像数据集对算法进行验证与对比，分析了各模型的优缺点。结果表明，U-Net算法在精确度（PA）、召回率和平均交并比（MIoU）等指标上优于其他模型。然而，尽管在舌象图像采集与处理方面已取得显著进展，舌诊客观化的统一标准尚未建立。为了促进移动设备采集的舌象图像在舌诊客观化中的广泛应用，未来研究可进一步解决复杂环境下舌象图像采集所带来的挑战。

关于比较结果，请参见图12、图13和表1，其中本研究构建的环境使用相同的样本对算法模型进行训练与测试。MIoU指标：U-Net &gt; Seg-Net &gt; PSPNet &gt; DeeplabV3；MPA指标：U-Net &gt; Seg-Net &gt; PSPNet &gt; DeeplabV3；精确率指标：U-Net &gt; Seg-Net &gt; DeeplabV3 &gt; PSPNet；召回率：U-Net &gt; Seg-Net &gt; PSPNet &gt; DeeplabV3。指标值越大，分割准确率越高，模型性能越好。根据指标结果可分析得出，U-Net算法在MIoU、MPA、精确率和召回率方面均优于其他算法，其分割准确率也高于其他算法。因此，U-Net算法在四种不同算法中性能最优。PSPNet在MIoU、MPA和召回率方面优于DeeplabV3，而DeeplabV3模型在所有指标上均低于Seg-Net模型。因此，可以得出结论：在本研究环境中，Deepl...

本研究采用U-Net及其他深度学习算法对舌象图像进行分割，并比较分割结果，以探讨舌诊的客观化。

舌诊是中医诊断的一项基本技术，通过图像对舌象进行客观化处理的需求日益增加……

本方案采用深度学习算法对舌象图像进行分割，可自动将舌头从整幅图像中分离出来，用于后续研究。本方案比较了四种舌象图像分割算法的性能，以选择能够清晰分割舌体轮廓的基准算法。本研究使用了已获专利的仪器和算法。建议使用专业仪器并掌握计算机技术。首先，准备好自行研发的手持式舌面诊断仪，以采集患者的舌面图像。在计算机页面上填写患者的姓名、性别、年龄及疾病信息。接下来，让患者坐直，并调整连接到计算机的图像采集设备。然后，将患者面部置于图像采集仪器中，要求其尽可能将舌头伸出口腔外。通过计算机屏幕上的图像确认患者处于正确位置，且舌头和面部完全暴露。在计算机屏幕上按下拍摄按钮三次，以采集三幅图像。然后，手动选择采集到的面部和舌部图像，并根据软件中的“图像采集”页面对它们进行筛选。每次从每位患者采集三张图像，并将图像导出至一个文件夹以进行人工筛查。接下来，选择一张标准的、曝光充分、照明良好且清晰的图像，作为算法训练和测试的样本。删除不符合标准图像要求的图像。排除标准包括舌象和面部暴露不完整，以及图像过暗。进行舌象图像分割时，打开 LabelMe 软件，点击界面左上角的“Open”按钮。选择包含待分割图像的文件夹，并打开相应照片。单击“创建多边形”按钮以追踪点。追踪舌头和舌部形态，并根据所选区域命名，然后保存。完成所有追踪后，单击“保存”以将图像保存至数据文件夹。将设备设置为以 1080x1920 像素的尺寸采集图像，并确保填充后图像的尺寸为 1920x1920 像素。对每位患者的图像进行人工筛选，从因不可控因素（如受试者眨眼或镜头遮挡）而拍摄的三张图像中选择并保留一张。为训练模型，收集来自 200 名个体的数据（共 600 张图像），经筛选后保留约 200 张可用图像。根据图像编号将所有舌象图像随机分为两组，其中70%放入训练集，30%放入测试集文件夹。从其官方网站下载并安装Anaconda Python和LabelMe。激活环境，并完成整体环境的安装与配置。根据研究目的选择合适的模型。本研究中选择了UNet、SegNet、DeepLab Version 3和PSPNet进行验证。接下来，在已安装的环境中构建深度学习算法模型。通过调整参数值并使用训练集完成模型训练。结合研究内容，利用LabelMe标注和统一图像尺寸的方法构建所需数据集。通过分割结果的分析，基于精确率、召回率、平均像素精度（MPA）和MIOU四项指标对模型性能进行评估，以获得更全面的评价。比较四种模型生成的数值，数值越高，表示分割准确率越高，模型性能越好。根据指标结果，UNet 算法在 MIOU、MPA、精确率和召回率方面均优于其他算法，其分割准确率也更高。PSPNet 在 MIOU、MPA 和召回率方面优于 DeepLab Version 3，而 DeepLab Version 3 模型在所有指标上均低于分割模型。在舌体分割中，图像中的外层红色区域来自舌体分割结果，内层绿色区域来自舌苔分割结果。本研究中，该单元算法在舌体分割中表现良好，后续研究可基于该单元算法进一步开展。

objectification-tongue-diagnosis-traditional-medicine-data-analysis

Research

科研

JoVE Journal

Medicine

医学

舌诊在传统医学中的客观化、数据分析与研究应用

近年来，由于采用动物模型，人们对味觉转导分子机制的认识取得了显著进展。然而，哺乳动物在味觉敏感性和特异性方面存在广泛差异，因此有必要开展针对人体组织的研究。本文介绍了一种活检技术，用于从人舌乳头采集存活的味觉细胞。...

采集人舌菌状（味觉）乳头的技术

脂肪酸的口腔化学感受及其与饮食和高脂食物偏好的关联，可能有助于揭示与肥胖发生相关的机制，并阐明为何许多个体难以改变饮食习惯。...

测量人类口腔脂肪酸阈值、脂肪感知、对高脂食物的喜好程度及乳头密度

本文介绍了一种通过数字照片测量菌状乳头密度的实验方案。该方法在Miller &amp;#38;...

丹佛乳头计数方案：用于菌状乳头的客观分析

超声成像可用于实时显示言语过程中舌头的形态和运动。这些图像可用于确定言语声音错误的性质。在临床人群中，利用舌头的视觉反馈可促进言语声音产生的改善。...

舌部超声成像：言语发音错误评估与矫治的教程

我们描述了一种在麻醉大鼠模型中进行的外科手术操作，用于测定舌肌的肌张力及黏弹性特性。该操作包括对舌下神经进行特异性刺激，并对肌肉施加被动李萨如力/形变曲线。...

体内评估大鼠舌组织的力学与黏弹性特性

本文介绍了一种用于味觉功能细胞成像的 µTongue（舌上微流控）装置 体内...

µTongue：一种基于微流控技术的舌部功能成像平台 在体 内

本研究展示了一种利用光栅方向辨别测试评估舌部空间触觉敏感性的标准操作流程，并通过R指数法确定感知阈值。...

使用栅格方向测试评估空间性舌部触觉敏感度

人类内源性逆转录病毒（HERV）占据了人类基因组的8%，虽然其编码能力极为有限，但却含有约十万个长末端重复序列（LTRs）。为此，研究人员设计了一种定制的Affymetrix微阵列，用于鉴定单个HERV位点的表达情况，并以前列腺癌组织作为概念验证，为未来的临床研究奠定基础。...

基于微阵列的单个内源性逆转录病毒位点表达鉴定：在前列腺癌生物标志物发现中的应用

本文介绍了一种基于 Hydra 的实验方案——Hydra...

Hydra：一种基于计算机的平台，用于辅助临床医生进行心血管分析与诊断

本方案描述了 ElectroMap 的设置与使用方法。ElectroMap 是一个基于 MATLAB 的开源软件平台，用于分析心脏光学标测数据。ElectroMap...

使用 ElectroMap 进行光学标测数据的高通量分析

探索使用深度学习算法进行舌诊图像分割的方法。本研究比较U-Net等四种算法的性能，通过手持舌面诊断仪采集图像，评估分割精度与清晰度，为传统医学舌诊客观化提供技术支持。

传统医学中舌诊的客观化、数据分析与研究应用

探索更多视频