De huidige studie gebruikte U-Net en andere deep learning-algoritmen om een tongbeeld te segmenteren en vergeleek de segmentatieresultaten om de objectivering van tongdiagnose te onderzoeken.
Een abonnement op JoVE is vereist om deze inhoud te bekijken. Log in of start vandaag met uw gratis proefperiode.
Methodenartikel
Objectivering van tongdiagnose in de traditionele geneeskunde, data-analyse en studietoepassing
* These authors contributed equally
In dit artikel
Samenvatting
Samenvatting
Tongdiagnose is een essentiële techniek van de diagnose van de traditionele Chinese geneeskunde (TCM) en de behoefte aan objectiverende tongbeelden door middel van beeldverwerkingstechnologie groeit. De huidige studie geeft een overzicht van de vooruitgang die het afgelopen decennium is geboekt in tongobjectificatie en vergelijkt segmentatiemodellen. Verschillende deep learning-modellen zijn geconstrueerd om algoritmen te verifiëren en te vergelijken met behulp van echte tongbeeldsets. De sterke en zwakke punten van elk model worden geanalyseerd. De bevindingen geven aan dat het U-Net-algoritme beter presteert dan andere modellen met betrekking tot precisienauwkeurigheid (PA), recall en mean intersection over union (MIoU) -statistieken. Ondanks de aanzienlijke vooruitgang in het verwerven en verwerken van tongbeelden, moet er echter nog een uniforme standaard voor het objectiveren van tongdiagnose worden vastgesteld. Om de wijdverspreide toepassing van tongbeelden die zijn vastgelegd met behulp van mobiele apparaten in tongdiagnoseobjectificatie te vergemakkelijken, zou verder onderzoek de uitdagingen kunnen aanpakken die worden gesteld door tongbeelden die zijn vastgelegd in complexe omgevingen.
Inleiding
Tongobservatie is een veel gebruikte techniek in de traditionele Chinese etnische geneeskunde (TCM). De kleur en vorm van de tong kunnen de fysieke conditie en verschillende ziekte-eigenschappen, ernst en prognoses weerspiegelen. In de traditionele Hmong-geneeskunde wordt de kleur van de tong bijvoorbeeld gebruikt om de lichaamstemperatuur te identificeren, bijvoorbeeld een rode of paarse tong duidt op pathologische factoren die verband houden met warmte. In de Tibetaanse geneeskunde wordt een aandoening beoordeeld door de tong van een patiënt te observeren, met aandacht voor de kleur, vorm en vochtigheid van het slijm. De tongen van patiënten met de ziekte van Heyi worden bijvoorbeeld rood en ruw of zwart en droog1; patiënten met de ziekte van Xieri2 hebben gele en droge tongen; ondertussen hebben patiënten met de ziekte van Badakan3 een witte, vochtige en zachte tong4. Deze observaties onthullen de nauwe relatie tussen tongkenmerken en fysiologie en pathologie. Over het algemeen speelt de toestand van de tong een vitale rol bij de diagnose, ziekte-identificatie en evaluatie van het behandelingseffect.
Tegelijkertijd, als gevolg van verschillende leefomstandigheden en voedingsgewoonten tussen verschillende etnische groepen, zijn variaties in tongbeelden duidelijk. Het Lab-model, opgesteld op basis van een internationale standaard voor kleurbepaling, werd in 1931 geformuleerd door de Commission International Eclairage (CIE). In 1976 werd een kleurenpatroon aangepast en benoemd. Het Lab-kleurmodel bestaat uit drie elementen: L komt overeen met helderheid, terwijl a en b twee kleurkanalen zijn. A bevat kleuren van donkergroen (lage helderheidswaarde) tot grijs (gemiddelde helderheidswaarde) tot felroze (hoge helderheidswaarde); B gaat van felblauw (lage helderheidswaarde) naar grijs (gemiddelde helderheidswaarde) naar geel (hoge helderheidswaarde). Door de L x a x b-waarden van de tongkleur van vijf etnische groepen te vergelijken, ontdekten Yang et al.5 dat de kenmerken van tongafbeeldingen van de Hmong-, Hui-, Zhuang-, Han- en Mongoolse groepen significant van elkaar verschilden. De hebben bijvoorbeeld donkere tongen met een gele tongcoating, terwijl de Hmong lichte tongen hebben met een witte tongcoating, wat suggereert dat tongkenmerken kunnen worden gebruikt als een diagnostische indicator voor het beoordelen van de gezondheidstoestand van een populatie. Bovendien kunnen tongbeelden functioneren als een evaluatie-index voor evidence-based medicine in klinisch onderzoek naar etnische geneeskunde. He et al.6 gebruikten tongbeelden als basis voor TCM-diagnose en evalueerden systematisch de veiligheid en werkzaamheid van Chou-Ling-Dan-pellets (CLD-korrels die worden gebruikt voor de behandeling van ontstekings- en koortsziekten, waaronder seizoensgriep bij TCM) in combinatie met Chinese en westerse geneeskunde. De resultaten stelden de wetenschappelijke validiteit van tongbeelden vast als evaluatie-index voor klinische studies. Niettemin vertrouwen traditionele artsen over het algemeen op subjectiviteit om tongkenmerken te observeren en de fysiologische en pathologische omstandigheden van patiënten te beoordelen, waarvoor nauwkeurigere indicatoren nodig zijn.
De opkomst van internet en kunstmatige intelligentietechnologie heeft de weg vrijgemaakt voor het digitaliseren en objectiveren van tongdiagnose. Dit proces omvat het gebruik van wiskundige modellen om een kwalitatieve en objectieve beschrijving van tongbeelden7 te geven, die de inhoud van het tongbeeld weerspiegelen. Het proces omvat verschillende stappen: beeldacquisitie, optische compensatie, kleurcorrectie en geometrische transformatie. De voorbewerkte afbeeldingen worden vervolgens ingevoerd in een algoritmisch model voor beeldpositionering en -segmentatie, functie-extractie, patroonherkenning, enz. De output van dit proces is een zeer efficiënte en nauwkeurige diagnose van tongbeeldgegevens, waardoor het doel van objectivering, kwantificering en informatisering van tongdiagnose wordt bereikt8. Zo wordt het doel van een hoge efficiëntie en zeer nauwkeurige verwerking van tongdiagnosegegevens bereikt. Op basis van kennis van tongdiagnose en deep learning-technologie scheidde deze studie automatisch het tonglichaam en de tongcoating van tongbeelden met behulp van een computeralgoritme, om de kwantitatieve kenmerken van tongen voor artsen te extraheren, de betrouwbaarheid en consistentie van de diagnose te verbeteren en methoden te bieden voor later onderzoek naar objectivering van de tongdiagnose9.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Protocol
Deze studie is goedgekeurd door het National Natural Science Foundation of China-project, Constructing Dynamic Change-regels van TCM Facial image Based on Association Analysis. Het ethische goedkeuringsnummer is 2021KL-027 en de ethische commissie heeft de klinische studie goedgekeurd die moet worden uitgevoerd in overeenstemming met de goedgekeurde documenten, waaronder het klinische onderzoeksprotocol (2021.04.12, V2.0), geïnformeerde toestemming (2021.04.12, V2.0), wervingsmateriaal voor proefpersonen (2021.04.12, V2.0), studiegevallen en / of case reports, dagboekkaarten van proefpersonen en andere vragenlijsten (2021.04.12, V2.0), een lijst van deelnemers aan de klinische proef, goedkeuring van onderzoeksprojecten, enz. Geïnformeerde toestemming van de patiënten die deelnamen aan het onderzoek werd verkregen. De belangrijkste experimentele benadering van deze studie is om echte tongbeelden te gebruiken om de modelsegmentatie-effecten te valideren en te vergelijken. Figuur 1 toont de componenten van tongdiagnose-objectivering.
1. Beeldacquisitie
- Gebruik het zelfontwikkelde draagbare linguale gezichtsdiagnose-instrument om linguale gezichtsbeelden van patiënten te verzamelen.
- Vul de naam, het geslacht, de leeftijd en de ziekte van de patiënt in op de computerpagina. Afbeeldingen die hier zijn opgenomen, zijn van patiënten die naar de kliniek kwamen en ermee instemden om te worden gefotografeerd nadat ze op de hoogte waren gesteld van het doel en de inhoud van het onderzoek. Bevestig dat de patiënt rechtop zit, plaats het hele gezicht in het beeldacquisitie-instrument en instrueer de patiënt om zijn tong maximaal uit zijn mond te strekken.
- Houd het beeldacquisitieapparaat aangesloten op een computer en controleer via de beelden op het computerscherm of de patiënt zich in de juiste positie bevindt en of de tong en het gezicht volledig zijn blootgesteld.
- Druk drie keer op de opnameknop op het computerscherm om drie foto's te maken.
OPMERKING: Het beeldacquisitie-instrument bevindt zich momenteel alleen in de fase van de octrooiaanvraag en is niet voor commercieel gebruik, dus het is niet te koop. - Selecteer en filter handmatig de verzamelde tong- en gezichtsafbeeldingen. Filter en sluit afbeeldingen uit met onvolledige tong- en gezichtsbelichting, evenals afbeeldingen die te donker zijn vanwege onvoldoende licht. Figuur 2 toont de beeldacquisitiepagina van de software.
- Verzamel in het experimentele ontwerp drie afbeeldingen van elke patiënt tegelijk als alternatieven en selecteer een relatief standaard, volledig belicht, goed verlicht en duidelijk beeld als voorbeeld voor daaropvolgende algoritmetraining en -testen.
- Verzamel gegevens na de opname, exporteer de gegevens voor handmatige screening en verwijder de niet-standaardafbeeldingen die met het blote oog zichtbaar zijn. Gebruik de volgende filter- en uitsluitingscriteria: onvolledige belichting van tong en gezicht en afbeeldingen die te donker zijn als gevolg van onvoldoende licht. Een voorbeeld van een onderbelichte, een onvolledige en een standaardafbeelding wordt weergegeven in figuur 3.
OPMERKING: Onvoldoende licht wordt over het algemeen veroorzaakt door het falen van de patiënt om het gezicht volledig in het instrument te plaatsen. Volledige belichting wordt meestal alleen verkregen door de patiënt correct te fotograferen.
2. Tongsegmentatie
- Voer tongafbeeldingssegmentatie uit met behulp van een online annotatietool, zoals hieronder beschreven.
- Installeer Labelme, klik op de knop Openen in de linkerbovenhoek van de labelinterface, selecteer de map waarin de afbeelding zich bevindt en open de foto's.
- Klik op polygoon maken om trackingpunten te starten, volg de tong en linguale vormen, geef ze een naam op basis van de geselecteerde gebieden (bijv. Tong en linguaal oppervlak) en sla ze op.
- Wanneer alle markeringen zijn voltooid, klikt u op Opslaan om de afbeelding op te slaan in de gegevensmap. Zie figuur 4 voor een gedetailleerd stroomschema.
OPMERKING: Omdat de afbeeldingen pixelverschillen kunnen hebben, kunnen de afbeeldingen niet rechtstreeks worden gebruikt voor het trainen en testen van algoritmen.
- Verenig de afbeeldingen tot dezelfde grootte door de afbeeldingen met de rand te vullen, met de lange zijde van de afbeelding als de doelvullengte en witte randvulling uit te voeren om de afbeeldingen tot een vierkant te vullen, met de lange zijde van de afbeelding als randlengte. De afbeeldingsgrootte die door het apparaat wordt vastgelegd, is 1080 x 1920 pixels en de grootte van de gevulde afbeelding is 1920 x 1920 pixels. Zie figuur 5.
- Pas indien nodig beeldverbetering toe. In deze studie werd geen verbetering toegepast, omdat de gebruikte beelden in een vaste scène werden genomen en minder werden beïnvloed door de omgeving, verlichting en andere factoren.
- Omdat tijdens het opnameproces voor elke patiënt drie beelden werden verzameld om rekening te houden met oncontroleerbare factoren, zoals knipperen van het onderwerp en lensblokkering, screent u de beelden van elke patiënt handmatig om één beeld per patiënt te behouden.
- Voor het trainen van het model verzamelt u gegevens van 200 mensen of 600 afbeeldingen. Bewaar na de vertoning ongeveer 200 bruikbare afbeeldingen.
- Verdeel volgens het afbeeldingsnummer willekeurig alle tongafbeeldingen en plaats 70% ervan in de trainingsset en 30% in de testset in een spreadsheet.
3. Tong classificatie
- Ga naar de officiële websites en download en installeer Anaconda, Python en Labelme. Activeer de omgeving en voltooi de installatie en aanpassing van de algehele omgeving. Zie figuur 6 voor een stroomdiagram waarin de installatie en configuratie van de software wordt beschreven.
- Bouw het deep learning-algoritmemodel in de geïnstalleerde omgeving, stem de parameters af en voltooi de modeltraining met behulp van de trainingsset. Voer modelselectie en -afstemming uit zoals beschreven in de volgende stappen.
- Modelselectie: Kies het juiste model op basis van het doel van het onderzoek. Na het beoordelen van onderzoek naar tongbeeldverwerking in de afgelopen 5 jaar, werden vier algoritmen, U-Net, Seg-Net, DeeplabV3 en PSPNet, geselecteerd voor validatie in deze studie (zie Aanvullend coderingsbestand 1, Aanvullend coderingsbestand 2, Aanvullend coderingsbestand 3 en Aanvullend coderingsbestand 4 voor modelcodes).
- Constructie van datasets: Na het voltooien van de modelselectie, construeert u de vereiste dataset in combinatie met de onderzoeksinhoud, voornamelijk met behulp van Labelme-annotatie en de uniforme beeldgroottemethoden, zoals hierboven beschreven.
- Voer modeltraining uit zoals hieronder beschreven. Figuur 7 toont details van de algoritmetrainingsoperatie.
- Voer de gegevens in het neurale netwerk in voor voorwaartse voortplanting, waarbij elk neuron eerst een gewogen accumulatie van waarden invoert en vervolgens een activeringsfunctie invoert als de uitvoerwaarde van dat neuron om het resultaat te verkrijgen.
- Voer het resultaat in de foutfunctie in en vergelijk het met de verwachte waarde om de fout te krijgen en de mate van herkenning per fout te beoordelen. Hoe kleiner de verliesfunctie is, hoe beter het model zal zijn.
- Verminder de fout door terugvoortplanting en bepaal de verloopvector. Pas de gewichten met de verloopvector aan de trend naar resultaten aan, zodat de fout de neiging heeft nul te worden of kleiner wordt.
- Herhaal dit trainingsproces totdat de set is voltooid of de foutwaarde niet langer wordt verlaagd, waarna de modeltraining is voltooid. Zie figuur 8 voor een stroomdiagram van het algoritmemodel in training en testen.
- Test de vier modellen met dezelfde testgegevens voor segmentatie en beoordeel de prestaties van het model op basis van het segmentatie-effect. De vier maatstaven precisie, recall, gemiddelde pixelnauwkeurigheid (MPA) en MIoU bieden een uitgebreidere evaluatie van de modelprestaties.
- Nadat de resultaten van de vier modellen zijn gegenereerd, vergelijkt u hun waarden horizontaal; Hoe hoger de waarde, hoe hoger de segmentatienauwkeurigheid en hoe beter de prestaties van het model. Zie figuur 9, figuur 10 en figuur 11.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Resultaten
Voor de vergelijkingsresultaten, zie figuur 12, figuur 13 en tabel 1, waar de omgeving die door deze studie is geconstrueerd, dezelfde monsters gebruikt om het algoritmemodel te trainen en te testen. MIoU-indicator: U-Net > Seg-Net > PSPNet > DeeplabV3; MPA-indicator: U-Net > Seg-Net > PSPNet > DeeplabV3; precisie-indicator: U-Net > Seg-Net > DeeplabV3 > PSPNet; terugroepen: U-Net > Seg-Net > PSPNet > DeeplabV3. Hoe groter de indexwaarde, hoe h...
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Discussie
Op basis van de hierboven gepresenteerde vergelijkingsresultaten is het duidelijk dat de kenmerken van de vier onderzochte algoritmen gevarieerd zijn en dat hun verschillende voor- en nadelen hieronder worden beschreven. De U-Net-structuur, gebaseerd op de wijziging en uitbreiding van een volledig convolutienetwerk, kan contextuele informatie en nauwkeurige positionering verkrijgen via een contractueel pad en een symmetrisch uitdijend pad. Door elk pixelpunt te classificeren, bereikt dit algoritme een hogere segmentatien...
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Openbaarmakingen
De auteurs hebben geen belangenverstrengeling te melden.
Dankbetuigingen
Dit werk werd ondersteund door de National Nature Foundation of China (grant no.82004504), het National Key Research and Development Program van het Ministerie van Wetenschap en Technologie van China (grant no.2018YFC1707606), Chinese Medicine Administration of Sichuan Province (grant no.2021MS199) en National Nature Foundation of China (grant no.82174236).
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Materialen
| Naam | Bedrijf | Catalogusnummer | Opmerkingen |
|---|---|---|---|
| CPU | Intel(R) Core(TM) i7-9700K | ||
| GPU | NVIDIA GeForce RTX 3070 Ti (8192MB) | ||
| Besturingssystemen | Microsoft Windows 10 Professional Edition (64-bit) | ||
| Programmeertaal | Python | ||
| RAM | 16G |
Referenties
- Jiu, G., et al. Effects of herbal therapy on intestinal microbiota and serum metabolomics in different rat models of Mongolian medicine. Evidence-Based Complementary and Alternative. 2022, 7255780(2022).
- Xi, J., Xin, Y., Teregle, Study on the correlation between the animal model of Mongolian medicine 34;Xieri disease" and serum ALT and AST. Electronic Journal of Cardiovascular Diseases in Combination of Traditional Chinese. 4 (33), 134-135 (2016).
- Yin, L., et al. Study on the mechanism of serum differential protein changes in bronchial asthma based on proteomics. Chinese Journal of Traditional Chinese Medicine. 47 (22), 6227-6234 (2022).
- Wang, X. H., Bao, L. Band Seed. The origin and development of tongue diagnosis in Mongolian medicine. Chinese Ethnic Folk Medicine. (1), 64-65 (2008).
- Yang, S., et al. A comparative study on the feature parameters of tongue diagnosis images in five nationalities. Chinese Journal of Traditional Chinese Medicine. 36 (11), 6428-6430 (2021).
- He, J. Y., et al. Efficacy and safety of Chou-Ling-Dan granules in the treatment of seasonal influenza via combining Western and traditional Chinese medicine, protocol for a multicentre, randomised controlled clinical trial. BMJ Open. 9 (4), e024800(2019).
- Wang, D. J., et al. Scientific knowledge mapping and visualization analysis in the field of Chinese medicine tongue feature objectification research. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3032-3040 (2021).
- Yuan, S. M., Qian, P., Li, F. F. Research progress of color correction methods for tongue and face diagnosis in traditional Chinese Medicine. Chinese Journal of Traditional Chinese Medicine. 34 (9), 4183-4185 (2019).
- Kanawong, R., et al. Tongue image analysis and its mobile app development for health diagnosis. Advances in Experimental Medicine and Biology. 1005, 99-121 (2017).
- Yu, Y., et al. Semantic segmentation evaluation index and evaluation method. Computer Engineering and Application. , (2023).
- Sehyung, L., Negishi, M., Urakubo, H., Kasai, H., Ishii, S. Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration. Neural Networks. 125, 92-103 (2020).
- Huang, X. M., et al. A review on the application of U-Net and its variants in medical image segmentation. Chinese Journal of Biomedical Engineering. 41 (5), 567-576 (2022).
- Lu, J. H., Xu, Y. F., Wang, Y. Q., Hao, Y. M. Research overview of tongue objectification in traditional Chinese medicine based on computer image technology. World Science and Technology - Modernization of Traditional Chinese Medicine. 24 (11), 4568-4573 (2022).
- Mansour, R. F., Althobaiti, M. M., Ashour, A. A. Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification. IEEE Access. 9, 94769-94779 (2021).
- Cai, Y. H., Hu, S. B., Guan, J., Zhang, X. F. Analysis of the development and application of tongue diagnosis objectification techniques in Chinese medicine. World Science and Technology - Modernization of Chinese Medicine. 23 (7), 2447-2453 (2021).
- Ghosh, S., Das, N., Nasipuri, M. Reshaping inputs for convolutional neural network: some common and uncommon methods. Pattern Recognition. 93, 79-94 (2019).
- Shang, Z. M., et al. Research progress of digital acquisition and characterization of tongue diagnosis information. Chinese Journal of Traditional Chinese Medicine. 36 (10), 6010-6013 (2021).
- Ning, J., Zhang, D., Wu, C., Yue, F. Automatic tongue image segmentation based on gradient vector flow and region merging. Neural Computing and Applications. 21, 1819-1826 (2012).
- Zheng, F., Huang, X. Y., Wang, B. L., Wang, Y. H. A method for tongue detection based on image segmentation. Journal of Xiamen University. 55 (6), 895-900 (2016).
- Li, Y. T., Luo, Y. S., Zhu, Z. M. Deep learning-based tongue feature analysis. Computer Science. 47 (11), 148-158 (2020).
- Wang, Y. D., Sun, C. H., Cui, J. L., Wu, X. R., Qin, Y. X. Research on deep learning-based tongue fissure segmentation algorithm. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3065-3073 (2021).
- Wang, X. M., Wang, R. Y., Guo, D., Lu, S. Z., Zhou, P. Research on the identification method of tongue punctures based on auxiliary light source. Journal of Sensing Technology. 29 (10), 1553-1559 (2016).
- Yang, J. D., Zhang, P. A fully connected neural network based on migration learning for tongue image classification. Journal of the Second Military Medical University. 39 (8), 897-902 (2018).
- Song, C., Wang, B., Xu, J. T. Research on tongue feature classification method based on deep migration learning. Computer Engineering and Science. 43 (8), 1488-1496 (2021).
- Ding, H. J., He, J. C. Study on modern techniques and methods of tongue diagnosis. Shi Zhen Chinese Medicine. 21 (5), 1230-1232 (2010).
- Zhai, P. B., et al. A multi-stage tongue image classification algorithm incorporating attention mechanism. Computer Engineering and Design. 42 (6), 1606-1613 (2021).
- Hou, Y. S. A new clustering analysis algorithm based on deep learning. Journal of Xinxiang University. 35 (12), 4(2018).
- Shi, Y. L., et al. A decision tree algorithm for classification of non-small cell lung cancer evidence based on tongue and pulse data. World Science and Technology - Modernization of Chinese Medicine. 24 (7), 2766-2775 (2022).
- Li, J., Hu, X. J., Zhou, C. L., Xu, J. T. Study on the feature analysis and diagnosis model of diabetic tongue based on random forest algorithm. Chinese Journal of Traditional Chinese Medicine. 37 (3), 1639-1643 (2022).
- Chen, C. H., et al. The characteristics of the combination of the four diagnostic methods of traditional Chinese medicine from the perspective of the differences between Chinese and Western medical diagnosis methods. Journal of Guangzhou University of Traditional Chinese Medicine. 28 (3), 332-334 (2011).
- Chen, R., et al. Correlation analysis of tongue image and western medicine typing in 382 patients with novel coronavirus pneumonia based on Lab colour model and imaging histology. Chinese Journal of Traditional Chinese Medicine. 36 (12), 7010-7014 (2021).
- Ju, J. W., Jung, H., Lee, Y. J., Mun, S. W., Lee, J. H. Semantic segmentation dataset for AI-based quantification of clean mucosa in capsule endoscopy. Medicina. 58 (3), 397(2022).
- Wu, X., et al. A review of research on deep learning in tongue image classification. Computer Science and Exploration. , 1-23 (2022).
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Herprints en machtigingen
