Summary
De huidige studie gebruikte U-Net en andere deep learning-algoritmen om een tongbeeld te segmenteren en vergeleek de segmentatieresultaten om de objectivering van tongdiagnose te onderzoeken.
Abstract
Tongdiagnose is een essentiële techniek van de diagnose van de traditionele Chinese geneeskunde (TCM) en de behoefte aan objectiverende tongbeelden door middel van beeldverwerkingstechnologie groeit. De huidige studie geeft een overzicht van de vooruitgang die het afgelopen decennium is geboekt in tongobjectificatie en vergelijkt segmentatiemodellen. Verschillende deep learning-modellen zijn geconstrueerd om algoritmen te verifiëren en te vergelijken met behulp van echte tongbeeldsets. De sterke en zwakke punten van elk model worden geanalyseerd. De bevindingen geven aan dat het U-Net-algoritme beter presteert dan andere modellen met betrekking tot precisienauwkeurigheid (PA), recall en mean intersection over union (MIoU) -statistieken. Ondanks de aanzienlijke vooruitgang in het verwerven en verwerken van tongbeelden, moet er echter nog een uniforme standaard voor het objectiveren van tongdiagnose worden vastgesteld. Om de wijdverspreide toepassing van tongbeelden die zijn vastgelegd met behulp van mobiele apparaten in tongdiagnoseobjectificatie te vergemakkelijken, zou verder onderzoek de uitdagingen kunnen aanpakken die worden gesteld door tongbeelden die zijn vastgelegd in complexe omgevingen.
Introduction
Tongobservatie is een veel gebruikte techniek in de traditionele Chinese etnische geneeskunde (TCM). De kleur en vorm van de tong kunnen de fysieke conditie en verschillende ziekte-eigenschappen, ernst en prognoses weerspiegelen. In de traditionele Hmong-geneeskunde wordt de kleur van de tong bijvoorbeeld gebruikt om de lichaamstemperatuur te identificeren, bijvoorbeeld een rode of paarse tong duidt op pathologische factoren die verband houden met warmte. In de Tibetaanse geneeskunde wordt een aandoening beoordeeld door de tong van een patiënt te observeren, met aandacht voor de kleur, vorm en vochtigheid van het slijm. De tongen van patiënten met de ziekte van Heyi worden bijvoorbeeld rood en ruw of zwart en droog1; patiënten met de ziekte van Xieri2 hebben gele en droge tongen; ondertussen hebben patiënten met de ziekte van Badakan3 een witte, vochtige en zachte tong4. Deze observaties onthullen de nauwe relatie tussen tongkenmerken en fysiologie en pathologie. Over het algemeen speelt de toestand van de tong een vitale rol bij de diagnose, ziekte-identificatie en evaluatie van het behandelingseffect.
Tegelijkertijd, als gevolg van verschillende leefomstandigheden en voedingsgewoonten tussen verschillende etnische groepen, zijn variaties in tongbeelden duidelijk. Het Lab-model, opgesteld op basis van een internationale standaard voor kleurbepaling, werd in 1931 geformuleerd door de Commission International Eclairage (CIE). In 1976 werd een kleurenpatroon aangepast en benoemd. Het Lab-kleurmodel bestaat uit drie elementen: L komt overeen met helderheid, terwijl a en b twee kleurkanalen zijn. A bevat kleuren van donkergroen (lage helderheidswaarde) tot grijs (gemiddelde helderheidswaarde) tot felroze (hoge helderheidswaarde); B gaat van felblauw (lage helderheidswaarde) naar grijs (gemiddelde helderheidswaarde) naar geel (hoge helderheidswaarde). Door de L x a x b-waarden van de tongkleur van vijf etnische groepen te vergelijken, ontdekten Yang et al.5 dat de kenmerken van tongafbeeldingen van de Hmong-, Hui-, Zhuang-, Han- en Mongoolse groepen significant van elkaar verschilden. De hebben bijvoorbeeld donkere tongen met een gele tongcoating, terwijl de Hmong lichte tongen hebben met een witte tongcoating, wat suggereert dat tongkenmerken kunnen worden gebruikt als een diagnostische indicator voor het beoordelen van de gezondheidstoestand van een populatie. Bovendien kunnen tongbeelden functioneren als een evaluatie-index voor evidence-based medicine in klinisch onderzoek naar etnische geneeskunde. He et al.6 gebruikten tongbeelden als basis voor TCM-diagnose en evalueerden systematisch de veiligheid en werkzaamheid van Chou-Ling-Dan-pellets (CLD-korrels die worden gebruikt voor de behandeling van ontstekings- en koortsziekten, waaronder seizoensgriep bij TCM) in combinatie met Chinese en westerse geneeskunde. De resultaten stelden de wetenschappelijke validiteit van tongbeelden vast als evaluatie-index voor klinische studies. Niettemin vertrouwen traditionele artsen over het algemeen op subjectiviteit om tongkenmerken te observeren en de fysiologische en pathologische omstandigheden van patiënten te beoordelen, waarvoor nauwkeurigere indicatoren nodig zijn.
De opkomst van internet en kunstmatige intelligentietechnologie heeft de weg vrijgemaakt voor het digitaliseren en objectiveren van tongdiagnose. Dit proces omvat het gebruik van wiskundige modellen om een kwalitatieve en objectieve beschrijving van tongbeelden7 te geven, die de inhoud van het tongbeeld weerspiegelen. Het proces omvat verschillende stappen: beeldacquisitie, optische compensatie, kleurcorrectie en geometrische transformatie. De voorbewerkte afbeeldingen worden vervolgens ingevoerd in een algoritmisch model voor beeldpositionering en -segmentatie, functie-extractie, patroonherkenning, enz. De output van dit proces is een zeer efficiënte en nauwkeurige diagnose van tongbeeldgegevens, waardoor het doel van objectivering, kwantificering en informatisering van tongdiagnose wordt bereikt8. Zo wordt het doel van een hoge efficiëntie en zeer nauwkeurige verwerking van tongdiagnosegegevens bereikt. Op basis van kennis van tongdiagnose en deep learning-technologie scheidde deze studie automatisch het tonglichaam en de tongcoating van tongbeelden met behulp van een computeralgoritme, om de kwantitatieve kenmerken van tongen voor artsen te extraheren, de betrouwbaarheid en consistentie van de diagnose te verbeteren en methoden te bieden voor later onderzoek naar objectivering van de tongdiagnose9.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Deze studie is goedgekeurd door het National Natural Science Foundation of China-project, Constructing Dynamic Change-regels van TCM Facial image Based on Association Analysis. Het ethische goedkeuringsnummer is 2021KL-027 en de ethische commissie heeft de klinische studie goedgekeurd die moet worden uitgevoerd in overeenstemming met de goedgekeurde documenten, waaronder het klinische onderzoeksprotocol (2021.04.12, V2.0), geïnformeerde toestemming (2021.04.12, V2.0), wervingsmateriaal voor proefpersonen (2021.04.12, V2.0), studiegevallen en / of case reports, dagboekkaarten van proefpersonen en andere vragenlijsten (2021.04.12, V2.0), een lijst van deelnemers aan de klinische proef, goedkeuring van onderzoeksprojecten, enz. Geïnformeerde toestemming van de patiënten die deelnamen aan het onderzoek werd verkregen. De belangrijkste experimentele benadering van deze studie is om echte tongbeelden te gebruiken om de modelsegmentatie-effecten te valideren en te vergelijken. Figuur 1 toont de componenten van tongdiagnose-objectivering.
1. Beeldacquisitie
- Gebruik het zelfontwikkelde draagbare linguale gezichtsdiagnose-instrument om linguale gezichtsbeelden van patiënten te verzamelen.
- Vul de naam, het geslacht, de leeftijd en de ziekte van de patiënt in op de computerpagina. Afbeeldingen die hier zijn opgenomen, zijn van patiënten die naar de kliniek kwamen en ermee instemden om te worden gefotografeerd nadat ze op de hoogte waren gesteld van het doel en de inhoud van het onderzoek. Bevestig dat de patiënt rechtop zit, plaats het hele gezicht in het beeldacquisitie-instrument en instrueer de patiënt om zijn tong maximaal uit zijn mond te strekken.
- Houd het beeldacquisitieapparaat aangesloten op een computer en controleer via de beelden op het computerscherm of de patiënt zich in de juiste positie bevindt en of de tong en het gezicht volledig zijn blootgesteld.
- Druk drie keer op de opnameknop op het computerscherm om drie foto's te maken.
OPMERKING: Het beeldacquisitie-instrument bevindt zich momenteel alleen in de fase van de octrooiaanvraag en is niet voor commercieel gebruik, dus het is niet te koop. - Selecteer en filter handmatig de verzamelde tong- en gezichtsafbeeldingen. Filter en sluit afbeeldingen uit met onvolledige tong- en gezichtsbelichting, evenals afbeeldingen die te donker zijn vanwege onvoldoende licht. Figuur 2 toont de beeldacquisitiepagina van de software.
- Verzamel in het experimentele ontwerp drie afbeeldingen van elke patiënt tegelijk als alternatieven en selecteer een relatief standaard, volledig belicht, goed verlicht en duidelijk beeld als voorbeeld voor daaropvolgende algoritmetraining en -testen.
- Verzamel gegevens na de opname, exporteer de gegevens voor handmatige screening en verwijder de niet-standaardafbeeldingen die met het blote oog zichtbaar zijn. Gebruik de volgende filter- en uitsluitingscriteria: onvolledige belichting van tong en gezicht en afbeeldingen die te donker zijn als gevolg van onvoldoende licht. Een voorbeeld van een onderbelichte, een onvolledige en een standaardafbeelding wordt weergegeven in figuur 3.
OPMERKING: Onvoldoende licht wordt over het algemeen veroorzaakt door het falen van de patiënt om het gezicht volledig in het instrument te plaatsen. Volledige belichting wordt meestal alleen verkregen door de patiënt correct te fotograferen.
2. Tongsegmentatie
- Voer tongafbeeldingssegmentatie uit met behulp van een online annotatietool, zoals hieronder beschreven.
- Installeer Labelme, klik op de knop Openen in de linkerbovenhoek van de labelinterface, selecteer de map waarin de afbeelding zich bevindt en open de foto's.
- Klik op polygoon maken om trackingpunten te starten, volg de tong en linguale vormen, geef ze een naam op basis van de geselecteerde gebieden (bijv. Tong en linguaal oppervlak) en sla ze op.
- Wanneer alle markeringen zijn voltooid, klikt u op Opslaan om de afbeelding op te slaan in de gegevensmap. Zie figuur 4 voor een gedetailleerd stroomschema.
OPMERKING: Omdat de afbeeldingen pixelverschillen kunnen hebben, kunnen de afbeeldingen niet rechtstreeks worden gebruikt voor het trainen en testen van algoritmen.
- Verenig de afbeeldingen tot dezelfde grootte door de afbeeldingen met de rand te vullen, met de lange zijde van de afbeelding als de doelvullengte en witte randvulling uit te voeren om de afbeeldingen tot een vierkant te vullen, met de lange zijde van de afbeelding als randlengte. De afbeeldingsgrootte die door het apparaat wordt vastgelegd, is 1080 x 1920 pixels en de grootte van de gevulde afbeelding is 1920 x 1920 pixels. Zie figuur 5.
- Pas indien nodig beeldverbetering toe. In deze studie werd geen verbetering toegepast, omdat de gebruikte beelden in een vaste scène werden genomen en minder werden beïnvloed door de omgeving, verlichting en andere factoren.
- Omdat tijdens het opnameproces voor elke patiënt drie beelden werden verzameld om rekening te houden met oncontroleerbare factoren, zoals knipperen van het onderwerp en lensblokkering, screent u de beelden van elke patiënt handmatig om één beeld per patiënt te behouden.
- Voor het trainen van het model verzamelt u gegevens van 200 mensen of 600 afbeeldingen. Bewaar na de vertoning ongeveer 200 bruikbare afbeeldingen.
- Verdeel volgens het afbeeldingsnummer willekeurig alle tongafbeeldingen en plaats 70% ervan in de trainingsset en 30% in de testset in een spreadsheet.
3. Tong classificatie
- Ga naar de officiële websites en download en installeer Anaconda, Python en Labelme. Activeer de omgeving en voltooi de installatie en aanpassing van de algehele omgeving. Zie figuur 6 voor een stroomdiagram waarin de installatie en configuratie van de software wordt beschreven.
- Bouw het deep learning-algoritmemodel in de geïnstalleerde omgeving, stem de parameters af en voltooi de modeltraining met behulp van de trainingsset. Voer modelselectie en -afstemming uit zoals beschreven in de volgende stappen.
- Modelselectie: Kies het juiste model op basis van het doel van het onderzoek. Na het beoordelen van onderzoek naar tongbeeldverwerking in de afgelopen 5 jaar, werden vier algoritmen, U-Net, Seg-Net, DeeplabV3 en PSPNet, geselecteerd voor validatie in deze studie (zie Aanvullend coderingsbestand 1, Aanvullend coderingsbestand 2, Aanvullend coderingsbestand 3 en Aanvullend coderingsbestand 4 voor modelcodes).
- Constructie van datasets: Na het voltooien van de modelselectie, construeert u de vereiste dataset in combinatie met de onderzoeksinhoud, voornamelijk met behulp van Labelme-annotatie en de uniforme beeldgroottemethoden, zoals hierboven beschreven.
- Voer modeltraining uit zoals hieronder beschreven. Figuur 7 toont details van de algoritmetrainingsoperatie.
- Voer de gegevens in het neurale netwerk in voor voorwaartse voortplanting, waarbij elk neuron eerst een gewogen accumulatie van waarden invoert en vervolgens een activeringsfunctie invoert als de uitvoerwaarde van dat neuron om het resultaat te verkrijgen.
- Voer het resultaat in de foutfunctie in en vergelijk het met de verwachte waarde om de fout te krijgen en de mate van herkenning per fout te beoordelen. Hoe kleiner de verliesfunctie is, hoe beter het model zal zijn.
- Verminder de fout door terugvoortplanting en bepaal de verloopvector. Pas de gewichten met de verloopvector aan de trend naar resultaten aan, zodat de fout de neiging heeft nul te worden of kleiner wordt.
- Herhaal dit trainingsproces totdat de set is voltooid of de foutwaarde niet langer wordt verlaagd, waarna de modeltraining is voltooid. Zie figuur 8 voor een stroomdiagram van het algoritmemodel in training en testen.
- Test de vier modellen met dezelfde testgegevens voor segmentatie en beoordeel de prestaties van het model op basis van het segmentatie-effect. De vier maatstaven precisie, recall, gemiddelde pixelnauwkeurigheid (MPA) en MIoU bieden een uitgebreidere evaluatie van de modelprestaties.
- Nadat de resultaten van de vier modellen zijn gegenereerd, vergelijkt u hun waarden horizontaal; Hoe hoger de waarde, hoe hoger de segmentatienauwkeurigheid en hoe beter de prestaties van het model. Zie figuur 9, figuur 10 en figuur 11.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Voor de vergelijkingsresultaten, zie figuur 12, figuur 13 en tabel 1, waar de omgeving die door deze studie is geconstrueerd, dezelfde monsters gebruikt om het algoritmemodel te trainen en te testen. MIoU-indicator: U-Net > Seg-Net > PSPNet > DeeplabV3; MPA-indicator: U-Net > Seg-Net > PSPNet > DeeplabV3; precisie-indicator: U-Net > Seg-Net > DeeplabV3 > PSPNet; terugroepen: U-Net > Seg-Net > PSPNet > DeeplabV3. Hoe groter de indexwaarde, hoe hoger de segmentatienauwkeurigheid is en hoe beter de prestaties van het model. Volgens de indexresultaten kan worden geanalyseerd dat het U-Net-algoritme superieur is aan de andere algoritmen in MIoU, MPA, precisie en recall, en de segmentatienauwkeurigheid is ook hoger dan de andere algoritmen. Daarom heeft het U-Net-algoritme de beste prestaties van de vier verschillende algoritmen. PSPNet is beter dan DeeplabV3 in MIoU, MPA en recall, terwijl het DeeplabV3-model in alle indexen lager is dan het Seg-Net-model. Daarom kan worden geconcludeerd dat het DeeplabV3-algoritme de minst wenselijke uitgebreide prestaties heeft van de vier algoritmen in deze onderzoeksomgeving.
Evaluatie-indicatoren
In deze studie werden de prestaties van het algoritmemodel voornamelijk gevalideerd door precisie, recall, MPA en MIoU. De prestatiemetingen van het model zijn direct gerelateerd aan de verwarringsmatrix, die bestaat uit de resultaten van de modelclassificatie en het aantal monsters weergeeft dat het model correct en onjuist heeft geclassificeerd. De matrix vertegenwoordigt de geschatte waarde, gelijk aan de resultaten van de testset, en de werkelijke vertegenwoordigt de grondwaarheid. Beide categorieën zijn onderverdeeld in waar en onwaar, vertegenwoordigd door respectievelijk T en F, wat resulteert in vier combinaties: TP, FP, FN en TN.MPA is de gemiddelde waarde van het aandeel correct geclassificeerde pixels in elke categorie en MIoU is de gemiddelde snijpunt-samenvoegverhouding. Dit is de meest voorkomende statistiek voor semantische segmentatie; Het berekent de verhouding van het snijpunt en voegt de ware en voorspelde waarden10 samen. De formule hiervoor zijn:
Precisie = , recall = , MPA = (CPA = , waarbij N het totale aantal categorieën is) en MIoU = 
(IoU= ). 
Deze vier statistieken bieden een uitgebreidere evaluatie van het segmentatie-effect van tongafbeeldingen.
Deze studie selecteerde vier deep learning-algoritmemodellen, U-Net, Seg-Net, DeeplabV3 en PSPNet, om de algoritmemodellen te trainen en te testen met behulp van echte linguale beeldgegevens. U-Net11 heeft een U-vormige architectuur, bestaande uit een encoder aan de linkerkant en een decoder aan de rechterkant, en heeft het voordeel dat het nauwkeurigere classificatieresultaten traint met minder gegevens en beeldfuncties uitgebreid extraheert. DeepLabV3 is gebaseerd op het Res-Net-netwerk om het multi-scale doelsegmentatieprobleem op te lossen, neemt de holle convolutiestructuur over, ontwerpt de module om de multi-scale context vast te leggen, verwijdert het conditional random field (CRF) en upgradet de atrous spatial pyramid pooling (ASPP) module, waardoor de modelprestaties aanzienlijk worden verbeterd. Semantische segmentatie is bedoeld om het categorielabel voor elke pixel van het gesegmenteerde object te krijgen. Seg-Net is een convolutionele neurale netwerk (CNN) architectuur met een symmetrische structuur voor semantische segmentatie, inclusief een encoder en een decoder. Het voordeel hiervan is dat de up-sampling-methode van de decoder voor functiediagrammen met een lagere resolutie de up-sampling leertijd elimineert. Het PSPNet-model wordt voornamelijk toegepast op het parseren van scènes, waarbij contextinformatie wordt toegevoegd aan semantische segmentatie, waardoor gedeeltelijke fouten kunnen worden voorkomen, het probleem van het ontbreken van geschikte strategieën voor het gebruik van globale scèneclassificatie-informatie kan worden opgelost en de betrouwbaarheid van de uiteindelijke voorspelde resultaten kan worden verbeterd.
Figuur 1: Componenten van tongdiagnose objectivering. Tongdiagnosecomponenten, waaronder beeldopname-elementen, tongsegmentatie en tongclassificatie. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 2: Beeldacquisitiepagina. Interface voor het verkrijgen van tongafbeeldingen en inhoud van de vragenlijst. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 3: Beeldfilter- en afwijzingscriteria. Een groen vinkje staat voor inclusiecriteria en een rood kruis voor uitsluitingscriteria. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 4: Schematisch diagram van het labelme-markeringsproces. Labelme-software wordt gebruikt om het hele proces van de afbeelding te annoteren, van het openen van de map tot het opslaan van het bestand. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 5: Beeldvoorbewerkingsdiagram. De grootte van de opgenomen afbeelding is 1080 x 1920 pixels en de grootte van de opvulafbeelding is 1920 x 1920 pixels. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 6: Stroomschema van de omgevingsconfiguratie. Het algoritme kan alleen worden uitgevoerd nadat de omgeving is geconfigureerd. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 7: Algoritmetraining run detail diagram. Gedetailleerde stappen en uitvoeringsmethoden in de algoritmebewerking. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 8: Stroomschema van algoritmemodel in training en testen. De belangrijke stappen van het algoritme, waaronder gegevensverwerking, algoritmetraining en het testen van algoritmen. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 9: Seg-Net algoritme structuur. Seg-Net algoritme logische structuur en code uitvoeren proces. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 10: U-Net algoritmestructuur. U-Net algoritme logische structuur en code uitvoeren proces. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 11: Flow of tongue beeldsegmentatiestudies. Het rode gebied in de afbeelding is het resultaat van tongsegmentatie en het groene gebied is het resultaat van tongcoatingsegmentatie. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 12: Vergelijkingstabel van vier algoritmestatistieken. MIoU, MPA, precisie en recall zijn allemaal evaluatie-indexen van de prestaties van algoritmen. Hoe groter de waarde, hoe beter de prestaties van het algoritme en hoe hoger de segmentatienauwkeurigheid. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 13: Vergelijking van de resultaten van de vier algoritmen voor tongsegmentatie. Het rode gebied in de afbeelding is het resultaat van tongsegmentatie en het groene gebied is het resultaat van tongcoatingsegmentatie. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 14: U-Net algoritme structuurdiagram. De blauw/witte vakken geven de functiekaart aan, terwijl het getal boven de functiekaart het aantal kanalen vertegenwoordigt. Klik hier om een grotere versie van deze figuur te bekijken.
| MIoU | .MPA | Precisie | Herinneren | |
| U-net | 84.00% | 89.38% | 91.90% | 89.38% |
| DeeplabV3 | 59.68% | 61.33% | 84.21% | 61.33% |
| PSPNet | 67.80% | 72.56% | 82.71% | 72.56% |
| Segnet | 80.09% | 87.14% | 88.53% | 87.14% |
Tabel 1: Vergelijking van vier algoritmesegmentatieresultaatstatistieken. De statistieken waren MIoU, MPA, precisie en recall.
Aanvullend coderingsbestand 1: U-Net_training. U-Net model trainingscode. Klik hier om dit bestand te downloaden.
Aanvullend coderingsbestand 2: Seg-Net_training. Seg-Net model training code. Klik hier om dit bestand te downloaden.
Aanvullend coderingsbestand 3: DeeplabV3_training. DeeplabV3-modeltrainingscode. Klik hier om dit bestand te downloaden.
Aanvullend coderingsbestand 4: PSPNet_training. PSPNet-modeltrainingscode. Klik hier om dit bestand te downloaden.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Op basis van de hierboven gepresenteerde vergelijkingsresultaten is het duidelijk dat de kenmerken van de vier onderzochte algoritmen gevarieerd zijn en dat hun verschillende voor- en nadelen hieronder worden beschreven. De U-Net-structuur, gebaseerd op de wijziging en uitbreiding van een volledig convolutienetwerk, kan contextuele informatie en nauwkeurige positionering verkrijgen via een contractueel pad en een symmetrisch uitdijend pad. Door elk pixelpunt te classificeren, bereikt dit algoritme een hogere segmentatienauwkeurigheid en segmenteert het beeld sneller met het getrainde model. Aan de andere kant heeft het Seg-Net-algoritme, bestaande uit een symmetrische structuur van een encoder en een decoder, het voordeel dat het zich snel aanpast aan nieuwe problemen en goed presteert in taken zoals spraak, semantiek, visie en gaming. Het algoritme vereist echter een grote hoeveelheid gegevens, waardoor het veeleisend is in termen van hardwareconfiguratie en dus alleen van toepassing is op sommige taken. Als een meer algemeen kader heeft het DeeplabV3-algoritme het voordeel dat het ASSP-modules voor de meeste netwerken verbetert en ze in cascade of parallel opstelt om de algehele prestaties te verbeteren. De uiteindelijke functiekaart moet echter worden verkregen met up-sampling met snelheden 8 en 16, wat relatief ruw is en later kan worden verbeterd. Bovendien heeft het PSPNet-model de belangrijkste functie van het aggregeren van contextuele informatie uit verschillende regio's via de PSP-module, waardoor de toegang tot wereldwijde informatie wordt verbeterd en goede resultaten op meerdere datasets worden geleverd. De resultaten geven aan dat het U-Net model de hoogste segmentatienauwkeurigheid en het beste segmentatie-effect heeft in deze onderzoeksomgeving.
De U-Net architectuur toont zijn superioriteit in medische beeldsegmentatie12. Oorspronkelijk ontworpen voor 2D-celbeeldsegmentatie, is het U-Net-algoritme verder ontwikkeld door de 2D-module te vervangen door een 3D-module. Deze wijziging heeft het vermogen versterkt om 3D-beelden te verwerken, zoals magnetische resonantie beeldvorming (MRI), computertomografie (CT) en driedimensionale (3D) echografiebeelden. Door medische beelden te segmenteren in organen, weefsels en laesies, kunnen waardevolle klinische gegevens worden verkregen. Het verbeterde U-Net algoritme is een effectief hulpmiddel voor vervolgonderzoek en behandelingen. In de medische diagnostiek is de classificatie van beelden een cruciaal onderdeel van veel diagnostische processen. Traditionele geneeskunde vertrouwt op het observeren van alle zichtbare tekenen, inclusief de tong, huid en expressie. De opkomst en vooruitgang van medische beeldsegmentatietechnologie is van groot belang bij medische diagnose. In TCM vereist het analyseren van gezichts- en tongafbeeldingen het gebruik van verschillende deep-learning-algoritmen voor de classificatie van functie-extractie. Aan de andere kant worden beeldsegmentatie-algoritmen veel gebruikt in de westerse geneeskunde en bieden ze een basis voor klinische diagnose en pathologie13.
Het onderzoeksproces van deze studie omvat kritieke stappen, waaronder voorbewerking van gegevens, algoritmetraining en -testen en vergelijking van algoritmeprestaties. In eerste instantie ondergaan de onbewerkte gegevens verwerking, etikettering en verdeling in trainings- en testsets om de daaropvolgende algoritmeconstructie te vergemakkelijken. De verwerkte gegevens worden vervolgens in het neurale netwerk ingevoerd en de verliesfunctie wordt ingesteld om de gradiëntvector te bepalen door middel van terugvoortplanting. Vervolgens worden de parameters aangepast tot de voltooiing van het trainingsproces. De prestaties van het algoritme worden geëvalueerd door het beeldsegmentatie-effect te testen met behulp van meerdere indexen, zoals MIoU, MPA, precisie en recall om de prestaties uitgebreid te beoordelen. Tijdens het eigenlijke algoritmetrainingsproces kan overfitting optreden, waarbij het model de gegevens te grondig leert, inclusief de kenmerken van de ruisgegevens. Dit resulteert in het identificeren van gegevens tijdens latere tests, onjuiste classificatie van gegevens en een slecht generalisatievermogen. Als er overfitting optreedt, kan men de trainingsgegevens verhogen of de gegevens opnieuw opschonen. In deze studie wordt de gradiëntafdaling iteratieve methode gebruikt. Overfitting kan ook worden voorkomen door iteratie van tevoren af te snijden.
De beperking van dit onderzoek is duidelijk; De beelden zijn verzameld met vaste instrumenten en de experimentele instrumenten kunnen momenteel niet voor commerciële doeleinden worden gebruikt. Bijgevolg zijn de tongbeelden in deze studie afkomstig van een enkele scène en weerspiegelen ze niet volledig de klinische achtergrond en de complexe en variabele lichtomstandigheden. Daarom is verder onderzoek nodig om beeldverwerkingstechnieken te bestuderen onder complexe omgevingen en slechte verlichtingsomstandigheden. Objectiveringsstudies van tongdiagnose bevatten een rijke inhoud, dus nauwkeurige segmentatie van het tonglichaam is essentieel. Bijgevolg is het vergelijken en verifiëren van algoritmen met het meest geschikte segmentatie-effect belangrijk voor latere studies. Het combineren van tongsegmentatie met classificatie kan theoretisch automatisch tongbeeldoordeel bereiken en helpen bij de diagnose; geleerden hebben dit onderwerp onderzocht en bestudeerd. In de gezondheidszorg kan het gebruik van het internet der dingen en draadloze communicatietechnologieën om biomedische beelden te verwerken, evenals diagnosehulp, de efficiëntie van een systeem verbeteren. Mansour et al.14 ontwierpen een geautomatiseerd tongkleurenbeeld (ASDL-TCI) op basis van collaboratieve deep learning en het internet of things. Het omvat gegevensverzameling, voorbewerking, functie-extractie, classificatie en parameteroptimalisatie. De precisie, terugroepsnelheid en nauwkeurigheid van dit model zijn respectievelijk 0,984, 0,973 en 0,983, die superieur zijn aan andere methoden.
Beeldacquisitie en voorbewerking
Tijdens het beeldacquisitieproces kunnen de intensiteit en verscheidenheid van lichtbronnen rechtstreeks van invloed zijn op de beeldkwaliteit, wat op zijn beurt de beeldsegmentatie en classificatieresultaten beïnvloedt. Daarom is het essentieel om de lichtbron zo in te stellen dat het effect van natuurlijke lichtbronnen zo goed mogelijk wordt nagebootst. Bovendien kunnen methoden zoals het gebruik van standaard lichtbronnen of het gebruik van meerdere lichtbronnen en het fotograferen in een vaste scène de negatieve impact van licht, achtergrond en andere factoren voorkomen, waardoor de nauwkeurigheid van algoritmische segmentatie wordt verbeterd. De instrumentverlichtingsparameters die worden gebruikt om tongbeelden te verzamelen, zijn niet identiek aan standaardverlichting, wat het kleurweergave-effect van tongbeelden beïnvloedt. De meest gebruikte voorbewerkingsmethode is dus kleurcorrectie. Cai et al.15 vonden dat om de discrepantie tussen de kleurgegevens van een tongbeeld en de overeenkomstige tongkleurchroma aan te pakken, het normaliseren van de kleurruimteconversie en kleurcorrectie van het tongbeeld noodzakelijk is. De kleurprestaties van het weergaveapparaat wijken ook af van het echte tonglichaam, waardoor testen en aanpassing noodzakelijk zijn. Bovendien varieert het beeldformaat als gevolg van verschillende acquisitie-instrumenten die tijdens het beeldverzamelingsproces worden gebruikt16. Om de trainingsefficiëntie te verbeteren en opslagruimte te besparen, heeft het deep learning-netwerk beperkingen op de afbeeldingsgrootte van de invoer. Daarom moet het afbeeldingsformaat worden gestandaardiseerd tijdens de voorbewerkingsfase van de afbeelding. Meestal wordt dit bereikt door de invoerafbeeldingsgrootte voor modeltraining uniform te hervormen, waarbij veelgebruikte hervormmethoden interpolatie, knippen, inclusie, betegeling en spiegelen zijn.
Segmentatie van tongafbeeldingen
Tongbeeldsegmentatie kan worden onderverdeeld in twee typen: traditionele en deep learning-segmentatiemethoden17. Traditionele tongbeeldsegmentatiemethoden bestaan uit algoritmen zoals het Snake-algoritme en het Otsu-algoritme. Als een actief contourmodel stelt het Snake-algoritme18 eerst een profielcurve in en past vervolgens het initiële profiel aan om te evolueren naar een echte profielcurve. Het verwerven van initiële contouren en de evolutie van contouren zijn de primaire focus van onderzoek voor het Snake-algoritme. Aan de andere kant is het Otsu-algoritme een klassiek drempelsegmentatiealgoritme dat een of meer drempels gebruikt om de grijswaarde op de oorspronkelijke afbeelding te berekenen en de grijswaardenwaarde van elke pixel te vergelijken met de drempelwaarde. Op basis van de vergelijkingsresultaten worden de tong en achtergrond in beeld gebracht vóór de komst van deep learning-methoden. Deze twee algoritmen worden vaak gebruikt bij tongbeeldverwerking en tongdiagnoseobjectificatie.
Sinds de komst van de deep learning-theorie hebben talloze wetenschappers onderzoek gedaan naar de integratie van tongdiagnose, objectivering en deep learning. Zheng et al.19 bedachten een tongdetectiemethode op basis van beeldsegmentatie door verschillende algoritmen samen te voegen en de tongdetectiemethode in een open omgeving te verkennen, waardoor uiteindelijk gunstige tongsegmentatieresultaten werden bereikt. Yuan et al.20 stelden een tongsegmentatiemethode voor op basis van de enkele pixelverliesfunctie van regioassociatie, waarbij de verbeterde verliesfunctie verantwoordelijk was voor de correlatie tussen regiopixels. Door gebruik te maken van pixellabelsemantiek onder toezicht, werd de efficiëntie van de modeltraining verbeterd, geïllustreerd door de MIoU-index die 96,32% bereikte. Het tongbeeld vertoonde specifieke morfologische kenmerken zoals tandafdrukken, scheuren en puncties, nauw verbonden met het begin van de ziekte. Tongobservatie kan dus helpen bij het diagnosticeren van de voortgang van de ziekte. Wang et al21 stelden een deep-learning tongfractuursegmentatiebenadering voor kleine steekproefgegevenssets voor die verbeterde nauwkeurigheid en stabiliteit opleverden. Deze methode omvatte het eerst splitsen van het tonglichaam, gevolgd door tongscheuren, en verbeterde het U-Net-algoritme door focusverlies op te nemen als het verlies van functie.
Classificatie van tongafbeeldingen
Het classificeren van tongafbeeldingen omvat voornamelijk het identificeren van kenmerken zoals tongkleur, stekels, scheuren en coatingkleur. Wang et al.22 gebruikten het Snake-algoritme om het tonglichaam te segmenteren en gebruikten technieken zoals wederzijdse informatiebeeldregistratie, log edge-detectie, parallelle lijn en andere methoden om puncties te identificeren. Deze aanpak loste het probleem van automatische lekidentificatie en -telling effectief op en vergemakkelijkte tegelijkertijd vroege detectie en preventie. Om de beperkingen aan te pakken die gepaard gaan met het trainen van het tongbeeldalgoritme, zoals een groot gegevensvolume, lange trainingstijd en hoge apparatuurvereisten, stelden Yang et al.23een volledig verbonden neuraal netwerk voor op basis van transfer learning. Deze methode maakt gebruik van de goed getrainde Inception_v3 om functies te extraheren en te combineren met het volledig verbonden neurale netwerk (FCN), waardoor een nauwkeurigheid van meer dan 90% wordt bereikt. Deze aanpak loste het probleem van deep learning op in kleine steekproeven en meerdere classificaties. Song et al.24 gebruikten een cascade-classificator om afbeeldingen op GoogLe-Net en Res-Net te lokaliseren voor overdrachtsleren, training en het toepassen van deep learning om automatisch drie tongbeeldkenmerken te classificeren: tandsporen, scheuren en tonglaagdikte. De gemiddelde nauwkeurigheid van de classificatieresultaten bedroeg meer dan 94%. Het tongbeeldclassificatiealgoritme is echter zeer gevoelig voor interferentie van andere niet-gerelateerde delen van het gezicht, wat rechtstreeks van invloed is op de classificatienauwkeurigheid25.
Zhai et al.26 ontwikkelden een meertraps algoritme voor het classificeren van tongbeelden met behulp van aandachtsmechanismen. Deze methode verbetert de nauwkeurigheid van het identificeren van tonggebieden door kenmerken uit verschillende perceptuele gezichtsvelden te extraheren, die tijdens de tonglokalisatiefase zijn samengesmolten. Bovendien verbetert de aandachtsmechanismemodule de nauwkeurigheid van de tongbeeldclassificatie, waardoor interferentie van tongonzuiverheden wordt onderdrukt. Geconfronteerd met het probleem van het classificeren van tongkenmerken van verschillende ziekten27, kunnen deep learning-algoritmen ook nieuwe benaderingen bieden. Daarnaast hebben Shi et al.28 een typische classificatiemethode voor niet-kleincellige longkanker onderzocht op basis van het C5.0-beslisboomalgoritme. Ze identificeerden zeven attribuutclassificatieregels die relevant zijn voor het Qi-deficiëntiecertificaat en de Yin-deficiëntiecertificaatclassificatie. De nauwkeurigheid van het model bleek 80,37% te zijn. Daarnaast hebben Li et al.29 een diagnostisch model voor diabetes ontwikkeld met behulp van het stochastische bosalgoritme. Ze analyseerden verder textuur- en kleurkenmerken van tongafbeeldingen om de prestaties van het model te verbeteren.
Conclusie
In tegenstelling tot de hedendaagse diagnostische benaderingen van de westerse geneeskunde, zijn de diagnostische methoden van TCM minimaal invasief en brengen ze minimale schade met zich mee. Bovendien hebben de vier diagnostische methoden van observatie, luisteren of ruiken, onderzoek en palpatie hun basis in verschillende aspecten van TCM. Niettemin, als gevolg van de grote afhankelijkheid van TCM-diagnose en -behandeling van de expertise van de behandelaar en persoonlijke behandelingsconcepten, kan er een tekort aan objectiviteit en standaardisatie zijn. Als gevolg hiervan is de trend naar het objectiveren van de diagnose van TCM naar voren gekomen als een richting voor verder onderzoek, wat de vooruitgang van TCM zou kunnen bevorderen.
De objectivering van tongdiagnose heeft het potentieel om beelden en grote hoeveelheden gegevens met hoge efficiëntie te verwerken, wat artsen aanzienlijk zou kunnen helpen. Het is echter essentieel op te merken dat tongdiagnose niet alleen een traditionele methode is, maar ook is gevalideerd. Chen et al.30 voerden een studie uit waarin ze klinische gegevens verzamelden over de tongbeelden van 382 COVID-19-patiënten. Ze analyseerden statistisch de kenmerken van tongbeelden en de kleurpatroonparameters van het lab voor alle beeldvormingsgroepen. De bevindingen van de studie onthulden een correlatie tussen de kenmerken van tongbeelden en het type westerse geneeskunde dat werd gebruikt. Bovendien komen de veranderingen in tongbeelden overeen met de algehele pathogenese van de ziekte. Sommige parameters van tongbeelden kunnen mogelijk helpen bij het voorspellen van pathogene veranderingen van COVID-19 in TCM31.
Terwijl ze de traditionele medische tongdiagnose objectiveren, hebben tal van onderzoekers de segmentatie- en classificatiemethode gebruikt. Deep learning en convolutie neurale netwerken zijn essentieel voor het classificeren van tongbeeldkenmerken. De nauwkeurigheid van het tongbeeldsegmentatiealgoritme is cruciaal omdat het bepaalt of de tong nauwkeurig van het gezicht kan worden gescheiden, waardoor de nauwkeurigheid van de daaropvolgende classificatie van kenmerken wordt beïnvloed. Daarom is het verbeteren van de nauwkeurigheid van het huidige algoritmemodel een cruciale onderzoeksfocus op dit gebied. Op dit moment is het verbeteren van het algoritmemodel en de nauwkeurigheid ervan een onderzoekshotspot.
Deze studie gebruikte dezelfde testsetgegevens om de prestaties van de U-Net-, Seg-Net-, DeeplabV3- en PSPNet4-algoritmen te vergelijken. Deze maatregel is genomen om te zorgen voor consistentie in de kwaliteit van de gebruikte gegevens. Onder de experimentele omgeving die in deze studie werd gebruikt, presteerde het U-Net-algoritme aanzienlijk beter dan de andere drie algoritmen met betrekking tot segmentatienauwkeurigheid. MIoU is de annotatiemaat van het semantische segmentatiealgoritme32, de meest cruciale index die wordt gebruikt om de prestaties van het algoritme te evalueren. De MIoU-waarde van het U-Net-algoritme was 3,91% hoger dan die van het Seg-Net-algoritme, 23,32% hoger dan die van DeeplabV3 en 16,2% hoger dan die van PSPNet. Dit levert bewijs dat het U-Net algoritme beter presteert dan de andere algoritmen.
Er zijn echter enkele problemen bij de segmentatie en classificatie van tongafbeeldingen met behulp van deep learning-algoritmen. Vanwege de privacy van patiënten zijn medische beeldgegevenssets bijvoorbeeld te klein in vergelijking met andere semantisch gesegmenteerde datasets, wat de voordelen van deep learning in big data beperkt. Segmentatie van grote parametermodellen is gevoelig voor het aanpassingsprobleem. Daarom moet de netwerkstructuur worden aangepast door de juiste manieren van verbetering te selecteren. Op dit moment heeft het objectiveringsonderzoek van tongdiagnostiek nog geen uniforme verzamelstandaard gevormd; De acquisitieomgeving en het type lichtbron missen een goede standaardisatie. Onderzoekers zetten meestal de verzamelomgeving op en bouwen hun eigen niet-openbare database. Tegelijkertijd, hoewel de huidige algoritmische modellen een goede nauwkeurigheid kunnen bereiken, worden de gebruikte gegevens zorgvuldig gescreend en voorbewerkt, wat moeilijk te bereiken is in de werkelijke diagnose- en behandelingsomgeving, waardoor de klinische toepassing ervan wordt beperkt. Bovendien zal verdere objectivering van tongdiagnose betrekking hebben op complexe omgevingen of tongbeelden die door verschillende apparaten zijn vastgelegd33. Een andere trend is dynamische informatieverwerking, met name videobeeldverwerking, die meer gedetailleerde informatie over de tong biedt en de voordelen van tongdiagnose uitgebreider weerspiegelt. Het is dus noodzakelijk om deep learning-algoritmen te ontwikkelen om dynamische details te verwerken. Over het algemeen is de objectivering van medische tongdiagnose in combinatie met deep learning-algoritmen veelbelovend voor het verminderen van subjectiviteit bij TCM-diagnose.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
De auteurs hebben geen belangenverstrengeling te melden.
Acknowledgments
Dit werk werd ondersteund door de National Nature Foundation of China (grant no.82004504), het National Key Research and Development Program van het Ministerie van Wetenschap en Technologie van China (grant no.2018YFC1707606), Chinese Medicine Administration of Sichuan Province (grant no.2021MS199) en National Nature Foundation of China (grant no.82174236).
Materials
| Name | Company | Catalog Number | Comments |
| CPU | Intel(R) Core(TM) i7-9700K | ||
| GPU | NVIDIA GeForce RTX 3070 Ti (8192MB) | ||
| Operating systems | Microsoft Windows 10 Professional Edition (64-bit) | ||
| Programming language | Python | ||
| RAM | 16G |
References
- Jiu, G., et al. Effects of herbal therapy on intestinal microbiota and serum metabolomics in different rat models of Mongolian medicine. Evidence-Based Complementary and Alternative. 2022, 7255780 (2022).
- Xi, J., Xin, Y., Teregle, Study on the correlation between the animal model of Mongolian medicine 34;Xieri disease" and serum ALT and AST. Electronic Journal of Cardiovascular Diseases in Combination of Traditional Chinese. 4 (33), 134-135 (2016).
- Yin, L., et al. Study on the mechanism of serum differential protein changes in bronchial asthma based on proteomics. Chinese Journal of Traditional Chinese Medicine. 47 (22), 6227-6234 (2022).
- Wang, X. H., Bao, L. Band Seed. The origin and development of tongue diagnosis in Mongolian medicine. Chinese Ethnic Folk Medicine. (1), 64-65 (2008).
- Yang, S., et al. A comparative study on the feature parameters of tongue diagnosis images in five nationalities. Chinese Journal of Traditional Chinese Medicine. 36 (11), 6428-6430 (2021).
- He, J. Y., et al. Efficacy and safety of Chou-Ling-Dan granules in the treatment of seasonal influenza via combining Western and traditional Chinese medicine, protocol for a multicentre, randomised controlled clinical trial. BMJ Open. 9 (4), e024800 (2019).
- Wang, D. J., et al. Scientific knowledge mapping and visualization analysis in the field of Chinese medicine tongue feature objectification research. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3032-3040 (2021).
- Yuan, S. M., Qian, P., Li, F. F. Research progress of color correction methods for tongue and face diagnosis in traditional Chinese Medicine. Chinese Journal of Traditional Chinese Medicine. 34 (9), 4183-4185 (2019).
- Kanawong, R., et al. Tongue image analysis and its mobile app development for health diagnosis. Advances in Experimental Medicine and Biology. 1005, 99-121 (2017).
- Yu, Y., et al. Semantic segmentation evaluation index and evaluation method. Computer Engineering and Application. , (2023).
- Sehyung, L., Negishi, M., Urakubo, H., Kasai, H., Ishii, S. Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration. Neural Networks. 125, 92-103 (2020).
- Huang, X. M., et al. A review on the application of U-Net and its variants in medical image segmentation. Chinese Journal of Biomedical Engineering. 41 (5), 567-576 (2022).
- Lu, J. H., Xu, Y. F., Wang, Y. Q., Hao, Y. M. Research overview of tongue objectification in traditional Chinese medicine based on computer image technology. World Science and Technology - Modernization of Traditional Chinese Medicine. 24 (11), 4568-4573 (2022).
- Mansour, R. F., Althobaiti, M. M., Ashour, A. A. Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification. IEEE Access. 9, 94769-94779 (2021).
- Cai, Y. H., Hu, S. B., Guan, J., Zhang, X. F. Analysis of the development and application of tongue diagnosis objectification techniques in Chinese medicine. World Science and Technology - Modernization of Chinese Medicine. 23 (7), 2447-2453 (2021).
- Ghosh, S., Das, N., Nasipuri, M. Reshaping inputs for convolutional neural network: some common and uncommon methods. Pattern Recognition. 93, 79-94 (2019).
- Shang, Z. M., et al. Research progress of digital acquisition and characterization of tongue diagnosis information. Chinese Journal of Traditional Chinese Medicine. 36 (10), 6010-6013 (2021).
- Ning, J., Zhang, D., Wu, C., Yue, F. Automatic tongue image segmentation based on gradient vector flow and region merging. Neural Computing and Applications. 21, 1819-1826 (2012).
- Zheng, F., Huang, X. Y., Wang, B. L., Wang, Y. H. A method for tongue detection based on image segmentation. Journal of Xiamen University. 55 (6), 895-900 (2016).
- Li, Y. T., Luo, Y. S., Zhu, Z. M. Deep learning-based tongue feature analysis. Computer Science. 47 (11), 148-158 (2020).
- Wang, Y. D., Sun, C. H., Cui, J. L., Wu, X. R., Qin, Y. X. Research on deep learning-based tongue fissure segmentation algorithm. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3065-3073 (2021).
- Wang, X. M., Wang, R. Y., Guo, D., Lu, S. Z., Zhou, P. Research on the identification method of tongue punctures based on auxiliary light source. Journal of Sensing Technology. 29 (10), 1553-1559 (2016).
- Yang, J. D., Zhang, P. A fully connected neural network based on migration learning for tongue image classification. Journal of the Second Military Medical University. 39 (8), 897-902 (2018).
- Song, C., Wang, B., Xu, J. T. Research on tongue feature classification method based on deep migration learning. Computer Engineering and Science. 43 (8), 1488-1496 (2021).
- Ding, H. J., He, J. C. Study on modern techniques and methods of tongue diagnosis. Shi Zhen Chinese Medicine. 21 (5), 1230-1232 (2010).
- Zhai, P. B., et al. A multi-stage tongue image classification algorithm incorporating attention mechanism. Computer Engineering and Design. 42 (6), 1606-1613 (2021).
- Hou, Y. S. A new clustering analysis algorithm based on deep learning. Journal of Xinxiang University. 35 (12), 4 (2018).
- Shi, Y. L., et al. A decision tree algorithm for classification of non-small cell lung cancer evidence based on tongue and pulse data. World Science and Technology - Modernization of Chinese Medicine. 24 (7), 2766-2775 (2022).
- Li, J., Hu, X. J., Zhou, C. L., Xu, J. T. Study on the feature analysis and diagnosis model of diabetic tongue based on random forest algorithm. Chinese Journal of Traditional Chinese Medicine. 37 (3), 1639-1643 (2022).
- Chen, C. H., et al. The characteristics of the combination of the four diagnostic methods of traditional Chinese medicine from the perspective of the differences between Chinese and Western medical diagnosis methods. Journal of Guangzhou University of Traditional Chinese Medicine. 28 (3), 332-334 (2011).
- Chen, R., et al. Correlation analysis of tongue image and western medicine typing in 382 patients with novel coronavirus pneumonia based on Lab colour model and imaging histology. Chinese Journal of Traditional Chinese Medicine. 36 (12), 7010-7014 (2021).
- Ju, J. W., Jung, H., Lee, Y. J., Mun, S. W., Lee, J. H. Semantic segmentation dataset for AI-based quantification of clean mucosa in capsule endoscopy. Medicina. 58 (3), 397 (2022).
- Wu, X., et al. A review of research on deep learning in tongue image classification. Computer Science and Exploration. , 1-23 (2022).
