Summary
Denne undersøgelse anvendte U-Net og andre deep learning-algoritmer til at segmentere et tungebillede og sammenlignede segmenteringsresultaterne for at undersøge objektiveringen af tungediagnosen.
Abstract
Tungediagnose er en vigtig teknik til diagnose af traditionel kinesisk medicin (TCM), og behovet for objektivering af tungebilleder gennem billedbehandlingsteknologi vokser. Denne undersøgelse giver et overblik over de fremskridt, der er gjort inden for objektivering af tungen i løbet af det sidste årti, og sammenligner segmenteringsmodeller. Forskellige deep learning-modeller er konstrueret til at verificere og sammenligne algoritmer ved hjælp af ægte tungebilledsæt. Styrker og svagheder ved hver model analyseres. Resultaterne indikerer, at U-Net-algoritmen overgår andre modeller med hensyn til præcisionsnøjagtighed (PA), tilbagekaldelse og gennemsnitlig skæring over union (MIoU) målinger. På trods af de betydelige fremskridt inden for indsamling og behandling af tungebilleder er der dog endnu ikke etableret en ensartet standard for objektivering af tungediagnose. For at lette den udbredte anvendelse af tungebilleder, der er taget ved hjælp af mobile enheder til objektivering af tungediagnoser, kan yderligere forskning tage fat på udfordringerne ved tungebilleder, der er taget i komplekse miljøer.
Introduction
Tungeobservation er en udbredt teknik i traditionel kinesisk etnisk medicin (TCM). Tungens farve og form kan afspejle den fysiske tilstand og forskellige sygdomsegenskaber, sværhedsgrader og prognoser. For eksempel i traditionel Hmong-medicin bruges tungens farve til at identificere kropstemperatur, f.eks. indikerer en rød eller lilla tunge patologiske faktorer relateret til varme. I tibetansk medicin bedømmes en tilstand ved at observere patientens tunge og være opmærksom på slimets farve, form og fugtighed. For eksempel bliver tungerne hos patienter med Heyis sygdom røde og ru eller sorte og tørre1; patienter med Xieri sygdom2 har gule og tørre tunger; i mellemtiden har patienter med Badakan sygdom3 en hvid, fugtig og blød tunge4. Disse observationer afslører det tætte forhold mellem tungetræk og fysiologi og patologi. Samlet set spiller tungenes tilstand en afgørende rolle i diagnose, sygdomsidentifikation og evaluering af behandlingseffekten.
På grund af forskellige levevilkår og kostvaner blandt forskellige etniske grupper er variationer i tungebilleder samtidig tydelige. Lab-modellen, der blev oprettet på grundlag af en international standard til bestemmelse af farve, blev formuleret af Commission International Eclairage (CIE) i 1931. I 1976 blev et farvemønster ændret og navngivet. Lab-farvemodellen består af tre elementer: L svarer til lysstyrke, mens a og b er to farvekanaler. a omfatter farver fra mørkegrøn (lav lysstyrkeværdi) til grå (medium lysstyrkeværdi) til lyserød (høj lysstyrkeværdi); b går fra lyseblå (lav lysstyrkeværdi) til grå (medium lysstyrkeværdi) til gul (høj lysstyrkeværdi). Ved at sammenligne L x a x b-værdierne for tungefarven på fem etniske grupper fandt Yang et al.5 , at egenskaberne ved tungebilleder af Hmong-, Hui-, Zhuang-, Han- og mongolske grupper var signifikant forskellige fra hinanden. For eksempel har mongolerne mørke tunger med en gul tungebelægning, mens Hmong har lyse tunger med en hvid tungebelægning, hvilket tyder på, at tungefunktioner kan bruges som en diagnostisk indikator til vurdering af en befolknings sundhedstilstand. Desuden kan tungebilleder fungere som et evalueringsindeks for evidensbaseret medicin i klinisk forskning af etnisk medicin. Han et al.6 anvendte tungebilleder som grundlag for TCM-diagnose og evaluerede systematisk sikkerheden og effekten af Chou-Ling-Dan-pellets (CLD-granulat, der anvendes til behandling af inflammatoriske og febersygdomme, herunder sæsoninfluenza i TCM) kombineret med kinesisk og vestlig medicin. Resultaterne etablerede den videnskabelige validitet af tungebilleder som et evalueringsindeks for kliniske undersøgelser. Ikke desto mindre er traditionelle læger generelt afhængige af subjektivitet for at observere tungekarakteristika og vurdere patienters fysiologiske og patologiske tilstande, hvilket kræver mere præcise indikatorer.
Fremkomsten af internettet og kunstig intelligensteknologi har banet vejen for digitalisering og objektivering af tungediagnose. Denne proces involverer brug af matematiske modeller til at give en kvalitativ og objektiv beskrivelse af tungebilleder7, der afspejler indholdet af tungebilledet. Processen omfatter flere trin: billedoptagelse, optisk kompensation, farvekorrektion og geometrisk transformation. De forbehandlede billeder føres derefter ind i en algoritmisk model til billedpositionering og segmentering, funktionsekstraktion, mønstergenkendelse osv. Resultatet af denne proces er en yderst effektiv og præcis diagnose af tungebilleddata, hvorved målet om objektivering, kvantificering og informatisering af tungediagnose8 opnås. Således opnås formålet med høj effektivitet og høj præcisionsbehandling af tungediagnosedata. Baseret på viden om tungediagnose og dyb læringsteknologi adskilte denne undersøgelse automatisk tungekroppen og tungebelægningen fra tungebilleder ved hjælp af en computeralgoritme for at udtrække de kvantitative egenskaber ved tunger til læger, forbedre diagnosens pålidelighed og konsistens og tilvejebringe metoder til efterfølgende tungediagnoseobjektiveringsforskning9.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Denne undersøgelse er godkendt af National Natural Science Foundation of China-projektet, Constructing Dynamic Change rules of TCM Facial image Based on Association Analysis. Det etiske godkendelsesnummer er 2021KL-027, og den etiske komité har godkendt den kliniske undersøgelse, der skal udføres i overensstemmelse med de godkendte dokumenter, som omfatter klinisk forskningsprotokol (2021.04.12, V2.0), informeret samtykke (2021.04.12, V2.0), forsøgsrekrutteringsmateriale (2021.04.12, V2.0), undersøgelsessager og/eller caserapporter, emnedagbogskort og andre spørgeskemaer (2021.04.12, V2.0), en liste over deltagere i det kliniske forsøg, godkendelse af forskningsprojekter m.v. Der blev indhentet informeret samtykke fra de patienter, der deltog i undersøgelsen. Den vigtigste eksperimentelle tilgang i denne undersøgelse er at bruge ægte tungebilleder til at validere og sammenligne modelsegmenteringseffekterne. Figur 1 viser komponenterne i objektivering af tungediagnose.
1. Optagelse af billeder
- Brug det selvudviklede håndholdte linguale ansigtsdiagnostiske instrument til at indsamle sproglige ansigtsbilleder af patienter.
- Udfyld patientens navn, køn, alder og sygdom på computersiden. Billeder inkluderet her er fra patienter, der kom til klinikken og accepterede at blive fotograferet efter at være blevet informeret om formålet og indholdet af undersøgelsen. Bekræft, at patienten sidder oprejst, placer hele ansigtet i billedoptagelsesinstrumentet, og instruer patienten om at strække tungen ud af munden i videst muligt omfang.
- Hold billedoptagelsesenheden, der er tilsluttet en computer, og kontroller gennem billederne på computerskærmen, at patienten er i den rigtige position, og at tungen og ansigtet er fuldt eksponeret.
- Tryk tre gange på knappen Optag på computerskærmen for at tage tre billeder.
BEMÆRK: Billedoptagelsesinstrumentet er i øjeblikket kun på patentansøgningsstadiet og er ikke til kommerciel brug, så det er ikke til salg. - Vælg og filtrer manuelt de indsamlede tunge- og ansigtsbilleder. Filtrer og udelad billeder, der har ufuldstændig eksponering for tunge og ansigt, samt billeder, der er for mørke på grund af utilstrækkeligt lys. Figur 2 viser siden til indsamling af billeder i softwaren.
- I det eksperimentelle design skal du indsamle tre billeder fra hver patient ad gangen som alternativer og vælge et relativt standard, fuldt eksponeret, godt belyst og klart billede som prøve til efterfølgende algoritmetræning og test.
- Indsaml data efter optagelsen, eksporter dataene til manuel screening, og slet de ikke-standardbilleder, der er synlige for det blotte øje. Brug følgende filtrerings- og udelukkelseskriterier: ufuldstændig eksponering af tunge og ansigt og billeder, der er for mørke på grund af utilstrækkelig belysning. Et eksempel på et underbelyst, et ufuldstændigt og et standardbillede er vist i figur 3.
BEMÆRK: Utilstrækkelig lys skyldes generelt, at patienten ikke placerer ansigtet helt ind i instrumentet. Komplet eksponering opnås normalt kun ved korrekt fotografering af patienten.
2. Tunge segmentering
- Udfør tungebilledsegmentering ved hjælp af et online annoteringsværktøj som beskrevet nedenfor.
- Installer Labelme, klik på knappen Åbn i øverste venstre hjørne af etiketgrænsefladen, vælg den mappe, hvor billedet er placeret, og åbn fotos.
- Klik på opret polygon for at starte sporingspunkter, spore tungen og sproglige former, navngive dem i henhold til de valgte områder (f.eks. Tunge og sproglig overflade) og gemme dem.
- Når alle mærkerne er færdige, skal du klikke på Gem for at gemme billedet i datamappen. Se figur 4 for et detaljeret rutediagram.
BEMÆRK: Da billederne kan have pixelforskelle, kan billederne ikke bruges direkte til algoritmetræning og test.
- Foren billederne til samme størrelse ved at kantudfylde billederne med den lange side af billedet som målfyldlængde og udføre hvid kantudfyldning for at udfylde billederne til en firkant med den lange side af billedet som kantlængde. Billedstørrelsen taget af enheden er 1080 x 1920 pixels, og størrelsen på det fyldte billede er 1920 x 1920 pixels. Se figur 5.
- Anvend billedforbedring, hvis det er nødvendigt. Ingen forbedring blev anvendt i denne undersøgelse, da de anvendte billeder blev taget i en fast scene og var mindre påvirket af miljøet, belysningen og andre faktorer.
- Da der blev indsamlet tre billeder for hver patient under optagelsesprocessen for at tage højde for ukontrollable faktorer, såsom motivblink og linseblokering, skal du manuelt screene billederne fra hver patient for at bevare et billede pr. patient.
- Med henblik på at træne modellen skal du indsamle data fra 200 personer eller 600 billeder. Efter screeningen skal du beholde ca. 200 brugbare billeder.
- I henhold til billednummeret skal du tilfældigt opdele alle tungebillederne og placere 70% af dem i træningssættet og 30% i testsættet i et regneark.
3. Tunge klassificering
- Gå til de officielle websteder og download og installer Anaconda, Python og Labelme. Aktivér miljøet, og fuldfør installationen og justeringen af det overordnede miljø. Se figur 6 for et rutediagram, der beskriver installation og opsætning af softwaren.
- Byg algoritmemodellen til dyb læring i det installerede miljø, finjuster parametrene, og fuldfør modeltræningen ved hjælp af træningssættet. Udfør modelvalg og justering som beskrevet i følgende trin.
- Valg af model: Vælg den passende model baseret på formålet med forskningen. Efter at have gennemgået forskning i tungebilledbehandling i de sidste 5 år blev fire algoritmer, U-Net, Seg-Net, DeeplabV3 og PSPNet, udvalgt til validering i denne undersøgelse (se Supplementary Coding File 1, Supplementary Coding File 2, Supplementary Coding File 3 og Supplementary Coding File 4 for modelkoder).
- Konstruktion af datasæt: Når du har gennemført modelvalget, skal du konstruere det krævede datasæt i forbindelse med forskningsindholdet, hovedsageligt ved hjælp af Labelme-annotation og metoderne til ensartet billedstørrelse som beskrevet ovenfor.
- Udfør modeltræning som beskrevet nedenfor. Figur 7 viser detaljer om algoritmetræningsoperationen.
- Indtast dataene i det neurale netværk til fremadrettet udbredelse, hvor hver neuron først indtaster en vægtet akkumulering af værdier og derefter indtaster en aktiveringsfunktion som outputværdien for den neuron for at opnå resultatet.
- Indtast resultatet i fejlfunktionen og sammenlign det med den forventede værdi for at få fejlen og bedømme graden af genkendelse ved en fejltagelse. Jo mindre tabsfunktionen er, jo bedre bliver modellen.
- Reducer fejlen ved tilbageformering og bestem gradientvektoren. Juster vægtene efter gradientvektoren til tendensen mod resultater, så fejlen har tendens til at være nul eller krympe.
- Gentag denne oplæringsproces, indtil sættet er fuldført, eller fejlværdien ikke længere falder, hvorefter modeltræningen er fuldført. Se figur 8 for et flowdiagram over algoritmemodellen i træning og test.
- Test de fire modeller ved hjælp af de samme testdata til segmentering, og bedøm modellens ydeevne i henhold til segmenteringseffekten. De fire metrics præcision, tilbagekaldelse, gennemsnitlig pixelnøjagtighed (MPA) og MIoU giver en mere omfattende evaluering af modellens ydeevne.
- Når resultaterne af de fire modeller er genereret, skal du sammenligne deres værdier vandret; Jo højere værdien er, jo højere er segmenteringsnøjagtigheden, og jo bedre er modellens ydeevne. Se figur 9, figur 10 og figur 11.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
For sammenligningsresultaterne, se figur 12, figur 13 og tabel 1, hvor miljøet konstrueret af denne undersøgelse bruger de samme prøver til at træne og teste algoritmemodellen. MIoU-indikator: U-Net > Seg-Net > PSPNet > DeeplabV3; MPA-indikator: U-Net > Seg-Net > PSPNet > DeeplabV3; præcisionsindikator: U-Net > Seg-Net > DeeplabV3 > PSPNet; tilbagekaldelse: U-Net > Seg-Net > PSPNet > DeeplabV3. Jo større indeksværdien er, jo højere er segmenteringsnøjagtigheden, og jo bedre er modellens ydeevne. Ifølge indeksresultaterne kan det analyseres, at U-Net-algoritmen er bedre end de andre algoritmer i MIoU, MPA, præcision og tilbagekaldelse, og dens segmenteringsnøjagtighed er også højere end de andre algoritmer. Derfor har U-Net-algoritmen den bedste ydeevne blandt de fire forskellige algoritmer. PSPNet er bedre end DeeplabV3 i MIoU, MPA og tilbagekaldelse, mens DeeplabV3-modellen er lavere end Seg-Net-modellen i alle indekser. Derfor kan det konkluderes, at DeeplabV3-algoritmen har den mindst ønskelige omfattende ydeevne blandt de fire algoritmer i dette forskningsmiljø.
Evalueringsindikatorer
I denne undersøgelse blev algoritmemodellens ydeevne hovedsageligt valideret ved præcision, tilbagekaldelse, MPA og MIoU. Modellens præstationsmålinger er direkte relateret til forvirringsmatrixen, som består af modelklassificeringsresultaterne og afspejler antallet af prøver, som modellen klassificerede korrekt og forkert. Matricen repræsenterer den estimerede værdi, svarende til testsætresultaterne, og den faktiske repræsenterer grundsandheden. Begge kategorier er opdelt i sandt og falsk, repræsenteret af henholdsvis T og F, hvilket resulterer i fire kombinationer: TP, FP, FN og TN.MPA er middelværdien af andelen af korrekt klassificerede pixels i hver kategori, og MIoU er det gennemsnitlige skæringspunkt-til-fletningsforhold. Dette er den mest almindelige måling for semantisk segmentering; Den beregner skæringspunktet og fusionerer de sande og forudsagte værdier10. Formlen for disse er:
Præcision = , tilbagekaldelse = , MPA = (CPA = , hvor N er det samlede antal kategorier) og MIoU = (IoU = 
).
Disse fire målinger giver en mere omfattende evaluering af segmenteringseffekten af tungebilleder.
Denne undersøgelse valgte fire deep learning-algoritmemodeller, U-Net, Seg-Net, DeeplabV3 og PSPNet, til at træne og teste algoritmemodellerne ved hjælp af ægte sproglige billeddata. U-Net11 har en U-formet arkitektur, der består af en encoder til venstre og en dekoder til højre, og har fordelen ved at træne mere nøjagtige klassificeringsresultater med færre data og udtrække billedfunktioner omfattende. Baseret på Res-Net-netværket for at løse målsegmenteringsproblemet i flere skalaer vedtager DeepLabV3 den hule konvolutionsstruktur, designer modulet til at fange konteksten i flere skalaer, fjerner det betingede tilfældige felt (CRF) og opgraderer ASPP-modulet (atrous spatial pyramid pooling), hvilket forbedrer modellens ydeevne betydeligt. Semantisk segmentering har til formål at få kategorietiketten for hver pixel i det segmenterede objekt. Seg-Net er en convolutional neural network (CNN) arkitektur med en symmetrisk struktur til semantisk segmentering, herunder en encoder og en dekoder. Fordelen ved dette er, at dekoderens up-sampling metode til funktionsdiagrammer med lavere opløsning eliminerer up-sampling læringstiden. PSPNet-modellen anvendes hovedsageligt til sceneparsing og tilføjer kontekstinformation til semantisk segmentering, hvilket kan undgå delvis fejl, løse problemet med manglende passende strategier til at bruge globale sceneklassificeringsoplysninger og forbedre pålideligheden af de endelige forudsagte resultater.
Figur 1: Komponenter af objektivering af tungediagnose. Tungediagnosekomponenter, herunder billedoptagelseselementer, tungesegmentering og tungeklassificering. Klik her for at se en større version af denne figur.
Figur 2: Side til billedoptagelse. Tongue image erhvervelse interface og spørgeskema indhold. Klik her for at se en større version af denne figur.
Figur 3: Kriterier for billedfiltrering og afvisning. Et grønt flueben repræsenterer inklusionskriterier, og et rødt kryds repræsenterer eksklusionskriterier. Klik her for at se en større version af denne figur.
Figur 4: Skematisk diagram over Labelme-mærkningsprocessen. Labelme-software bruges til at kommentere hele processen med billedet, fra åbning af mappen til lagring af filen. Klik her for at se en større version af denne figur.
Figur 5: Diagram over billedforbehandling. Størrelsen på det optagne billede er 1080 x 1920 pixel, og størrelsen på udfyldningsbilledet er 1920 x 1920 pixel. Klik her for at se en større version af denne figur.
Figur 6: Rutediagram over miljøkonfiguration. Algoritmen kan kun køre, når miljøet er konfigureret. Klik her for at se en større version af denne figur.
Figur 7: Detaljeret diagram over algoritmetræningskørsel. Detaljerede trin og udførelsesmetoder i algoritmeoperationen. Klik her for at se en større version af denne figur.
Figur 8: Flowdiagram over algoritmemodel i træning og test. De vigtige trin i algoritmen, herunder databehandling, algoritmetræning og algoritmetest. Klik her for at se en større version af denne figur.
Figur 9: Seg-Net-algoritmestruktur. Seg-Net algoritme logisk struktur og kode kører proces. Klik her for at se en større version af denne figur.
Figur 10: U-Net-algoritmestruktur. U-Net algoritme logisk struktur og kode kører proces. Klik her for at se en større version af denne figur.
Figur 11: Undersøgelser af segmentering af tungebilleder. Det røde område på billedet er resultatet af tungesegmentering, og det grønne område er resultatet af segmentering af tungebelægning. Klik her for at se en større version af denne figur.
Figur 12: Sammenligningsdiagram over fire algoritmemålinger. MIoU, MPA, præcision og tilbagekaldelse er alle evalueringsindekser for algoritmens ydeevne. Jo større værdi, jo bedre algoritmeydelse og jo højere segmenteringsnøjagtighed. Klik her for at se en større version af denne figur.
Figur 13: Sammenligning af resultaterne af de fire algoritmer for tungesegmentering. Det røde område på billedet er resultatet af tungesegmentering, og det grønne område er resultatet af segmentering af tungebelægning. Klik her for at se en større version af denne figur.
Figur 14: U-Net-algoritmestrukturdiagram. De blå/hvide felter angiver funktionsoversigten, mens tallet over funktionsoversigten repræsenterer antallet af kanaler. Klik her for at se en større version af denne figur.
| MIoU | .MPA | Præcision | Huske | |
| U-Net | 84.00% | 89.38% | 91.90% | 89.38% |
| DeeplabV3 | 59.68% | 61.33% | 84.21% | 61.33% |
| PSPNet | 67.80% | 72.56% | 82.71% | 72.56% |
| SegNet | 80.09% | 87.14% | 88.53% | 87.14% |
Tabel 1: Sammenligning af fire algoritmesegmenteringsresultatmålinger. Målingerne var MIoU, MPA, præcision og tilbagekaldelse.
Supplerende kodningsfil 1: U-Net_training. U-Net model træningskode. Klik her for at downloade denne fil.
Supplerende kodningsfil 2: Seg-Net_training. Seg-Net model træningskode. Klik her for at downloade denne fil.
Supplerende kodningsfil 3: DeeplabV3_training. DeeplabV3 model træningskode. Klik her for at downloade denne fil.
Supplerende kodningsfil 4: PSPNet_training. PSPNet-model træningskode. Klik her for at downloade denne fil.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
På grundlag af de ovenfor præsenterede sammenligningsresultater er det tydeligt, at egenskaberne ved de fire algoritmer, der er under overvejelse, er forskellige, og deres forskellige fordele og ulemper er beskrevet nedenfor. U-Net-strukturen, der er baseret på modifikation og udvidelse af et fuldt konvolutionsnetværk, kan opnå kontekstuel information og præcis positionering gennem en kontraktsti og en symmetrisk ekspansionssti. Ved at klassificere hvert pixelpunkt opnår denne algoritme en højere segmenteringsnøjagtighed og segmenterer billedet hurtigere med den trænede model. På den anden side har Seg-Net-algoritmen, der består af en symmetrisk struktur af en koder og en dekoder, fordelen ved hurtigt at tilpasse sig nye problemer og fungere godt i opgaver som tale, semantik, vision og spil. Algoritmen kræver dog en stor mængde data, hvilket gør den krævende med hensyn til hardwarekonfiguration og er derfor kun anvendelig til nogle opgaver. Som en mere generel ramme har DeeplabV3-algoritmen fordelen ved at forbedre ASSP-moduler til de fleste netværk og lægge dem ud i kaskade eller parallelt for at forbedre den samlede ydeevne. Det endelige funktionskort skal dog opnås med up-sampling ved hastighed 8 og 16, hvilket er relativt groft og kan forbedres senere. Desuden har PSPNet-modellen den vigtigste egenskab ved at aggregere kontekstuelle oplysninger fra forskellige regioner gennem PSP-modulet og derved forbedre adgangen til global information og levere gode resultater på flere datasæt. Resultaterne indikerer, at U-Net-modellen har den højeste segmenteringsnøjagtighed og den bedste segmenteringseffekt i dette forskningsmiljø.
U-Net-arkitekturen demonstrerer sin overlegenhed inden for medicinsk billedsegmentering12. U-Net-algoritmen, der oprindeligt blev designet til segmentering af 2D-cellebilleder, er blevet videreudviklet ved at erstatte sit 2D-modul med et 3D-modul. Denne ændring har styrket sin evne til at behandle 3D-billeder såsom magnetisk resonansbilleddannelse (MR), computertomografi (CT) og tredimensionelle (3D) ultralydsbilleder. Ved at segmentere medicinske billeder i organer, væv og læsioner kan værdifulde kliniske data opnås. Den forbedrede U-Net-algoritme er et effektivt værktøj til efterfølgende undersøgelser og behandlinger. I medicinsk diagnostik er klassificering af billeder en afgørende del af mange diagnostiske processer. Traditionel medicin er afhængig af at observere alle synlige tegn, herunder tungen, huden og udtrykket. Fremkomsten og udviklingen af medicinsk billedsegmenteringsteknologi har stor betydning for medicinsk diagnose. I TCM kræver analyse af ansigts- og tungebilleder brug af forskellige deep learning-algoritmer til klassificering af funktionsekstraktion. På den anden side anvendes billedsegmenteringsalgoritmer i vid udstrækning i vestlig medicin, hvilket giver et fundament for klinisk diagnose og patologi13.
Denne undersøgelses forskningsproces omfatter kritiske trin, herunder dataforbehandling, algoritmetræning og test og sammenligning af algoritmeydelse. Indledningsvis gennemgår rådataene behandling, mærkning og opdeling i trænings- og testsæt for at lette den efterfølgende algoritmekonstruktion. De behandlede data føres derefter ind i det neurale netværk, og tabsfunktionen indstilles til at bestemme gradientvektoren gennem tilbageudbredelse. Derefter justeres parametrene indtil afslutningen af træningsprocessen. Algoritmens ydeevne evalueres ved at teste billedsegmenteringseffekten ved hjælp af flere indekser, såsom MIoU, MPA, præcision og tilbagekaldelse for at vurdere dens ydeevne omfattende. Under selve algoritmetræningsprocessen kan der forekomme overfitting, hvor modellen lærer dataene for grundigt, herunder støjdataenes egenskaber. Dette resulterer i identifikation af data under senere tests, forkert klassificering af data og en dårlig generaliseringsevne. Hvis der forekommer overtilpasning, kan man øge træningsdataene eller rense dataene igen. I denne undersøgelse anvendes gradientnedstigningsmetoden. Overmontering kan også forhindres ved at afbryde iteration på forhånd.
Begrænsningen af denne undersøgelse er tydelig; Billederne er indsamlet ved hjælp af faste instrumenter, og de eksperimentelle instrumenter kan i øjeblikket ikke bruges til kommercielle formål. Derfor er tungebillederne i denne undersøgelse fra en enkelt scene og afspejler ikke helt den kliniske baggrund og de komplekse og variable lysforhold. Derfor er yderligere forskning nødvendig for at studere billedbehandlingsteknikker under komplekse miljøer og dårlige belysningsforhold. Objektiveringsundersøgelser af tungediagnose indeholder rigt indhold, så nøjagtig tungekropssegmentering er afgørende. Derfor er sammenligning og verifikation af algoritmer med den mest egnede segmenteringseffekt signifikant for efterfølgende undersøgelser. Kombination af tungesegmentering med klassificering kan teoretisk opnå automatisk tungebilledvurdering og hjælpe med diagnosen; Forskere har udforsket og studeret dette emne. I sundhedsvæsenet kan brug af tingenes internet og trådløse kommunikationsteknologier til behandling af biomedicinske billeder samt diagnosehjælp forbedre et systems effektivitet. Mansour et al.14 designede et automatiseret tungefarvebillede (ASDL-TCI) baseret på kollaborativ dyb læring og tingenes internet. Det omfatter dataindsamling, forbehandling, funktionsudtrækning, klassificering og parameteroptimering. Denne models præcision, tilbagekaldelseshastighed og nøjagtighed er henholdsvis 0,984, 0,973 og 0,983, hvilket er bedre end andre metoder.
Billedoptagelse og forbehandling
Under billedoptagelsesprocessen kan intensiteten og variationen af lyskilder direkte påvirke billedkvaliteten, hvilket igen påvirker billedsegmentering og klassificeringsresultater. Derfor er det vigtigt at indstille lyskilden til at efterligne effekten af naturlige lyskilder så tæt som muligt. Derudover kan metoder som brug af standardlyskilder eller anvendelse af flere lyskilder og optagelse i en fast scene forhindre den negative indvirkning af lys, baggrund og andre faktorer og derved forbedre nøjagtigheden af algoritmisk segmentering. De instrumentbelysningsparametre, der bruges til at indsamle tungebilleder, er ikke identiske med standardbelysning, hvilket påvirker tungebilledernes farvegengivelseseffekt. Således er den mest almindelige forbehandlingsmetode, der anvendes, farvekorrektion. Cai et al.15 fandt, at for at løse uoverensstemmelsen mellem et tungebilledes farvedata og den tilsvarende tunges farvechroma er det nødvendigt at normalisere tungebilledets farverumskonvertering og farvekorrektion. Displayenhedens farveydelse afviger også fra den virkelige tungekrop, hvilket kræver test og justering. Desuden varierer billedstørrelsen på grund af forskellige erhvervelsesinstrumenter, der anvendes under billedindsamlingsprocessen16. For at forbedre træningseffektiviteten og spare lagerplads har deep learning-netværket begrænsninger på inputbilledstørrelsen. Derfor skal billedstørrelsen standardiseres under billedforbehandlingsfasen. Dette opnås typisk ved ensartet omformning af inputbilledstørrelsen til modeltræning, hvor almindeligt anvendte omformningsmetoder er interpolation, klipning, inklusion, flisebelægning og spejling.
Segmentering af tungebillede
Tungebilledsegmentering kan kategoriseres i to typer: traditionelle og deep learning segmenteringsmetoder17. Traditionelle tungebilledsegmenteringsmetoder består af algoritmer som Snake-algoritmen og Otsu-algoritmen. Som en aktiv konturmodel indstiller Snake-algoritmen18 først en profilkurve og justerer derefter den oprindelige profil for at udvikle sig til en ægte profilkurve. Erhvervelsen af indledende konturer og udviklingen af konturer er det primære fokus for forskning til Snake-algoritmen. På den anden side er Otsu-algoritmen en klassisk tærskelsegmenteringsalgoritme, der anvender en eller flere tærskler til at beregne den grå værdi på det originale billede og sammenligne gråtoneværdien for hver pixel med tærskelværdien. Baseret på sammenligningsresultaterne er tungen og baggrunden afbildet før fremkomsten af dybe læringsmetoder. Disse to algoritmer er almindeligt anvendt i tunge billedbehandling og tunge diagnose objektivering.
Siden fremkomsten af dyb læringsteori har adskillige forskere undersøgt integrationen af tungediagnoseobjektivering og dyb læring. Zheng et al.19 udtænkte en tungedetekteringsmetode baseret på billedsegmentering ved at sammenlægge forskellige algoritmer og udforske tungedetekteringsmetoden i et åbent miljø og i sidste ende opnå gunstige tungesegmenteringsresultater. Yuan et al.20 foreslog en tungesegmenteringsmetode baseret på enkeltpixeltabsfunktionen for regiontilknytning, hvor den forbedrede tabsfunktion tegnede sig for korrelationen mellem regionspixels. Ved hjælp af pixeletiketsemantik overvåget læring blev modeltræningseffektiviteten forbedret, eksemplificeret ved, at MIoU-indekset nåede 96.32%. Tungebilledet udviste specifikke morfologiske egenskaber såsom tandmærker, revner og punkteringer, tæt forbundet med sygdomsdebut. Således kan tungeobservation hjælpe med at diagnosticere sygdommens fremskridt. Wang et al21 foreslog en dyblærende tungefraktursegmenteringstilgang til små prøvedatasæt, der gav forbedret nøjagtighed og stabilitet. Denne metode involverede opdeling af tungekroppen først, efterfulgt af tunge revner, og forbedrede U-Net-algoritmen ved at inkorporere fokustab som tab af funktion.
Tunge billede klassificering
Klassificering af tungebilleder involverer hovedsageligt identifikation af egenskaber som tungefarve, rygsøjler, revner og belægningsfarve. Wang et al.22 anvendte Snake-algoritmen til at segmentere tungekroppen og brugte teknikker såsom gensidig informationsbilledregistrering, logkantdetektion, parallel linje og andre metoder til at identificere punkteringer. Denne tilgang løste effektivt problemet med automatisk punkteringsidentifikation og tælling, samtidig med at tidlig påvisning og forebyggelse blev lettere. For at løse de begrænsninger, der er forbundet med træning af tungebilledalgoritmen, såsom en stor datamængde, lang træningstid og høje udstyrskrav, foreslog Yang et al.23et fuldt forbundet neuralt netværk baseret på overførselslæring. Denne metode bruger den veltrænede Inception_v3 til at udtrække funktioner og kombinere dem med det fuldt tilsluttede neurale netværk (FCN) og opnå en nøjagtighed på over 90%. Denne tilgang løste problemet med dyb læring i små prøver og flere klassifikationer. Song et al.24 anvendte en kaskadeklassifikator til at lokalisere billeder på GoogLe-Net og Res-Net til overførselslæring, træning og anvendelse af dyb læring til automatisk at klassificere tre tungebilledfunktioner: tandmærker, revner og tungebelægningstykkelse. Den gennemsnitlige nøjagtighed af klassificeringsresultaterne oversteg 94%. Imidlertid er tungebilledklassificeringsalgoritmen meget modtagelig for interferens fra andre ikke-relaterede dele af ansigtet, hvilket direkte påvirker klassificeringsnøjagtigheden25.
Zhai et al.26 udviklede en flertrinsalgoritme til klassificering af tungebilleder ved hjælp af opmærksomhedsmekanismer. Denne metode forbedrer nøjagtigheden af at identificere tungeområder ved at udtrække træk fra forskellige perceptuelle synsfelter, som smeltes sammen under tungelokaliseringsfasen. Desuden forbedrer opmærksomhedsmekanismemodulet nøjagtigheden af tungebilledklassificeringen, hvilket undertrykker interferens fra tunge urenheder. Over for problemet med at klassificere tunge træk ved forskellige sygdomme27 kan deep learning-algoritmer også give nye tilgange. Derudover har Shi et al.28 undersøgt en typisk klassificeringsmetode for ikke-småcellet lungekræft baseret på C5.0-beslutningstræalgoritmen. De identificerede syv attributklassificeringsregler, der er relevante for Qi mangelcertifikat og Yin mangelcertifikat klassifikation. Modellens nøjagtighed viste sig at være 80,37%. Derudover har Li et al.29 udviklet en diagnostisk model for diabetes ved hjælp af den stokastiske skovalgoritme. De analyserede yderligere tekstur og farvefunktioner fra tungebilleder for at forbedre modellens ydeevne.
Konklusion
I modsætning til de moderne diagnostiske tilgange til vestlig medicin er TCM's diagnostiske metoder minimalt invasive og medfører minimal skade. Derudover har de fire diagnostiske metoder til observation, lytning eller lugtning, undersøgelse og palpation deres fundament i forskellige aspekter af TCM. Ikke desto mindre kan der på grund af TCM-diagnosens og behandlingens store afhængighed af praktiserende læges ekspertise og personlige behandlingskoncepter være mangel på objektivitet og standardisering. Som følge heraf er tendensen til objektivering af diagnosen TCM opstået som en retning for yderligere forskning, hvilket kan fremme udviklingen af TCM.
Objektiveringen af tungediagnosen har potentialet til at behandle billeder og store mængder data med høj effektivitet, hvilket kan hjælpe læger betydeligt. Det er dog vigtigt at bemærke, at tungediagnose ikke kun er en traditionel metode, men også er blevet valideret. Chen et al.30 gennemførte en undersøgelse, hvor de indsamlede kliniske data om tungebillederne fra 382 COVID-19-patienter. De analyserede statistisk tungebilledfunktioner og laboratoriets farvemønsterparametre for alle billeddannelsesgrupper. Undersøgelsens resultater afslørede en sammenhæng mellem funktionerne i tungebilleder og den anvendte type vestlig medicin. Derudover stemmer ændringerne i tungebilleder overens med sygdommens overordnede patogenese. Nogle parametre for tungebilleder kan potentielt hjælpe med at forudsige patogene ændringer af COVID-19 i TCM31.
Mens de objektiverer traditionel medicinsk tungediagnose, har mange forskere brugt segmenterings- og klassificeringsmetoden. Deep learning og convolution neurale netværk er afgørende for klassificering af tunge billedegenskaber. Nøjagtigheden af tungebilledsegmenteringsalgoritmen er afgørende, da den bestemmer, om tungen kan adskilles præcist fra ansigtet og derved påvirke nøjagtigheden af den efterfølgende klassificering af funktioner. Derfor er forbedring af nøjagtigheden af den nuværende algoritmemodel et afgørende forskningsfokus på dette område. I øjeblikket er forbedring af algoritmemodellen og dens nøjagtighed et forskningshotspot.
Denne undersøgelse anvendte de samme testsætdata til at sammenligne ydeevnen for U-Net-, Seg-Net-, DeeplabV3- og PSPNet4-algoritmerne. Denne foranstaltning blev truffet for at sikre ensartethed i kvaliteten af de anvendte data. Under det eksperimentelle miljø, der blev anvendt i denne undersøgelse, overgik U-Net-algoritmen de tre andre algoritmer betydeligt med hensyn til segmenteringsnøjagtighed. MIoU er annotationsmålet for den semantiske segmenteringsalgoritme32, det mest afgørende indeks, der bruges til at evaluere algoritmens ydeevne. MIoU-værdien af U-Net-algoritmen var 3,91% højere end Seg-Net-algoritmen, 23,32% højere end DeeplabV3 og 16,2% højere end PSPNet. Dette giver bevis for, at U-Net-algoritmen fungerer bedre end de andre algoritmer.
Der er dog nogle problemer i segmenteringen og klassificeringen af tungebilleder ved hjælp af deep learning-algoritmer. På grund af patienternes privatliv er medicinske billeddatasæt for små i størrelse sammenlignet med andre semantiske segmenterede datasæt, hvilket begrænser fordelene ved dyb læring i big data. Segmentering af store parametermodeller er tilbøjelig til monteringsproblemet. Derfor skal netværksstrukturen justeres ved at vælge de passende forbedringsformer. På nuværende tidspunkt har objektiveringsforskningen af tungediagnose endnu ikke dannet en ensartet indsamlingsstandard; Erhvervelsesmiljøet og lyskildetypen mangler ordentlig standardisering. Forskere opretter normalt indsamlingsmiljøet og bygger deres egen ikke-offentlige database. På samme tid, selvom de nuværende algoritmiske modeller kan opnå god nøjagtighed, screenes og forbehandles de anvendte data omhyggeligt, hvilket er vanskeligt at opnå i det faktiske diagnose- og behandlingsmiljø, hvilket begrænser dets kliniske anvendelse. Derudover vil yderligere objektivering af tungediagnosen beskæftige sig med komplekse miljøer eller tungebilleder taget af forskellige enheder33. En anden tendens er dynamisk informationsbehandling, specifikt videobilledbehandling, som giver mere detaljerede oplysninger om tungen og mere omfattende afspejler fordelene ved tungediagnose. Det er således nødvendigt at udvikle deep learning-algoritmer til at behandle dynamiske detaljer. Samlet set er objektiveringen af medicinsk tungediagnose kombineret med deep learning-algoritmer lovende for at reducere subjektiviteten i TCM-diagnosen.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Forfatterne har ingen interessekonflikt at erklære.
Acknowledgments
Dette arbejde blev støttet af National Nature Foundation of China (bevilling nr. 82004504), National Key Research and Development Program fra Kinas ministerium for videnskab og teknologi (bevilling nr. 2018YFC1707606), Chinese Medicine Administration of Sichuan-provinsen (bevilling nr. 2021MS199) og National Nature Foundation of China (bevilling nr. 82174236).
Materials
| Name | Company | Catalog Number | Comments |
| CPU | Intel(R) Core(TM) i7-9700K | ||
| GPU | NVIDIA GeForce RTX 3070 Ti (8192MB) | ||
| Operating systems | Microsoft Windows 10 Professional Edition (64-bit) | ||
| Programming language | Python | ||
| RAM | 16G |
References
- Jiu, G., et al. Effects of herbal therapy on intestinal microbiota and serum metabolomics in different rat models of Mongolian medicine. Evidence-Based Complementary and Alternative. 2022, 7255780 (2022).
- Xi, J., Xin, Y., Teregle, Study on the correlation between the animal model of Mongolian medicine 34;Xieri disease" and serum ALT and AST. Electronic Journal of Cardiovascular Diseases in Combination of Traditional Chinese. 4 (33), 134-135 (2016).
- Yin, L., et al. Study on the mechanism of serum differential protein changes in bronchial asthma based on proteomics. Chinese Journal of Traditional Chinese Medicine. 47 (22), 6227-6234 (2022).
- Wang, X. H., Bao, L. Band Seed. The origin and development of tongue diagnosis in Mongolian medicine. Chinese Ethnic Folk Medicine. (1), 64-65 (2008).
- Yang, S., et al. A comparative study on the feature parameters of tongue diagnosis images in five nationalities. Chinese Journal of Traditional Chinese Medicine. 36 (11), 6428-6430 (2021).
- He, J. Y., et al. Efficacy and safety of Chou-Ling-Dan granules in the treatment of seasonal influenza via combining Western and traditional Chinese medicine, protocol for a multicentre, randomised controlled clinical trial. BMJ Open. 9 (4), e024800 (2019).
- Wang, D. J., et al. Scientific knowledge mapping and visualization analysis in the field of Chinese medicine tongue feature objectification research. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3032-3040 (2021).
- Yuan, S. M., Qian, P., Li, F. F. Research progress of color correction methods for tongue and face diagnosis in traditional Chinese Medicine. Chinese Journal of Traditional Chinese Medicine. 34 (9), 4183-4185 (2019).
- Kanawong, R., et al. Tongue image analysis and its mobile app development for health diagnosis. Advances in Experimental Medicine and Biology. 1005, 99-121 (2017).
- Yu, Y., et al. Semantic segmentation evaluation index and evaluation method. Computer Engineering and Application. , (2023).
- Sehyung, L., Negishi, M., Urakubo, H., Kasai, H., Ishii, S. Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration. Neural Networks. 125, 92-103 (2020).
- Huang, X. M., et al. A review on the application of U-Net and its variants in medical image segmentation. Chinese Journal of Biomedical Engineering. 41 (5), 567-576 (2022).
- Lu, J. H., Xu, Y. F., Wang, Y. Q., Hao, Y. M. Research overview of tongue objectification in traditional Chinese medicine based on computer image technology. World Science and Technology - Modernization of Traditional Chinese Medicine. 24 (11), 4568-4573 (2022).
- Mansour, R. F., Althobaiti, M. M., Ashour, A. A. Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification. IEEE Access. 9, 94769-94779 (2021).
- Cai, Y. H., Hu, S. B., Guan, J., Zhang, X. F. Analysis of the development and application of tongue diagnosis objectification techniques in Chinese medicine. World Science and Technology - Modernization of Chinese Medicine. 23 (7), 2447-2453 (2021).
- Ghosh, S., Das, N., Nasipuri, M. Reshaping inputs for convolutional neural network: some common and uncommon methods. Pattern Recognition. 93, 79-94 (2019).
- Shang, Z. M., et al. Research progress of digital acquisition and characterization of tongue diagnosis information. Chinese Journal of Traditional Chinese Medicine. 36 (10), 6010-6013 (2021).
- Ning, J., Zhang, D., Wu, C., Yue, F. Automatic tongue image segmentation based on gradient vector flow and region merging. Neural Computing and Applications. 21, 1819-1826 (2012).
- Zheng, F., Huang, X. Y., Wang, B. L., Wang, Y. H. A method for tongue detection based on image segmentation. Journal of Xiamen University. 55 (6), 895-900 (2016).
- Li, Y. T., Luo, Y. S., Zhu, Z. M. Deep learning-based tongue feature analysis. Computer Science. 47 (11), 148-158 (2020).
- Wang, Y. D., Sun, C. H., Cui, J. L., Wu, X. R., Qin, Y. X. Research on deep learning-based tongue fissure segmentation algorithm. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3065-3073 (2021).
- Wang, X. M., Wang, R. Y., Guo, D., Lu, S. Z., Zhou, P. Research on the identification method of tongue punctures based on auxiliary light source. Journal of Sensing Technology. 29 (10), 1553-1559 (2016).
- Yang, J. D., Zhang, P. A fully connected neural network based on migration learning for tongue image classification. Journal of the Second Military Medical University. 39 (8), 897-902 (2018).
- Song, C., Wang, B., Xu, J. T. Research on tongue feature classification method based on deep migration learning. Computer Engineering and Science. 43 (8), 1488-1496 (2021).
- Ding, H. J., He, J. C. Study on modern techniques and methods of tongue diagnosis. Shi Zhen Chinese Medicine. 21 (5), 1230-1232 (2010).
- Zhai, P. B., et al. A multi-stage tongue image classification algorithm incorporating attention mechanism. Computer Engineering and Design. 42 (6), 1606-1613 (2021).
- Hou, Y. S. A new clustering analysis algorithm based on deep learning. Journal of Xinxiang University. 35 (12), 4 (2018).
- Shi, Y. L., et al. A decision tree algorithm for classification of non-small cell lung cancer evidence based on tongue and pulse data. World Science and Technology - Modernization of Chinese Medicine. 24 (7), 2766-2775 (2022).
- Li, J., Hu, X. J., Zhou, C. L., Xu, J. T. Study on the feature analysis and diagnosis model of diabetic tongue based on random forest algorithm. Chinese Journal of Traditional Chinese Medicine. 37 (3), 1639-1643 (2022).
- Chen, C. H., et al. The characteristics of the combination of the four diagnostic methods of traditional Chinese medicine from the perspective of the differences between Chinese and Western medical diagnosis methods. Journal of Guangzhou University of Traditional Chinese Medicine. 28 (3), 332-334 (2011).
- Chen, R., et al. Correlation analysis of tongue image and western medicine typing in 382 patients with novel coronavirus pneumonia based on Lab colour model and imaging histology. Chinese Journal of Traditional Chinese Medicine. 36 (12), 7010-7014 (2021).
- Ju, J. W., Jung, H., Lee, Y. J., Mun, S. W., Lee, J. H. Semantic segmentation dataset for AI-based quantification of clean mucosa in capsule endoscopy. Medicina. 58 (3), 397 (2022).
- Wu, X., et al. A review of research on deep learning in tongue image classification. Computer Science and Exploration. , 1-23 (2022).
