Summary
Den nåværende studien benyttet U-Net og andre dype læringsalgoritmer for å segmentere et tungebilde og sammenlignet segmenteringsresultatene for å undersøke objektiveringen av tungediagnosen.
Abstract
Tungediagnose er en viktig teknikk for tradisjonell kinesisk medisin (TCM) diagnose, og behovet for objektiverende tungebilder gjennom bildebehandlingsteknologi vokser. Denne studien gir en oversikt over fremgangen i tungeobjektivering det siste tiåret og sammenligner segmenteringsmodeller. Ulike dype læringsmodeller er konstruert for å verifisere og sammenligne algoritmer ved hjelp av ekte tungebildesett. Styrken og svakhetene til hver modell analyseres. Funnene indikerer at U-Net-algoritmen overgår andre modeller når det gjelder presisjonsnøyaktighet (PA), tilbakekalling og gjennomsnittlig skjæringspunkt over union (MIoU) beregninger. Til tross for den betydelige fremgangen i tungebildeinnsamling og behandling, er det imidlertid ikke etablert en enhetlig standard for objektiverende tungediagnose. For å legge til rette for utbredt bruk av tungebilder tatt med mobile enheter i objektivering av tungediagnose, kan videre forskning adressere utfordringene som tungebilder tatt i komplekse miljøer gir.
Introduction
Tungeobservasjon er en mye brukt teknikk i tradisjonell kinesisk etnisk medisin (TCM). Fargen og formen på tungen kan gjenspeile den fysiske tilstanden og ulike sykdomsegenskaper, alvorlighetsgrader og prognoser. For eksempel, i tradisjonell Hmong-medisin, brukes tungens farge til å identifisere kroppstemperatur, for eksempel indikerer en rød eller lilla tunge patologiske faktorer relatert til varme. I tibetansk medisin vurderes en tilstand ved å observere pasientens tunge, og ta hensyn til slimets farge, form og fuktighet. For eksempel blir tungene til pasienter med Heyis sykdom røde og grove eller svarte og tørre1; pasienter med Xieris sykdom2 har gule og tørre tunger; I mellomtiden har pasienter med Badakan sykdom3 en hvit, fuktig og myk tunge4. Disse observasjonene avslører det nære forholdet mellom tungetrekk og fysiologi og patologi. Samlet sett spiller tungens tilstand en viktig rolle i diagnose, sykdomsidentifikasjon og evaluering av behandlingseffekten.
Samtidig, på grunn av ulike levekår og kostholdspraksis blant ulike etniske grupper, er variasjoner i tungebilder tydelige. Lab-modellen, etablert på grunnlag av en internasjonal standard for bestemmelse av farge, ble formulert av Commission International Eclairage (CIE) i 1931. I 1976 ble et fargemønster endret og navngitt. Lab-fargemodellen består av tre elementer: L tilsvarer lysstyrke, mens a og b er to fargekanaler. a inkluderer farger fra mørkegrønn (lav lysstyrkeverdi) til grå (middels lysstyrkeverdi) til lys rosa (høy lysstyrkeverdi); b går fra lyseblå (lav lysstyrkeverdi) til grå (middels lysstyrkeverdi) til gul (høy lysstyrkeverdi). Ved å sammenligne L x a x b verdiene av tungefargen til fem etniske grupper, fant Yang et al.5 at egenskapene til tungebilder av Hmong, Hui, Zhuang, Han og mongolske grupper var signifikant forskjellig fra hverandre. For eksempel har mongolerne mørke tunger med et gult tungebelegg, mens Hmong har lette tunger med et hvitt tungebelegg, noe som tyder på at tungefunksjoner kan brukes som en diagnostisk indikator for å vurdere helsestatusen til en befolkning. Videre kan tungebilder fungere som en evalueringsindeks for kunnskapsbasert medisin i klinisk forskning av etnisk medisin. Han et al.6 benyttet tungebilder som grunnlag for TCM-diagnose og evaluerte systematisk sikkerheten og effekten av Chou-Ling-Dan-pellets (CLD-granulater som brukes til å behandle inflammatoriske og febersykdommer, inkludert sesonginfluensa i TCM) kombinert med kinesisk og vestlig medisin. Resultatene etablerte den vitenskapelige gyldigheten av tungebilder som en evalueringsindeks for kliniske studier. Likevel er tradisjonelle leger generelt avhengige av subjektivitet for å observere tungeegenskaper og vurdere pasientens fysiologiske og patologiske forhold, noe som krever mer presise indikatorer.
Fremveksten av internett og kunstig intelligens-teknologi har banet vei for digitalisering og objektivering av tungediagnoser. Denne prosessen innebærer å bruke matematiske modeller for å gi en kvalitativ og objektiv beskrivelse av tungebilder7, som reflekterer innholdet i tungebildet. Prosessen inkluderer flere trinn: bildeoppkjøp, optisk kompensasjon, fargekorrigering og geometrisk transformasjon. De forhåndsbehandlede bildene mates deretter inn i en algoritmisk modell for bildeposisjonering og segmentering, funksjonsutvinning, mønstergjenkjenning, etc. Resultatet av denne prosessen er en svært effektiv og presis diagnose av tungebildedata, og oppnår dermed målet om objektivering, kvantifisering og informatisering av tungediagnose8. Dermed oppnås formålet med høy effektivitet og høy presisjonsbehandling av tungediagnosedata. Basert på tungediagnosekunnskap og dyp læringsteknologi, separerte denne studien automatisk tungekroppen og tungebelegget fra tungebilder ved hjelp av en datamaskinalgoritme, for å trekke ut de kvantitative egenskapene til tunger for leger, forbedre påliteligheten og konsistensen av diagnosen, og gi metoder for påfølgende tungediagnose objektiveringsforskning9.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Denne studien er godkjent av National Natural Science Foundation of China-prosjektet, Constructing Dynamic Change rules of TCM Facial image Based on Association Analysis. Det etiske godkjenningsnummeret er 2021KL-027, og etisk komité har godkjent at den kliniske studien skal gjennomføres i samsvar med de godkjente dokumentene som inkluderer klinisk forskningsprotokoll (2021.04.12, V2.0), informert samtykke (2021.04.12, V2.0), rekrutteringsmateriell for (2021.04.12, V2.0), studiesaker og/eller kasuistikker, fagdagbokkort og andre spørreskjemaer (2021.04.12, V2.0), en liste over deltakere i den kliniske studien, godkjenning av forskningsprosjekt mv. Informert samtykke fra pasientene som deltok i studien ble innhentet. Den viktigste eksperimentelle tilnærmingen til denne studien er å bruke ekte tungebilder for å validere og sammenligne modellsegmenteringseffektene. Figur 1 viser komponentene i objektivering av tungediagnosen.
1. Oppkjøp av bilder
- Bruk det egenutviklede håndholdte diagnostiske instrumentet for linguale ansikter til å samle linguale ansiktsbilder av pasienter.
- Fyll ut pasientens navn, kjønn, alder og sykdom på datamaskinsiden. Bildene som er inkludert her er fra pasienter som kom til klinikken og samtykket til å bli fotografert etter å ha blitt informert om formålet og innholdet i studien. Bekreft at pasienten sitter oppreist, plasser hele ansiktet i bildeopptaksinstrumentet, og instruer pasienten om å strekke tungen ut av munnen i størst mulig grad.
- Hold bildeopptaksenheten koblet til en datamaskin og kontroller gjennom bildene på dataskjermen at pasienten er i riktig posisjon og at tungen og ansiktet er helt eksponert.
- Trykk på opptaksknappen på dataskjermen tre ganger for å ta tre bilder.
MERK: Bildeoppkjøpsinstrumentet er for øyeblikket bare på patentsøknadsstadiet og er ikke til kommersiell bruk, så det er ikke til salgs. - Velg og filtrer de innsamlede tunge- og ansiktsbildene manuelt. Filtrer og utelat bilder som har ufullstendig tunge- og ansiktseksponering, samt bilder som er for mørke på grunn av utilstrekkelig lys. Figur 2 viser bildeinnsamlingssiden til programvaren.
- I det eksperimentelle designet samler du tre bilder fra hver pasient om gangen som alternativer og velger et relativt standard, fullt eksponert, godt opplyst og klart bilde som prøven for påfølgende algoritmetrening og testing.
- Samle inn data etter skytingen, eksporter dataene for manuell screening, og slett de ikke-standardiserte bildene som er synlige for det blotte øye. Bruk følgende filtrerings- og utelukkelseskriterier: ufullstendig eksponering for tunge og ansikter, og bilder som er for mørke på grunn av utilstrekkelig lys. Et eksempel på et underbelyst, et ufullstendig og et standardbilde er vist i figur 3.
MERK: Utilstrekkelig lys er vanligvis forårsaket av at pasienten ikke klarer å plassere ansiktet helt inn i instrumentet. Fullstendig eksponering oppnås vanligvis bare ved å fotografere pasienten riktig.
2. Tungesegmentering
- Utfør tungebildesegmentering ved hjelp av et online merknadsverktøy, som beskrevet nedenfor.
- Installer Labelme, klikk på Åpne-knappen øverst til venstre i etikettgrensesnittet, velg mappen der bildet ligger, og åpne bildene.
- Klikk på opprett polygon for å starte sporingspunkter, spore tungen og språklige former, navngi dem i henhold til de valgte områdene (f.eks. tunge og språklig overflate), og lagre dem.
- Når alle merkene er fullført, klikker du Lagre for å lagre bildet i datamappen. Se figur 4 for detaljert flytskjema.
MERK: Siden bildene kan ha pikselforskjeller, kan ikke bildene brukes direkte til algoritmetrening og testing.
- Samle bildene til samme størrelse ved å kantfylle bildene, med langsiden av bildet som målfylllengde og utføre hvit kantfylling for å fylle bildene til en firkant, med langsiden av bildet som kantlengde. Bildestørrelsen som er tatt av enheten, er 1080 x 1920 piksler, og størrelsen på det fylte bildet er 1920 x 1920 piksler. Se figur 5.
- Bruk bildeforbedring om nødvendig. Ingen forbedring ble brukt i denne studien, da bildene som ble brukt ble tatt i en fast scene og var mindre påvirket av miljø, belysning og andre faktorer.
- Fordi tre bilder ble samlet inn for hver pasient under opptaksprosessen for å ta hensyn til ukontrollerbare faktorer, for eksempel motivblinking og linseblokkering, må du manuelt skjerme bildene fra hver pasient for å beholde ett bilde per pasient.
- For å trene modellen, samle inn data fra 200 personer, eller 600 bilder. Etter visningen beholder du ca. 200 brukbare bilder.
- I henhold til bildenummeret, del tilfeldig alle tungebildene, plasser 70% av dem i treningssettet og 30% i testsettet i et regneark.
3. Tungen klassifisering
- Gå til de offisielle nettstedene og last ned og installer Anaconda, Python og Labelme. Aktiver miljøet og fullfør installasjonen og justeringen av det generelle miljøet. Se figur 6 for et flytskjema som beskriver installering og konfigurering av programvaren.
- Bygg algoritmemodellen for dyp læring i det installerte miljøet, juster parameterne og fullfør modellopplæringen ved hjelp av treningssettet. Utfør modellvalg og justering som beskrevet i trinnene nedenfor.
- Modellvalg: Velg riktig modell basert på formålet med forskningen. Etter å ha gjennomgått forskning på tungebildebehandling de siste 5 årene, ble fire algoritmer, U-Net, Seg-Net, DeeplabV3 og PSPNet, valgt for validering i denne studien (se Supplementary Coding File 1, Supplementary Coding File 2, Supplementary Coding File 3 og Supplementary Coding File 4 for modellkoder).
- Konstruksjon av datasett: Etter å ha fullført modellvalget, konstruer det nødvendige datasettet i forbindelse med forskningsinnholdet, hovedsakelig ved hjelp av Labelme-merknad og de ensartede bildestørrelsesmetodene, som beskrevet ovenfor.
- Utfør modellopplæring som beskrevet nedenfor. Figur 7 viser detaljer om algoritmetreningsoperasjonen.
- Skriv inn dataene i det nevrale nettverket for fremoverutbredelse, med hvert nevron som først legger inn en vektet akkumulering av verdier og deretter legger inn en aktiveringsfunksjon som utgangsverdien til det nevronet for å oppnå resultatet.
- Skriv inn resultatet i feilfunksjonen og sammenlign det med forventet verdi for å få feilen og dømme graden av anerkjennelse ved en feiltakelse. Jo mindre tapsfunksjonen er, desto bedre blir modellen.
- Reduser feilen ved tilbakeutbredelse og bestem gradientvektoren. Juster tykkelsene med graderingsvektoren til trenden mot resultater, slik at feilen har en tendens til null eller forminskes.
- Gjenta denne opplæringsprosessen til settet er fullført eller feilverdien ikke lenger avtar, og da er modellopplæringen fullført. Se figur 8 for et flytskjema over algoritmemodellen i opplæring og testing.
- Test de fire modellene med de samme testdataene for segmentering og bedøm modellytelsen i henhold til segmenteringseffekten. De fire måledataene presisjon, tilbakekalling, gjennomsnittlig pikselnøyaktighet (MPA) og MIoU gir en mer omfattende evaluering av modellytelsen.
- Etter at resultatene fra de fire modellene er generert, sammenlign verdiene horisontalt; Jo høyere verdien er, desto høyere segmenteringsnøyaktighet og desto bedre er modellens ytelse. Se figur 9, figur 10 og figur 11.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
For sammenligningsresultatene, se figur 12, figur 13 og tabell 1, der miljøet konstruert av denne studien bruker de samme prøvene for å trene og teste algoritmemodellen. MIoU-indikator: U-Net > Seg-Net > PSPNet > DeeplabV3; MPA-indikator: U-Net > Seg-Net > PSPNet > DeeplabV3; presisjonsindikator: U-Net > Seg-Net > DeeplabV3 > PSPNet; tilbakekalling: U-Net > Seg-Net > PSPNet > DeeplabV3. Jo større indeksverdien er, desto høyere er segmenteringsnøyaktigheten, og desto bedre er modellens ytelse. I følge indeksresultatene kan det analyseres at U-Net-algoritmen er overlegen de andre algoritmene i MIoU, MPA, presisjon og tilbakekalling, og segmenteringsnøyaktigheten er også høyere enn de andre algoritmene. Derfor har U-Net-algoritmen den beste ytelsen blant de fire forskjellige algoritmene. PSPNet er bedre enn DeeplabV3 i MIoU, MPA og tilbakekalling, mens DeeplabV3-modellen er lavere enn Seg-Net-modellen i alle indekser. Derfor kan det konkluderes med at DeeplabV3-algoritmen har den minst ønskelige omfattende ytelsen blant de fire algoritmene i dette forskningsmiljøet.
Evaluering indikatorer
I denne studien ble ytelsen til algoritmemodellen validert hovedsakelig av presisjon, tilbakekalling, MPA og MIoU. Ytelsesmålene for modellen er direkte relatert til forvirringsmatrisen, som består av modellklassifiseringsresultatene, og gjenspeiler antall prøver som modellen klassifiserte riktig og feil. Matrisen representerer den estimerte verdien, tilsvarende testsettresultatene, og den faktiske representerer grunnsannheten. Begge kategoriene er delt inn i sant og usant, representert ved henholdsvis T og F, noe som resulterer i fire kombinasjoner: TP, FP, FN og TN.MPA er middelverdien av andelen riktig klassifiserte piksler i hver kategori, og MIoU er det gjennomsnittlige skjæringspunktet til sammenslåingsforholdet. Dette er den vanligste beregningen for semantisk segmentering. Den beregner forholdet mellom skjæringspunktet og slår sammen de sanne og forutsagte verdiene10. Formelen for disse er:
Presisjon = , tilbakekalling = , MPA = (CPA = , hvor N er totalt antall kategorier) og MIoU = (IoU = 
).
Disse fire beregningene gir en mer omfattende evaluering av segmenteringseffekten av tungebilder.
Denne studien valgte fire dype læringsalgoritmemodeller, U-Net, Seg-Net, DeeplabV3 og PSPNet, for å trene og teste algoritmemodellene ved hjelp av ekte språklige bildedata. U-Net11 har en U-formet arkitektur som består av en koder til venstre og en dekoder til høyre, og har fordelen av å trene mer nøyaktige klassifiseringsresultater med færre data og trekke ut bildefunksjoner omfattende. DeepLabV3 er basert på Res-Net-nettverket for å løse problemet med målsegmentering i flere skalaer, og tar i bruk den hule konvolusjonsstrukturen, designer modulen for å fange opp konteksten i flere skalaer, fjerner det betingede tilfeldige feltet (CRF) og oppgraderer ASPP-modulen (atrous spatial pyramid pooling), noe som forbedrer modellytelsen betydelig. Semantisk segmentering tar sikte på å få kategorietiketten for hver piksel i det segmenterte objektet. Seg-Net er en konvolusjonell nevral nettverk (CNN) arkitektur med en symmetrisk struktur for semantisk segmentering, inkludert en koder og en dekoder. Fordelen med dette er at dekoderens oppsamplingsmetode for funksjonsdiagrammer med lavere oppløsning eliminerer læringstiden for oppsampling. PSPNet-modellen brukes hovedsakelig på sceneparsing, og legger til kontekstinformasjon til semantisk segmentering, som kan unngå delvis feil, løse problemet med å mangle passende strategier for å bruke global sceneklassifiseringsinformasjon og forbedre påliteligheten til de endelige forutsagte resultatene.
Figur 1 Komponenter i objektivering av tungediagnose. Tungediagnosekomponenter, inkludert bildeopptakselementer, tungesegmentering og tungeklassifisering. Klikk her for å se en større versjon av denne figuren.
Figur 2: Side for bildeopptak. Grensesnitt for innsamling av tungebilder og spørreskjemainnhold. Klikk her for å se en større versjon av denne figuren.
Figur 3: Kriterier for bildefiltrering og avvisning. En grønn hake representerer inklusjonskriterier og et rødt kryss representerer eksklusjonskriterier. Klikk her for å se en større versjon av denne figuren.
Figur 4: Skjematisk diagram over etikettmerkingsprosessen. Labelme-programvaren brukes til å kommentere hele prosessen med bildet, fra å åpne mappen til å lagre filen. Klikk her for å se en større versjon av denne figuren.
Figur 5: Diagram for forhåndsbehandling av bilder. Størrelsen på bildet er 1080 x 1920 piksler, og størrelsen på fyllbildet er 1920 x 1920 piksler. Klikk her for å se en større versjon av denne figuren.
Figur 6: Flytskjema over miljøkonfigurasjon. Algoritmen kan bare kjøres etter at miljøet er konfigurert. Klikk her for å se en større versjon av denne figuren.
Figur 7: Algoritmetrening kjøredetaljdiagram. Detaljerte trinn og utførelsesmetoder i algoritmeoperasjonen. Klikk her for å se en større versjon av denne figuren.
Figur 8: Flytskjema over algoritmemodell i opplæring og testing. De viktige trinnene i algoritmen, inkludert databehandling, algoritmetrening og algoritmetesting. Klikk her for å se en større versjon av denne figuren.
Figur 9: Seg-Net-algoritmestruktur. Seg-Net algoritme logisk struktur og kode kjører prosess. Klikk her for å se en større versjon av denne figuren.
Figur 10: U-Net algoritmestruktur. U-Net algoritme logisk struktur og kode kjører prosess. Klikk her for å se en større versjon av denne figuren.
Figur 11: Flyt av tungebildesegmenteringsstudier. Det røde området i bildet er resultatet av tungesegmentering, og det grønne området er resultatet av segmentering av tungebelegg. Klikk her for å se en større versjon av denne figuren.
Figur 12: Sammenligningsdiagram over fire algoritmeberegninger. MIoU, MPA, presisjon og tilbakekalling er alle evalueringsindekser for algoritmens ytelse. Jo større verdi, desto bedre algoritmeytelse og jo høyere segmenteringsnøyaktighet. Klikk her for å se en større versjon av denne figuren.
Figur 13: Sammenligning av resultatene fra de fire algoritmene for tungesegmentering. Det røde området i bildet er resultatet av tungesegmentering, og det grønne området er resultatet av segmentering av tungebelegg. Klikk her for å se en større versjon av denne figuren.
Figur 14: U-Net algoritmestrukturdiagram. De blå/hvite boksene angir funksjonskartet, mens tallet over funksjonskartet representerer antall kanaler. Klikk her for å se en større versjon av denne figuren.
| MIoU | .MPA | Presisjon | Tilbakekalle | |
| U-Net | 84.00% | 89.38% | 91.90% | 89.38% |
| DeeplabV3 | 59.68% | 61.33% | 84.21% | 61.33% |
| PSPNet | 67.80% | 72.56% | 82.71% | 72.56% |
| SegNet | 80.09% | 87.14% | 88.53% | 87.14% |
Tabell 1: Sammenligning av fire resultatberegninger for algoritmesegmentering. Beregningene var MIoU, MPA, presisjon og tilbakekalling.
Supplerende kodefil 1: U-Net_training. Opplæringskode for U-Net-modellen. Klikk her for å laste ned denne filen.
Supplerende kodefil 2: Seg-Net_training. Opplæringskode for Seg-Net-modellen. Klikk her for å laste ned denne filen.
Supplerende kodefil 3: DeeplabV3_training. Opplæringskode for DeeplabV3-modellen. Klikk her for å laste ned denne filen.
Supplerende kodefil 4: PSPNet_training. PSPNet modell treningskode. Klikk her for å laste ned denne filen.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Basert på sammenligningsresultatene som presenteres ovenfor, er det tydelig at egenskapene til de fire algoritmene som vurderes er varierte, og deres forskjellige fordeler og ulemper er beskrevet nedenfor. U-Net-strukturen, basert på modifikasjon og utvidelse av et fullt konvolusjonsnettverk, kan få kontekstuell informasjon og presis posisjonering gjennom en kontraheringsbane og en symmetrisk ekspanderende bane. Ved å klassifisere hvert pikselpunkt oppnår denne algoritmen en høyere segmenteringsnøyaktighet og segmenterer bildet med den opplærte modellen raskere. På den annen side har Seg-Net-algoritmen, som består av en symmetrisk struktur av en koder og en dekoder, fordelen av å tilpasse seg raskt til nye problemer og prestere godt i oppgaver som tale, semantikk, visjon og spill. Algoritmen krever imidlertid en stor mengde data, noe som gjør den krevende når det gjelder maskinvarekonfigurasjon, og er dermed bare anvendelig for noen oppgaver. Som et mer generelt rammeverk har DeeplabV3-algoritmen fordelen av å forbedre ASSP-moduler for de fleste nettverk og legge dem ut i kaskade eller parallelt for å forbedre den generelle ytelsen. Det endelige funksjonskartet må imidlertid oppnås med opp-sampling ved hastighet 8 og 16, noe som er relativt grovt og kan forbedres senere. Videre har PSPNet-modellen den viktigste egenskapen ved å samle kontekstuell informasjon fra forskjellige regioner gjennom PSP-modulen, og dermed forbedre tilgangen til global informasjon og levere gode resultater på flere datasett. Resultatene indikerer at U-Net-modellen har den høyeste segmenteringsnøyaktigheten og den beste segmenteringseffekten i dette forskningsmiljøet.
U-Net-arkitekturen demonstrerer sin overlegenhet i medisinsk bildesegmentering12. Opprinnelig designet for 2D-cellebildesegmentering, har U-Net-algoritmen blitt videreutviklet ved å erstatte 2D-modulen med en 3D-modul. Denne modifikasjonen har styrket evnen til å behandle 3D-bilder som magnetisk resonansavbildning (MRI), computertomografi (CT) og tredimensjonale (3D) ultralydbilder. Ved å segmentere medisinske bilder i organer, vev og lesjoner, kan verdifulle kliniske data oppnås. Den forbedrede U-Net-algoritmen representerer et effektivt verktøy for senere undersøkelser og behandlinger. I medisinsk diagnostikk er klassifisering av bilder en avgjørende del av mange diagnostiske prosesser. Tradisjonell medisin er avhengig av å observere alle synlige tegn, inkludert tunge, hud og uttrykk. Fremveksten og utviklingen av medisinsk bildesegmenteringsteknologi har betydelig betydning i medisinsk diagnose. I TCM krever analyse av ansikts- og tungebilder bruk av ulike dyplæringsalgoritmer for klassifisering av funksjonsutvinning. På den annen side er bildesegmenteringsalgoritmer mye brukt i vestlig medisin, og gir grunnlag for klinisk diagnose og patologi13.
Denne studiens forskningsprosess omfatter kritiske trinn, inkludert dataforbehandling, algoritmeopplæring og testing og sammenligning av algoritmeytelse. I utgangspunktet gjennomgår rådataene behandling, merking og oppdeling i trenings- og testsett for å lette den påfølgende algoritmekonstruksjonen. De behandlede dataene blir deretter matet inn i det nevrale nettverket, og tapsfunksjonen er satt til å bestemme gradientvektoren gjennom tilbakeutbredelse. Deretter justeres parametrene til ferdigstillelse av treningsprosessen. Algoritmens ytelse evalueres ved å teste bildesegmenteringseffekten ved hjelp av flere indekser, for eksempel MIoU, MPA, presisjon og tilbakekalling for å vurdere ytelsen omfattende. Under selve algoritmetreningsprosessen kan det oppstå overtilpasning, der modellen lærer dataene for grundig, inkludert egenskapene til støydataene. Dette resulterer i identifisering av data under senere tester, feil klassifisering av data og dårlig generaliseringsevne. Hvis det oppstår overtilpasning, kan man øke treningsdataene eller rense dataene på nytt. I denne studien er den iterative metoden gradient nedstigning vedtatt. Overmontering kan også forhindres ved å kutte iterasjonen på forhånd.
Begrensningen i denne studien er tydelig; Bildene ble samlet inn med faste instrumenter, og de eksperimentelle instrumentene kan i dag ikke brukes til kommersielle formål. Følgelig er tungebildene i denne studien fra en enkelt scene og gjenspeiler ikke helt den kliniske bakgrunnen og de komplekse og variable lysforholdene. Derfor er videre forskning nødvendig for å studere bildebehandlingsteknikker under komplekse miljøer og dårlige belysningsforhold. Objektiveringsstudier av tungediagnose inneholder rikt innhold, så nøyaktig segmentering av tungekroppen er viktig. Følgelig er sammenligning og verifisering av algoritmer med den mest passende segmenteringseffekten signifikant for senere studier. Kombinere tungesegmentering med klassifisering kan teoretisk oppnå automatisk tungebildevurdering og bistå i diagnosen; Forskere har utforsket og studert dette emnet. I helsevesenet kan bruk av tingenes internett og trådløs kommunikasjonsteknologi for å behandle biomedisinske bilder, samt diagnosehjelp, forbedre systemets effektivitet. Mansour et al.14 designet et automatisert tungefargebilde (ASDL-TCI) basert på samarbeidende dyp læring og tingenes internett. Det inkluderer datainnsamling, forhåndsbehandling, funksjonsutvinning, klassifisering og parameteroptimalisering. Denne modellens presisjon, tilbakekallingshastighet og nøyaktighet er henholdsvis 0.984, 0.973 og 0.983, som er overlegen andre metoder.
Bildeinnsamling og forhåndsbehandling
Under bildeinnsamlingsprosessen kan intensiteten og variasjonen av lyskilder direkte påvirke bildekvaliteten, noe som igjen påvirker bildesegmentering og klassifiseringsresultater. Derfor er det viktig å stille inn lyskilden for å etterligne effekten av naturlige lyskilder så nært som mulig. I tillegg kan metoder som å bruke standard lyskilder eller bruke flere lyskilder og skyte i en fast scene forhindre den negative effekten av lys, bakgrunn og andre faktorer, og dermed forbedre nøyaktigheten av algoritmisk segmentering. Instrumentbelysningsparametrene som brukes til å samle tungebilder, er ikke identiske med standard belysning, noe som påvirker tungebildenes fargegjengivelseseffekt. Dermed er den vanligste forbehandlingsmetoden som brukes fargekorrigering. Cai et al.15 fant at for å løse avviket mellom et tungebildes fargedata og den tilsvarende tungens fargekroma, er det nødvendig å normalisere tungebildets fargeromkonvertering og fargekorrigering. Skjermens fargeytelse avviker også fra den virkelige tungekroppen, noe som krever testing og justering. Videre varierer bildestørrelsen på grunn av forskjellige innsamlingsinstrumenter som brukes under bildeinnsamlingsprosessen16. For å forbedre opplæringseffektiviteten og spare lagringsplass har dyplæringsnettverket begrensninger på størrelsen på inndatabildet. Derfor må bildestørrelsen standardiseres under bildeforbehandlingsstadiet. Vanligvis oppnås dette ved å omforme inndatabildestørrelsen jevnt for modellopplæring, med ofte brukte omformingsmetoder som interpolering, klipping, inkludering, flislegging og speiling.
Segmentering av tungebilde
Tungebildesegmentering kan kategoriseres i to typer: tradisjonelle og dype læringssegmenteringsmetoder17. Tradisjonelle tungebildesegmenteringsmetoder består av algoritmer som Snake-algoritmen og Otsu-algoritmen. Som en aktiv konturmodell setter Snake-algoritmen18 først en profilkurve og justerer deretter den opprinnelige profilen for å utvikle seg til en ekte profilkurve. Oppkjøpet av innledende konturer og utviklingen av konturer er hovedfokus for forskning for Snake-algoritmen. På den annen side er Otsu-algoritmen en klassisk terskelsegmenteringsalgoritme som bruker en eller flere terskler for å beregne den grå verdien på det opprinnelige bildet og sammenligne gråtoneverdien til hvert bildepunkt med terskelverdien. Basert på sammenligningsresultatene er tungen og bakgrunnen avbildet før adventen av dype læringsmetoder. Disse to algoritmene brukes ofte i tungebildebehandling og tungediagnoseobjektivering.
Siden fremkomsten av dyp læringsteori har mange lærde forsket på integreringen av tungediagnoseobjektivering og dyp læring. Zheng et al.19 utviklet en tungedeteksjonsmetode basert på bildesegmentering ved å slå sammen ulike algoritmer og utforske tungedeteksjonsmetoden i et åpent miljø, og til slutt oppnå gunstige tungesegmenteringsresultater. Yuan et al.20 foreslo en tungesegmenteringsmetode basert på enkeltpikseltapsfunksjonen til regionforening, hvor den forbedrede tapsfunksjonen utgjorde korrelasjonen mellom regionpiksler. Ved å bruke pikseletikettsemantikk overvåket læring ble modellopplæringseffektiviteten forbedret, eksemplifisert ved at MIoU-indeksen nådde 96,32 %. Tungebildet viste spesifikke morfologiske egenskaper som tannmerker, sprekker og punkteringer, nært knyttet til sykdomsdebut. Dermed kan tungeobservasjon hjelpe til med å diagnostisere sykdomsutviklingen. Wang et al21 foreslo en dyplærende tungebruddsegmenteringsmetode for små prøvedatasett som ga forbedret nøyaktighet og stabilitet. Denne metoden innebar å splitte tungekroppen først, etterfulgt av tungesprekker, og forbedret U-Net-algoritmen ved å innlemme fokustap som tap av funksjon.
Tungebilde klassifisering
Klassifisering av tungebilder innebærer hovedsakelig å identifisere egenskaper som tungefarge, pigger, sprekker og beleggfarge. Wang et al.22 benyttet Snake-algoritmen til å segmentere tungekroppen og benyttet teknikker som gjensidig informasjonsbilderegistrering, loggkantdeteksjon, parallell linje og andre metoder for å identifisere punkteringer. Denne tilnærmingen løste effektivt problemet med automatisk punkteringsidentifikasjon og telling, samtidig som den la til rette for tidlig deteksjon og forebygging. For å løse begrensningene knyttet til trening av tungebildealgoritmen, for eksempel et stort datavolum, lang treningstid og høye utstyrskrav, foreslo Yang et al.23et fullt tilkoblet nevralt nettverk basert på overføringslæring. Denne metoden bruker de godt trente Inception_v3 til å trekke ut funksjoner og kombinere dem med det fullt tilkoblede nevrale nettverket (FCN), og oppnår en nøyaktighetsgrad på over 90%. Denne tilnærmingen løste problemet med dyp læring i små prøver og flere klassifiseringer. Song et al.24 benyttet en kaskadeklassifiserer for å finne bilder på GoogLe-Net og Res-Net for overføringslæring, opplæring og bruk av dyp læring for automatisk å klassifisere tre tungebildefunksjoner: tannmerker, sprekker og tungebeleggtykkelse. Den gjennomsnittlige nøyaktigheten av klassifiseringsresultatene oversteg 94%. Imidlertid er tungebildeklassifiseringsalgoritmen svært utsatt for forstyrrelser fra andre ikke-relaterte deler av ansiktet, noe som direkte påvirker klassifiseringsnøyaktigheten25.
Zhai et al.26 utviklet en flertrinnsalgoritme for klassifisering av tungebilder ved hjelp av oppmerksomhetsmekanismer. Denne metoden forbedrer nøyaktigheten av å identifisere tungeregioner ved å trekke ut funksjoner fra forskjellige perseptuelle synsfelt, som smeltes sammen under tungens lokaliseringsfase. Videre forbedrer oppmerksomhetsmekanismemodulen nøyaktigheten av tungebildeklassifisering, noe som undertrykker forstyrrelser fra urenheter i tungen. I møte med problemet med å klassifisere tungetrekk ved forskjellige sykdommer27, kan dype læringsalgoritmer også gi nye tilnærminger. I tillegg har Shi et al.28 undersøkt en typisk klassifiseringsmetode for ikke-småcellet lungekreft basert på beslutningstrealgoritmen C5.0. De identifiserte syv attributtklassifiseringsregler som er relevante for Qi-mangelsertifikatet og Yin-mangelsertifikatklassifiseringen. Modellens nøyaktighet ble funnet å være 80,37%. I tillegg har Li et al.29 utviklet en diagnostisk modell for diabetes ved hjelp av stokastisk skogalgoritme. De analyserte videre tekstur- og fargefunksjoner fra tungebilder for å forbedre modellens ytelse.
Konklusjon
I motsetning til de moderne diagnostiske tilnærmingene til vestlig medisin, er de diagnostiske metodene til TCM minimalt invasive og medfører minimal skade. I tillegg har de fire diagnostiske metodene for observasjon, lytting eller lukt, forespørsel og palpasjon grunnlag i ulike aspekter av TCM. Likevel, på grunn av den store avhengigheten av TCM-diagnose og behandling på utøverens kompetanse og personlige behandlingskonsepter, kan det være mangel på objektivitet og standardisering. Som et resultat har trenden mot objektivisering av diagnosen TCM dukket opp som en retning for videre forskning, noe som kan fremme utviklingen av TCM.
Objektiveringen av tungediagnosen har potensial til å behandle bilder og store mengder data med høy effektivitet, noe som kan hjelpe leger betydelig. Det er imidlertid viktig å merke seg at tungediagnosen ikke bare er en tradisjonell metode, men også har blitt validert. Chen et al.30 gjennomførte en studie der de samlet inn kliniske data på tungebilder av 382 covid-19-pasienter. De analyserte statistisk tungebildefunksjoner og laboratoriets fargemønsterparametere for alle bildegrupper. Studiens funn viste en sammenheng mellom funksjonene i tungebilder og typen vestlig medisin som brukes. I tillegg stemmer endringene i tungebilder overens med den generelle patogenesen av sykdommen. Noen parametere av tungebilder kan potensielt hjelpe til med å forutsi patogene endringer av COVID-19 i TCM31.
Mens objektivere tradisjonell medisinsk tunge diagnose, har mange forskere benyttet segmentering og klassifisering metoden. Dyp læring og konvolusjon nevrale nettverk er avgjørende for å klassifisere tungebildeegenskaper. Nøyaktigheten av tungebildesegmenteringsalgoritmen er avgjørende da den bestemmer om tungen kan skilles nøyaktig fra ansiktet, og dermed påvirke nøyaktigheten av den påfølgende klassifiseringen av funksjoner. Følgelig er forbedring av nøyaktigheten til den nåværende algoritmemodellen et avgjørende forskningsfokus på dette feltet. For øyeblikket er forbedring av algoritmemodellen og dens nøyaktighet et forskningspunkt.
Denne studien benyttet de samme testsettdataene for å sammenligne ytelsen til algoritmene U-Net, Seg-Net, DeeplabV3 og PSPNet4. Dette tiltaket ble tatt for å sikre konsistens i kvaliteten på dataene som ble brukt. Under det eksperimentelle miljøet som ble brukt i denne studien, overgikk U-Net-algoritmen de tre andre algoritmene betydelig med hensyn til segmenteringsnøyaktighet. MIoU er merknadsmålet for den semantiske segmenteringsalgoritmen32, den mest avgjørende indeksen som brukes til å evaluere algoritmens ytelse. MIoU-verdien til U-Net-algoritmen var 3,91 % høyere enn Seg-Net-algoritmen, 23,32 % høyere enn for DeeplabV3 og 16,2 % høyere enn for PSPNet. Dette gir bevis på at U-Net-algoritmen yter bedre enn de andre algoritmene.
Imidlertid er det noen problemer i segmentering og klassifisering av tungebilder ved hjelp av dype læringsalgoritmer. For eksempel, på grunn av pasientens personvern, er medisinske bildedatasett for små i størrelse sammenlignet med andre semantiske segmenterte datasett, noe som begrenser fordelene med dyp læring i store data. Segmentering av store parametermodeller er utsatt for tilpasningsproblemet. Derfor må nettverksstrukturen justeres ved å velge passende forbedringsmoduser. I dag har objektiveringsforskningen av tungediagnosen ennå ikke dannet en enhetlig innsamlingsstandard; Anskaffelsesmiljøet og lyskildetypen mangler riktig standardisering. Forskere setter vanligvis opp samlingsmiljøet og bygger sin egen ikke-offentlige database. Samtidig, selv om de nåværende algoritmiske modellene kan oppnå god nøyaktighet, blir dataene som brukes nøye screenet og forhåndsbehandlet, noe som er vanskelig å oppnå i selve diagnose- og behandlingsmiljøet, og dermed begrense den kliniske anvendelsen. I tillegg vil ytterligere objektivering av tungediagnosen omhandle komplekse miljøer eller tungebilder tatt av forskjellige enheter33. En annen trend er dynamisk informasjonsbehandling, spesielt videobildebehandling, som gir mer detaljert informasjon om tungen og mer omfattende reflekterer fordelene med tungediagnose. Dermed er det nødvendig å utvikle dype læringsalgoritmer for å behandle dynamiske detaljer. Samlet sett holder objektiveringen av medisinsk tungediagnose kombinert med dype læringsalgoritmer løfte om å redusere subjektiviteten i TCM-diagnose.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Forfatterne har ingen interessekonflikt å oppgi.
Acknowledgments
Dette arbeidet ble støttet av National Nature Foundation of China (grant no.82004504), National Key Research and Development Program fra Ministry of Science and Technology of China (grant no.2018YFC1707606), Chinese Medicine Administration of Sichuan Province (grant no.2021MS199) og National Nature Foundation of China (grant no.82174236).
Materials
| Name | Company | Catalog Number | Comments |
| CPU | Intel(R) Core(TM) i7-9700K | ||
| GPU | NVIDIA GeForce RTX 3070 Ti (8192MB) | ||
| Operating systems | Microsoft Windows 10 Professional Edition (64-bit) | ||
| Programming language | Python | ||
| RAM | 16G |
References
- Jiu, G., et al. Effects of herbal therapy on intestinal microbiota and serum metabolomics in different rat models of Mongolian medicine. Evidence-Based Complementary and Alternative. 2022, 7255780 (2022).
- Xi, J., Xin, Y., Teregle, Study on the correlation between the animal model of Mongolian medicine 34;Xieri disease" and serum ALT and AST. Electronic Journal of Cardiovascular Diseases in Combination of Traditional Chinese. 4 (33), 134-135 (2016).
- Yin, L., et al. Study on the mechanism of serum differential protein changes in bronchial asthma based on proteomics. Chinese Journal of Traditional Chinese Medicine. 47 (22), 6227-6234 (2022).
- Wang, X. H., Bao, L. Band Seed. The origin and development of tongue diagnosis in Mongolian medicine. Chinese Ethnic Folk Medicine. (1), 64-65 (2008).
- Yang, S., et al. A comparative study on the feature parameters of tongue diagnosis images in five nationalities. Chinese Journal of Traditional Chinese Medicine. 36 (11), 6428-6430 (2021).
- He, J. Y., et al. Efficacy and safety of Chou-Ling-Dan granules in the treatment of seasonal influenza via combining Western and traditional Chinese medicine, protocol for a multicentre, randomised controlled clinical trial. BMJ Open. 9 (4), e024800 (2019).
- Wang, D. J., et al. Scientific knowledge mapping and visualization analysis in the field of Chinese medicine tongue feature objectification research. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3032-3040 (2021).
- Yuan, S. M., Qian, P., Li, F. F. Research progress of color correction methods for tongue and face diagnosis in traditional Chinese Medicine. Chinese Journal of Traditional Chinese Medicine. 34 (9), 4183-4185 (2019).
- Kanawong, R., et al. Tongue image analysis and its mobile app development for health diagnosis. Advances in Experimental Medicine and Biology. 1005, 99-121 (2017).
- Yu, Y., et al. Semantic segmentation evaluation index and evaluation method. Computer Engineering and Application. , (2023).
- Sehyung, L., Negishi, M., Urakubo, H., Kasai, H., Ishii, S. Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration. Neural Networks. 125, 92-103 (2020).
- Huang, X. M., et al. A review on the application of U-Net and its variants in medical image segmentation. Chinese Journal of Biomedical Engineering. 41 (5), 567-576 (2022).
- Lu, J. H., Xu, Y. F., Wang, Y. Q., Hao, Y. M. Research overview of tongue objectification in traditional Chinese medicine based on computer image technology. World Science and Technology - Modernization of Traditional Chinese Medicine. 24 (11), 4568-4573 (2022).
- Mansour, R. F., Althobaiti, M. M., Ashour, A. A. Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification. IEEE Access. 9, 94769-94779 (2021).
- Cai, Y. H., Hu, S. B., Guan, J., Zhang, X. F. Analysis of the development and application of tongue diagnosis objectification techniques in Chinese medicine. World Science and Technology - Modernization of Chinese Medicine. 23 (7), 2447-2453 (2021).
- Ghosh, S., Das, N., Nasipuri, M. Reshaping inputs for convolutional neural network: some common and uncommon methods. Pattern Recognition. 93, 79-94 (2019).
- Shang, Z. M., et al. Research progress of digital acquisition and characterization of tongue diagnosis information. Chinese Journal of Traditional Chinese Medicine. 36 (10), 6010-6013 (2021).
- Ning, J., Zhang, D., Wu, C., Yue, F. Automatic tongue image segmentation based on gradient vector flow and region merging. Neural Computing and Applications. 21, 1819-1826 (2012).
- Zheng, F., Huang, X. Y., Wang, B. L., Wang, Y. H. A method for tongue detection based on image segmentation. Journal of Xiamen University. 55 (6), 895-900 (2016).
- Li, Y. T., Luo, Y. S., Zhu, Z. M. Deep learning-based tongue feature analysis. Computer Science. 47 (11), 148-158 (2020).
- Wang, Y. D., Sun, C. H., Cui, J. L., Wu, X. R., Qin, Y. X. Research on deep learning-based tongue fissure segmentation algorithm. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3065-3073 (2021).
- Wang, X. M., Wang, R. Y., Guo, D., Lu, S. Z., Zhou, P. Research on the identification method of tongue punctures based on auxiliary light source. Journal of Sensing Technology. 29 (10), 1553-1559 (2016).
- Yang, J. D., Zhang, P. A fully connected neural network based on migration learning for tongue image classification. Journal of the Second Military Medical University. 39 (8), 897-902 (2018).
- Song, C., Wang, B., Xu, J. T. Research on tongue feature classification method based on deep migration learning. Computer Engineering and Science. 43 (8), 1488-1496 (2021).
- Ding, H. J., He, J. C. Study on modern techniques and methods of tongue diagnosis. Shi Zhen Chinese Medicine. 21 (5), 1230-1232 (2010).
- Zhai, P. B., et al. A multi-stage tongue image classification algorithm incorporating attention mechanism. Computer Engineering and Design. 42 (6), 1606-1613 (2021).
- Hou, Y. S. A new clustering analysis algorithm based on deep learning. Journal of Xinxiang University. 35 (12), 4 (2018).
- Shi, Y. L., et al. A decision tree algorithm for classification of non-small cell lung cancer evidence based on tongue and pulse data. World Science and Technology - Modernization of Chinese Medicine. 24 (7), 2766-2775 (2022).
- Li, J., Hu, X. J., Zhou, C. L., Xu, J. T. Study on the feature analysis and diagnosis model of diabetic tongue based on random forest algorithm. Chinese Journal of Traditional Chinese Medicine. 37 (3), 1639-1643 (2022).
- Chen, C. H., et al. The characteristics of the combination of the four diagnostic methods of traditional Chinese medicine from the perspective of the differences between Chinese and Western medical diagnosis methods. Journal of Guangzhou University of Traditional Chinese Medicine. 28 (3), 332-334 (2011).
- Chen, R., et al. Correlation analysis of tongue image and western medicine typing in 382 patients with novel coronavirus pneumonia based on Lab colour model and imaging histology. Chinese Journal of Traditional Chinese Medicine. 36 (12), 7010-7014 (2021).
- Ju, J. W., Jung, H., Lee, Y. J., Mun, S. W., Lee, J. H. Semantic segmentation dataset for AI-based quantification of clean mucosa in capsule endoscopy. Medicina. 58 (3), 397 (2022).
- Wu, X., et al. A review of research on deep learning in tongue image classification. Computer Science and Exploration. , 1-23 (2022).
