Summary
Den aktuella studien använde U-Net och andra djupinlärningsalgoritmer för att segmentera en tungbild och jämförde segmenteringsresultaten för att undersöka objektifieringen av tungdiagnos.
Abstract
Tungdiagnos är en viktig teknik för traditionell kinesisk medicin (TCM) diagnos, och behovet av objektifierande tungbilder genom bildbehandlingsteknik växer. Den aktuella studien ger en översikt över de framsteg som gjorts inom tungobjektifiering under det senaste decenniet och jämför segmenteringsmodeller. Olika djupinlärningsmodeller är konstruerade för att verifiera och jämföra algoritmer med hjälp av verkliga tungbilduppsättningar. Styrkor och svagheter i varje modell analyseras. Resultaten indikerar att U-Net-algoritmen överträffar andra modeller avseende precisionsnoggrannhet (PA), återkallande och genomsnittlig skärning över union (MIoU) mätvärden. Trots de betydande framstegen inom insamling och bearbetning av tungbilder har en enhetlig standard för objektifierande tungdiagnos ännu inte fastställts. För att underlätta en utbredd tillämpning av tungbilder som tagits med mobila enheter vid objektifiering av tungdiagnos kan ytterligare forskning ta itu med de utmaningar som tungbilder som tagits i komplexa miljöer.
Introduction
Tungobservation är en allmänt använd teknik i traditionell kinesisk etnisk medicin (TCM). Tungans färg och form kan återspegla det fysiska tillståndet och olika sjukdomsegenskaper, svårighetsgrader och prognoser. Till exempel, i traditionell Hmong-medicin, används tungans färg för att identifiera kroppstemperatur, t.ex. en röd eller lila tunga indikerar patologiska faktorer relaterade till värme. I tibetansk medicin bedöms ett tillstånd genom att observera patientens tunga, uppmärksamma slemens färg, form och fukt. Till exempel blir tungorna hos patienter med Heyis sjukdom röda och grova eller svarta och torra1; patienter med Xieri sjukdom2 har gula och torra tungor; under tiden har patienter med Badakan sjukdom3 en vit, fuktig och mjuk tunga4. Dessa observationer avslöjar det nära sambandet mellan tungans egenskaper och fysiologi och patologi. Sammantaget spelar tungans tillstånd en viktig roll vid diagnos, sjukdomsidentifiering och utvärdering av behandlingseffekten.
Samtidigt, på grund av olika levnadsförhållanden och kostvanor bland olika etniska grupper, är variationer i tungobilder uppenbara. Lab-modellen, etablerad på grundval av en internationell standard för bestämning av färg, formulerades av Commission International Eclairage (CIE) 1931. 1976 modifierades och namngavs ett färgmönster. Lab-färgmodellen består av tre element: L motsvarar ljusstyrka, medan a och b är två färgkanaler. a innehåller färger från mörkgrön (lågt ljusstyrkevärde) till grått (medelhögt ljusstyrkevärde) till ljusrosa (högt ljusstyrkevärde); B går från ljusblått (lågt ljusstyrkevärde) till grått (medelhögt ljusvärde) till gult (högt ljusvärde). Genom att jämföra L x a x b-värdena för tungfärgen hos fem etniska grupper fann Yang et al.5 att egenskaperna hos tungbilder av Hmong-, Hui-, Zhuang-, Han- och mongoliska grupper skilde sig signifikant från varandra. Till exempel har mongolerna mörka tungor med en gul tungbeläggning, medan Hmong har ljusa tungor med en vit tungbeläggning, vilket tyder på att tungfunktioner kan användas som en diagnostisk indikator för att bedöma hälsotillståndet hos en befolkning. Dessutom kan tungbilder fungera som ett utvärderingsindex för evidensbaserad medicin i klinisk forskning om etnisk medicin. He et al.6 använde tungbilder som grund för TCM-diagnos och utvärderade systematiskt säkerheten och effekten av Chou-Ling-Dan-pellets (CLD-granulat som används för att behandla inflammatoriska och febersjukdomar, inklusive säsongsinfluensa i TCM) i kombination med kinesisk och västerländsk medicin. Resultaten fastställde den vetenskapliga validiteten av tungbilder som ett utvärderingsindex för kliniska studier. Ändå förlitar sig traditionella läkare i allmänhet på subjektivitet för att observera tungans egenskaper och bedöma patienternas fysiologiska och patologiska tillstånd, vilket kräver mer exakta indikatorer.
Framväxten av internet och artificiell intelligensteknik har banat väg för digitalisering och objektifiering av tungdiagnos. Denna process innebär att man använder matematiska modeller för att ge en kvalitativ och objektiv beskrivning av tungbilder7, vilket återspeglar innehållet i tungbilden. Processen omfattar flera steg: bildförvärv, optisk kompensation, färgkorrigering och geometrisk transformation. De förbehandlade bilderna matas sedan in i en algoritmisk modell för bildpositionering och segmentering, extrahering av funktioner, mönsterigenkänning etc. Resultatet av denna process är en mycket effektiv och exakt diagnos av tungbildsdata, vilket uppnår målet om objektifiering, kvantifiering och informatisering av tungdiagnos8. Således uppnås syftet med hög effektivitet och hög precision bearbetning av tungdiagnosdata. Baserat på tungdiagnoskunskap och djupinlärningsteknik separerade denna studie automatiskt tungkroppen och tungbeläggningen från tungbilder med hjälp av en datoralgoritm för att extrahera de kvantitativa egenskaperna hos tungor för läkare, förbättra diagnosens tillförlitlighet och konsistens och tillhandahålla metoder för efterföljande tungdiagnosobjektifieringsforskning9.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Denna studie har godkänts av National Natural Science Foundation of China-projektet, Konstruera dynamiska förändringsregler för TCM ansiktsbild baserad på associeringsanalys. Det etiska godkännandenumret är 2021KL-027, och den etiska kommittén har godkänt att den kliniska studien genomförs i enlighet med de godkända dokumenten som inkluderar kliniskt forskningsprotokoll (2021.04.12, V2.0), informerat samtycke (2021.04.12, V2.0), ämnesrekryteringsmaterial (2021.04.12, V2.0), studiefall och/eller fallrapporter, ämnesdagbokskort och andra frågeformulär (2021.04.12, V2.0), en lista över deltagare i den kliniska prövningen, godkännande av forskningsprojekt etc. Informerat samtycke från de patienter som deltog i studien erhölls. Det huvudsakliga experimentella tillvägagångssättet i denna studie är att använda verkliga tungbilder för att validera och jämföra modellsegmenteringseffekterna. Figur 1 presenterar komponenterna i objektifiering av tungdiagnos.
1. Bildinsamling
- Använd det egenutvecklade handhållna språkliga ansiktsdiagnostiska instrumentet för att samla in språkliga ansiktsbilder av patienter.
- Fyll i patientens namn, kön, ålder och sjukdom på datorsidan. Bilder som ingår här är från patienter som kom till kliniken och tackade ja till att bli fotograferade efter att ha informerats om studiens syfte och innehåll. Bekräfta att patienten sitter upprätt, placera hela ansiktet i bildinsamlingsinstrumentet och instruera patienten att sträcka ut tungan ur munnen i maximal utsträckning.
- Håll bildinsamlingsenheten ansluten till en dator och kontrollera genom bilderna på datorskärmen att patienten är i rätt position och att tungan och ansiktet är helt exponerade.
- Tryck på fotograferingsknappen på datorskärmen tre gånger för att ta tre bilder.
OBS: Bildinsamlingsinstrumentet är för närvarande endast i patentansökningsstadiet och är inte för kommersiellt bruk, så det är inte till salu. - Välj och filtrera manuellt de insamlade tung- och ansiktsbilderna. Filtrera och uteslut bilder som har ofullständig tung- och ansiktsexponering, samt bilder som är för mörka på grund av otillräckligt ljus. Figur 2 visar programvarans bildhämtningssida.
- I den experimentella designen samlar du in tre bilder från varje patient åt gången som alternativ och väljer en relativt standard, helt exponerad, väl upplyst och tydlig bild som prov för efterföljande algoritmträning och testning.
- Samla in data efter fotograferingen, exportera data för manuell screening och ta bort de icke-standardiserade bilderna som är synliga för blotta ögat. Använd följande filtrerings- och uteslutningskriterier: ofullständig exponering för tunga och ansikte och bilder som är för mörka på grund av otillräckligt ljus. Ett exempel på en underbelyst, en ofullständig och en standardbild visas i figur 3.
OBS: Otillräckligt ljus orsakas vanligtvis av att patienten inte placerar ansiktet helt i instrumentet. Fullständig exponering erhålls vanligtvis endast genom korrekt fotografering av patienten.
2. Tungsegmentering
- Utför tungbildsegmentering med hjälp av ett online-anteckningsverktyg, enligt beskrivningen nedan.
- Installera Labelme, klicka på knappen Öppna i det övre vänstra hörnet av etikettgränssnittet, välj mappen där bilden finns och öppna fotona.
- Klicka på skapa polygon för att börja spåra punkter, spåra tungan och språkformerna, namnge dem enligt de valda områdena (t.ex. tunga och språklig yta) och spara dem.
- När alla markeringar är klara klickar du på Spara för att spara bilden i datamappen. Se figur 4 för ett detaljerat flödesschema.
Eftersom bilderna kan ha pixelskillnader kan bilderna inte användas direkt för algoritmträning och testning.
- Förena bilderna till samma storlek genom att kantfylla bilderna, med bildens långsida som målfyllningslängd och utföra vit kantfyllning för att fylla bilderna till en fyrkant, med bildens långsida som kantlängd. Bildstorleken som fångas av enheten är 1080 x 1920 pixlar och storleken på den fyllda bilden är 1920 x 1920 pixlar. Se figur 5.
- Använd bildförbättring om det behövs. Ingen förbättring tillämpades i denna studie, eftersom bilderna som användes togs i en fast scen och påverkades mindre av miljön, belysningen och andra faktorer.
- Eftersom tre bilder samlades in för varje patient under fotograferingsprocessen för att ta hänsyn till okontrollerbara faktorer, såsom att motivet blinkade och linsblockeringen, screenade bilderna manuellt från varje patient för att behålla en bild per patient.
- För att träna modellen samlar du in data från 200 personer eller 600 bilder. Efter visningen, behåll cirka 200 användbara bilder.
- Enligt bildnumret delar du slumpmässigt upp alla tungbilder och placerar 70% av dem i träningsuppsättningen och 30% i testuppsättningen i ett kalkylblad.
3. Tunga klassificering
- Gå till de officiella webbplatserna och ladda ner och installera Anaconda, Python och Labelme. Aktivera miljön och slutför installationen och justeringen av den övergripande miljön. Se figur 6 för ett flödesschema som beskriver installation och installation av programvaran.
- Skapa djupinlärningsalgoritmmodellen i den installerade miljön, finjustera parametrarna och slutför modellträningen med hjälp av träningsuppsättningen. Utför modellval och justering enligt beskrivningen i följande steg.
- Modellval: Välj lämplig modell baserat på syftet med forskningen. Efter att ha granskat forskning om tungbildsbehandling under de senaste 5 åren valdes fyra algoritmer, U-Net, Seg-Net, DeeplabV3 och PSPNet, för validering i denna studie (se Kompletterande kodningsfil 1, Kompletterande kodningsfil 2, Kompletterande kodningsfil 3 och Kompletterande kodningsfil 4 för modellkoder).
- Datauppsättningskonstruktion: Efter att ha slutfört modellvalet, konstruera den nödvändiga datauppsättningen i samband med forskningsinnehållet, huvudsakligen med hjälp av Labelme-annotering och de enhetliga bildstorleksmetoderna, som beskrivs ovan.
- Utför modellträning enligt beskrivningen nedan. Bild 7 visar information om algoritmträningsåtgärden.
- Mata in data i det neurala nätverket för framåtförökning, där varje neuron först matar in en viktad ackumulering av värden och sedan matar in en aktiveringsfunktion som utgångsvärdet för den neuronen för att erhålla resultatet.
- Ange resultatet i felfunktionen och jämför det med det förväntade värdet för att få felet och bedöma graden av igenkänning av misstag. Ju mindre förlustfunktionen är, desto bättre blir modellen.
- Minska felet genom bakåtutbredning och bestäm gradientvektorn. Justera vikterna med övertoningsvektorn till trenden mot resultat så att felet tenderar att nollställas eller krympa.
- Upprepa den här träningsprocessen tills uppsättningen har slutförts eller felvärdet inte längre avtar, då modellträningen är klar. I bild 8 visas ett flödesschema över algoritmmodellen under träning och testning.
- Testa de fyra modellerna med samma testdata för segmentering och bedöm modellens prestanda enligt segmenteringseffekten. De fyra mätvärdena precision, återkallelse, genomsnittlig pixelnoggrannhet (MPA) och MIoU ger en mer omfattande utvärdering av modellprestanda.
- När resultaten från de fyra modellerna har genererats, jämför deras värden horisontellt; Ju högre värdet är, desto högre segmenteringsnoggrannhet och desto bättre är modellens prestanda. Se figur 9, figur 10 och figur 11.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
För jämförelseresultaten, se figur 12, figur 13 och tabell 1, där miljön som konstruerats av denna studie använder samma prover för att träna och testa algoritmmodellen. MIoU-indikator: U-Net > Seg-Net > PSPNet > DeeplabV3; MPA-indikator: U-Net > Seg-Net > PSPNet > DeeplabV3; precisionsindikator: U-Net > Seg-Net > DeeplabV3 > PSPNet; Återkallelse: U-Net > Seg-Net > PSPNet > DeeplabV3. Ju större indexvärdet är, desto högre är segmenteringsnoggrannheten och desto bättre är modellens prestanda. Enligt indexresultaten kan det analyseras att U-Net-algoritmen är överlägsen de andra algoritmerna i MIoU, MPA, precision och återkallelse, och dess segmenteringsnoggrannhet är också högre än de andra algoritmerna. Därför har U-Net-algoritmen den bästa prestandan bland de fyra olika algoritmerna. PSPNet är bättre än DeeplabV3 i MIoU, MPA och återkallning, medan DeeplabV3-modellen är lägre än Seg-Net-modellen i alla index. Därför kan man dra slutsatsen att DeeplabV3-algoritmen har den minst önskvärda övergripande prestandan bland de fyra algoritmerna i denna forskningsmiljö.
Indikatorer för utvärdering
I denna studie validerades algoritmmodellens prestanda huvudsakligen genom precision, återkallande, MPA och MIoU. Modellens prestandamått är direkt relaterade till förvirringsmatrisen, som består av modellklassificeringsresultaten och återspeglar antalet prover som modellen klassificerade korrekt och felaktigt. Matrisen representerar det uppskattade värdet, motsvarande testuppsättningsresultaten, och det faktiska representerar grundsanningen. Båda kategorierna är indelade i sant och falskt, representerat av T respektive F, vilket resulterar i fyra kombinationer: TP, FP, FN och TN.MPA är medelvärdet av andelen korrekt klassificerade pixlar i varje kategori och MIoU är medelvärdet mellan skärningsgrad och sammanslagningsförhållande. Detta är det vanligaste måttet för semantisk segmentering. Den beräknar förhållandet mellan skärningspunkten och slår samman de sanna och förutsagda värdena10. Formeln för dessa är:
Precision = , recall = , MPA = (CPA = , där N är det totala antalet kategorier) och MIoU = (IoU = 
).
Dessa fyra mätvärden ger en mer omfattande utvärdering av segmenteringseffekten av tungbilder.
Denna studie valde fyra djupinlärningsalgoritmmodeller, U-Net, Seg-Net, DeeplabV3 och PSPNet, för att träna och testa algoritmmodellerna med hjälp av verkliga språkliga bilddata. U-Net11 har en U-formad arkitektur, bestående av en kodare till vänster och en avkodare till höger, och har fördelen att träna mer exakta klassificeringsresultat med färre data och extrahera bildfunktioner fullständigt. Baserat på Res-Net-nätverket för att lösa problemet med målsegmentering i flera skalor, antar DeepLabV3 den ihåliga faltningsstrukturen, utformar modulen för att fånga kontexten i flera skalor, tar bort det villkorliga slumpmässiga fältet (CRF) och uppgraderar ASPP-modulen (Atrous spatial pyramid pooling), vilket förbättrar modellens prestanda avsevärt. Semantisk segmentering syftar till att hämta kategorietiketten för varje pixel i det segmenterade objektet. Seg-Net är en CNN-arkitektur (convolutional neural network) med en symmetrisk struktur för semantisk segmentering, inklusive en kodare och en avkodare. Fördelen med detta är att avkodarens uppsamplingsmetod för funktionsdiagram med lägre upplösning eliminerar inlärningstiden för uppsampling. PSPNet-modellen används huvudsakligen för scenparsning och lägger till kontextinformation till semantisk segmentering, vilket kan undvika partiella fel, lösa problemet med att sakna lämpliga strategier för att använda global scenklassificeringsinformation och förbättra tillförlitligheten för de slutliga förutsagda resultaten.
Figur 1: Komponenter i objektifiering av tungdiagnos. Tungdiagnoskomponenter, inklusive bildtagningselement, tungsegmentering och tungklassificering. Klicka här för att se en större version av denna figur.
Bild 2: Sida för bildinsamling. Tungbildsförvärvsgränssnitt och frågeformulärinnehåll. Klicka här för att se en större version av denna figur.
Bild 3: Bildfiltrering och kriterier för avslag. En grön bockmarkering representerar inklusionskriterier och ett rött kryss representerar uteslutningskriterier. Klicka här för att se en större version av denna figur.
Figur 4: Schematiskt diagram över märkningsprocessen för Labelme. Labelme programvara används för att kommentera hela processen med bilden, från att öppna mappen till att spara filen. Klicka här för att se en större version av denna figur.
Bild 5: Diagram för förbehandling av bilder. Storleken på den tagna bilden är 1080 x 1920 pixlar och storleken på fyllningsbilden är 1920 x 1920 pixlar. Klicka här för att se en större version av denna figur.
Bild 6: Flödesschema för miljökonfiguration. Algoritmen kan bara köras när miljön har konfigurerats. Klicka här för att se en större version av denna figur.
Bild 7: Detaljdiagram för algoritmträning. Detaljerade steg och exekveringsmetoder i algoritmoperationen. Klicka här för att se en större version av denna figur.
Figur 8: Flödesschema för algoritmmodell i träning och testning. De viktiga stegen i algoritmen, inklusive databehandling, algoritmträning och algoritmtestning. Klicka här för att se en större version av denna figur.
Figur 9: Seg-Net-algoritmstruktur. Seg-Net-algoritmens logiska struktur och kodkörningsprocess. Klicka här för att se en större version av denna figur.
Figur 10: U-Net-algoritmens struktur. U-Net-algoritmens logiska struktur och kodkörningsprocess. Klicka här för att se en större version av denna figur.
Figur 11: Studier av segmentering av tungbilder. Det röda området i bilden är resultatet av tungsegmentering och det gröna området är resultatet av tungbeläggningssegmentering. Klicka här för att se en större version av denna figur.
Figur 12: Jämförelsediagram med fyra algoritmmått. MIoU, MPA, precision och recall är alla utvärderingsindex för algoritmprestanda. Ju större värde, desto bättre algoritmprestanda och desto högre segmenteringsnoggrannhet. Klicka här för att se en större version av denna figur.
Figur 13: Jämförelse av resultaten från de fyra algoritmerna för tungsegmentering. Det röda området i bilden är resultatet av tungsegmentering och det gröna området är resultatet av tungbeläggningssegmentering. Klicka här för att se en större version av denna figur.
Figur 14: U-Net-algoritmstrukturdiagram. De blå/vita rutorna anger geoobjektmappningen, medan siffran ovanför geoobjektkartan representerar antalet kanaler. Klicka här för att se en större version av denna figur.
| MIoU | .MPA | Precision | Komma ihåg | |
| U-Net | 84.00% | 89.38% | 91.90% | 89.38% |
| DeeplabV3 | 59.68% | 61.33% | 84.21% | 61.33% |
| PSPNet | 67.80% | 72.56% | 82.71% | 72.56% |
| SegNet | 80.09% | 87.14% | 88.53% | 87.14% |
Tabell 1: Jämförelse av fyra resultatmått för algoritmsegmentering. Måtten var MIoU, MPA, precision och återkallelse.
Kompletterande kodningsfil 1: U-Net_training. Träningskod för U-Net-modell. Klicka här för att ladda ner den här filen.
Kompletterande kodningsfil 2: Seg-Net_training. Seg-Net-modellträningskod. Klicka här för att ladda ner den här filen.
Kompletterande kodningsfil 3: DeeplabV3_training. Träningskod för DeeplabV3-modell. Klicka här för att ladda ner den här filen.
Kompletterande kodningsfil 4: PSPNet_training. Träningskod för PSPNet-modell. Klicka här för att ladda ner den här filen.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Baserat på de jämförelseresultat som presenteras ovan är det uppenbart att egenskaperna hos de fyra algoritmerna som övervägs varierar, och deras distinkta fördelar och nackdelar beskrivs nedan. U-Net-strukturen, baserad på modifiering och expansion av ett fullständigt faltningsnätverk, kan få kontextuell information och exakt positionering genom en kontrakteringsväg och en symmetrisk expanderande väg. Genom att klassificera varje pixelpunkt uppnår den här algoritmen en högre segmenteringsnoggrannhet och segmenterar bilden med den tränade modellen snabbare. Å andra sidan har Seg-Net-algoritmen, som består av en symmetrisk struktur av en kodare och en avkodare, fördelen att snabbt anpassa sig till nya problem och prestera bra i uppgifter som tal, semantik, syn och spel. Algoritmen kräver dock en stor mängd data, vilket gör den krävande när det gäller hårdvarukonfiguration, och är därför endast tillämplig för vissa uppgifter. Som ett mer allmänt ramverk har DeeplabV3-algoritmen fördelen att förbättra ASSP-moduler för de flesta nätverk och lägga ut dem i kaskad eller parallellt för att förbättra den totala prestandan. Den slutliga funktionskartan måste dock erhållas med uppsampling vid hastigheterna 8 och 16, vilket är relativt grovt och kan förbättras senare. Dessutom har PSPNet-modellen den viktigaste egenskapen att aggregera kontextuell information från olika regioner genom PSP-modulen, vilket förbättrar tillgången till global information och ger goda resultat på flera datamängder. Resultaten indikerar att U-Net-modellen har den högsta segmenteringsnoggrannheten och den bästa segmenteringseffekten i denna forskningsmiljö.
U-Net-arkitekturen visar sin överlägsenhet i medicinsk bildsegmentering12. Ursprungligen utformad för 2D-cellbildsegmentering, har U-Net-algoritmen vidareutvecklats genom att ersätta sin 2D-modul med en 3D-modul. Denna modifiering har stärkt dess förmåga att bearbeta 3D-bilder såsom magnetisk resonanstomografi (MRT), datortomografi (CT) och tredimensionella (3D) ultraljudsbilder. Genom att segmentera medicinska bilder i organ, vävnader och lesioner kan värdefulla kliniska data erhållas. Den förbättrade U-Net-algoritmen utgör ett effektivt verktyg för efterföljande undersökning och behandlingar. Inom medicinsk diagnostik är klassificeringen av bilder en viktig del av många diagnostiska processer. Traditionell medicin bygger på att observera alla synliga tecken, inklusive tungan, huden och uttrycket. Framväxten och utvecklingen av medicinsk bildsegmenteringsteknik har stor betydelse för medicinsk diagnos. I TCM kräver analys av ansikts- och tungbilder att man använder olika djupinlärningsalgoritmer för klassificering av extrahering av funktioner. Å andra sidan används bildsegmenteringsalgoritmer i stor utsträckning i västerländsk medicin, vilket ger en grund för klinisk diagnos och patologi13.
Denna studies forskningsprocess omfattar kritiska steg, inklusive förbehandling av data, algoritmträning och testning samt jämförelse av algoritmprestanda. Inledningsvis genomgår rådata bearbetning, märkning och uppdelning i tränings- och testuppsättningar för att underlätta den efterföljande algoritmkonstruktionen. De bearbetade data matas sedan in i det neurala nätverket, och förlustfunktionen ställs in för att bestämma gradientvektorn genom bakåtutbredning. Därefter justeras parametrarna tills träningsprocessen är klar. Algoritmprestanda utvärderas genom att testa bildsegmenteringseffekten med hjälp av flera index, till exempel MIoU, MPA, precision och recall för att bedöma dess prestanda fullständigt. Under själva algoritmträningsprocessen kan överanpassning inträffa, där modellen lär sig data för noggrant, inklusive egenskaperna hos brusdata. Detta resulterar i identifiering av data under senare tester, felaktig klassificering av data och en dålig generaliseringsförmåga. Om överanpassning inträffar kan man öka träningsdata eller rensa data igen. I denna studie används gradient descent iterativ metod. Övermontering kan också förhindras genom att avbryta iteration i förväg.
Begränsningen av denna studie är uppenbar; Bilderna har samlats in med fasta instrument och försöksinstrumenten kan för närvarande inte användas för kommersiella ändamål. Följaktligen är tungbilderna i denna studie från en enda scen och återspeglar inte helt den kliniska bakgrunden och de komplexa och variabla ljusförhållandena. Därför krävs ytterligare forskning för att studera bildbehandlingstekniker under komplexa miljöer och dåliga ljusförhållanden. Objektifieringsstudier av tungdiagnos innehåller rikt innehåll, så noggrann tungkroppssegmentering är avgörande. Följaktligen är jämförelse och verifiering av algoritmer med den mest lämpliga segmenteringseffekten signifikant för efterföljande studier. Att kombinera tungsegmentering med klassificering kan teoretiskt uppnå automatisk bedömning av tungbilden och hjälpa till med diagnos; Forskare har utforskat och studerat detta ämne. Inom hälso- och sjukvården kan användning av sakernas internet och trådlös kommunikationsteknik för att bearbeta biomedicinska bilder, liksom diagnoshjälp, förbättra ett systems effektivitet. Mansour et al.14 designade en automatiserad tungfärgsbild (ASDL-TCI) baserad på kollaborativ djupinlärning och sakernas internet. Den omfattar datainsamling, förbehandling, extrahering av funktioner, klassificering och parameteroptimering. Den här modellens precision, återkallningsfrekvens och noggrannhet är 0,984, 0,973 respektive 0,983, vilket är överlägset andra metoder.
Bildinsamling och förbehandling
Under bildinsamlingsprocessen kan intensiteten och variationen av ljuskällor direkt påverka bildkvaliteten, vilket i sin tur påverkar bildsegmentering och klassificeringsresultat. Därför är det viktigt att ställa in ljuskällan för att efterlikna effekten av naturliga ljuskällor så nära som möjligt. Dessutom kan metoder som att använda vanliga ljuskällor eller använda flera ljuskällor och fotografera i en fast scen förhindra negativ påverkan av ljus, bakgrund och andra faktorer, vilket förbättrar noggrannheten i algoritmisk segmentering. Instrumentbelysningsparametrarna som används för att samla in tungbilder är inte identiska med standardbelysning, vilket påverkar tungbildens färgåtergivningseffekt. Således är den vanligaste förbehandlingsmetoden som används färgkorrigering. Cai et al.15 fann att för att åtgärda skillnaden mellan en tungbilds färgdata och motsvarande tungas färgkrom är det nödvändigt att normalisera tungbildens färgrymdskonvertering och färgkorrigering. Displayenhetens färgprestanda avviker också från den verkliga tungkroppen, vilket kräver testning och justering. Dessutom varierar bildstorleken beroende på olika insamlingsinstrument som används under bildinsamlingsprocessen16. För att förbättra träningseffektiviteten och spara lagringsutrymme har djupinlärningsnätverket begränsningar för storleken på indatabilden. Därför måste bildstorleken standardiseras under bildförbehandlingsfasen. Vanligtvis åstadkoms detta genom att enhetligt omforma indatabildstorleken för modellträning, med vanliga omformningsmetoder som interpolering, klippning, inkludering, sida vid sida och spegling.
Segmentering av tungbilder
Tungbildsegmentering kan kategoriseras i två typer: traditionella och djupinlärningssegmenteringsmetoder17. Traditionella tungbildssegmenteringsmetoder består av algoritmer som Snake-algoritmen och Otsu-algoritmen. Som en aktiv konturmodell ställer Snake-algoritmen18 först in en profilkurva och justerar sedan den ursprungliga profilen för att utvecklas till en riktig profilkurva. Förvärvet av initiala konturer och utvecklingen av konturer är det primära fokuset för forskning för Snake-algoritmen. Å andra sidan är Otsu-algoritmen en klassisk tröskelsegmenteringsalgoritm som använder en eller flera tröskelvärden för att beräkna gråvärdet på originalbilden och jämföra gråskalevärdet för varje pixel med tröskelvärdet. Baserat på jämförelseresultaten avbildas tungan och bakgrunden före tillkomsten av djupinlärningsmetoder. Dessa två algoritmer används ofta i tungbildbehandling och objektifiering av tungdiagnos.
Sedan tillkomsten av djupinlärningsteori har många forskare undersökt integrationen av tungdiagnos, objektifiering och djupinlärning. Zheng et al.19 utarbetade en tungdetekteringsmetod baserad på bildsegmentering genom att slå samman olika algoritmer och utforska tungdetekteringsmetoden i en öppen miljö, vilket slutligen uppnådde gynnsamma tungsegmenteringsresultat. Yuan et al.20 föreslog en tungsegmenteringsmetod baserad på regionassociationens enda pixelförlustfunktion, där den förbättrade förlustfunktionen stod för korrelationen mellan regionpixlar. Genom att använda pixeletikettsemantikövervakad inlärning förbättrades modellens träningseffektivitet, exemplifierat av MIoU-indexet som nådde 96,32%. Tungbilden uppvisade specifika morfologiska egenskaper såsom tandmärken, sprickor och punkteringar, nära kopplade till sjukdomsdebut. Således kan tungobservation hjälpa till att diagnostisera sjukdomsförloppet. Wang et al21 föreslog en djuplärande tungfraktursegmenteringsmetod för små provdataset som gav förbättrad noggrannhet och stabilitet. Denna metod involverade att dela tungkroppen först, följt av tungsprickor och förbättrade U-Net-algoritmen genom att införliva fokusförlust som funktionsförlust.
Klassificering av tungbilder
Klassificering av tungbilder innebär huvudsakligen att identifiera egenskaper som tungfärg, ryggar, sprickor och beläggningsfärg. Wang et al.22 använde Snake-algoritmen för att segmentera tungkroppen och använde tekniker som ömsesidig informationsbildregistrering, loggkantdetektering, parallelllinje och andra metoder för att identifiera punkteringar. Detta tillvägagångssätt löste effektivt problemet med automatisk punkteringsidentifiering och räkning samtidigt som tidig upptäckt och förebyggande underlättades. För att ta itu med begränsningarna i samband med träning av tungbildsalgoritmen, såsom en stor datavolym, lång träningstid och höga utrustningskrav, föreslog Yang et al.23ett helt anslutet neuralt nätverk baserat på överföringsinlärning. Denna metod använder den vältränade Inception_v3 för att extrahera funktioner och kombinera dem med det helt anslutna neurala nätverket (FCN), vilket uppnår en noggrannhet på över 90%. Detta tillvägagångssätt löste problemet med djupinlärning i små prover och flera klassificeringar. Song et al.24 använde en kaskadklassificerare för att lokalisera bilder på GoogLe-Net och Res-Net för överföringsinlärning, träning och tillämpning av djupinlärning för att automatiskt klassificera tre tungbildfunktioner: tandmärken, sprickor och tungbeläggningstjocklek. Den genomsnittliga noggrannheten i klassificeringsresultaten översteg 94%. Klassificeringsalgoritmen för tungbilder är dock mycket mottaglig för störningar från andra orelaterade delar av ansiktet, vilket direkt påverkar klassificeringsnoggrannheten25.
Zhai et al.26 utvecklade en flerstegsalgoritm för att klassificera tungbilder med hjälp av uppmärksamhetsmekanismer. Denna metod förbättrar noggrannheten för att identifiera tungregioner genom att extrahera funktioner från olika perceptuella synfält, som smälts samman under tunglokaliseringsfasen. Dessutom förbättrar uppmärksamhetsmekanismmodulen noggrannheten för tungbildklassificering, vilket undertrycker störningar från tungföroreningar. Inför problemet med att klassificera tungegenskaper hos olika sjukdomar27 kan djupinlärningsalgoritmer också ge nya tillvägagångssätt. Dessutom har Shi et al.28 undersökt en typisk klassificeringsmetod för icke-småcellig lungcancer baserad på beslutsträdsalgoritmen C5.0. De identifierade sju attributklassificeringsregler som är relevanta för klassificeringen av Qi-bristcertifikatet och Yin-bristcertifikatet. Modellens noggrannhet visade sig vara 80,37%. Dessutom har Li et al.29 utvecklat en diagnostisk modell för diabetes med hjälp av den stokastiska skogsalgoritmen. De analyserade vidare textur och färgfunktioner från tungbilder för att förbättra modellens prestanda.
Slutsats
I motsats till de moderna diagnostiska metoderna för västerländsk medicin är de diagnostiska metoderna för TCM minimalt invasiva och medför minimal skada. Dessutom har de fyra diagnostiska metoderna för observation, lyssnande eller luktande, utredning och palpation sin grund i olika aspekter av TCM. På grund av det stora beroendet av TCM-diagnos och behandling på utövarens expertis och personliga behandlingskoncept kan det dock finnas brist på objektivitet och standardisering. Som ett resultat har trenden mot att objektifiera diagnosen TCM framkommit som en riktning för ytterligare forskning, vilket kan främja utvecklingen av TCM.
Objektifieringen av tungdiagnos har potential att bearbeta bilder och stora mängder data med hög effektivitet, vilket avsevärt kan hjälpa läkare. Det är dock viktigt att notera att tungdiagnos inte bara är en traditionell metod utan också har validerats. Chen et al.30 genomförde en studie där de samlade in kliniska data på tungbilderna från 382 COVID-19-patienter. De analyserade statistiskt tungbildsfunktioner och labbets färgmönsterparametrar för alla bildgrupper. Studiens resultat avslöjade en korrelation mellan funktionerna i tungbilder och vilken typ av västerländsk medicin som används. Dessutom överensstämmer förändringarna i tungbilder med den övergripande patogenesen av sjukdomen. Vissa parametrar för tungbilder kan potentiellt hjälpa till att förutsäga patogena förändringar av COVID-19 i TCM31.
Samtidigt som man objektifierar traditionell medicinsk tungdiagnos har många forskare använt segmenterings- och klassificeringsmetoden. Djupa inlärnings- och faltningsneurala nätverk är viktiga för att klassificera tungbildegenskaper. Noggrannheten i tungbildssegmenteringsalgoritmen är avgörande eftersom den avgör om tungan kan separeras exakt från ansiktet, vilket påverkar noggrannheten i den efterföljande klassificeringen av funktioner. Följaktligen är förbättring av noggrannheten i den nuvarande algoritmmodellen ett avgörande forskningsfokus inom detta område. För närvarande är förbättring av algoritmmodellen och dess noggrannhet en forskningshotspot.
Denna studie använde samma testuppsättningsdata för att jämföra prestanda för algoritmerna U-Net, Seg-Net, DeeplabV3 och PSPNet4. Denna åtgärd vidtogs för att säkerställa enhetlighet i kvaliteten på de uppgifter som användes. Under den experimentella miljön som användes i denna studie överträffade U-Net-algoritmen de andra tre algoritmerna signifikant när det gäller segmenteringsnoggrannhet. MIoU är annoteringsmåttet för den semantiska segmenteringsalgoritmen32, det viktigaste indexet som används för att utvärdera algoritmprestanda. MIoU-värdet för U-Net-algoritmen var 3,91% högre än för Seg-Net-algoritmen, 23,32% högre än för DeeplabV3 och 16,2% högre än för PSPNet. Detta ger bevis för att U-Net-algoritmen fungerar bättre än de andra algoritmerna.
Det finns dock vissa problem i segmenteringen och klassificeringen av tungbilder med hjälp av djupinlärningsalgoritmer. På grund av patientens integritet är till exempel datauppsättningar för medicinska bilder för små jämfört med andra semantiska segmenterade datauppsättningar, vilket begränsar fördelarna med djupinlärning i stordata. Segmentering av stora parametermodeller är benägen för anpassningsproblemet. Därför måste nätverksstrukturen justeras genom att välja lämpliga förbättringssätt. För närvarande har objektifieringsforskningen av tungdiagnos ännu inte bildat en enhetlig insamlingsstandard; Förvärvsmiljön och ljuskälletypen saknar korrekt standardisering. Forskare sätter vanligtvis upp samlingsmiljön och bygger sin egen icke-offentliga databas. Samtidigt, även om de nuvarande algoritmiska modellerna kan uppnå god noggrannhet, screenas och förbehandlas de data som används noggrant, vilket är svårt att uppnå i den faktiska diagnos- och behandlingsmiljön, vilket begränsar dess kliniska tillämpning. Dessutom kommer ytterligare objektifiering av tungdiagnos att hantera komplexa miljöer eller tungbilder som tagits av olika enheter33. En annan trend är dynamisk informationsbehandling, särskilt videobildbehandling, som ger mer detaljerad information om tungan och mer omfattande återspeglar fördelarna med tungdiagnos. Således är det nödvändigt att utveckla djupinlärningsalgoritmer för att bearbeta dynamiska detaljer. Sammantaget är objektifieringen av medicinsk tungdiagnos i kombination med djupinlärningsalgoritmer lovande för att minska subjektiviteten vid TCM-diagnos.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Författarna har ingen intressekonflikt att deklarera.
Acknowledgments
Detta arbete stöddes av National Nature Foundation of China (bidragsnummer 82004504), National Key Research and Development Program of the Ministry of Science and Technology of China (grant no.2018YFC1707606), Chinese Medicine Administration of Sichuan Province (grant no.2021MS199) och National Nature Foundation of China (grant no.82174236).
Materials
| Name | Company | Catalog Number | Comments |
| CPU | Intel(R) Core(TM) i7-9700K | ||
| GPU | NVIDIA GeForce RTX 3070 Ti (8192MB) | ||
| Operating systems | Microsoft Windows 10 Professional Edition (64-bit) | ||
| Programming language | Python | ||
| RAM | 16G |
References
- Jiu, G., et al. Effects of herbal therapy on intestinal microbiota and serum metabolomics in different rat models of Mongolian medicine. Evidence-Based Complementary and Alternative. 2022, 7255780 (2022).
- Xi, J., Xin, Y., Teregle, Study on the correlation between the animal model of Mongolian medicine 34;Xieri disease" and serum ALT and AST. Electronic Journal of Cardiovascular Diseases in Combination of Traditional Chinese. 4 (33), 134-135 (2016).
- Yin, L., et al. Study on the mechanism of serum differential protein changes in bronchial asthma based on proteomics. Chinese Journal of Traditional Chinese Medicine. 47 (22), 6227-6234 (2022).
- Wang, X. H., Bao, L. Band Seed. The origin and development of tongue diagnosis in Mongolian medicine. Chinese Ethnic Folk Medicine. (1), 64-65 (2008).
- Yang, S., et al. A comparative study on the feature parameters of tongue diagnosis images in five nationalities. Chinese Journal of Traditional Chinese Medicine. 36 (11), 6428-6430 (2021).
- He, J. Y., et al. Efficacy and safety of Chou-Ling-Dan granules in the treatment of seasonal influenza via combining Western and traditional Chinese medicine, protocol for a multicentre, randomised controlled clinical trial. BMJ Open. 9 (4), e024800 (2019).
- Wang, D. J., et al. Scientific knowledge mapping and visualization analysis in the field of Chinese medicine tongue feature objectification research. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3032-3040 (2021).
- Yuan, S. M., Qian, P., Li, F. F. Research progress of color correction methods for tongue and face diagnosis in traditional Chinese Medicine. Chinese Journal of Traditional Chinese Medicine. 34 (9), 4183-4185 (2019).
- Kanawong, R., et al. Tongue image analysis and its mobile app development for health diagnosis. Advances in Experimental Medicine and Biology. 1005, 99-121 (2017).
- Yu, Y., et al. Semantic segmentation evaluation index and evaluation method. Computer Engineering and Application. , (2023).
- Sehyung, L., Negishi, M., Urakubo, H., Kasai, H., Ishii, S. Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration. Neural Networks. 125, 92-103 (2020).
- Huang, X. M., et al. A review on the application of U-Net and its variants in medical image segmentation. Chinese Journal of Biomedical Engineering. 41 (5), 567-576 (2022).
- Lu, J. H., Xu, Y. F., Wang, Y. Q., Hao, Y. M. Research overview of tongue objectification in traditional Chinese medicine based on computer image technology. World Science and Technology - Modernization of Traditional Chinese Medicine. 24 (11), 4568-4573 (2022).
- Mansour, R. F., Althobaiti, M. M., Ashour, A. A. Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification. IEEE Access. 9, 94769-94779 (2021).
- Cai, Y. H., Hu, S. B., Guan, J., Zhang, X. F. Analysis of the development and application of tongue diagnosis objectification techniques in Chinese medicine. World Science and Technology - Modernization of Chinese Medicine. 23 (7), 2447-2453 (2021).
- Ghosh, S., Das, N., Nasipuri, M. Reshaping inputs for convolutional neural network: some common and uncommon methods. Pattern Recognition. 93, 79-94 (2019).
- Shang, Z. M., et al. Research progress of digital acquisition and characterization of tongue diagnosis information. Chinese Journal of Traditional Chinese Medicine. 36 (10), 6010-6013 (2021).
- Ning, J., Zhang, D., Wu, C., Yue, F. Automatic tongue image segmentation based on gradient vector flow and region merging. Neural Computing and Applications. 21, 1819-1826 (2012).
- Zheng, F., Huang, X. Y., Wang, B. L., Wang, Y. H. A method for tongue detection based on image segmentation. Journal of Xiamen University. 55 (6), 895-900 (2016).
- Li, Y. T., Luo, Y. S., Zhu, Z. M. Deep learning-based tongue feature analysis. Computer Science. 47 (11), 148-158 (2020).
- Wang, Y. D., Sun, C. H., Cui, J. L., Wu, X. R., Qin, Y. X. Research on deep learning-based tongue fissure segmentation algorithm. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3065-3073 (2021).
- Wang, X. M., Wang, R. Y., Guo, D., Lu, S. Z., Zhou, P. Research on the identification method of tongue punctures based on auxiliary light source. Journal of Sensing Technology. 29 (10), 1553-1559 (2016).
- Yang, J. D., Zhang, P. A fully connected neural network based on migration learning for tongue image classification. Journal of the Second Military Medical University. 39 (8), 897-902 (2018).
- Song, C., Wang, B., Xu, J. T. Research on tongue feature classification method based on deep migration learning. Computer Engineering and Science. 43 (8), 1488-1496 (2021).
- Ding, H. J., He, J. C. Study on modern techniques and methods of tongue diagnosis. Shi Zhen Chinese Medicine. 21 (5), 1230-1232 (2010).
- Zhai, P. B., et al. A multi-stage tongue image classification algorithm incorporating attention mechanism. Computer Engineering and Design. 42 (6), 1606-1613 (2021).
- Hou, Y. S. A new clustering analysis algorithm based on deep learning. Journal of Xinxiang University. 35 (12), 4 (2018).
- Shi, Y. L., et al. A decision tree algorithm for classification of non-small cell lung cancer evidence based on tongue and pulse data. World Science and Technology - Modernization of Chinese Medicine. 24 (7), 2766-2775 (2022).
- Li, J., Hu, X. J., Zhou, C. L., Xu, J. T. Study on the feature analysis and diagnosis model of diabetic tongue based on random forest algorithm. Chinese Journal of Traditional Chinese Medicine. 37 (3), 1639-1643 (2022).
- Chen, C. H., et al. The characteristics of the combination of the four diagnostic methods of traditional Chinese medicine from the perspective of the differences between Chinese and Western medical diagnosis methods. Journal of Guangzhou University of Traditional Chinese Medicine. 28 (3), 332-334 (2011).
- Chen, R., et al. Correlation analysis of tongue image and western medicine typing in 382 patients with novel coronavirus pneumonia based on Lab colour model and imaging histology. Chinese Journal of Traditional Chinese Medicine. 36 (12), 7010-7014 (2021).
- Ju, J. W., Jung, H., Lee, Y. J., Mun, S. W., Lee, J. H. Semantic segmentation dataset for AI-based quantification of clean mucosa in capsule endoscopy. Medicina. 58 (3), 397 (2022).
- Wu, X., et al. A review of research on deep learning in tongue image classification. Computer Science and Exploration. , 1-23 (2022).
