Summary
Il presente studio ha utilizzato U-Net e altri algoritmi di deep learning per segmentare un'immagine della lingua e ha confrontato i risultati della segmentazione per studiare l'oggettivazione della diagnosi della lingua.
Abstract
La diagnosi della lingua è una tecnica essenziale della diagnosi della medicina tradizionale cinese (MTC) e la necessità di oggettivare le immagini della lingua attraverso la tecnologia di elaborazione delle immagini è in crescita. Il presente studio fornisce una panoramica dei progressi compiuti nell'oggettivazione della lingua negli ultimi dieci anni e confronta i modelli di segmentazione. Vari modelli di deep learning sono costruiti per verificare e confrontare gli algoritmi utilizzando set di immagini in lingua reale. Vengono analizzati i punti di forza e di debolezza di ciascun modello. I risultati indicano che l'algoritmo U-Net supera altri modelli per quanto riguarda l'accuratezza di precisione (PA), il richiamo e le metriche di intersezione media su unione (MIoU). Tuttavia, nonostante i significativi progressi nell'acquisizione e nell'elaborazione delle immagini della lingua, non è ancora stato stabilito uno standard uniforme per oggettivare la diagnosi della lingua. Per facilitare l'applicazione diffusa delle immagini della lingua catturate utilizzando dispositivi mobili nell'oggettivazione della diagnosi della lingua, ulteriori ricerche potrebbero affrontare le sfide poste dalle immagini della lingua catturate in ambienti complessi.
Introduction
L'osservazione della lingua è una tecnica ampiamente utilizzata nella medicina etnica tradizionale cinese (MTC). Il colore e la forma della lingua possono riflettere la condizione fisica e varie proprietà, gravità e prognosi della malattia. Ad esempio, nella medicina tradizionale Hmong, il colore della lingua viene utilizzato per identificare la temperatura corporea, ad esempio, una lingua rossa o viola indica fattori patologici legati al calore. Nella medicina tibetana, una condizione viene giudicata osservando la lingua di un paziente, prestando attenzione al colore, alla forma e all'umidità del muco. Ad esempio, le lingue dei pazienti con malattia di Heyi diventano rosse e ruvide o nere e secche1; i pazienti con malattia di Xieri2 hanno la lingua gialla e secca; nel frattempo, i pazienti con malattia di Badakan3 hanno una lingua bianca, umida e morbida4. Queste osservazioni rivelano la stretta relazione tra le caratteristiche della lingua e la fisiologia e la patologia. Nel complesso, lo stato della lingua svolge un ruolo vitale nella diagnosi, nell'identificazione della malattia e nella valutazione dell'effetto del trattamento.
Allo stesso tempo, a causa delle diverse condizioni di vita e pratiche alimentari tra i diversi gruppi etnici, sono evidenti variazioni nelle immagini della lingua. Il modello Lab, stabilito sulla base di uno standard internazionale per la determinazione del colore, è stato formulato dalla Commission International Eclairage (CIE) nel 1931. Nel 1976, un modello di colore è stato modificato e nominato. Il modello di colore Lab è composto da tre elementi: L corrisponde alla luminosità, mentre a e b sono due canali di colore. A include colori dal verde scuro (valore di luminosità basso) al grigio (valore di luminosità medio) al rosa brillante (valore di luminosità elevato); B va dal blu brillante (valore di luminosità basso) al grigio (valore di luminosità medio) al giallo (valore di luminosità alto). Confrontando i valori L x a x b del colore della lingua di cinque gruppi etnici, Yang et al.5 hanno scoperto che le caratteristiche delle immagini della lingua dei gruppi Hmong, Hui, Zhuang, Han e mongoli erano significativamente distinte l'una dall'altra. Ad esempio, i mongoli hanno lingue scure con un rivestimento di lingua gialla, mentre gli Hmong hanno lingue chiare con un rivestimento di lingua bianca, suggerendo che le caratteristiche della lingua possono essere utilizzate come indicatore diagnostico per valutare lo stato di salute di una popolazione. Inoltre, le immagini della lingua possono funzionare come indice di valutazione per la medicina basata sull'evidenza nella ricerca clinica della medicina etnica. He et al.6 hanno utilizzato le immagini della lingua come base per la diagnosi di MTC e hanno valutato sistematicamente la sicurezza e l'efficacia dei pellet Chou-Ling-Dan (granuli CLD usati per trattare malattie infiammatorie e febbrili, compresa l'influenza stagionale in MTC) combinati con la medicina cinese e occidentale. I risultati hanno stabilito la validità scientifica delle immagini della lingua come indice di valutazione per gli studi clinici. Tuttavia, i medici tradizionali generalmente si affidano alla soggettività per osservare le caratteristiche della lingua e valutare le condizioni fisiologiche e patologiche dei pazienti, richiedendo indicatori più precisi.
L'emergere di Internet e della tecnologia dell'intelligenza artificiale ha spianato la strada alla digitalizzazione e all'oggettivazione della diagnosi della lingua. Questo processo comporta l'utilizzo di modelli matematici per fornire una descrizione qualitativa e oggettiva delle immagini della lingua7, che rifletta il contenuto dell'immagine della lingua. Il processo include diverse fasi: acquisizione dell'immagine, compensazione ottica, correzione del colore e trasformazione geometrica. Le immagini pre-elaborate vengono quindi inserite in un modello algoritmico per il posizionamento e la segmentazione delle immagini, l'estrazione delle caratteristiche, il riconoscimento dei modelli, ecc. Il risultato di questo processo è una diagnosi altamente efficiente e precisa dei dati dell'immagine della lingua, raggiungendo così l'obiettivo di oggettivazione, quantificazione e informatizzazione della diagnosi della lingua8. Pertanto, viene raggiunto lo scopo di un'elaborazione ad alta efficienza e alta precisione dei dati di diagnosi della lingua. Basato sulla conoscenza della diagnosi della lingua e sulla tecnologia di apprendimento profondo, questo studio ha separato automaticamente il corpo della lingua e il rivestimento della lingua dalle immagini della lingua utilizzando un algoritmo informatico, al fine di estrarre le caratteristiche quantitative delle lingue per i medici, migliorare l'affidabilità e la coerenza della diagnosi e fornire metodi per la successiva ricerca sull'oggettivazione della diagnosi della lingua9.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Questo studio è stato approvato dal progetto della National Natural Science Foundation of China, Constructing Dynamic Change rules of TCM Facial image Based on Association Analysis. Il numero di approvazione etica è 2021KL-027 e il comitato etico ha approvato lo studio clinico da eseguire in conformità con i documenti approvati che includono protocollo di ricerca clinica (2021.04.12, V2.0), consenso informato (2021.04.12, V2.0), materiali di reclutamento dei soggetti (2021.04.12, V2.0), casi di studio e / o case report, schede di diario dei soggetti e altri questionari (2021.04.12, V2.0), un elenco dei partecipanti alla sperimentazione clinica, approvazione di progetti di ricerca, ecc. È stato ottenuto il consenso informato dei pazienti che hanno partecipato allo studio. Il principale approccio sperimentale di questo studio è quello di utilizzare immagini in lingua reale per convalidare e confrontare gli effetti di segmentazione del modello. La Figura 1 presenta le componenti dell'oggettivazione della diagnosi della lingua.
1. Acquisizione di immagini
- Utilizzare lo strumento diagnostico facciale linguale portatile sviluppato autonomamente per raccogliere immagini facciali linguali dei pazienti.
- Inserisci il nome, il sesso, l'età e la malattia del paziente nella pagina del computer. Le immagini qui incluse provengono da pazienti che sono venuti in clinica e hanno accettato di essere fotografati dopo essere stati informati dello scopo e del contenuto dello studio. Confermare che il paziente è seduto in posizione verticale, posizionare l'intero viso nello strumento di acquisizione delle immagini e istruire il paziente ad estendere la lingua fuori dalla bocca nella massima misura.
- Tenere il dispositivo di acquisizione delle immagini collegato a un computer e verificare attraverso le immagini sullo schermo del computer che il paziente sia nella posizione corretta e che la lingua e il viso siano completamente esposti.
- Premere tre volte il pulsante Scatta sullo schermo del computer per scattare tre foto.
NOTA: Lo strumento di acquisizione delle immagini è attualmente solo in fase di domanda di brevetto e non è per uso commerciale, quindi non è in vendita. - Seleziona e filtra manualmente le immagini della lingua e del viso raccolte. Filtra ed escludi le immagini con esposizione incompleta della lingua e del viso, nonché le immagini troppo scure a causa della luce insufficiente. La Figura 2 mostra la pagina di acquisizione delle immagini del software.
- Nel progetto sperimentale, raccogliere tre immagini da ciascun paziente alla volta come alternative e selezionare un'immagine relativamente standard, completamente esposta, ben illuminata e chiara come campione per il successivo addestramento e test dell'algoritmo.
- Raccogli i dati dopo le riprese, esporta i dati per lo screening manuale ed elimina le immagini non standard visibili ad occhio nudo. Utilizza i seguenti criteri di filtro ed esclusione: esposizione incompleta della lingua e del viso e immagini troppo scure a causa di luce insufficiente. Un esempio di un'immagine sottoilluminata, incompleta e standard è illustrato nella Figura 3.
NOTA: La luce insufficiente è generalmente causata dal mancato posizionamento del viso da parte del paziente nello strumento. L'esposizione completa di solito si ottiene solo fotografando correttamente il paziente.
2. Segmentazione della lingua
- Eseguire la segmentazione dell'immagine della lingua utilizzando uno strumento di annotazione online, come descritto di seguito.
- Installa Labelme, fai clic sul pulsante Apri nell'angolo in alto a sinistra dell'interfaccia dell'etichetta, seleziona la cartella in cui si trova l'immagine e apri le foto.
- Fai clic su crea poligono per avviare i punti di tracciamento, tracciare la lingua e le forme linguali, nominarli in base alle aree selezionate (ad esempio, lingua e superficie linguale) e salvarli.
- Quando tutti i contrassegni sono completi, fare clic su Salva per salvare l'immagine nella cartella dati. Vedere la Figura 4 per un diagramma di flusso dettagliato.
NOTA: poiché le immagini possono presentare differenze di pixel, le immagini non possono essere utilizzate direttamente per l'addestramento e il test degli algoritmi.
- Unifica le immagini con le stesse dimensioni riempiendo i bordi delle immagini, con il lato lungo dell'immagine come lunghezza di riempimento di destinazione ed eseguendo il riempimento del bordo bianco per riempire le immagini in un quadrato, con il lato lungo dell'immagine come lunghezza del bordo. La dimensione dell'immagine acquisita dal dispositivo è 1080 x 1920 pixel e la dimensione dell'immagine riempita è 1920 x 1920 pixel. Vedere la Figura 5.
- Se necessario, applica il miglioramento dell'immagine. Nessun miglioramento è stato applicato in questo studio, poiché le immagini utilizzate sono state scattate in una scena fissa e sono state meno influenzate dall'ambiente, dall'illuminazione e da altri fattori.
- Poiché sono state raccolte tre immagini per ciascun paziente durante il processo di ripresa per tenere conto di fattori incontrollabili, come il battito delle palpebre del soggetto e il blocco dell'obiettivo, schermare manualmente le immagini di ciascun paziente per conservare un'immagine per paziente.
- Ai fini del training del modello, raccogliere dati da 200 persone o 600 immagini. Dopo la proiezione, conserva circa 200 immagini utilizzabili.
- In base al numero dell'immagine, dividi casualmente tutte le immagini della lingua, posizionando il 70% di esse nel set di allenamento e il 30% nel set di test in un foglio di calcolo.
3. Classificazione della lingua
- Vai ai siti Web ufficiali e scarica e installa Anaconda, Python ed Labelme. Attivare l'ambiente e completare l'installazione e la regolazione dell'ambiente generale. Vedere la Figura 6 per un diagramma di flusso che descrive l'installazione e la configurazione del software.
- Crea il modello dell'algoritmo di deep learning nell'ambiente installato, ottimizza i parametri e completa il training del modello usando il set di training. Eseguire la selezione e l'ottimizzazione del modello come descritto nei passaggi seguenti.
- Selezione del modello: scegliere il modello appropriato in base allo scopo della ricerca. Dopo aver esaminato la ricerca sull'elaborazione delle immagini della lingua negli ultimi 5 anni, quattro algoritmi, U-Net, Seg-Net, DeeplabV3 e PSPNet, sono stati selezionati per la convalida in questo studio (vedere Supplementary Coding File 1, Supplementary Coding File 2, Supplementary Coding File 3 e Supplementary Coding File 4 per i codici modello).
- Costruzione del set di dati: dopo aver completato la selezione del modello, costruire il set di dati richiesto insieme al contenuto della ricerca, utilizzando principalmente l'annotazione Labelme e i metodi di dimensione uniforme dell'immagine, come descritto sopra.
- Eseguire il training del modello come descritto di seguito. Nella Figura 7 vengono illustrati i dettagli dell'operazione di addestramento dell'algoritmo.
- Immettere i dati nella rete neurale per la propagazione in avanti, con ogni neurone che prima inserisce un accumulo ponderato di valori e quindi inserisce una funzione di attivazione come valore di output di quel neurone per ottenere il risultato.
- Inserisci il risultato nella funzione di errore e confrontalo con il valore previsto per ottenere l'errore e giudicare il grado di riconoscimento per errore. Più piccola è la funzione di perdita, migliore sarà il modello.
- Ridurre l'errore mediante la propagazione di ritorno e determinare il vettore gradiente. Regolate i pesi dal vettore sfumatura in base alla tendenza verso i risultati in modo che l'errore tenda a zero o si riduca.
- Ripetere questo processo di training fino al completamento del set o fino a quando il valore di errore non diminuisce più, a quel punto il training del modello è completo. Vedere la Figura 8 per un diagramma di flusso del modello di algoritmo durante il training e il test.
- Testare i quattro modelli utilizzando gli stessi dati di test per la segmentazione e giudicare le prestazioni del modello in base all'effetto di segmentazione. Le quattro metriche di precisione, richiamo, accuratezza media dei pixel (MPA) e MIoU forniscono una valutazione più completa delle prestazioni del modello.
- Dopo aver generato i risultati dei quattro modelli, confrontare i loro valori orizzontalmente; Maggiore è il valore, maggiore è la precisione della segmentazione e migliori sono le prestazioni del modello. Vedere la Figura 9, la Figura 10 e la Figura 11.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Per i risultati del confronto, vedere la Figura 12, la Figura 13 e la Tabella 1, in cui l'ambiente costruito da questo studio utilizza gli stessi campioni per addestrare e testare il modello di algoritmo. Indicatore MIoU: U-Net > Seg-Net > PSPNet > DeeplabV3; Indicatore MPA: U-Net > Seg-Net > PSPNet > DeeplabV3; indicatore di precisione: U-Net > Seg-Net > DeeplabV3 > PSPNet; Ricordiamo: U-Net > Seg-Net > PSPNet > DeeplabV3. Maggiore è il valore dell'indice, maggiore è la precisione della segmentazione e migliori sono le prestazioni del modello. Secondo i risultati dell'indice, si può analizzare che l'algoritmo U-Net è superiore agli altri algoritmi in MIoU, MPA, precisione e richiamo, e la sua accuratezza di segmentazione è anche superiore rispetto agli altri algoritmi. Pertanto, l'algoritmo U-Net ha le migliori prestazioni tra i quattro diversi algoritmi. PSPNet è migliore di DeeplabV3 in MIoU, MPA e richiamo, mentre il modello DeeplabV3 è inferiore al modello Seg-Net in tutti gli indici. Pertanto, si può concludere che l'algoritmo DeeplabV3 ha le prestazioni complete meno desiderabili tra i quattro algoritmi in questo ambiente di ricerca.
Indicatori di valutazione
In questo studio, le prestazioni del modello di algoritmo sono state convalidate principalmente da precisione, richiamo, MPA e MIoU. Le metriche delle prestazioni del modello sono direttamente correlate alla matrice di confusione, che consiste nei risultati della classificazione del modello e riflette il numero di campioni che il modello ha classificato correttamente e in modo errato. La matrice rappresenta il valore stimato, equivalente ai risultati del set di test, e l'effettivo rappresenta la verità di base. Entrambe le categorie sono divise in vero e falso, rappresentati rispettivamente da T e F, risultando in quattro combinazioni: TP, FP, FN e TN.MPA è il valore medio della proporzione di pixel correttamente classificati in ciascuna categoria e MIoU è il rapporto medio intersezione-unione. Questa è la metrica più comune per la segmentazione semantica; Calcola il rapporto dell'intersezione e unisce i valori vero e previsto10. La formula per questi sono:
Precisione = , richiamo = , MPA = (CPA = , dove N è il numero totale di categorie) e MIoU = (IoU = 
).
Queste quattro metriche forniscono una valutazione più completa dell'effetto di segmentazione delle immagini della lingua.
Questo studio ha selezionato quattro modelli di algoritmi di deep learning, U-Net, Seg-Net, DeeplabV3 e PSPNet, per addestrare e testare i modelli di algoritmi utilizzando dati di immagini linguali reali. U-Net11 ha un'architettura a forma di U, composta da un encoder a sinistra e un decodificatore a destra, e ha il vantaggio di addestrare risultati di classificazione più accurati con meno dati ed estrarre le caratteristiche dell'immagine in modo completo. Basato sulla rete Res-Net per risolvere il problema della segmentazione del target multiscala, DeepLabV3 adotta la struttura di convoluzione vuota, progetta il modulo per acquisire il contesto multiscala, rimuove il campo casuale condizionale (CRF) e aggiorna il modulo ASPP (Atrous Spatial Pyramid Pooling), migliorando significativamente le prestazioni del modello. La segmentazione semantica mira a ottenere l'etichetta di categoria per ogni pixel dell'oggetto segmentato. Seg-Net è un'architettura di rete neurale convoluzionale (CNN) con una struttura simmetrica per la segmentazione semantica, inclusi un encoder e un decodificatore. Il vantaggio di questo è che il metodo di up-sampling del decodificatore per i diagrammi delle caratteristiche a bassa risoluzione elimina il tempo di apprendimento dell'up-sampling. Il modello PSPNet viene applicato principalmente all'analisi delle scene, aggiungendo informazioni di contesto alla segmentazione semantica, che può evitare errori parziali, risolvere il problema della mancanza di strategie appropriate per utilizzare le informazioni di classificazione delle scene globali e migliorare l'affidabilità dei risultati finali previsti.
Figura 1: Componenti dell'oggettivazione della diagnosi della lingua. Componenti per la diagnosi della lingua, inclusi elementi di ripresa delle immagini, segmentazione della lingua e classificazione della lingua. Fare clic qui per visualizzare una versione ingrandita di questa figura.
Figura 2: Pagina di acquisizione delle immagini. Interfaccia di acquisizione dell'immagine della lingua e contenuto del questionario. Fare clic qui per visualizzare una versione ingrandita di questa figura.
Figura 3: Filtraggio delle immagini e criteri di rifiuto. Un segno di spunta verde rappresenta i criteri di inclusione e una croce rossa rappresenta i criteri di esclusione. Fare clic qui per visualizzare una versione ingrandita di questa figura.
Figura 4: Diagramma schematico del processo di marcatura Labelme. Il software Labelme viene utilizzato per annotare l'intero processo dell'immagine, dall'apertura della cartella al salvataggio del file. Fare clic qui per visualizzare una versione ingrandita di questa figura.
Figura 5: Diagramma di pre-elaborazione dell'immagine. La dimensione dell'immagine ripresa è 1080 x 1920 pixel e la dimensione dell'immagine di riempimento è 1920 x 1920 pixel. Fare clic qui per visualizzare una versione ingrandita di questa figura.
Figura 6: Diagramma di flusso della configurazione dell'ambiente. L'algoritmo può essere eseguito solo dopo la configurazione dell'ambiente. Fare clic qui per visualizzare una versione ingrandita di questa figura.
Figura 7: Diagramma dettagliato dell'esecuzione dell'addestramento dell'algoritmo. Passaggi dettagliati e metodi di esecuzione nell'operazione dell'algoritmo. Fare clic qui per visualizzare una versione ingrandita di questa figura.
Figura 8: Diagramma di flusso del modello di algoritmo in training e testing. I passaggi importanti dell'algoritmo, tra cui l'elaborazione dei dati, l'addestramento dell'algoritmo e il test dell'algoritmo. Fare clic qui per visualizzare una versione ingrandita di questa figura.
Figura 9: Struttura dell'algoritmo Seg-Net. Struttura logica dell'algoritmo Seg-Net e processo di esecuzione del codice. Fare clic qui per visualizzare una versione ingrandita di questa figura.
Figura 10: Struttura dell'algoritmo U-Net. Struttura logica dell'algoritmo U-Net e processo di esecuzione del codice. Fare clic qui per visualizzare una versione ingrandita di questa figura.
Figura 11: Studi di segmentazione del flusso dell'immagine della lingua. L'area rossa nell'immagine è il risultato della segmentazione della lingua e l'area verde è il risultato della segmentazione del rivestimento della lingua. Fare clic qui per visualizzare una versione ingrandita di questa figura.
Figura 12: Tabella comparativa di quattro metriche dell'algoritmo. MIoU, MPA, precisione e richiamo sono tutti indici di valutazione delle prestazioni dell'algoritmo. Maggiore è il valore, migliori sono le prestazioni dell'algoritmo e maggiore è la precisione della segmentazione. Fare clic qui per visualizzare una versione ingrandita di questa figura.
Figura 13: Confronto dei risultati dei quattro algoritmi per la segmentazione della lingua. L'area rossa nell'immagine è il risultato della segmentazione della lingua e l'area verde è il risultato della segmentazione del rivestimento della lingua. Fare clic qui per visualizzare una versione ingrandita di questa figura.
Figura 14: Diagramma della struttura dell'algoritmo U-Net. Le caselle blu/bianche indicano la mappa delle caratteristiche, mentre il numero sopra la mappa delle caratteristiche rappresenta il numero di canali. Fare clic qui per visualizzare una versione ingrandita di questa figura.
| MIoU | .MPA | Precisione | Ricordare | |
| U-Net | 84.00% | 89.38% | 91.90% | 89.38% |
| DeeplabV3 | 59.68% | 61.33% | 84.21% | 61.33% |
| PSPNet | 67.80% | 72.56% | 82.71% | 72.56% |
| SegNet | 80.09% | 87.14% | 88.53% | 87.14% |
Tabella 1: Confronto di quattro metriche dei risultati della segmentazione dell'algoritmo. Le metriche erano MIoU, MPA, precisione e richiamo.
File di codifica supplementare 1: U-Net_training. Codice di addestramento del modello U-Net. Clicca qui per scaricare questo file.
File di codifica supplementare 2: Seg-Net_training. Codice di addestramento del modello Seg-Net. Clicca qui per scaricare questo file.
File di codifica supplementare 3: DeeplabV3_training. Codice di addestramento del modello DeeplabV3. Clicca qui per scaricare questo file.
File di codifica supplementare 4: PSPNet_training. Codice di training del modello PSPNet. Clicca qui per scaricare questo file.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Sulla base dei risultati del confronto presentati sopra, è evidente che le caratteristiche dei quattro algoritmi in esame sono varie e i loro distinti vantaggi e svantaggi sono descritti di seguito. La struttura U-Net, basata sulla modifica e l'espansione di una rete di convoluzione completa, può ottenere informazioni contestuali e posizionamento preciso attraverso un percorso di contrazione e un percorso di espansione simmetrico. Classificando ogni punto pixel, questo algoritmo raggiunge una maggiore precisione di segmentazione e segmenta l'immagine con il modello addestrato più rapidamente. D'altra parte, l'algoritmo Seg-Net, che comprende una struttura simmetrica di un encoder e un decoder, ha il vantaggio di adattarsi rapidamente a nuovi problemi e di funzionare bene in compiti come la parola, la semantica, la visione e il gioco. Tuttavia, l'algoritmo richiede una grande quantità di dati, rendendolo impegnativo in termini di configurazione hardware, e quindi è applicabile solo per alcune attività. Come framework più generale, l'algoritmo DeeplabV3 ha il vantaggio di migliorare i moduli ASSP per la maggior parte delle reti e di disporli in cascata o in parallelo per migliorare le prestazioni complessive. Tuttavia, la mappa delle caratteristiche finale deve essere ottenuta con l'up-sampling alle frequenze 8 e 16, che è relativamente approssimativa e potrebbe essere migliorata in seguito. Inoltre, il modello PSPNet ha la caratteristica più significativa di aggregare informazioni contestuali provenienti da diverse regioni attraverso il modulo PSP, migliorando così l'accesso alle informazioni globali e fornendo buoni risultati su più set di dati. I risultati indicano che il modello U-Net ha la massima precisione di segmentazione e il miglior effetto di segmentazione in questo ambiente di ricerca.
L'architettura U-Net dimostra la sua superiorità nella segmentazione delle immagini mediche12. Inizialmente progettato per la segmentazione di immagini cellulari 2D, l'algoritmo U-Net è stato ulteriormente sviluppato sostituendo il suo modulo 2D con un modulo 3D. Questa modifica ha rafforzato la sua capacità di elaborare immagini 3D come la risonanza magnetica (MRI), la tomografia computerizzata (TC) e le immagini a ultrasuoni tridimensionali (3D). Segmentando le immagini mediche in organi, tessuti e lesioni, è possibile ottenere preziosi dati clinici. L'algoritmo U-Net migliorato rappresenta uno strumento efficace per esami e trattamenti successivi. Nella diagnostica medica, la classificazione delle immagini è una parte cruciale di molti processi diagnostici. La medicina tradizionale si basa sull'osservazione di tutti i segni visibili, tra cui la lingua, la pelle e l'espressione. L'emergere e il progresso della tecnologia di segmentazione delle immagini mediche rivestono un'importanza significativa nella diagnosi medica. In TCM, l'analisi delle immagini del volto e della lingua richiede l'utilizzo di vari algoritmi di apprendimento approfondito per la classificazione dell'estrazione delle caratteristiche. D'altra parte, gli algoritmi di segmentazione delle immagini sono ampiamente utilizzati nella medicina occidentale, fornendo una base per la diagnosi clinica e la patologia13.
Il processo di ricerca di questo studio comprende passaggi critici, tra cui la pre-elaborazione dei dati, l'addestramento e il test degli algoritmi e il confronto delle prestazioni degli algoritmi. Inizialmente, i dati grezzi vengono sottoposti a elaborazione, etichettatura e divisione in set di addestramento e test per facilitare la successiva costruzione dell'algoritmo. I dati elaborati vengono quindi inseriti nella rete neurale e la funzione di perdita viene impostata per determinare il vettore gradiente attraverso la propagazione indietro. Successivamente, i parametri vengono regolati fino al completamento del processo di formazione. Le prestazioni dell'algoritmo vengono valutate testando l'effetto di segmentazione dell'immagine utilizzando più indici, come MIoU, MPA, precisione e richiamo per valutarne le prestazioni in modo completo. Durante l'effettivo processo di addestramento dell'algoritmo, può verificarsi un overfitting, in cui il modello apprende i dati in modo troppo approfondito, comprese le caratteristiche dei dati di rumore. Ciò si traduce nell'identificazione dei dati durante i test successivi, in una classificazione errata dei dati e in una scarsa capacità di generalizzazione. Se si verifica un overfitting, è possibile aumentare i dati di allenamento o ripulire i dati. In questo studio viene adottato il metodo iterativo della discesa del gradiente. L'over-fitting può anche essere evitato interrompendo l'iterazione in anticipo.
Il limite di questo studio è evidente; Le immagini sono state raccolte utilizzando strumenti fissi e gli strumenti sperimentali non possono attualmente essere utilizzati per scopi commerciali. Di conseguenza, le immagini della lingua in questo studio provengono da una singola scena e non riflettono interamente il background clinico e le condizioni di luce complesse e variabili. Pertanto, sono necessarie ulteriori ricerche per studiare le tecniche di elaborazione delle immagini in ambienti complessi e condizioni di scarsa illuminazione. Gli studi di oggettivazione della diagnosi della lingua contengono contenuti ricchi, quindi è essenziale un'accurata segmentazione del corpo della lingua. Di conseguenza, confrontare e verificare gli algoritmi con l'effetto di segmentazione più adatto è significativo per gli studi successivi. La combinazione della segmentazione della lingua con la classificazione può teoricamente ottenere un giudizio automatico dell'immagine della lingua e assistere nella diagnosi; Gli studiosi hanno esplorato e studiato questo argomento. Nel settore sanitario, l'utilizzo dell'Internet of Things e delle tecnologie di comunicazione wireless per elaborare immagini biomediche, nonché l'assistenza diagnostica, può migliorare l'efficienza di un sistema. Mansour et al.14 hanno progettato un'immagine automatizzata del colore della lingua (ASDL-TCI) basata sull'apprendimento approfondito collaborativo e sull'Internet of Things. Include l'acquisizione dei dati, la pre-elaborazione, l'estrazione delle caratteristiche, la classificazione e l'ottimizzazione dei parametri. La precisione, la velocità di richiamo e l'accuratezza di questo modello sono rispettivamente 0,984, 0,973 e 0,983, che sono superiori ad altri metodi.
Acquisizione e pre-elaborazione delle immagini
Durante il processo di acquisizione delle immagini, l'intensità e la varietà delle sorgenti luminose possono influire direttamente sulla qualità dell'immagine, che a sua volta influenza la segmentazione dell'immagine e i risultati della classificazione. Pertanto, è essenziale impostare la sorgente luminosa per imitare l'effetto delle sorgenti luminose naturali il più fedelmente possibile. Inoltre, metodi come l'utilizzo di sorgenti luminose standard o l'impiego di più sorgenti luminose e le riprese in una scena fissa possono prevenire l'impatto negativo di luce, sfondo e altri fattori, migliorando così l'accuratezza della segmentazione algoritmica. I parametri di illuminazione dello strumento utilizzati per raccogliere le immagini della lingua non sono identici all'illuminazione standard, il che influisce sull'effetto di resa cromatica delle immagini della lingua. Pertanto, il metodo di pre-elaborazione più comune utilizzato è la correzione del colore. Cai et al.15 hanno scoperto che per risolvere la discrepanza tra i dati di colore di un'immagine della lingua e la crominanza del colore della lingua corrispondente, è necessaria la normalizzazione della conversione dello spazio colore e la correzione del colore dell'immagine della lingua. Anche le prestazioni cromatiche del dispositivo di visualizzazione si discostano dal corpo della linguetta reale, richiedendo test e regolazioni. Inoltre, le dimensioni dell'immagine variano a causa dei diversi strumenti di acquisizione utilizzati durante il processo di raccolta delle immagini16. Per migliorare l'efficienza della formazione e risparmiare spazio di archiviazione, la rete di deep learning presenta limitazioni sulle dimensioni dell'immagine di input. Pertanto, le dimensioni dell'immagine devono essere standardizzate durante la fase di pre-elaborazione dell'immagine. In genere, ciò si ottiene rimodellando uniformemente le dimensioni dell'immagine di input per il training del modello, con metodi di rimodellamento comunemente usati come interpolazione, ritaglio, inclusione, affiancamento e mirroring.
Segmentazione dell'immagine della lingua
La segmentazione dell'immagine della lingua può essere classificata in due tipi: metodi di segmentazione tradizionali e di deep learning17. I metodi tradizionali di segmentazione dell'immagine della lingua consistono in algoritmi come l'algoritmo Snake e l'algoritmo Otsu. Come modello di contorno attivo, l'algoritmo Snake18 imposta prima una curva di profilo e quindi regola il profilo iniziale per evolvere in una vera curva di profilo. L'acquisizione dei contorni iniziali e l'evoluzione dei contorni sono l'obiettivo principale della ricerca per l'algoritmo Snake. D'altra parte, l'algoritmo Otsu è un classico algoritmo di segmentazione della soglia che impiega una o più soglie per calcolare il valore di grigio sull'immagine originale e confrontare il valore della scala di grigi di ciascun pixel con il valore di soglia. Sulla base dei risultati del confronto, la lingua e lo sfondo sono rappresentati prima dell'avvento dei metodi di deep learning. Questi due algoritmi sono comunemente usati nell'elaborazione delle immagini della lingua e nell'oggettivazione della diagnosi della lingua.
Dall'avvento della teoria del deep learning, numerosi studiosi hanno studiato l'integrazione dell'oggettivazione della diagnosi della lingua e dell'apprendimento profondo. Zheng et al.19 hanno ideato un metodo di rilevamento della lingua basato sulla segmentazione delle immagini amalgamando vari algoritmi ed esplorando il metodo di rilevamento della lingua in un ambiente aperto, ottenendo infine risultati favorevoli alla segmentazione della lingua. Yuan et al.20 hanno proposto un metodo di segmentazione della lingua basato sulla funzione di perdita di pixel singoli dell'associazione regionale, in cui la funzione di perdita migliorata ha tenuto conto della correlazione tra i pixel della regione. Utilizzando l'apprendimento supervisionato della semantica delle etichette pixel, l'efficienza di addestramento del modello è stata migliorata, esemplificata dall'indice MIoU che ha raggiunto il 96,32%. L'immagine della lingua mostrava caratteristiche morfologiche specifiche come segni di denti, crepe e punture, strettamente legate all'insorgenza della malattia. Pertanto, l'osservazione della lingua può aiutare a diagnosticare il progresso della malattia. Wang et al21 hanno proposto un approccio di segmentazione della frattura della lingua ad apprendimento profondo per piccoli set di dati di campioni che hanno prodotto una maggiore precisione e stabilità. Questo metodo prevedeva prima la divisione del corpo della lingua, seguita dalle crepe della lingua, e migliorava l'algoritmo U-Net incorporando la perdita di messa a fuoco come perdita di funzione.
Classificazione delle immagini della lingua
La classificazione delle immagini della lingua comporta principalmente l'identificazione di caratteristiche come il colore della lingua, le spine, le crepe e il colore del rivestimento. Wang et al.22 hanno impiegato l'algoritmo Snake per segmentare il corpo della lingua e hanno utilizzato tecniche come la registrazione delle immagini delle informazioni reciproche, il rilevamento del bordo del registro, la linea parallela e altri metodi per identificare le forature. Questo approccio ha risolto efficacemente il problema dell'identificazione e del conteggio automatico delle punte, facilitando al contempo la diagnosi precoce e la prevenzione. Per affrontare i limiti associati all'addestramento dell'algoritmo dell'immagine della lingua, come un grande volume di dati, lunghi tempi di addestramento e requisiti elevati di attrezzature, Yang et al.23hanno proposto una rete neurale completamente connessa basata sull'apprendimento del trasferimento. Questo metodo utilizza il Inception_v3 ben addestrato per estrarre le caratteristiche e combinarle con la rete neurale completamente connessa (FCN), ottenendo un tasso di precisione superiore al 90%. Questo approccio ha risolto il problema del deep learning in piccoli campioni e classificazioni multiple. Song et al.24 hanno utilizzato un classificatore a cascata per individuare le immagini su GoogLe-Net e Res-Net per l'apprendimento del trasferimento, l'addestramento e l'applicazione dell'apprendimento profondo per classificare automaticamente tre caratteristiche dell'immagine della lingua: segni dei denti, crepe e spessore del rivestimento della lingua. L'accuratezza media dei risultati della classificazione ha superato il 94%. Tuttavia, l'algoritmo di classificazione dell'immagine della lingua è altamente suscettibile alle interferenze di altre parti non correlate del viso, con un impatto diretto sull'accuratezza della classificazione25.
Zhai et al.26 hanno sviluppato un algoritmo multistadio per classificare le immagini della lingua usando meccanismi di attenzione. Questo metodo migliora l'accuratezza dell'identificazione delle regioni della lingua estraendo caratteristiche da vari campi visivi percettivi, che vengono fusi durante la fase di localizzazione della lingua. Inoltre, il modulo del meccanismo di attenzione migliora l'accuratezza della classificazione dell'immagine della lingua, che sopprime le interferenze delle impurità della lingua. Di fronte al problema di classificare le caratteristiche della lingua di diverse malattie27, gli algoritmi di deep learning possono anche fornire nuovi approcci. Inoltre, Shi et al.28 hanno studiato un tipico metodo di classificazione per il carcinoma polmonare non a piccole cellule basato sull'algoritmo dell'albero decisionale C5.0. Hanno identificato sette regole di classificazione degli attributi rilevanti per il certificato di carenza Qi e la classificazione del certificato di carenza Yin. La precisione del modello è risultata essere dell'80,37%. Inoltre, Li et al.29 hanno sviluppato un modello diagnostico per il diabete utilizzando l'algoritmo della foresta stocastica. Hanno ulteriormente analizzato le caratteristiche di texture e colore dalle immagini della lingua per migliorare le prestazioni del modello.
Conclusione
In contrasto con gli approcci diagnostici contemporanei della medicina occidentale, i metodi diagnostici della MTC sono minimamente invasivi e comportano danni minimi. Inoltre, i quattro metodi diagnostici di osservazione, ascolto o olfatto, indagine e palpazione hanno le loro basi in diversi aspetti della MTC. Tuttavia, a causa della forte dipendenza della diagnosi e del trattamento della MTC dall'esperienza del professionista e dai concetti di trattamento personale, potrebbe esserci una carenza di obiettività e standardizzazione. Di conseguenza, la tendenza verso l'oggettivazione della diagnosi di MTC è emersa come direzione per ulteriori ricerche, che potrebbero promuovere il progresso della MTC.
L'oggettivazione della diagnosi della lingua possiede il potenziale per elaborare immagini e grandi quantità di dati con alta efficienza, che potrebbe aiutare significativamente i medici. Tuttavia, è essenziale notare che la diagnosi della lingua non è solo un metodo tradizionale, ma è stato anche convalidato. Chen et al.30 hanno condotto uno studio in cui hanno raccolto dati clinici sulle immagini della lingua di 382 pazienti COVID-19. Hanno analizzato statisticamente le caratteristiche dell'immagine della lingua e i parametri del modello di colore del laboratorio per tutti i gruppi di imaging. I risultati dello studio hanno rivelato una correlazione tra le caratteristiche delle immagini della lingua e il tipo di medicina occidentale utilizzata. Inoltre, i cambiamenti nelle immagini della lingua si allineano con la patogenesi complessiva della malattia. Alcuni parametri delle immagini della lingua potrebbero potenzialmente aiutare a prevedere i cambiamenti patogeni di COVID-19 nella MTC31.
Mentre oggettivavano la tradizionale diagnosi medica della lingua, numerosi ricercatori hanno utilizzato il metodo di segmentazione e classificazione. Il deep learning e le reti neurali di convoluzione sono essenziali per classificare le caratteristiche dell'immagine della lingua. L'accuratezza dell'algoritmo di segmentazione dell'immagine della lingua è fondamentale in quanto determina se la lingua può essere separata con precisione dal viso, influenzando così l'accuratezza della successiva classificazione delle caratteristiche. Di conseguenza, migliorare l'accuratezza dell'attuale modello di algoritmo è un obiettivo cruciale della ricerca in questo campo. Al momento, migliorare il modello dell'algoritmo e la sua accuratezza è un hotspot di ricerca.
Questo studio ha utilizzato gli stessi dati del set di test per confrontare le prestazioni degli algoritmi U-Net, Seg-Net, DeeplabV3 e PSPNet4. Questa misura è stata adottata per garantire la coerenza della qualità dei dati utilizzati. Nell'ambiente sperimentale impiegato in questo studio, l'algoritmo U-Net ha sovraperformato significativamente gli altri tre algoritmi per quanto riguarda l'accuratezza della segmentazione. MIoU è la misura di annotazione dell'algoritmo di segmentazione semantica32, l'indice più cruciale utilizzato per valutare le prestazioni dell'algoritmo. Il valore MIoU dell'algoritmo U-Net era superiore del 3,91% rispetto a quello dell'algoritmo Seg-Net, superiore del 23,32% rispetto a quello di DeeplabV3 e superiore del 16,2% rispetto a quello di PSPNet. Ciò fornisce la prova che l'algoritmo U-Net funziona meglio degli altri algoritmi.
Tuttavia, ci sono alcuni problemi nella segmentazione e classificazione delle immagini della lingua utilizzando algoritmi di deep learning. Ad esempio, a causa della privacy dei pazienti, i set di dati di immagini mediche sono di dimensioni troppo ridotte rispetto ad altri set di dati semantici segmentati, il che limita i vantaggi del deep learning nei big data. La segmentazione del modello a parametri di grandi dimensioni è soggetta al problema del fitting. Pertanto, la struttura della rete deve essere adattata selezionando le opportune modalità di miglioramento. Allo stato attuale, la ricerca sull'oggettivazione della diagnosi della lingua non ha ancora formato uno standard di raccolta uniforme; L'ambiente di acquisizione e il tipo di sorgente luminosa mancano di un'adeguata standardizzazione. I ricercatori di solito impostano l'ambiente di raccolta e costruiscono il proprio database non pubblico. Allo stesso tempo, sebbene gli attuali modelli algoritmici possano raggiungere una buona precisione, i dati utilizzati vengono attentamente selezionati e pre-elaborati, il che è difficile da ottenere nell'ambiente di diagnosi e trattamento reale, limitando così la sua applicazione clinica. Inoltre, un'ulteriore oggettivazione della diagnosi della lingua riguarderà ambienti complessi o immagini della lingua catturate da diversi dispositivi33. Un'altra tendenza è l'elaborazione dinamica delle informazioni, in particolare l'elaborazione delle immagini video, che fornisce informazioni più dettagliate sulla lingua e riflette in modo più completo i vantaggi della diagnosi della lingua. Pertanto, è necessario sviluppare algoritmi di deep learning per elaborare dettagli dinamici. Nel complesso, l'oggettivazione della diagnosi della lingua medica combinata con algoritmi di deep learning promette di ridurre la soggettività nella diagnosi TCM.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Gli autori non hanno alcun conflitto di interessi da dichiarare.
Acknowledgments
Questo lavoro è stato sostenuto dalla National Nature Foundation of China (sovvenzione n. 82004504), dal National Key Research and Development Program del Ministero della Scienza e della Tecnologia della Cina (sovvenzione n. 2018YFC1707606), dalla Chinese Medicine Administration della provincia del Sichuan (sovvenzione n. 2021MS199) e dalla National Nature Foundation of China (sovvenzione n. 82174236).
Materials
| Name | Company | Catalog Number | Comments |
| CPU | Intel(R) Core(TM) i7-9700K | ||
| GPU | NVIDIA GeForce RTX 3070 Ti (8192MB) | ||
| Operating systems | Microsoft Windows 10 Professional Edition (64-bit) | ||
| Programming language | Python | ||
| RAM | 16G |
References
- Jiu, G., et al. Effects of herbal therapy on intestinal microbiota and serum metabolomics in different rat models of Mongolian medicine. Evidence-Based Complementary and Alternative. 2022, 7255780 (2022).
- Xi, J., Xin, Y., Teregle, Study on the correlation between the animal model of Mongolian medicine 34;Xieri disease" and serum ALT and AST. Electronic Journal of Cardiovascular Diseases in Combination of Traditional Chinese. 4 (33), 134-135 (2016).
- Yin, L., et al. Study on the mechanism of serum differential protein changes in bronchial asthma based on proteomics. Chinese Journal of Traditional Chinese Medicine. 47 (22), 6227-6234 (2022).
- Wang, X. H., Bao, L. Band Seed. The origin and development of tongue diagnosis in Mongolian medicine. Chinese Ethnic Folk Medicine. (1), 64-65 (2008).
- Yang, S., et al. A comparative study on the feature parameters of tongue diagnosis images in five nationalities. Chinese Journal of Traditional Chinese Medicine. 36 (11), 6428-6430 (2021).
- He, J. Y., et al. Efficacy and safety of Chou-Ling-Dan granules in the treatment of seasonal influenza via combining Western and traditional Chinese medicine, protocol for a multicentre, randomised controlled clinical trial. BMJ Open. 9 (4), e024800 (2019).
- Wang, D. J., et al. Scientific knowledge mapping and visualization analysis in the field of Chinese medicine tongue feature objectification research. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3032-3040 (2021).
- Yuan, S. M., Qian, P., Li, F. F. Research progress of color correction methods for tongue and face diagnosis in traditional Chinese Medicine. Chinese Journal of Traditional Chinese Medicine. 34 (9), 4183-4185 (2019).
- Kanawong, R., et al. Tongue image analysis and its mobile app development for health diagnosis. Advances in Experimental Medicine and Biology. 1005, 99-121 (2017).
- Yu, Y., et al. Semantic segmentation evaluation index and evaluation method. Computer Engineering and Application. , (2023).
- Sehyung, L., Negishi, M., Urakubo, H., Kasai, H., Ishii, S. Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration. Neural Networks. 125, 92-103 (2020).
- Huang, X. M., et al. A review on the application of U-Net and its variants in medical image segmentation. Chinese Journal of Biomedical Engineering. 41 (5), 567-576 (2022).
- Lu, J. H., Xu, Y. F., Wang, Y. Q., Hao, Y. M. Research overview of tongue objectification in traditional Chinese medicine based on computer image technology. World Science and Technology - Modernization of Traditional Chinese Medicine. 24 (11), 4568-4573 (2022).
- Mansour, R. F., Althobaiti, M. M., Ashour, A. A. Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification. IEEE Access. 9, 94769-94779 (2021).
- Cai, Y. H., Hu, S. B., Guan, J., Zhang, X. F. Analysis of the development and application of tongue diagnosis objectification techniques in Chinese medicine. World Science and Technology - Modernization of Chinese Medicine. 23 (7), 2447-2453 (2021).
- Ghosh, S., Das, N., Nasipuri, M. Reshaping inputs for convolutional neural network: some common and uncommon methods. Pattern Recognition. 93, 79-94 (2019).
- Shang, Z. M., et al. Research progress of digital acquisition and characterization of tongue diagnosis information. Chinese Journal of Traditional Chinese Medicine. 36 (10), 6010-6013 (2021).
- Ning, J., Zhang, D., Wu, C., Yue, F. Automatic tongue image segmentation based on gradient vector flow and region merging. Neural Computing and Applications. 21, 1819-1826 (2012).
- Zheng, F., Huang, X. Y., Wang, B. L., Wang, Y. H. A method for tongue detection based on image segmentation. Journal of Xiamen University. 55 (6), 895-900 (2016).
- Li, Y. T., Luo, Y. S., Zhu, Z. M. Deep learning-based tongue feature analysis. Computer Science. 47 (11), 148-158 (2020).
- Wang, Y. D., Sun, C. H., Cui, J. L., Wu, X. R., Qin, Y. X. Research on deep learning-based tongue fissure segmentation algorithm. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3065-3073 (2021).
- Wang, X. M., Wang, R. Y., Guo, D., Lu, S. Z., Zhou, P. Research on the identification method of tongue punctures based on auxiliary light source. Journal of Sensing Technology. 29 (10), 1553-1559 (2016).
- Yang, J. D., Zhang, P. A fully connected neural network based on migration learning for tongue image classification. Journal of the Second Military Medical University. 39 (8), 897-902 (2018).
- Song, C., Wang, B., Xu, J. T. Research on tongue feature classification method based on deep migration learning. Computer Engineering and Science. 43 (8), 1488-1496 (2021).
- Ding, H. J., He, J. C. Study on modern techniques and methods of tongue diagnosis. Shi Zhen Chinese Medicine. 21 (5), 1230-1232 (2010).
- Zhai, P. B., et al. A multi-stage tongue image classification algorithm incorporating attention mechanism. Computer Engineering and Design. 42 (6), 1606-1613 (2021).
- Hou, Y. S. A new clustering analysis algorithm based on deep learning. Journal of Xinxiang University. 35 (12), 4 (2018).
- Shi, Y. L., et al. A decision tree algorithm for classification of non-small cell lung cancer evidence based on tongue and pulse data. World Science and Technology - Modernization of Chinese Medicine. 24 (7), 2766-2775 (2022).
- Li, J., Hu, X. J., Zhou, C. L., Xu, J. T. Study on the feature analysis and diagnosis model of diabetic tongue based on random forest algorithm. Chinese Journal of Traditional Chinese Medicine. 37 (3), 1639-1643 (2022).
- Chen, C. H., et al. The characteristics of the combination of the four diagnostic methods of traditional Chinese medicine from the perspective of the differences between Chinese and Western medical diagnosis methods. Journal of Guangzhou University of Traditional Chinese Medicine. 28 (3), 332-334 (2011).
- Chen, R., et al. Correlation analysis of tongue image and western medicine typing in 382 patients with novel coronavirus pneumonia based on Lab colour model and imaging histology. Chinese Journal of Traditional Chinese Medicine. 36 (12), 7010-7014 (2021).
- Ju, J. W., Jung, H., Lee, Y. J., Mun, S. W., Lee, J. H. Semantic segmentation dataset for AI-based quantification of clean mucosa in capsule endoscopy. Medicina. 58 (3), 397 (2022).
- Wu, X., et al. A review of research on deep learning in tongue image classification. Computer Science and Exploration. , 1-23 (2022).
