Summary
La présente étude a utilisé U-Net et d’autres algorithmes d’apprentissage profond pour segmenter une image de langue et a comparé les résultats de la segmentation pour étudier l’objectivation du diagnostic de la langue.
Abstract
Le diagnostic de la langue est une technique essentielle du diagnostic de la médecine traditionnelle chinoise (MTC), et le besoin d’objectiver les images de la langue grâce à la technologie de traitement d’image augmente. La présente étude donne un aperçu des progrès réalisés dans l’objectivation de la langue au cours de la dernière décennie et compare les modèles de segmentation. Différents modèles d’apprentissage profond sont construits pour vérifier et comparer les algorithmes à l’aide d’ensembles d’images de langue réelles. Les forces et les faiblesses de chaque modèle sont analysées. Les résultats indiquent que l’algorithme U-Net surpasse les autres modèles en ce qui concerne la précision de précision (PA), le rappel et l’intersection moyenne sur les mesures d’union (MIoU). Cependant, malgré les progrès significatifs dans l’acquisition et le traitement de l’image de la langue, une norme uniforme pour objectiver le diagnostic de la langue n’a pas encore été établie. Pour faciliter l’application généralisée des images de langue capturées à l’aide d’appareils mobiles dans l’objectivation du diagnostic de la langue, d’autres recherches pourraient résoudre les défis posés par les images de langue capturées dans des environnements complexes.
Introduction
L’observation de la langue est une technique largement utilisée dans la médecine ethnique traditionnelle chinoise (MTC). La couleur et la forme de la langue peuvent refléter la condition physique et diverses propriétés, sévérités et pronostics de la maladie. Par exemple, dans la médecine traditionnelle Hmong, la couleur de la langue est utilisée pour identifier la température corporelle, par exemple, une langue rouge ou violette indique des facteurs pathologiques liés à la chaleur. Dans la médecine tibétaine, une condition est jugée en observant la langue d’un patient, en prêtant attention à la couleur, la forme et l’humidité du mucus. Par exemple, les langues des patients atteints de la maladie de Heyi deviennent rouges et rugueuses ou noires et sèches1; les patients atteints de la maladie de Xieri2 ont la langue jaune et sèche; pendant ce temps, les patients atteints de la maladie de Badakan3 ont une langue blanche, humide et douce4. Ces observations révèlent la relation étroite entre les caractéristiques de la langue et la physiologie et la pathologie. Dans l’ensemble, l’état de la langue joue un rôle essentiel dans le diagnostic, l’identification de la maladie et l’évaluation de l’effet du traitement.
Simultanément, en raison de la diversité des conditions de vie et des pratiques alimentaires entre les différents groupes ethniques, les variations dans les images de la langue sont évidentes. Le modèle Lab, établi sur la base d’une norme internationale pour la détermination de la couleur, a été formulé par la Commission Internationale d’Éclairage (CIE) en 1931. En 1976, un motif de couleur a été modifié et nommé. Le modèle colorimétrique Lab est composé de trois éléments : L correspond à la luminosité, tandis que a et b sont deux canaux de couleur. a Comprend des couleurs allant du vert foncé (valeur de luminosité faible) au gris (valeur de luminosité moyenne) en passant par le rose vif (valeur de luminosité élevée); b va du bleu vif (valeur de luminosité faible) au gris (valeur de luminosité moyenne) puis au jaune (valeur de luminosité élevée). En comparant les valeurs L x a x b de la couleur de la langue de cinq groupes ethniques, Yang et al.5 ont constaté que les caractéristiques des images de langue des groupes Hmong, Hui, Zhuang, Han et mongol étaient significativement distinctes les unes des autres. Par exemple, les Mongols ont une langue foncée avec un revêtement de langue jaune, tandis que les Hmong ont des langues claires avec un revêtement de langue blanche, ce qui suggère que les caractéristiques de la langue peuvent être utilisées comme indicateur diagnostique pour évaluer l’état de santé d’une population. De plus, les images de langue peuvent fonctionner comme un indice d’évaluation pour la médecine fondée sur des preuves dans la recherche clinique de la médecine ethnique. Lui et coll.6 ont utilisé des images de langue comme base pour le diagnostic de la MTC et ont systématiquement évalué l’innocuité et l’efficacité des pastilles de Chou-Ling-Dan (granules de DCC utilisés pour traiter les maladies inflammatoires et fébriles, y compris la grippe saisonnière dans la MTC) combinés à la médecine chinoise et occidentale. Les résultats ont établi la validité scientifique des images de langue comme indice d’évaluation pour les études cliniques. Néanmoins, les tradipraticiens s’appuient généralement sur la subjectivité pour observer les caractéristiques de la langue et évaluer les conditions physiologiques et pathologiques des patients, nécessitant des indicateurs plus précis.
L’émergence d’Internet et de la technologie de l’intelligence artificielle a ouvert la voie à la numérisation et à l’objectivation du diagnostic de la langue. Ce processus implique l’utilisation de modèles mathématiques pour fournir une description qualitative et objective des images de la langue7, reflétant le contenu de l’image de la langue. Le processus comprend plusieurs étapes : acquisition d’image, compensation optique, correction des couleurs et transformation géométrique. Les images prétraitées sont ensuite introduites dans un modèle algorithmique pour le positionnement et la segmentation des images, l’extraction de caractéristiques, la reconnaissance de formes, etc. Le résultat de ce processus est un diagnostic très efficace et précis des données d’image de la langue, atteignant ainsi l’objectif d’objectivation, de quantification et d’informatisation du diagnostic de la langue8. Ainsi, l’objectif d’un traitement de haute efficacité et de haute précision des données de diagnostic de la langue est atteint. Basée sur les connaissances en matière de diagnostic de la langue et la technologie d’apprentissage profond, cette étude a automatiquement séparé le corps de la langue et le revêtement de la langue des images de la langue à l’aide d’un algorithme informatique, afin d’extraire les caractéristiques quantitatives des langues pour les médecins, d’améliorer la fiabilité et la cohérence du diagnostic et de fournir des méthodes pour la recherche ultérieure sur l’objectivation du diagnostic de la langue9.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Cette étude a été approuvée par le projet de la Fondation nationale des sciences naturelles de Chine, Constructing Dynamic Change rules of TCM Facial image Based on Association Analysis. Le numéro d’approbation éthique est 2021KL-027, et le comité d’éthique a approuvé l’étude clinique à réaliser conformément aux documents approuvés qui comprennent le protocole de recherche clinique (2021.04.12, V2.0), le consentement éclairé (2021.04.12, V2.0), le matériel de recrutement des sujets (2021.04.12, V2.0), les cas d’étude et / ou les rapports de cas, les cartes de journal sujet et autres questionnaires (2021.04.12, V2.0), une liste des participants à l’essai clinique, approbation de projets de recherche, etc. Le consentement éclairé des patients participant à l’étude a été obtenu. La principale approche expérimentale de cette étude consiste à utiliser des images réelles de la langue pour valider et comparer les effets de segmentation du modèle. La figure 1 présente les composantes de l’objectivation du diagnostic de la langue.
1. Acquisition d’images
- Utilisez l’instrument de diagnostic lingual du visage portatif développé par vous-même pour collecter des images linguales du visage des patients.
- Remplissez le nom, le sexe, l’âge et la maladie du patient sur la page de l’ordinateur. Les images incluses ici proviennent de patients qui sont venus à la clinique et ont accepté d’être photographiés après avoir été informés du but et du contenu de l’étude. Confirmez que le patient est assis droit, placez tout le visage dans l’instrument d’acquisition d’images et demandez au patient d’étendre sa langue hors de sa bouche au maximum.
- Tenez le dispositif d’acquisition d’images connecté à un ordinateur et vérifiez à l’aide des images sur l’écran de l’ordinateur que le patient est dans la bonne position et que la langue et le visage sont complètement exposés.
- Appuyez trois fois sur le bouton Prise de vue sur l’écran de l’ordinateur pour prendre trois photos.
REMARQUE : L’instrument d’acquisition d’images n’en est actuellement qu’au stade de la demande de brevet et n’est pas destiné à un usage commercial, il n’est donc pas destiné à la vente. - Sélectionnez et filtrez manuellement les images de langue et de visage collectées. Filtrez et excluez les images dont l’exposition de la langue et du visage est incomplète, ainsi que les images trop sombres en raison d’une lumière insuffisante. La figure 2 montre la page d’acquisition d’images du logiciel.
- Dans la conception expérimentale, collectez trois images de chaque patient à la fois comme alternatives et sélectionnez une image relativement standard, entièrement exposée, bien éclairée et claire comme échantillon pour la formation et les tests ultérieurs de l’algorithme.
- Collectez les données après la prise de vue, exportez les données pour un filtrage manuel et supprimez les images non standard visibles à l’œil nu. Utilisez les critères de filtrage et d’exclusion suivants : exposition incomplète de la langue et du visage, et images trop sombres en raison d’une lumière insuffisante. Un exemple d’image sous-éclairée, incomplète et standard est présenté à la figure 3.
REMARQUE: Une lumière insuffisante est généralement causée par l’incapacité du patient à placer le visage entièrement dans l’instrument. L’exposition complète n’est généralement obtenue qu’en photographiant correctement le patient.
2. Segmentation de la langue
- Effectuez une segmentation de l’image de langue à l’aide d’un outil d’annotation en ligne, comme décrit ci-dessous.
- Installez Labelme, cliquez sur le bouton Ouvrir dans le coin supérieur gauche de l’interface de l’étiquette, sélectionnez le dossier où se trouve l’image et ouvrez les photos.
- Cliquez sur créer un polygone pour démarrer les points de suivi, suivre les formes de la langue et de la langue, les nommer en fonction des zones sélectionnées (par exemple, la langue et la surface linguale) et les enregistrer.
- Lorsque toutes les marques sont terminées, cliquez sur Enregistrer pour enregistrer l’image dans le dossier de données. Voir la figure 4 pour un organigramme détaillé.
REMARQUE: Comme les images peuvent avoir des différences de pixels, les images ne peuvent pas être directement utilisées pour la formation et les tests d’algorithme.
- Unifiez les images à la même taille en remplissant les images, avec le côté long de l’image comme longueur de remplissage cible et en effectuant un remplissage de bord blanc pour remplir les images en carré, avec le côté long de l’image comme longueur de bord. La taille de l’image capturée par l’appareil est de 1080 x 1920 pixels et la taille de l’image remplie est de 1920 x 1920 pixels. Voir la figure 5.
- Appliquez l’amélioration de l’image si nécessaire. Aucune amélioration n’a été appliquée dans cette étude, car les images utilisées ont été prises dans une scène fixe et ont été moins affectées par l’environnement, l’éclairage et d’autres facteurs.
- Étant donné que trois images ont été collectées pour chaque patient pendant le processus de prise de vue pour tenir compte de facteurs incontrôlables, tels que le clignotement du sujet et le blocage de l’objectif, filtrez manuellement les images de chaque patient pour conserver une image par patient.
- Dans le but d’entraîner le modèle, collectez les données de 200 personnes ou 600 images. Après la projection, conservez environ 200 images utilisables.
- Selon le numéro d’image, divisez au hasard toutes les images de langue, en plaçant 70% d’entre elles dans l’ensemble d’entraînement et 30% dans l’ensemble de test dans une feuille de calcul.
3. Classification de la langue
- Allez sur les sites officiels et téléchargez et installez Anaconda, Python et Labelme. Activez l’environnement et terminez l’installation et le réglage de l’environnement global. Reportez-vous à la figure 6 pour obtenir un organigramme décrivant l’installation et la configuration du logiciel.
- Créez le modèle d’algorithme de deep learning dans l’environnement installé, ajustez les paramètres et terminez la formation du modèle à l’aide de l’ensemble d’apprentissage. Effectuez la sélection et le réglage du modèle comme décrit dans les étapes suivantes.
- Sélection du modèle : Choisissez le modèle approprié en fonction de l’objectif de la recherche. Après avoir examiné les recherches sur le traitement de l’image de la langue au cours des 5 dernières années, quatre algorithmes, U-Net, Seg-Net, DeeplabV3 et PSPNet, ont été sélectionnés pour validation dans cette étude (voir Fichier de codage supplémentaire 1, Fichier de codage supplémentaire 2, Fichier de codage supplémentaire 3 et Fichier de codage supplémentaire 4 pour les codes de modèle).
- Construction de l’ensemble de données : Après avoir terminé la sélection du modèle, construire l’ensemble de données requis en conjonction avec le contenu de la recherche, principalement en utilisant l’annotation Labelme et les méthodes de taille d’image uniforme, comme décrit ci-dessus.
- Effectuer la formation sur le modèle comme décrit ci-dessous. La figure 7 montre les détails de l’opération d’entraînement de l’algorithme.
- Entrez les données dans le réseau neuronal pour la propagation directe, chaque neurone entrant d’abord une accumulation pondérée de valeurs, puis entrant une fonction d’activation comme valeur de sortie de ce neurone pour obtenir le résultat.
- Entrez le résultat dans la fonction d’erreur et comparez-le avec la valeur attendue pour obtenir l’erreur et juger du degré de reconnaissance par erreur. Plus la fonction de perte est petite, meilleur sera le modèle.
- Réduisez l’erreur par rétropropagation et déterminez le vecteur gradient. Ajustez les pondérations par le vecteur dégradé à la tendance vers les résultats afin que l’erreur tende à être nulle ou diminue.
- Répétez ce processus d’apprentissage jusqu’à ce que l’ensemble soit terminé ou que la valeur d’erreur ne diminue plus, après quoi la formation du modèle est terminée. Voir la figure 8 pour un organigramme du modèle d’algorithme en formation et en test.
- Testez les quatre modèles en utilisant les mêmes données de test pour la segmentation et jugez les performances du modèle en fonction de l’effet de segmentation. Les quatre mesures de précision, de rappel, de précision moyenne des pixels (MPA) et de MIoU fournissent une évaluation plus complète des performances du modèle.
- Une fois les résultats des quatre modèles générés, comparez leurs valeurs horizontalement; Plus la valeur est élevée, plus la précision de segmentation est élevée et meilleures sont les performances du modèle. Voir la figure 9, la figure 10 et la figure 11.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Pour les résultats de la comparaison, voir la figure 12, la figure 13 et le tableau 1, où l’environnement construit par cette étude utilise les mêmes échantillons pour former et tester le modèle algorithmique. Indicateur MIoU: U-Net > Seg-Net > PSPNet > DeeplabV3; Indicateur AMP : U-Net > Seg-Net > PSPNet > DeeplabV3 ; indicateur de précision: U-Net > Seg-Net > DeeplabV3 > PSPNet; rappel : U-Net > Seg-Net > PSPNet > DeeplabV3. Plus la valeur de l’indice est grande, plus la précision de la segmentation est élevée et meilleures sont les performances du modèle. Selon les résultats de l’indice, on peut analyser que l’algorithme U-Net est supérieur aux autres algorithmes en MIoU, MPA, précision et rappel, et sa précision de segmentation est également supérieure à celle des autres algorithmes. Par conséquent, l’algorithme U-Net a les meilleures performances parmi les quatre algorithmes différents. PSPNet est meilleur que DeeplabV3 dans MIoU, MPA et recall, tandis que le modèle DeeplabV3 est inférieur au modèle Seg-Net dans tous les index. Par conséquent, on peut conclure que l’algorithme DeeplabV3 a la performance complète la moins souhaitable parmi les quatre algorithmes de cet environnement de recherche.
Indicateurs d’évaluation
Dans cette étude, la performance du modèle d’algorithme a été validée principalement par la précision, le rappel, la MPA et le MIoU. Les mesures de performance du modèle sont directement liées à la matrice de confusion, qui comprend les résultats de la classification du modèle et reflète le nombre d’échantillons que le modèle a classés correctement et incorrectement. La matrice représente la valeur estimée, équivalente aux résultats de l’ensemble de tests, et la matrice réelle représente la vérité de terrain. Les deux catégories sont divisées en vrai et faux, représentés respectivement par T et F, ce qui donne quatre combinaisons : TP, FP, FN et TN.MPA est la valeur moyenne de la proportion de pixels correctement classés dans chaque catégorie, et MIoU est le rapport moyen intersection/fusion. Il s’agit de la métrique la plus courante pour la segmentation sémantique ; Il calcule le rapport de l’intersection et fusionne les valeurs vraies et prédites10. La formule pour ceux-ci sont:
Précision = , rappel = , MPA = (CPA = , où N est le nombre total de catégories) et MIoU = 
(IoU= ). 
Ces quatre mesures fournissent une évaluation plus complète de l’effet de segmentation des images de langue.
Cette étude a sélectionné quatre modèles d’algorithmes d’apprentissage profond, U-Net, Seg-Net, DeeplabV3 et PSPNet, pour former et tester les modèles d’algorithmes à l’aide de données d’images linguales réelles. U-Net11 a une architecture en forme de U, composée d’un encodeur à gauche et d’un décodeur à droite, et a l’avantage de former des résultats de classification plus précis avec moins de données et d’extraire des caractéristiques d’image de manière exhaustive. Basé sur le réseau Res-Net pour résoudre le problème de segmentation cible multi-échelle, DeepLabV3 adopte la structure de convolution creuse, conçoit le module pour capturer le contexte multi-échelle, supprime le champ aléatoire conditionnel (CRF) et met à niveau le module de mise en commun pyramidale spatiale (ASPP), améliorant considérablement les performances du modèle. La segmentation sémantique vise à obtenir l’étiquette de catégorie pour chaque pixel de l’objet segmenté. Seg-Net est une architecture de réseau de neurones convolutifs (CNN) avec une structure symétrique pour la segmentation sémantique, comprenant un encodeur et un décodeur. L’avantage est que la méthode de suréchantillonnage du décodeur pour les diagrammes de caractéristiques à faible résolution élimine le temps d’apprentissage du suréchantillonnage. Le modèle PSPNet est principalement appliqué à l’analyse des scènes, en ajoutant des informations contextuelles à la segmentation sémantique, ce qui peut éviter une erreur partielle, résoudre le problème du manque de stratégies appropriées pour utiliser les informations de classification globale des scènes et améliorer la fiabilité des résultats finaux prédits.
Figure 1 : Composantes de l’objectivation du diagnostic de la langue. Composants de diagnostic de la langue, y compris les éléments de prise de vue d’image, la segmentation de la langue et la classification de la langue. Veuillez cliquer ici pour voir une version agrandie de cette figure.
Figure 2 : Page d’acquisition d’images. Interface d’acquisition d’images de langue et contenu du questionnaire. Veuillez cliquer ici pour voir une version agrandie de cette figure.
Figure 3 : Filtrage des images et critères de rejet. Une coche verte représente les critères d’inclusion et une croix rouge représente les critères d’exclusion. Veuillez cliquer ici pour voir une version agrandie de cette figure.
Figure 4: Diagramme schématique du processus de marquage de l’étiquette. Le logiciel Labelme est utilisé pour annoter l’ensemble du processus de l’image, de l’ouverture du dossier à l’enregistrement du fichier. Veuillez cliquer ici pour voir une version agrandie de cette figure.
Figure 5 : Diagramme de prétraitement de l’image. La taille de l’image prise est de 1080 x 1920 pixels et la taille de l’image de remplissage est de 1920 x 1920 pixels. Veuillez cliquer ici pour voir une version agrandie de cette figure.
Figure 6 : Organigramme de la configuration de l’environnement. L’algorithme ne peut s’exécuter qu’une fois l’environnement configuré. Veuillez cliquer ici pour voir une version agrandie de cette figure.
Figure 7 : Diagramme détaillé de l’exécution de l’entraînement des algorithmes. Étapes détaillées et méthodes d’exécution dans le fonctionnement de l’algorithme. Veuillez cliquer ici pour voir une version agrandie de cette figure.
Figure 8 : Organigramme du modèle d’algorithme en formation et en test. Les étapes importantes de l’algorithme, y compris le traitement des données, la formation de l’algorithme et les tests d’algorithmes. Veuillez cliquer ici pour voir une version agrandie de cette figure.
Figure 9 : Structure de l’algorithme Seg-Net. Structure logique de l’algorithme Seg-Net et processus d’exécution du code. Veuillez cliquer ici pour voir une version agrandie de cette figure.
Figure 10 : Structure de l’algorithme U-Net. Structure logique de l’algorithme U-Net et processus d’exécution du code. Veuillez cliquer ici pour voir une version agrandie de cette figure.
Figure 11 : Flux des études de segmentation des images de la langue. La zone rouge dans l’image est le résultat de la segmentation de la langue, et la zone verte est le résultat de la segmentation du revêtement de la langue. Veuillez cliquer ici pour voir une version agrandie de cette figure.
Figure 12 : Tableau comparatif de quatre mesures d’algorithme. MIoU, MPA, précision et rappel sont tous des indices d’évaluation de la performance des algorithmes. Plus la valeur est grande, meilleures sont les performances de l’algorithme et plus la précision de la segmentation est élevée. Veuillez cliquer ici pour voir une version agrandie de cette figure.
Figure 13 : Comparaison des résultats des quatre algorithmes de segmentation de la langue. La zone rouge dans l’image est le résultat de la segmentation de la langue, et la zone verte est le résultat de la segmentation du revêtement de la langue. Veuillez cliquer ici pour voir une version agrandie de cette figure.
Figure 14 : Diagramme de structure de l’algorithme U-Net. Les cases bleues/blanches indiquent la carte d’entités, tandis que le nombre au-dessus de la carte d’entités représente le nombre de canaux. Veuillez cliquer ici pour voir une version agrandie de cette figure.
| MIoU | .MPA | Précision | Rappeler | |
| U-Net | 84.00% | 89.38% | 91.90% | 89.38% |
| DeeplabV3 | 59.68% | 61.33% | 84.21% | 61.33% |
| PSPNet | 67.80% | 72.56% | 82.71% | 72.56% |
| SegNet | 80.09% | 87.14% | 88.53% | 87.14% |
Tableau 1 : Comparaison de quatre mesures de résultats de segmentation algorithmique. Les mesures étaient MIoU, MPA, précision et rappel.
Fichier de codage supplémentaire 1 : U-Net_training. Code de formation du modèle U-Net. Veuillez cliquer ici pour télécharger ce fichier.
Fichier de codage supplémentaire 2 : Seg-Net_training. Code de formation modèle Seg-Net. Veuillez cliquer ici pour télécharger ce fichier.
Fichier de codage supplémentaire 3 : DeeplabV3_training. Code d’apprentissage modèle DeeplabV3. Veuillez cliquer ici pour télécharger ce fichier.
Fichier de codage supplémentaire 4 : PSPNet_training. Code d’entraînement modèle PSPNet. Veuillez cliquer ici pour télécharger ce fichier.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Sur la base des résultats de comparaison présentés ci-dessus, il est évident que les caractéristiques des quatre algorithmes considérés sont variées et que leurs avantages et inconvénients distincts sont décrits ci-dessous. La structure U-Net, basée sur la modification et l’expansion d’un réseau de convolution complet, peut obtenir des informations contextuelles et un positionnement précis grâce à un chemin de contraction et un chemin d’expansion symétrique. En classant chaque point de pixel, cet algorithme permet d’obtenir une plus grande précision de segmentation et de segmenter l’image avec le modèle entraîné plus rapidement. D’autre part, l’algorithme Seg-Net, composé d’une structure symétrique d’un encodeur et d’un décodeur, a l’avantage de s’adapter rapidement à de nouveaux problèmes et de bien fonctionner dans des tâches telles que la parole, la sémantique, la vision et les jeux. Cependant, l’algorithme nécessite une grande quantité de données, ce qui le rend exigeant en termes de configuration matérielle, et n’est donc applicable que pour certaines tâches. En tant que cadre plus général, l’algorithme DeeplabV3 a l’avantage d’améliorer les modules ASSP pour la plupart des réseaux et de les disposer en cascade ou en parallèle pour améliorer les performances globales. Cependant, la carte finale des caractéristiques doit être obtenue avec un suréchantillonnage aux taux 8 et 16, ce qui est relativement approximatif et pourrait être amélioré plus tard. De plus, le modèle PSPNet présente la caractéristique la plus importante d’agréger les informations contextuelles de différentes régions par l’intermédiaire du module PSP, améliorant ainsi l’accès à l’information mondiale et fournissant de bons résultats sur plusieurs ensembles de données. Les résultats indiquent que le modèle U-Net a la plus grande précision de segmentation et le meilleur effet de segmentation dans cet environnement de recherche.
L’architecture U-Net démontre sa supériorité dans la segmentation des images médicales12. Initialement conçu pour la segmentation d’images cellulaires 2D, l’algorithme U-Net a été développé en remplaçant son module 2D par un module 3D. Cette modification a renforcé sa capacité à traiter des images 3D telles que l’imagerie par résonance magnétique (IRM), la tomodensitométrie (TDM) et les images échographiques tridimensionnelles (3D). En segmentant les images médicales en organes, tissus et lésions, des données cliniques précieuses peuvent être obtenues. L’algorithme U-Net amélioré représente un outil efficace pour les examens et les traitements ultérieurs. Dans le diagnostic médical, la classification des images est une partie cruciale de nombreux processus de diagnostic. La médecine traditionnelle repose sur l’observation de tous les signes visibles, y compris la langue, la peau et l’expression. L’émergence et l’avancement de la technologie de segmentation des images médicales revêtent une importance significative dans le diagnostic médical. En MTC, l’analyse des images du visage et de la langue nécessite l’utilisation de divers algorithmes d’apprentissage en profondeur pour la classification de l’extraction des caractéristiques. D’autre part, les algorithmes de segmentation d’images sont largement utilisés dans la médecine occidentale, fournissant une base pour le diagnostic clinique et la pathologie13.
Le processus de recherche de cette étude comprend des étapes critiques, notamment le prétraitement des données, la formation et les tests d’algorithmes, ainsi que la comparaison des performances des algorithmes. Initialement, les données brutes sont traitées, étiquetées et divisées en ensembles de formation et de test pour faciliter la construction ultérieure de l’algorithme. Les données traitées sont ensuite introduites dans le réseau neuronal et la fonction de perte est définie pour déterminer le vecteur de gradient par rétropropagation. Par la suite, les paramètres sont ajustés jusqu’à la fin du processus de formation. Les performances de l’algorithme sont évaluées en testant l’effet de segmentation de l’image à l’aide de plusieurs index, tels que MIoU, MPA, précision et rappel pour évaluer ses performances de manière exhaustive. Au cours du processus d’entraînement de l’algorithme, un sur-ajustement peut se produire, où le modèle apprend les données trop complètement, y compris les caractéristiques des données de bruit. Il en résulte une identification des données lors de tests ultérieurs, une classification incorrecte des données et une faible capacité de généralisation. En cas de surajustement, on peut augmenter les données d’entraînement ou nettoyer à nouveau les données. Dans cette étude, la méthode itérative de descente de gradient est adoptée. Le surajustement peut également être évité en coupant l’itération à l’avance.
Les limites de cette étude sont évidentes; Les images ont été recueillies à l’aide d’instruments fixes, et les instruments expérimentaux ne peuvent actuellement pas être utilisés à des fins commerciales. Par conséquent, les images de la langue dans cette étude proviennent d’une seule scène et ne reflètent pas entièrement le contexte clinique et les conditions de lumière complexes et variables. Par conséquent, des recherches supplémentaires sont nécessaires pour étudier les techniques de traitement d’image dans des environnements complexes et des conditions d’éclairage médiocres. Les études d’objectivation du diagnostic de la langue contiennent un contenu riche, de sorte qu’une segmentation précise du corps de la langue est essentielle. Par conséquent, la comparaison et la vérification des algorithmes ayant l’effet de segmentation le plus approprié sont importantes pour les études ultérieures. La combinaison de la segmentation de la langue avec la classification peut théoriquement obtenir un jugement automatique de l’image de la langue et aider au diagnostic; Les chercheurs ont exploré et étudié ce sujet. Dans le domaine de la santé, l’utilisation de l’Internet des objets et des technologies de communication sans fil pour traiter des images biomédicales, ainsi que l’aide au diagnostic, peuvent améliorer l’efficacité d’un système. Mansour et al.14 ont conçu une image couleur de langue automatisée (ASDL-TCI) basée sur l’apprentissage profond collaboratif et l’Internet des objets. Il comprend l’acquisition de données, le prétraitement, l’extraction de caractéristiques, la classification et l’optimisation des paramètres. La précision, le taux de rappel et la précision de ce modèle sont respectivement de 0,984, 0,973 et 0,983, ce qui est supérieur aux autres méthodes.
Acquisition et prétraitement d’images
Au cours du processus d’acquisition d’images, l’intensité et la variété des sources lumineuses peuvent avoir un impact direct sur la qualité de l’image, ce qui influence à son tour la segmentation de l’image et les résultats de classification. Par conséquent, il est essentiel de régler la source lumineuse pour imiter le plus possible l’effet des sources de lumière naturelle. En outre, des méthodes telles que l’utilisation de sources lumineuses standard ou l’utilisation de plusieurs sources lumineuses et la prise de vue dans une scène fixe peuvent prévenir l’impact négatif de la lumière, de l’arrière-plan et d’autres facteurs, améliorant ainsi la précision de la segmentation algorithmique. Les paramètres d’éclairage de l’instrument utilisés pour collecter les images de langue ne sont pas identiques à l’éclairage standard, ce qui affecte l’effet de rendu des couleurs des images de langue. Ainsi, la méthode de prétraitement la plus couramment utilisée est la correction des couleurs. Cai et al.15 ont constaté que pour remédier à l’écart entre les données colorimétriques d’une image de langue et la chrominance de couleur de la langue correspondante, il est nécessaire de normaliser la conversion de l’espace colorimétrique et la correction des couleurs de l’image de langue. Les performances colorimétriques du périphérique d’affichage s’écartent également du corps réel de la langue, ce qui nécessite des tests et des ajustements. De plus, la taille de l’image varie en fonction des différents instruments d’acquisition utilisés pendant le processus de collecte d’images16. Pour améliorer l’efficacité de la formation et économiser de l’espace de stockage, le réseau d’apprentissage profond a des limitations sur la taille de l’image d’entrée. Par conséquent, la taille de l’image doit être normalisée pendant l’étape de prétraitement de l’image. En règle générale, cela est accompli en remodelant uniformément la taille de l’image d’entrée pour l’apprentissage du modèle, les méthodes de remodelage couramment utilisées étant l’interpolation, l’écrêtage, l’inclusion, la mosaïque et la mise en miroir.
Segmentation de l’image de la langue
La segmentation de l’image de langue peut être classée en deux types: les méthodes de segmentation traditionnelles et d’apprentissage profond17. Les méthodes traditionnelles de segmentation d’images de langue se composent d’algorithmes tels que l’algorithme Snake et l’algorithme Otsu. En tant que modèle de contour actif, l’algorithme Snake18 définit d’abord une courbe de profil, puis ajuste le profil initial pour évoluer vers une courbe de profil réelle. L’acquisition des contours initiaux et l’évolution des contours sont au cœur des recherches de l’algorithme Snake. D’autre part, l’algorithme Otsu est un algorithme classique de segmentation de seuil qui utilise un ou plusieurs seuils pour calculer la valeur de gris sur l’image d’origine et comparer la valeur en niveaux de gris de chaque pixel à la valeur de seuil. Sur la base des résultats de la comparaison, la langue et l’arrière-plan sont représentés avant l’avènement des méthodes d’apprentissage profond. Ces deux algorithmes sont couramment utilisés dans le traitement de l’image de la langue et l’objectivation du diagnostic de la langue.
Depuis l’avènement de la théorie de l’apprentissage profond, de nombreux chercheurs ont étudié l’intégration de l’objectivation du diagnostic de la langue et de l’apprentissage profond. Zheng et al.19 ont conçu une méthode de détection de la langue basée sur la segmentation de l’image en amalgamant divers algorithmes et en explorant la méthode de détection de la langue dans un environnement ouvert, obtenant finalement des résultats favorables de segmentation de la langue. Yuan et al.20 ont proposé une méthode de segmentation de la langue basée sur la fonction de perte de pixel unique de l’association de région, dans laquelle la fonction de perte améliorée tenait compte de la corrélation entre les pixels de région. En utilisant la sémantique d’étiquette de pixel supervisé, l’efficacité de l’apprentissage de l’apprentissage du modèle a été améliorée, illustrée par l’indice MIoU atteignant 96,32%. L’image de la langue présentait des caractéristiques morphologiques spécifiques telles que des marques dentaires, des fissures et des perforations, étroitement liées à l’apparition de la maladie. Ainsi, l’observation de la langue peut aider à diagnostiquer la progression de la maladie. Wang et al21 ont proposé une approche de segmentation des fractures de la langue en apprentissage profond pour de petits ensembles de données d’échantillons qui a permis d’améliorer la précision et la stabilité. Cette méthode consistait à diviser d’abord le corps de la langue, suivi de fissures de la langue, et à améliorer l’algorithme U-Net en incorporant la perte de concentration comme perte de fonction.
Classification de l’image de la langue
La classification des images de langue implique principalement l’identification de caractéristiques telles que la couleur de la langue, les épines, les fissures et la couleur du revêtement. Wang et al.22 ont utilisé l’algorithme de Snake pour segmenter le corps de la langue et ont utilisé des techniques telles que l’enregistrement mutuel d’images d’information, la détection des bords logarithmiques, la ligne parallèle et d’autres méthodes pour identifier les perforations. Cette approche a permis de résoudre efficacement le problème de l’identification et du comptage automatiques des perforations tout en facilitant la détection précoce et la prévention. Pour remédier aux limites associées à l’entraînement de l’algorithme d’image de la langue, telles qu’un grand volume de données, un long temps de formation et des exigences élevées en matière d’équipement, Yang et al.23ont proposé un réseau neuronal entièrement connecté basé sur l’apprentissage par transfert. Cette méthode utilise les Inception_v3 bien entraînés pour extraire des caractéristiques et les combiner avec le réseau neuronal entièrement connecté (FCN), atteignant un taux de précision de plus de 90%. Cette approche a résolu le problème de l’apprentissage profond dans de petits échantillons et des classifications multiples. Song et al.24 ont utilisé un classificateur en cascade pour localiser les images sur GoogLe-Net et Res-Net pour l’apprentissage par transfert, la formation et l’application de l’apprentissage profond afin de classer automatiquement trois caractéristiques d’image de la langue : les marques dentaires, les fissures et l’épaisseur du revêtement de la langue. L’exactitude moyenne des résultats de la classification dépassait 94 %. Cependant, l’algorithme de classification de l’image de la langue est très sensible aux interférences d’autres parties non apparentées du visage, ce qui a un impact direct sur la précision de la classification25.
Zhai et al.26 ont développé un algorithme en plusieurs étapes pour classer les images de langue en utilisant des mécanismes d’attention. Cette méthode améliore la précision de l’identification des régions de la langue en extrayant les caractéristiques de divers champs de vision perceptuels, qui sont fusionnés pendant la phase de localisation de la langue. En outre, le module de mécanisme d’attention améliore la précision de la classification de l’image de la langue, ce qui supprime les interférences des impuretés de la langue. Face au problème de la classification des caractéristiques de la langue de différentes maladies27, les algorithmes d’apprentissage profond peuvent également fournir de nouvelles approches. De plus, Shi et coll.28 ont étudié une méthode de classification typique du cancer du poumon non à petites cellules fondée sur l’algorithme de l’arbre de décision C5.0. Ils ont identifié sept règles de classification d’attributs pertinentes pour le certificat de déficience en Qi et la classification par certificat de déficience en Yin. La précision du modèle a été trouvée à 80,37%. De plus, Li et coll.29 ont mis au point un modèle diagnostique du diabète à l’aide de l’algorithme de la forêt stochastique. Ils ont ensuite analysé les caractéristiques de texture et de couleur des images de langue pour améliorer les performances du modèle.
Conclusion
Contrairement aux approches diagnostiques contemporaines de la médecine occidentale, les méthodes de diagnostic de la MTC sont peu invasives et entraînent un minimum de dommages. De plus, les quatre méthodes diagnostiques d’observation, d’écoute ou d’odorat, d’enquête et de palpation ont leurs fondements dans divers aspects de la MTC. Néanmoins, en raison de la forte dépendance du diagnostic et du traitement de la MTC sur l’expertise du praticien et les concepts de traitement personnels, il peut y avoir un manque d’objectivité et de normalisation. En conséquence, la tendance à objectiver le diagnostic de la MTC est apparue comme une direction pour d’autres recherches, ce qui pourrait promouvoir l’avancement de la MTC.
L’objectivation du diagnostic de la langue possède le potentiel de traiter des images et de grandes quantités de données avec une grande efficacité, ce qui pourrait aider considérablement les médecins. Cependant, il est essentiel de noter que le diagnostic de la langue n’est pas seulement une méthode traditionnelle, mais a également été validé. Chen et al.30 ont mené une étude dans laquelle ils ont recueilli des données cliniques sur les images de la langue de 382 patients atteints de COVID-19. Ils ont analysé statistiquement les caractéristiques de l’image de la langue et les paramètres de couleur du laboratoire pour tous les groupes d’imagerie. Les résultats de l’étude ont révélé une corrélation entre les caractéristiques des images de langue et le type de médecine occidentale utilisé. De plus, les changements dans les images de la langue s’alignent sur la pathogenèse globale de la maladie. Certains paramètres des images de la langue pourraient potentiellement aider à prédire les changements pathogènes de la COVID-19 dans la MTC31.
Tout en objectivant le diagnostic médical traditionnel de la langue, de nombreux chercheurs ont utilisé la méthode de segmentation et de classification. L’apprentissage profond et les réseaux neuronaux de convolution sont essentiels pour classer les caractéristiques de l’image de la langue. La précision de l’algorithme de segmentation de l’image de la langue est cruciale car elle détermine si la langue peut être séparée avec précision du visage, ce qui a un impact sur la précision de la classification ultérieure des caractéristiques. Par conséquent, l’amélioration de la précision du modèle d’algorithme actuel est un axe de recherche crucial dans ce domaine. À l’heure actuelle, l’amélioration du modèle d’algorithme et de sa précision est un point chaud de la recherche.
Cette étude a utilisé les mêmes données d’ensemble de tests pour comparer les performances des algorithmes U-Net, Seg-Net, DeeplabV3 et PSPNet4. Cette mesure a été prise pour assurer l’uniformité de la qualité des données utilisées. Dans l’environnement expérimental utilisé dans cette étude, l’algorithme U-Net a surpassé les trois autres algorithmes de manière significative en ce qui concerne la précision de la segmentation. MIoU est la mesure d’annotation de l’algorithme de segmentation sémantique32, l’indice le plus crucial utilisé pour évaluer les performances de l’algorithme. La valeur MIoU de l’algorithme U-Net était supérieure de 3,91 % à celle de l’algorithme Seg-Net, 23,32 % supérieure à celle de DeeplabV3 et 16,2 % supérieure à celle de PSPNet. Cela prouve que l’algorithme U-Net fonctionne mieux que les autres algorithmes.
Cependant, il existe quelques problèmes dans la segmentation et la classification des images de langue à l’aide d’algorithmes d’apprentissage profond. Par exemple, en raison de la confidentialité des patients, les ensembles de données d’images médicales sont trop petits par rapport à d’autres ensembles de données segmentées sémantiques, ce qui limite les avantages de l’apprentissage profond dans le Big Data. La segmentation des modèles à grands paramètres est sujette au problème d’ajustement. Par conséquent, la structure du réseau doit être ajustée en sélectionnant les modes d’amélioration appropriés. À l’heure actuelle, la recherche sur l’objectivation du diagnostic de la langue n’a pas encore constitué une norme de collecte uniforme; L’environnement d’acquisition et le type de source lumineuse manquent de normalisation appropriée. Les chercheurs mettent généralement en place l’environnement de collecte et construisent leur propre base de données non publique. Dans le même temps, bien que les modèles algorithmiques actuels puissent atteindre une bonne précision, les données utilisées sont soigneusement sélectionnées et prétraitées, ce qui est difficile à obtenir dans l’environnement réel de diagnostic et de traitement, limitant ainsi leur application clinique. En outre, une objectivation plus poussée du diagnostic de la langue traitera d’environnements complexes ou d’images de langue capturées par différents dispositifs33. Une autre tendance est le traitement dynamique de l’information, en particulier le traitement d’images vidéo, qui fournit des informations plus détaillées sur la langue et reflète de manière plus complète les avantages du diagnostic de la langue. Ainsi, il est nécessaire de développer des algorithmes d’apprentissage profond pour traiter les détails dynamiques. Dans l’ensemble, l’objectivation du diagnostic médical de la langue combinée à des algorithmes d’apprentissage profond est prometteuse pour réduire la subjectivité dans le diagnostic de la MTC.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Les auteurs n’ont aucun conflit d’intérêts à déclarer.
Acknowledgments
Ce travail a été soutenu par la Fondation nationale de la nature de Chine (subvention n ° 82004504), le Programme national de recherche et de développement clé du ministère de la Science et de la Technologie de Chine (subvention n ° 2018YFC1707606), l’Administration de la médecine chinoise de la province du Sichuan (subvention n ° 2021MS199) et la Fondation nationale de la nature de Chine (subvention n ° 82174236).
Materials
| Name | Company | Catalog Number | Comments |
| CPU | Intel(R) Core(TM) i7-9700K | ||
| GPU | NVIDIA GeForce RTX 3070 Ti (8192MB) | ||
| Operating systems | Microsoft Windows 10 Professional Edition (64-bit) | ||
| Programming language | Python | ||
| RAM | 16G |
References
- Jiu, G., et al. Effects of herbal therapy on intestinal microbiota and serum metabolomics in different rat models of Mongolian medicine. Evidence-Based Complementary and Alternative. 2022, 7255780 (2022).
- Xi, J., Xin, Y., Teregle, Study on the correlation between the animal model of Mongolian medicine 34;Xieri disease" and serum ALT and AST. Electronic Journal of Cardiovascular Diseases in Combination of Traditional Chinese. 4 (33), 134-135 (2016).
- Yin, L., et al. Study on the mechanism of serum differential protein changes in bronchial asthma based on proteomics. Chinese Journal of Traditional Chinese Medicine. 47 (22), 6227-6234 (2022).
- Wang, X. H., Bao, L. Band Seed. The origin and development of tongue diagnosis in Mongolian medicine. Chinese Ethnic Folk Medicine. (1), 64-65 (2008).
- Yang, S., et al. A comparative study on the feature parameters of tongue diagnosis images in five nationalities. Chinese Journal of Traditional Chinese Medicine. 36 (11), 6428-6430 (2021).
- He, J. Y., et al. Efficacy and safety of Chou-Ling-Dan granules in the treatment of seasonal influenza via combining Western and traditional Chinese medicine, protocol for a multicentre, randomised controlled clinical trial. BMJ Open. 9 (4), e024800 (2019).
- Wang, D. J., et al. Scientific knowledge mapping and visualization analysis in the field of Chinese medicine tongue feature objectification research. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3032-3040 (2021).
- Yuan, S. M., Qian, P., Li, F. F. Research progress of color correction methods for tongue and face diagnosis in traditional Chinese Medicine. Chinese Journal of Traditional Chinese Medicine. 34 (9), 4183-4185 (2019).
- Kanawong, R., et al. Tongue image analysis and its mobile app development for health diagnosis. Advances in Experimental Medicine and Biology. 1005, 99-121 (2017).
- Yu, Y., et al. Semantic segmentation evaluation index and evaluation method. Computer Engineering and Application. , (2023).
- Sehyung, L., Negishi, M., Urakubo, H., Kasai, H., Ishii, S. Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration. Neural Networks. 125, 92-103 (2020).
- Huang, X. M., et al. A review on the application of U-Net and its variants in medical image segmentation. Chinese Journal of Biomedical Engineering. 41 (5), 567-576 (2022).
- Lu, J. H., Xu, Y. F., Wang, Y. Q., Hao, Y. M. Research overview of tongue objectification in traditional Chinese medicine based on computer image technology. World Science and Technology - Modernization of Traditional Chinese Medicine. 24 (11), 4568-4573 (2022).
- Mansour, R. F., Althobaiti, M. M., Ashour, A. A. Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification. IEEE Access. 9, 94769-94779 (2021).
- Cai, Y. H., Hu, S. B., Guan, J., Zhang, X. F. Analysis of the development and application of tongue diagnosis objectification techniques in Chinese medicine. World Science and Technology - Modernization of Chinese Medicine. 23 (7), 2447-2453 (2021).
- Ghosh, S., Das, N., Nasipuri, M. Reshaping inputs for convolutional neural network: some common and uncommon methods. Pattern Recognition. 93, 79-94 (2019).
- Shang, Z. M., et al. Research progress of digital acquisition and characterization of tongue diagnosis information. Chinese Journal of Traditional Chinese Medicine. 36 (10), 6010-6013 (2021).
- Ning, J., Zhang, D., Wu, C., Yue, F. Automatic tongue image segmentation based on gradient vector flow and region merging. Neural Computing and Applications. 21, 1819-1826 (2012).
- Zheng, F., Huang, X. Y., Wang, B. L., Wang, Y. H. A method for tongue detection based on image segmentation. Journal of Xiamen University. 55 (6), 895-900 (2016).
- Li, Y. T., Luo, Y. S., Zhu, Z. M. Deep learning-based tongue feature analysis. Computer Science. 47 (11), 148-158 (2020).
- Wang, Y. D., Sun, C. H., Cui, J. L., Wu, X. R., Qin, Y. X. Research on deep learning-based tongue fissure segmentation algorithm. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3065-3073 (2021).
- Wang, X. M., Wang, R. Y., Guo, D., Lu, S. Z., Zhou, P. Research on the identification method of tongue punctures based on auxiliary light source. Journal of Sensing Technology. 29 (10), 1553-1559 (2016).
- Yang, J. D., Zhang, P. A fully connected neural network based on migration learning for tongue image classification. Journal of the Second Military Medical University. 39 (8), 897-902 (2018).
- Song, C., Wang, B., Xu, J. T. Research on tongue feature classification method based on deep migration learning. Computer Engineering and Science. 43 (8), 1488-1496 (2021).
- Ding, H. J., He, J. C. Study on modern techniques and methods of tongue diagnosis. Shi Zhen Chinese Medicine. 21 (5), 1230-1232 (2010).
- Zhai, P. B., et al. A multi-stage tongue image classification algorithm incorporating attention mechanism. Computer Engineering and Design. 42 (6), 1606-1613 (2021).
- Hou, Y. S. A new clustering analysis algorithm based on deep learning. Journal of Xinxiang University. 35 (12), 4 (2018).
- Shi, Y. L., et al. A decision tree algorithm for classification of non-small cell lung cancer evidence based on tongue and pulse data. World Science and Technology - Modernization of Chinese Medicine. 24 (7), 2766-2775 (2022).
- Li, J., Hu, X. J., Zhou, C. L., Xu, J. T. Study on the feature analysis and diagnosis model of diabetic tongue based on random forest algorithm. Chinese Journal of Traditional Chinese Medicine. 37 (3), 1639-1643 (2022).
- Chen, C. H., et al. The characteristics of the combination of the four diagnostic methods of traditional Chinese medicine from the perspective of the differences between Chinese and Western medical diagnosis methods. Journal of Guangzhou University of Traditional Chinese Medicine. 28 (3), 332-334 (2011).
- Chen, R., et al. Correlation analysis of tongue image and western medicine typing in 382 patients with novel coronavirus pneumonia based on Lab colour model and imaging histology. Chinese Journal of Traditional Chinese Medicine. 36 (12), 7010-7014 (2021).
- Ju, J. W., Jung, H., Lee, Y. J., Mun, S. W., Lee, J. H. Semantic segmentation dataset for AI-based quantification of clean mucosa in capsule endoscopy. Medicina. 58 (3), 397 (2022).
- Wu, X., et al. A review of research on deep learning in tongue image classification. Computer Science and Exploration. , 1-23 (2022).
