Application de la segmentation d’images médicales basée sur l’apprentissage profond via la tomodensitométrie orbitale

Summary

Un protocole de segmentation d’objets pour les images orbitales de tomodensitométrie (CT) est introduit. Les méthodes d’étiquetage de la réalité terrestre des structures orbitales en utilisant la super-résolution, l’extraction du volume d’intérêt des images CT et la modélisation de la segmentation multi-étiquettes à l’aide de U-Net séquentiel 2D pour les images CT orbitales sont expliquées pour l’apprentissage supervisé.

Abstract

Récemment, les modèles de segmentation basés sur l’apprentissage profond ont été largement appliqués dans le domaine ophtalmique. Cette étude présente le processus complet de construction d’un modèle de segmentation orbitale par tomodensitométrie (TDM) basé sur U-Net. Pour l’apprentissage supervisé, un processus laborieux et chronophage est nécessaire. La méthode d’étiquetage avec une super-résolution pour masquer efficacement la réalité du terrain sur les images CT orbitales est introduite. En outre, le volume d’intérêt est recadré dans le cadre du prétraitement de l’ensemble de données. Ensuite, après avoir extrait les volumes d’intérêt des structures orbitales, le modèle de segmentation des structures clés de la CT orbitale est construit à l’aide de U-Net, avec des tranches 2D séquentielles qui sont utilisées comme entrées et deux mémoires courtes convolutives bidirectionnelles à long terme pour conserver les corrélations inter-tranches. Cette étude se concentre principalement sur la segmentation du globe oculaire, du nerf optique et des muscles extraoculaires. L’évaluation de la segmentation révèle l’application potentielle de la segmentation aux images CT orbitales à l’aide de méthodes d’apprentissage profond.

Introduction

L’orbite est un espace petit et compliqué d’environ 30,1^cm3 qui contient des structures importantes telles que le globe oculaire, les nerfs, les muscles extraoculaires, les tissus de soutien et les vaisseaux pour la vision et les mouvements du globe oculaire¹. Les tumeurs orbitaires sont des excroissances tissulaires anormales dans l’orbite, et certaines d’entre elles menacent la vision ou le mouvement du globe oculaire des patients, ce qui peut entraîner un dysfonctionnement fatal. Pour conserver la fonction visuelle des patients, les cliniciens doivent décider des modalités de traitement en fonction des caractéristiques de la tumeur, et une biopsie chirurgicale est généralement inévitable. Cette zone compacte et encombrée rend souvent difficile pour les cliniciens d’effectuer une biopsie sans endommager la structure normale. L’analyse d’images de pathologie basée sur l’apprentissage profond pour déterminer l’état de l’orbite pourrait aider à éviter des blessures inutiles ou évitables aux tissus orbitaires lors de la biopsie². Une méthode d’analyse d’images pour les tumeurs orbitaires est la détection et la segmentation des tumeurs. Cependant, la collecte de grandes quantités de données pour les images CT contenant des tumeurs orbitaires est limitée en raison de leur faible incidence³. L’autre méthode efficace pour le diagnostic tumoral^{computationnel 4} consiste à comparer la tumeur aux structures normales de l’orbite. Le nombre d’images CT orbitaires dans les structures normales est relativement plus important que celui des tumeurs. Par conséquent, la segmentation des structures orbitales normales est la première étape pour atteindre cet objectif.

Cette étude présente l’ensemble du processus de segmentation de la structure orbitale basée sur l’apprentissage profond, y compris la collecte de données, le prétraitement et la modélisation ultérieure. L’étude est destinée à être une ressource pour les cliniciens intéressés à utiliser la méthode actuelle pour générer efficacement un ensemble de données masquées et pour les ophtalmologistes qui ont besoin d’informations sur le prétraitement et la modélisation des images CT orbitales. Cet article présente une nouvelle méthode de segmentation de structure orbitale et de U-Net séquentiel, un modèle de segmentation 2D séquentielle basé sur une solution d’apprentissage profond représentative dans U-Net pour la segmentation d’images médicales. Le protocole décrit la procédure détaillée de segmentation de l’orbite, y compris (1) comment utiliser un outil de masquage pour la réalité au sol de la segmentation de la structure orbitale, (2) les étapes requises pour le prétraitement des images orbitales, et (3) comment entraîner le modèle de segmentation et évaluer les performances de segmentation.

Pour l’apprentissage supervisé, quatre ophtalmologistes expérimentés certifiés depuis plus de 5 ans ont annoté manuellement les masques du globe oculaire, du nerf optique et des muscles extraoculaires. Tous les ophtalmologistes ont utilisé le logiciel de masquage (MediLabel, voir le tableau des matériaux), qui utilise la super-résolution pour un masquage efficace sur les tomodensitogrammes. Le logiciel de masquage dispose des fonctionnalités semi-automatiques suivantes: (1) SmartPencil, qui génère des grappes de cartes super pixels avec des valeurs similaires d’intensité d’image⁵; (2) SmartFill, qui génère des masques de segmentation en calculant la fonction énergétique du premier plan et de l’arrière-plan en cours ^6,7; et (3) la correction automatique, qui rend les bordures des masques de segmentation propres et cohérentes avec l’image d’origine. Des exemples d’images des fonctions semi-automatiques sont présentés à la figure 1. Les étapes détaillées du masquage manuel sont fournies dans la section protocole (étape 1).

L’étape suivante est le prétraitement des tomodensitogrammes orbitaux. Pour obtenir les volumes orbitaux d’intérêt (VOI), les zones de l’orbite où le globe oculaire, le muscle et le nerf sont situés dans des conditions normales sont identifiées, et ces zones sont recadrées. Le jeu de données a une haute résolution, avec une résolution voxel de <1 mm dans le plan et une épaisseur de tranche, de sorte que le processus d’interpolation est ignoré. Au lieu de cela, l’écrêtage de fenêtre est effectué au niveau de l’écrêtage 48 HU et de la fenêtre 400 HU. Après le recadrage et l’écrêtage de fenêtre, trois tranches en série des VOI orbitales sont générées pour l’entrée⁸ du modèle de segmentation. La section du protocole (étape 2) fournit des détails sur les étapes de prétraitement.

U-Net⁹ est un modèle de segmentation largement utilisé pour les images médicales. L’architecture U-Net comprend un codeur, qui extrait les caractéristiques des images médicales, et un décodeur, qui présente sémantiquement les caractéristiques discriminantes. Lors de l’utilisation de U-Net pour les tomodensitométries, les couches convolutives sont constituées de filtres 3D^10,11. C’est un défi car le calcul des filtres 3D nécessite une grande capacité de mémoire. Pour réduire les besoins en mémoire pour 3D U-Net, SEQ-UNET⁸, dans lequel un ensemble de tranches 2D séquentielles sont utilisées dans le U-Net, a été proposé. Pour éviter la perte de corrélations spatio-temporelles entre les tranches d’image 2D de la tomodensitométrie 3D, deux mémoires courtes à long terme convolutives bidirectionnelles (C-LSTM)¹² sont utilisées dans U-Net de base. Le premier C-LSTM bidirectionnel extrait les corrélations entre tranches à la fin du codeur. Le deuxième C-LSTM bidirectionnel, après la sortie du décodeur, transforme les informations de segmentation sémantique dans les dimensions de la séquence de tranches en une segmentation d’image unique. L’architecture de SEQ-UNET est illustrée à la figure 2. Les codes d’implémentation sont disponibles à github.com/SleepyChild1005/OrbitSeg, et l’utilisation des codes est détaillée dans la section protocole (étape 3).

Protocol

Le présent travail a été effectué avec l’approbation du Comité d’examen institutionnel (IRB) du Centre médical catholique, et la vie privée, la confidentialité et la sécurité des informations sur la santé ont été protégées. Les données de tomodensitométrie orbitale ont été recueillies (à partir de sujets humains dépersonnalisés) dans des hôpitaux affiliés au Collège de médecine de l’Université catholique de Corée (CMC; Seoul St. Mary’s Hospital, Yeouido St. Mary’s Hospital, Daejeon St. Mary’s Hospital et St. Vincent Hospital). Les tomodensitogrammes orbitaux ont été obtenus de janvier 2016 à décembre 2020. L’ensemble de données contenait 46 tomodensitogrammes orbitaux d’hommes et de femmes coréens âgés de 20 à 60 ans. L’environnement d’exécution (RTE) est résumé dans le tableau supplémentaire 1.

1. Masquage du globe oculaire, du nerf optique et des muscles extraoculaires sur les tomodensitogrammes orbitaires

1. Exécutez le logiciel de masquage.
   REMARQUE: Le logiciel de masquage (MediLabel, voir le tableau des matériaux) est un logiciel d’étiquetage d’images médicales pour la segmentation, qui nécessite peu de clics et a une vitesse élevée.
2. Chargez le CT orbital en cliquant sur l’icône d’ouverture du fichier et en sélectionnant le fichier CT cible. Ensuite, les tomodensitogrammes sont affichés à l’écran.
3. Masquez le globe oculaire, le nerf optique et les muscles extraoculaires à l’aide de super pixels.
   1. Exécutez le SmartPencil en cliquant sur l’assistant SmartPencil dans MediLabel (vidéo 1).
   2. Contrôlez la résolution de la carte de super pixels si nécessaire (par exemple, 100, 500, 1 000 et 2 000 super pixels).
   3. Cliquez sur le groupe de super pixels du globe oculaire, du nerf optique et des muscles extraoculaires sur la carte des super pixels, où les pixels de valeurs d’intensité d’image similaires sont regroupés.
4. Affinez les masques avec les fonctions d’autocorrection de MediLabel.
   1. Cliquez sur l’assistant SmartFill après avoir masqué certains des super pixels sur les tranches (Vidéo 2).
   2. Cliquez sur l’icône Correction automatique et assurez-vous que les étiquettes de masque corrigées sont calculées (vidéo 3).
5. Répétez les étapes 1.3 et 1.4 jusqu’à ce que l’affinement du masquage soit terminé.
6. Enregistrez les images masquées.

2. Pré-traitement : Coupure de fenêtre et recadrage des VOI

1. Extrayez les VOI avec preprocessing_multilabel.py (le fichier est téléchargeable depuis GitHub).
   1. Exécutez preprocessing_multilabel.py.
   2. Vérifiez les analyses et les masques, qui sont rognés et enregistrés dans le dossier VOIs.
2. Transformez les VOI en un ensemble de trois tranches CT séquentielles pour l’entrée dans SEQ-UNET avec builder_multilabel.py (le fichier est téléchargeable depuis GitHub).
   1. Exécutez sequence_builder_multilabel.py.
   2. Assurez-vous que les tranches et les masques sont redimensionnés à 64 pixels par 64 pixels pendant la transformation.
   3. Pendant la transformation, effectuez l’écrêtage avec le niveau d’écrêtage 48 HU et la fenêtre 400 HU.
   4. Vérifiez les tomodensitogrammes transformés enregistrés (fichier nii) et les masques (fichier nii) dans le dossier scan et le dossier masque sous dossiers prétraités, respectivement.

3. Quatre validations croisées du modèle de segmentation orbitale

1. Générez le modèle en suivant les étapes ci-dessous.
   1. Exécutez main.py.
   2. Lorsque vous exécutez main.py, indiquez le nombre de pli des quatre validations croisées par « -fold num x », où x est égal à 0, 1, 2 ou 3.
   3. Lorsque vous exécutez main.py, utilisez l’époque, qui est le nombre d’itérations d’apprentissage, comme option, telle que « -epoch x », où x est le numéro d’époque. Le nombre par défaut est 500.
   4. Lors de l’exécution de main.py, définissez la taille du lot, qui correspond au nombre d’échantillons d’apprentissage au cours d’une seule session d’entraînement. Le nombre par défaut est 32.
   5. Dans main.py, chargez les tomodensitogrammes et les masques, et initialisez le SEQ-UNET avec les paramètres pré-entraînés à l’aide de l’ensemble de données LIDC-IDRI (téléchargeable à partir des archives d’imagerie du cancer).
   6. Dans main.py, effectuez le test du modèle après l’entraînement. Calculez les mesures d’évaluation, le score de dés et la similitude de volume, puis enregistrez-les dans le dossier des mesures.
   7. Vérifiez les résultats dans le dossier segmenté.

Results

Pour l’évaluation quantitative, deux paramètres d’évaluation ont été adoptés, qui ont été utilisés dans la tâche de segmentation d’images CT. Il s’agissait de deux mesures de similarité, dont le score de dés (DICE) et la similarité de volume (VS)¹³ :

DICE (%) = 2 × TP/(2 × TP + FP + FN)
VS (%) = 1 − | FN − FP|/(2 × TP + FP + FN)

où TP, FP et FN désignent les vraies valeurs positives, faux positifs et faux négatifs, respectivement, lorsque le résultat de segmentation et le masque de segmentation sont donnés.

La performance de SEQ-UNET pour la segmentation de la structure orbitale a été évaluée par quatre validations croisées. Les résultats sont présentés dans le tableau 1. La segmentation du globe oculaire à l’aide de SEQ-UNET a obtenu un score de dés de 0,86 et un VS de 0,83. La segmentation des muscles extraoculaires et du nerf optique a permis d’obtenir de faibles scores de dés (0,54 et 0,34, respectivement). Le score de dés de la segmentation du globe oculaire était supérieur à 80% parce qu’il y avait une grande partie des VOI et peu d’hétérogénéité entre les tomodensitogrammes. Les scores de dés des muscles extraoculaires et du nerf optique étaient relativement faibles parce qu’ils apparaissaient rarement dans le volume CT et ont été trouvés dans un nombre relativement faible de tranches CT. Cependant, les scores de similitude visuelle des muscles extraoculaires et du nerf optique (0,65 et 0,80, respectivement) étaient plus élevés que leurs scores de dés. Ce résultat indique que la spécificité de la segmentation était faible. Dans l’ensemble, le score de dés et la similitude visuelle de SEQ-UNET pour la segmentation de toutes les sous-structures orbitales étaient respectivement de 0,79 et 0,82. Des exemples des résultats visuels de la segmentation de la structure orbitale sont présentés à la figure 3. Dans la figure 3A-C, le bleu est le résultat de segmentation prédit et le rouge est le masque de vérité au sol. Dans la figure 3D, le rouge, le vert et l’orange représentent respectivement le globe oculaire, le muscle optique et la segmentation nerveuse.

Figure 1 : fonctions de masquage semi-automatique. Masquage du globe oculaire, des muscles extraoculaires et du nerf optique sur les tomodensitogrammes orbitaux à l’aide de (A) SmartPencil, (B) SmartFill et (C) AutoCorrection. Le masque du globe oculaire est étiqueté par SmartPencil, qui calcule les super pixels des tranches, et le masque est fait en cliquant sur les super pixels. Après avoir cliqué sur certains des super pixels du globe oculaire, l’ensemble du masque oculaire peut être calculé par SmartFill. Dans le cas du masquage du nerf optique, le raffinement du masquage est effectué par AutoCorrection. Les globes oculaires marqués de couleur bleue sont indiqués en (A) et (B). Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 2 : Architecture SEQ U-Net. Tranches 2D séquentielles en entrée et sortie; deux C-LSTM bidirectionnels sont appliqués à la fin des blocs d’encodage et de décodage basés sur l’architecture U-Net. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 3 : Résultats de la segmentation des structures orbitales. (A) Globe oculaire (étiquette 1), (B) muscle optique (étiquette 2), (C) nerf optique (étiquette 3) et (D) multimarque (étiquettes 1, 2 et 3). L’image de gauche est la VOI de l’orbite, l’image centrale est la segmentation prédite et l’image de droite est la vérité au sol. Dans (A), (B) et (C), le bleu est le résultat de segmentation prédit et le rouge est le masque de vérité du terrain. En (D), le rouge, le vert et l’orange sont respectivement le globe oculaire, le muscle extraoculaire et la segmentation du nerf optique. La segmentation prévue a montré une performance élevée (DICE: 0,86 vs 0,82) dans le cas du globe oculaire mais une faible performance dans le cas du muscle extraoculaire (DICE: 0,54 vs 0,65) et du nerf optique (DICE: 0,34 vs 0,8). Veuillez cliquer ici pour voir une version agrandie de cette figure.

	Multi-étiquettes		Étiquette 1 (globe oculaire)		Étiquette 2 (Muscle extraoculaire)		Étiquette 3 (nerf optique)
	DÉ	VS	DÉ	VS	DÉ	VS	DÉ	VS
SEQ-UNET	0.79	0.82	0.86	0.83	0.54	0.65	0.34	0.8

Tableau 1 : Résultats de la segmentation pour le score de dés et la similitude visuelle. Le globe oculaire, qui a un nombre relativement important de tranches, a été bien segmenté avec un DICE de 0,8, mais le muscle extraoculaire et le nerf optique, qui ont un petit nombre de tranches et de forme de ligne, ont été partiellement segmentés avec des valeurs DICE de 0,54 et 0,34, respectivement.

Vidéo 1 : Assistant SmartPencil dans le logiciel de masquage. Une démonstration d’annotation de plusieurs pixels pour le masquage du globe oculaire. Les tâches de masquage sont activées en un clic sur les super pixels clusterisés. Veuillez cliquer ici pour télécharger cette vidéo.

Vidéo 2 : Assistant SmartFill dans le logiciel de masquage. Une démonstration d’annotation de plusieurs pixels pour le masquage du globe oculaire. Après avoir sélectionné quelques pixels dans la zone d’annotation, cette fonction génère des masques de segmentation complets avec des intensités similaires aux pixels sélectionnés. Veuillez cliquer ici pour télécharger cette vidéo.

Vidéo 3: AutoCorrection dans le logiciel de masquage. Une démonstration de la correction automatique d’un pixel masqué à l’aide d’un algorithme de réseau neuronal convolutif pré-entraîné. Veuillez cliquer ici pour télécharger cette vidéo.

Tableau supplémentaire 1 : Environnement d’exécution (RTE) de masquage, de prétraitement et de modélisation de segmentation. Veuillez cliquer ici pour télécharger ce tableau.

Discussion

L’analyse d’images médicales basée sur l’apprentissage profond est largement utilisée pour la détection des maladies. Dans le domaine de l’ophtalmologie, les modèles de détection et de segmentation sont utilisés dans la rétinopathie diabétique, le glaucome, la dégénérescence maculaire liée à l’âge et la rétinopathie du prématuré. Cependant, d’autres maladies rares en dehors de celles en ophtalmologie n’ont pas été étudiées en raison de l’accès limité à de grands ensembles de données publiques ouvertes pour l’analyse de l’apprentissage profond. Lors de l’application de cette méthode dans des situations où aucun jeu de données public n’est disponible, l’étape de masquage, qui est une tâche laborieuse et chronophage, est inévitable. Cependant, l’étape de masquage proposée (section protocole, étape 1) permet de générer le masquage avec une grande précision en peu de temps. À l’aide de super pixels et d’un remplissage basé sur un réseau neuronal, qui regroupent des pixels similaires dans les propriétés d’image de bas niveau, les cliniciens peuvent étiqueter les masques en cliquant sur les groupes de pixels au lieu de pointer les pixels spécifiques. En outre, les fonctions de correction automatique aident à affiner les processus de masque. L’efficience et l’efficacité de cette méthode aideront à générer plus d’images masquées dans la recherche médicale.

Parmi les nombreuses possibilités de prétraitement, l’extraction des VOI et l’écrêtage de fenêtre sont des méthodes efficaces. Ici, l’extraction des VOI et l’écrêtage de fenêtre sont introduits à l’étape 2 du protocole. Lorsque les cliniciens préparent l’ensemble de données, l’extraction de la VOI de l’ensemble de données donnée est l’étape la plus importante du processus, car la plupart des cas de segmentation se concentrent sur des régions petites et spécifiques de l’ensemble de l’image médicale. En ce qui concerne les VOI, les régions du globe oculaire, du nerf optique et des muscles extraoculaires sont recadrées en fonction de l’emplacement, mais des méthodes plus efficaces pour extraire les VOI ont le potentiel d’améliorer les performances de segmentation¹⁴.

Pour la segmentation, SEQ-UNET est utilisé dans l’étude. Les images médicales 3D ont de grands volumes, de sorte que les modèles de réseaux neuronaux profonds nécessitent de grandes capacités de mémoire. Dans SEQ-UNET, le modèle de segmentation est implémenté avec un petit nombre de tranches pour réduire la taille de mémoire requise sans perdre les fonctionnalités des informations 3D.

Le modèle a été formé avec 46 VOI, ce qui n’est pas un grand nombre pour la formation du modèle. En raison du petit nombre d’ensembles de données d’entraînement, la performance de la segmentation du nerf optique et du muscle extraoculaire est limitée. Transfer learning¹⁵ et domain adaptation⁸ pourraient apporter une solution pour améliorer les performances de segmentation.

L’ensemble du processus de segmentation introduit ici ne se limite pas à la segmentation orbitale CT. La méthode d’étiquetage efficace permet de créer un nouvel ensemble de données d’images médicales lorsque le domaine d’application est unique au domaine de recherche. Les codes python de GitHub concernant la modélisation de prétraitement et de segmentation peuvent être appliqués à d’autres domaines avec la modification de la région de recadrage, du niveau d’écrêtage de fenêtre et des hyperparamètres du modèle, tels que le nombre de tranches séquentielles, les architectures U-Net, etc.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Lien			github.com/SleepyChild1005/OrbitSeg
MediLabel	INGRADIENT (Séoul, Corée)		un logiciel d’étiquetage d’images médicales pour la segmentation avec moins de clics et une vitesse
SEQ-UNET			téléchargeable depuis l’assistant GitHub
SmartFil			dans MediLabel  ;
SmartPencil  ;			assistant dans MediLabel  ;