Name: Application de la segmentation d’images médicales basée sur l’apprentissage profond via la tomodensitométrie orbitale (Vidéo) | JoVE Journal
Uploaded: 2022-11-30T13:50:00.000+00:00
Duration: 4 min 48 s
Description: Apprenez la segmentation d'images CT orbitales par apprentissage profond avec U-Net séquentiel 2D. Cette méthode améliore le diagnostic non invasif des maladies orbitales difficiles à biopsier.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

playerTrialDesktop

Ce travail a été soutenu par la Fondation nationale de recherche de Corée (NRF), subvention financée par le ministère des Sciences et des TIC de Corée (MSIT) (numéro: 2020R1C1C1010079). Pour l’ensemble de données CMC-ORBIT, le Central Institutional Review Board (IRB) du Catholic Medical Center a donné son approbation (XC19REGI0076). Ce travail a été soutenu par le Fonds de recherche de l’Université Hongik 2022.

Le présent travail a été effectué avec l’approbation du Comité d’examen institutionnel (IRB) du Centre médical catholique, et la vie privée, la confidentialité et la sécurité des informations sur la santé ont été protégées. Les données de tomodensitométrie orbitale ont été recueillies (à partir de sujets humains dépersonnalisés) dans des hôpitaux affiliés au Collège de médecine de l’Université catholique de Corée (CMC; Seoul St. Mary’s Hospital, Yeouido St. Mary’s Hospital, Daejeon St. Mary’s Hospital et St. Vincent Hospital). Les tomodensitogrammes orbitaux ont été obtenus de janvier 2016 à décembre 2020. L’ensemble de données contenait 46 tomodensitogrammes orbitaux d’hommes et de femmes coréens âgés de 20 à 60 ans. L’environnement d’exécution (RTE) est résumé dans le tableau supplémentaire 1.
1. Masquage du globe oculaire, du nerf optique et des muscles extraoculaires sur les tomodensitogrammes orbitaires
<ol><li>Exécutez le logiciel de masquage. REMARQUE: Le logiciel de masquage (MediLabel, voir le tableau des matériaux) est un logiciel d’étiquetage d’images médicales pour la segmentation, qui nécessite peu de clics et a une vitesse élevée.</li>
	<li>Chargez le CT orbital en cliquant sur l’icône d’ouverture du fichier et en sélectionnant le fichier CT cible. Ensuite, les tomodensitogrammes sont affichés à l’écran.</li>
	<li>Masquez le globe oculaire, le nerf optique et les muscles extraoculaires à l’aide de super pixels.<ol><li>Exécutez le SmartPencil en cliquant sur l’assistant SmartPencil dans MediLabel (vidéo 1).</li>
		<li>Contrôlez la résolution de la carte de super pixels si nécessaire (par exemple, 100, 500, 1 000 et 2 000 super pixels).</li>
		<li>Cliquez sur le groupe de super pixels du globe oculaire, du nerf optique et des muscles extraoculaires sur la carte des super pixels, où les pixels de valeurs d’intensité d’image similaires sont regroupés.</li>
	</ol></li>
	<li>Affinez les masques avec les fonctions d’autocorrection de MediLabel.<ol><li>Cliquez sur l’assistant SmartFill après avoir masqué certains des super pixels sur les tranches (Vidéo 2).</li>
		<li>Cliquez sur l’icône Correction automatique et assurez-vous que les étiquettes de masque corrigées sont calculées (vidéo 3).</li>
	</ol></li>
	<li>Répétez les étapes 1.3 et 1.4 jusqu’à ce que l’affinement du masquage soit terminé.</li>
	<li>Enregistrez les images masquées.</li>
</ol>2. Pré-traitement : Coupure de fenêtre et recadrage des VOI
<ol><li>Extrayez les VOI avec preprocessing_multilabel.py (le fichier est téléchargeable depuis GitHub).<ol><li>Exécutez preprocessing_multilabel.py.</li>
		<li>Vérifiez les analyses et les masques, qui sont rognés et enregistrés dans le dossier VOIs.</li>
	</ol></li>
	<li>Transformez les VOI en un ensemble de trois tranches CT séquentielles pour l’entrée dans SEQ-UNET avec builder_multilabel.py (le fichier est téléchargeable depuis GitHub).<ol><li>Exécutez sequence_builder_multilabel.py.</li>
		<li>Assurez-vous que les tranches et les masques sont redimensionnés à 64 pixels par 64 pixels pendant la transformation.</li>
		<li>Pendant la transformation, effectuez l’écrêtage avec le niveau d’écrêtage 48 HU et la fenêtre 400 HU.</li>
		<li>Vérifiez les tomodensitogrammes transformés enregistrés (fichier nii) et les masques (fichier nii) dans le dossier scan et le dossier masque sous dossiers prétraités, respectivement.</li>
	</ol></li>
</ol>3. Quatre validations croisées du modèle de segmentation orbitale
<ol><li>Générez le modèle en suivant les étapes ci-dessous.<ol><li>Exécutez main.py.</li>
		<li>Lorsque vous exécutez main.py, indiquez le nombre de pli des quatre validations croisées par « -fold num x », où x est égal à 0, 1, 2 ou 3.</li>
		<li>Lorsque vous exécutez main.py, utilisez l’époque, qui est le nombre d’itérations d’apprentissage, comme option, telle que « -epoch x », où x est le numéro d’époque. Le nombre par défaut est 500.</li>
		<li>Lors de l’exécution de main.py, définissez la taille du lot, qui correspond au nombre d’échantillons d’apprentissage au cours d’une seule session d’entraînement. Le nombre par défaut est 32.</li>
		<li>Dans main.py, chargez les tomodensitogrammes et les masques, et initialisez le SEQ-UNET avec les paramètres pré-entraînés à l’aide de l’ensemble de données LIDC-IDRI (téléchargeable à partir des archives d’imagerie du cancer).</li>
		<li>Dans main.py, effectuez le test du modèle après l’entraînement. Calculez les mesures d’évaluation, le score de dés et la similitude de volume, puis enregistrez-les dans le dossier des mesures.</li>
		<li>Vérifiez les résultats dans le dossier segmenté.</li>
	</ol></li>
</ol>

<ol><li>Li, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning-based+CT+radiomics+for+feature+representation+and+analysis+of+aging+characteristics+of+Asian+bony+orbit%5BTitle%5D)+AND+%22Journal+of+Craniofacial+Surgery%22%5BJournal%5D)">Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit.</a> Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).</li>
<li>Hamwood, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+deep+learning+method+for+automatic+segmentation+of+the+bony+orbit+in+MRI+and+CT+images%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">A deep learning method for automatic segmentation of the bony orbit in MRI and CT images.</a> Scientific Reports. 11, 1-12 (2021).</li>
<li>Kim, K. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Schwannoma+of+the+orbit%5BTitle%5D)+AND+%22Archives+of+Craniofacial+Surgery%22%5BJournal%5D)">Schwannoma of the orbit.</a> Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).</li>
<li>Baur, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Autoencoders+for+unsupervised+anomaly+segmentation+in+brain+MR+images%3A+A+comparative+study%5BTitle%5D)+AND+%22Medical+Image+Analysis%22%5BJournal%5D)">Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study.</a> Medical Image Analysis. 69, 101952(2021).</li>
<li>Trémeau, A., Colantoni, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Regions+adjacency+graph+applied+to+color+image+segmentation%5BTitle%5D)+AND+%22IEEE+Transactions+on+Image+Processing%22%5BJournal%5D)">Regions adjacency graph applied to color image segmentation.</a> IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).</li>
<li>Boykov, Y. Y., Jolly, M. -P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Interactive+graph+cuts+for+optimal+boundary+%26+region+segmentation+of+objects+in+ND+images%5BTitle%5D)+AND+%22Proceedings+of+Eighth+IEEE+International+Conference+on+Computer+Vision.+International+Conference+on+Computer+Vision%22%5BJournal%5D)">Interactive graph cuts for optimal boundary & region segmentation of objects in ND images.</a> Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).</li>
<li>Rother, C., Kolmogorov, V., Blake, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((%26%2334%3BGrabCut%26%2334%3B+interactive+foreground+extraction+using+iterated+graph+cuts%5BTitle%5D)+AND+%22ACM+Transactions+on+Graphics%22%5BJournal%5D)">&#34;GrabCut&#34; interactive foreground extraction using iterated graph cuts.</a> ACM Transactions on Graphics. 23 (3), 309-314 (2004).</li>
<li>Suh, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Supervised+segmentation+with+domain+adaptation+for+small+sampled+orbital+CT+images%5BTitle%5D)+AND+%22Journal+of+Computational+Design+and+Engineering%22%5BJournal%5D)">Supervised segmentation with domain adaptation for small sampled orbital CT images.</a> Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).</li>
<li>Ronneberger, O., Fischer, P., Brox, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((U-net%3A+Convolutional+networks+for+biomedical+image+segmentation%5BTitle%5D)+AND+%22International+Conference+on+Medical+Image+Computing+and+Computer-Assisted+Intervention.Medical+Image+Computing+and+Computer-Assisted+Intervention+-+MICCAI%22%5BJournal%5D)">U-net: Convolutional networks for biomedical image segmentation.</a> International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention - MICCAI. , 234-241 (2015).</li>
<li>Qamar, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+variant+form+of+3D-UNet+for+infant+brain+segmentation%5BTitle%5D)+AND+%22Future+Generation+Computer+Systems%22%5BJournal%5D)">A variant form of 3D-UNet for infant brain segmentation.</a> Future Generation Computer Systems. 108, 613-623 (2020).</li>
<li>Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aNguyen%2C+H+%22Computational+Pathology+and+Ophthalmic+Medical+Image+Analysis%22">Computational Pathology and Ophthalmic Medical Image Analysis</a>. , Springer. Cham, Switzerland. 167-175 (2018).</li>
<li>Liu, Q., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bidirectional-convolutional+LSTM+based+spectral-spatial+feature+learning+for+hyperspectral+image+classification%5BTitle%5D)+AND+%22Remote+Sensing%22%5BJournal%5D)">Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification.</a> Remote Sensing. 9 (12), 1330(2017).</li>
<li>Yeghiazaryan, V., Voiculescu, I. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Family+of+boundary+overlap+metrics+for+the+evaluation+of+medical+image+segmentation%5BTitle%5D)+AND+%22Journal+of+Medical+Imaging%22%5BJournal%5D)">Family of boundary overlap metrics for the evaluation of medical image segmentation.</a> Journal of Medical Imaging. 5 (1), 015006(2018).</li>
<li>Zhang, G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comparable+performance+of+deep+learning-based+to+manual-based+tumor+segmentation+in+KRAS%2FNRAS%2FBRAF+mutation+prediction+with+MR-based+radiomics+in+rectal+cancer%5BTitle%5D)+AND+%22Frontiers+in+Oncology%22%5BJournal%5D)">Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer.</a> Frontiers in Oncology. 11, 696706(2021).</li>
<li>Christopher, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Performance+of+deep+learning+architectures+and+transfer+learning+for+detecting+glaucomatous+optic+neuropathy+in+fundus+photographs%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs.</a> Scientific Reports. 8, 16685(2018).</li>
</ol>

Les auteurs ne déclarent aucun conflit d’intérêts.

L’analyse d’images médicales basée sur l’apprentissage profond est largement utilisée pour la détection des maladies. Dans le domaine de l’ophtalmologie, les modèles de détection et de segmentation sont utilisés dans la rétinopathie diabétique, le glaucome, la dégénérescence maculaire liée à l’âge et la rétinopathie du prématuré. Cependant, d’autres maladies rares en dehors de celles en ophtalmologie n’ont pas été étudiées en raison de l’accès limité à de grands ensembles de données publiques ouvertes pour l’analyse de l’apprentissage profond. Lors de l’application de cette méthode dans des situations où aucun jeu de données public n’est disponible, l’étape de masquage, qui est une tâche laborieuse et chronophage, est inévitable. Cependant, l’étape de masquage proposée (section protocole, étape 1) permet de générer le masquage avec une grande précision en peu de temps. À l’aide de super pixels et d’un remplissage basé sur un réseau neuronal, qui regroupent des pixels similaires dans les propriétés d’image de bas niveau, les cliniciens peuvent étiqueter les masques en cliquant sur les groupes de pixels au lieu de pointer les pixels spécifiques. En outre, les fonctions de correction automatique aident à affiner les processus de masque. L’efficience et l’efficacité de cette méthode aideront à générer plus d’images masquées dans la recherche médicale.
Parmi les nombreuses possibilités de prétraitement, l’extraction des VOI et l’écrêtage de fenêtre sont des méthodes efficaces. Ici, l’extraction des VOI et l’écrêtage de fenêtre sont introduits à l’étape 2 du protocole. Lorsque les cliniciens préparent l’ensemble de données, l’extraction de la VOI de l’ensemble de données donnée est l’étape la plus importante du processus, car la plupart des cas de segmentation se concentrent sur des régions petites et spécifiques de l’ensemble de l’image médicale. En ce qui concerne les VOI, les régions du globe oculaire, du nerf optique et des muscles extraoculaires sont recadrées en fonction de l’emplacement, mais des méthodes plus efficaces pour extraire les VOI ont le potentiel d’améliorer les performances de segmentation14. 
Pour la segmentation, SEQ-UNET est utilisé dans l’étude. Les images médicales 3D ont de grands volumes, de sorte que les modèles de réseaux neuronaux profonds nécessitent de grandes capacités de mémoire. Dans SEQ-UNET, le modèle de segmentation est implémenté avec un petit nombre de tranches pour réduire la taille de mémoire requise sans perdre les fonctionnalités des informations 3D. 
Le modèle a été formé avec 46 VOI, ce qui n’est pas un grand nombre pour la formation du modèle. En raison du petit nombre d’ensembles de données d’entraînement, la performance de la segmentation du nerf optique et du muscle extraoculaire est limitée. Transfer learning15 et domain adaptation8 pourraient apporter une solution pour améliorer les performances de segmentation.
L’ensemble du processus de segmentation introduit ici ne se limite pas à la segmentation orbitale CT. La méthode d’étiquetage efficace permet de créer un nouvel ensemble de données d’images médicales lorsque le domaine d’application est unique au domaine de recherche. Les codes python de GitHub concernant la modélisation de prétraitement et de segmentation peuvent être appliqués à d’autres domaines avec la modification de la région de recadrage, du niveau d’écrêtage de fenêtre et des hyperparamètres du modèle, tels que le nombre de tranches séquentielles, les architectures U-Net, etc.

L’orbite est un espace petit et compliqué d’environ 30,1cm3 qui contient des structures importantes telles que le globe oculaire, les nerfs, les muscles extraoculaires, les tissus de soutien et les vaisseaux pour la vision et les mouvements du globe oculaire1. Les tumeurs orbitaires sont des excroissances tissulaires anormales dans l’orbite, et certaines d’entre elles menacent la vision ou le mouvement du globe oculaire des patients, ce qui peut entraîner un dysfonctionnement fatal. Pour conserver la fonction visuelle des patients, les cliniciens doivent décider des modalités de traitement en fonction des caractéristiques de la tumeur, et une biopsie chirurgicale est généralement inévitable. Cette zone compacte et encombrée rend souvent difficile pour les cliniciens d’effectuer une biopsie sans endommager la structure normale. L’analyse d’images de pathologie basée sur l’apprentissage profond pour déterminer l’état de l’orbite pourrait aider à éviter des blessures inutiles ou évitables aux tissus orbitaires lors de la biopsie2. Une méthode d’analyse d’images pour les tumeurs orbitaires est la détection et la segmentation des tumeurs. Cependant, la collecte de grandes quantités de données pour les images CT contenant des tumeurs orbitaires est limitée en raison de leur faible incidence3. L’autre méthode efficace pour le diagnostic tumoralcomputationnel 4 consiste à comparer la tumeur aux structures normales de l’orbite. Le nombre d’images CT orbitaires dans les structures normales est relativement plus important que celui des tumeurs. Par conséquent, la segmentation des structures orbitales normales est la première étape pour atteindre cet objectif.
Cette étude présente l’ensemble du processus de segmentation de la structure orbitale basée sur l’apprentissage profond, y compris la collecte de données, le prétraitement et la modélisation ultérieure. L’étude est destinée à être une ressource pour les cliniciens intéressés à utiliser la méthode actuelle pour générer efficacement un ensemble de données masquées et pour les ophtalmologistes qui ont besoin d’informations sur le prétraitement et la modélisation des images CT orbitales. Cet article présente une nouvelle méthode de segmentation de structure orbitale et de U-Net séquentiel, un modèle de segmentation 2D séquentielle basé sur une solution d’apprentissage profond représentative dans U-Net pour la segmentation d’images médicales. Le protocole décrit la procédure détaillée de segmentation de l’orbite, y compris (1) comment utiliser un outil de masquage pour la réalité au sol de la segmentation de la structure orbitale, (2) les étapes requises pour le prétraitement des images orbitales, et (3) comment entraîner le modèle de segmentation et évaluer les performances de segmentation.
Pour l’apprentissage supervisé, quatre ophtalmologistes expérimentés certifiés depuis plus de 5 ans ont annoté manuellement les masques du globe oculaire, du nerf optique et des muscles extraoculaires. Tous les ophtalmologistes ont utilisé le logiciel de masquage (MediLabel, voir le tableau des matériaux), qui utilise la super-résolution pour un masquage efficace sur les tomodensitogrammes. Le logiciel de masquage dispose des fonctionnalités semi-automatiques suivantes: (1) SmartPencil, qui génère des grappes de cartes super pixels avec des valeurs similaires d’intensité d’image5; (2) SmartFill, qui génère des masques de segmentation en calculant la fonction énergétique du premier plan et de l’arrière-plan en cours 6,7; et (3) la correction automatique, qui rend les bordures des masques de segmentation propres et cohérentes avec l’image d’origine. Des exemples d’images des fonctions semi-automatiques sont présentés à la figure 1. Les étapes détaillées du masquage manuel sont fournies dans la section protocole (étape 1).
L’étape suivante est le prétraitement des tomodensitogrammes orbitaux. Pour obtenir les volumes orbitaux d’intérêt (VOI), les zones de l’orbite où le globe oculaire, le muscle et le nerf sont situés dans des conditions normales sont identifiées, et ces zones sont recadrées. Le jeu de données a une haute résolution, avec une résolution voxel de <1 mm dans le plan et une épaisseur de tranche, de sorte que le processus d’interpolation est ignoré. Au lieu de cela, l’écrêtage de fenêtre est effectué au niveau de l’écrêtage 48 HU et de la fenêtre 400 HU. Après le recadrage et l’écrêtage de fenêtre, trois tranches en série des VOI orbitales sont générées pour l’entrée8 du modèle de segmentation. La section du protocole (étape 2) fournit des détails sur les étapes de prétraitement.
U-Net9 est un modèle de segmentation largement utilisé pour les images médicales. L’architecture U-Net comprend un codeur, qui extrait les caractéristiques des images médicales, et un décodeur, qui présente sémantiquement les caractéristiques discriminantes. Lors de l’utilisation de U-Net pour les tomodensitométries, les couches convolutives sont constituées de filtres 3D10,11. C’est un défi car le calcul des filtres 3D nécessite une grande capacité de mémoire. Pour réduire les besoins en mémoire pour 3D U-Net, SEQ-UNET8, dans lequel un ensemble de tranches 2D séquentielles sont utilisées dans le U-Net, a été proposé. Pour éviter la perte de corrélations spatio-temporelles entre les tranches d’image 2D de la tomodensitométrie 3D, deux mémoires courtes à long terme convolutives bidirectionnelles (C-LSTM)12 sont utilisées dans U-Net de base. Le premier C-LSTM bidirectionnel extrait les corrélations entre tranches à la fin du codeur. Le deuxième C-LSTM bidirectionnel, après la sortie du décodeur, transforme les informations de segmentation sémantique dans les dimensions de la séquence de tranches en une segmentation d’image unique. L’architecture de SEQ-UNET est illustrée à la figure 2. Les codes d’implémentation sont disponibles à github.com/SleepyChild1005/OrbitSeg, et l’utilisation des codes est détaillée dans la section protocole (étape 3).

<table><tbody><tr><td>Lien</td><td></td><td></td> GitHub <td>github.com/SleepyChild1005/OrbitSeg</td></tr><tr><td>MediLabel</td><td>INGRADIENT (Séoul, Corée)</td><td></td><td>un logiciel d’étiquetage d’images médicales pour la segmentation avec moins de clics et une vitesse</td></tr><tr><td>SEQ-UNET</td><td></td><td></td> plus élevée <td>téléchargeable depuis l’assistant GitHub</td></tr><tr><td>SmartFil</td><td></td><td></td><td>dans MediLabel&nbsp ;</td></tr><tr><td>SmartPencil&nbsp ;</td><td></td><td></td><td>assistant dans MediLabel&nbsp ;</td></tr></tbody></table>

application de la segmentation d’images médicales basée sur l’apprentissage profond via la tomodensitométrie orbitale

Application of Deep Learning-Based Medical Image Segmentation via Orbital Computed Tomography

Récemment, les modèles de segmentation basés sur l’apprentissage profond ont été largement appliqués dans le domaine ophtalmique. Cette étude présente le processus complet de construction d’un modèle de segmentation orbitale par tomodensitométrie (TDM) basé sur U-Net. Pour l’apprentissage supervisé, un processus laborieux et chronophage est nécessaire. La méthode d’étiquetage avec une super-résolution pour masquer efficacement la réalité du terrain sur les images CT orbitales est introduite. En outre, le volume d’intérêt est recadré dans le cadre du prétraitement de l’ensemble de données. Ensuite, après avoir extrait les volumes d’intérêt des structures orbitales, le modèle de segmentation des structures clés de la CT orbitale est construit à l’aide de U-Net, avec des tranches 2D séquentielles qui sont utilisées comme entrées et deux mémoires courtes convolutives bidirectionnelles à long terme pour conserver les corrélations inter-tranches. Cette étude se concentre principalement sur la segmentation du globe oculaire, du nerf optique et des muscles extraoculaires. L’évaluation de la segmentation révèle l’application potentielle de la segmentation aux images CT orbitales à l’aide de méthodes d’apprentissage profond.

Pour l’évaluation quantitative, deux paramètres d’évaluation ont été adoptés, qui ont été utilisés dans la tâche de segmentation d’images CT. Il s’agissait de deux mesures de similarité, dont le score de dés (DICE) et la similarité de volume (VS)13 :
DICE (%) = 2 × TP/(2 × TP + FP + FN) VS (%) = 1 − | FN − FP|/(2 × TP + FP + FN)
où TP, FP et FN désignent les vraies valeurs positives, faux positifs et faux négatifs, respectivement, lorsque le résultat de segmentation et le masque de segmentation sont donnés.
La performance de SEQ-UNET pour la segmentation de la structure orbitale a été évaluée par quatre validations croisées. Les résultats sont présentés dans le tableau 1. La segmentation du globe oculaire à l’aide de SEQ-UNET a obtenu un score de dés de 0,86 et un VS de 0,83. La segmentation des muscles extraoculaires et du nerf optique a permis d’obtenir de faibles scores de dés (0,54 et 0,34, respectivement). Le score de dés de la segmentation du globe oculaire était supérieur à 80% parce qu’il y avait une grande partie des VOI et peu d’hétérogénéité entre les tomodensitogrammes. Les scores de dés des muscles extraoculaires et du nerf optique étaient relativement faibles parce qu’ils apparaissaient rarement dans le volume CT et ont été trouvés dans un nombre relativement faible de tranches CT. Cependant, les scores de similitude visuelle des muscles extraoculaires et du nerf optique (0,65 et 0,80, respectivement) étaient plus élevés que leurs scores de dés. Ce résultat indique que la spécificité de la segmentation était faible. Dans l’ensemble, le score de dés et la similitude visuelle de SEQ-UNET pour la segmentation de toutes les sous-structures orbitales étaient respectivement de 0,79 et 0,82. Des exemples des résultats visuels de la segmentation de la structure orbitale sont présentés à la figure 3. Dans la figure 3A-C, le bleu est le résultat de segmentation prédit et le rouge est le masque de vérité au sol. Dans la figure 3D, le rouge, le vert et l’orange représentent respectivement le globe oculaire, le muscle optique et la segmentation nerveuse.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/64500/64500fig01.jpg"> Figure 1 : fonctions de masquage semi-automatique. Masquage du globe oculaire, des muscles extraoculaires et du nerf optique sur les tomodensitogrammes orbitaux à l’aide de (A) SmartPencil, (B) SmartFill et (C) AutoCorrection. Le masque du globe oculaire est étiqueté par SmartPencil, qui calcule les super pixels des tranches, et le masque est fait en cliquant sur les super pixels. Après avoir cliqué sur certains des super pixels du globe oculaire, l’ensemble du masque oculaire peut être calculé par SmartFill. Dans le cas du masquage du nerf optique, le raffinement du masquage est effectué par AutoCorrection. Les globes oculaires marqués de couleur bleue sont indiqués en (A) et (B). <a href="https://www.jove.com/files/ftp_upload/64500/64500fig01large.jpg" target="_blank">Veuillez cliquer ici pour voir une version agrandie de cette figure.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/64500/64500fig02.jpg"> Figure 2 : Architecture SEQ U-Net. Tranches 2D séquentielles en entrée et sortie; deux C-LSTM bidirectionnels sont appliqués à la fin des blocs d’encodage et de décodage basés sur l’architecture U-Net. <a href="https://www.jove.com/files/ftp_upload/64500/64500fig02large.jpg" target="_blank">Veuillez cliquer ici pour voir une version agrandie de cette figure.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/64500/64500fig03.jpg"> Figure 3 : Résultats de la segmentation des structures orbitales. (A) Globe oculaire (étiquette 1), (B) muscle optique (étiquette 2), (C) nerf optique (étiquette 3) et (D) multimarque (étiquettes 1, 2 et 3). L’image de gauche est la VOI de l’orbite, l’image centrale est la segmentation prédite et l’image de droite est la vérité au sol. Dans (A), (B) et (C), le bleu est le résultat de segmentation prédit et le rouge est le masque de vérité du terrain. En (D), le rouge, le vert et l’orange sont respectivement le globe oculaire, le muscle extraoculaire et la segmentation du nerf optique. La segmentation prévue a montré une performance élevée (DICE: 0,86 vs 0,82) dans le cas du globe oculaire mais une faible performance dans le cas du muscle extraoculaire (DICE: 0,54 vs 0,65) et du nerf optique (DICE: 0,34 vs 0,8). <a href="https://www.jove.com/files/ftp_upload/64500/64500fig03large.jpg" target="_blank">Veuillez cliquer ici pour voir une version agrandie de cette figure.</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always"><tbody><tr><td rowspan="2"></td>
			<td colspan="2">Multi-étiquettes</td>
			<td colspan="2">Étiquette 1 (globe oculaire)</td>
			<td colspan="2">Étiquette 2 (Muscle extraoculaire)</td>
			<td colspan="2">Étiquette 3 (nerf optique)</td>
		</tr><tr><td>DÉ</td>
			<td>VS</td>
			<td>DÉ</td>
			<td>VS</td>
			<td>DÉ</td>
			<td>VS</td>
			<td>DÉ</td>
			<td>VS</td>
		</tr><tr><td>SEQ-UNET</td>
			<td>0.79</td>
			<td>0.82</td>
			<td>0.86</td>
			<td>0.83</td>
			<td>0.54</td>
			<td>0.65</td>
			<td>0.34</td>
			<td>0.8</td>
		</tr></tbody></table>Tableau 1 : Résultats de la segmentation pour le score de dés et la similitude visuelle. Le globe oculaire, qui a un nombre relativement important de tranches, a été bien segmenté avec un DICE de 0,8, mais le muscle extraoculaire et le nerf optique, qui ont un petit nombre de tranches et de forme de ligne, ont été partiellement segmentés avec des valeurs DICE de 0,54 et 0,34, respectivement.
Vidéo 1 : Assistant SmartPencil dans le logiciel de masquage. Une démonstration d’annotation de plusieurs pixels pour le masquage du globe oculaire. Les tâches de masquage sont activées en un clic sur les super pixels clusterisés. <a href="https://www.jove.com/files/ftp_upload/64500/SmartPencil_Figure1(A).mp4" target="_blank">Veuillez cliquer ici pour télécharger cette vidéo.</a>
Vidéo 2 : Assistant SmartFill dans le logiciel de masquage. Une démonstration d’annotation de plusieurs pixels pour le masquage du globe oculaire. Après avoir sélectionné quelques pixels dans la zone d’annotation, cette fonction génère des masques de segmentation complets avec des intensités similaires aux pixels sélectionnés. <a href="https://www.jove.com/files/ftp_upload/64500/SmartFill_Figure1(B).mp4" target="_blank">Veuillez cliquer ici pour télécharger cette vidéo.</a>
Vidéo 3: AutoCorrection dans le logiciel de masquage. Une démonstration de la correction automatique d’un pixel masqué à l’aide d’un algorithme de réseau neuronal convolutif pré-entraîné. <a href="https://www.jove.com/files/ftp_upload/64500/AutoCorrection_Figure(C).mp4" target="_blank">Veuillez cliquer ici pour télécharger cette vidéo.</a>
Tableau supplémentaire 1 : Environnement d’exécution (RTE) de masquage, de prétraitement et de modélisation de segmentation. <a href="https://www.jove.com/files/ftp_upload/64500/Supplemtary%20Table%201.xlsx" target="_blank">Veuillez cliquer ici pour télécharger ce tableau.</a>

Un protocole de segmentation d’objets pour les images orbitales de tomodensitométrie (CT) est introduit. Les méthodes d’étiquetage de la réalité terrestre des structures orbitales en utilisant la super-résolution, l’extraction du volume d’intérêt des images CT et la modélisation de la segmentation multi-étiquettes à l’aide de U-Net séquentiel 2D pour les images CT orbitales sont expliquées pour l’apprentissage supervisé.

Application de la segmentation d’images médicales basée sur l’apprentissage profond via la tomodensitométrie orbitale

Recently, deep learning-based segmentation models have been widely applied in the ophthalmic field. This study presents the complete process of ...

Nous avons introduit le protocole de segmentation d’objets pour les images orbitales de tomodensitométrie dans cette étude. C’est le premier procès au monde. En utilisant ce programme, vous pouvez faire le masquage sur n’importe quelle partie de l’anatomie facilement où vous le souhaitez.Il visualise et économise votre temps et vos efforts. Nous espérons que cette étude pourra être une pierre angulaire pour le diagnostic des maladies orbitaires, qui sont difficiles pour la biopsie. Commencez par exécuter le logiciel de masquage.Pour charger le CT orbital, cliquez sur l’icône d’ouverture du fichier et sélectionnez le fichier CT cible. Pour masquer le globe oculaire, le nerf optique et les muscles extraoculaires à l’aide de superpixels, exécutez le SmartPencil en cliquant sur l’assistant SmartPencil dans MediLabel. Ensuite, contrôlez la résolution de la carte des super pixels, si nécessaire, et cliquez sur le groupe de superpixels du globe oculaire, des muscles extraoculaires et du nerf optique sur la carte des superpixels, où les pixels de valeurs d’intensité d’image similaires sont regroupés.Pour affiner les masques, cliquez sur l’assistant SmartFill après avoir masqué certains des superpixels sur les tranches, puis cliquez sur l’icône Correction automatique et assurez-vous que les étiquettes de masque corrigées sont calculées. Une fois le raffinement du masquage terminé, enregistrez les images masquées. Exécutez le script Python pour le prétraitement et vérifiez les analyses et les masques qui sont rognés et enregistrés dans le dossier VOIs.Exécutez le script Python du générateur de séquence pour transformer les VOI en un ensemble de trois tranches CT séquentielles à utiliser comme entrée pour la séquence U-Net. Vérifiez les tomodensitogrammes et les masques enregistrés et transformés dans le dossier de numérisation et le dossier masque et les dossiers prétraités respectivement. Pour générer le modèle de segmentation orbitale, exécutez le script Python principal.py et donner les numéros de pliage. Définissez l’époque, qui est le nombre d’itérations d’apprentissage, et définissez la taille du lot, qui est le nombre d’échantillons d’apprentissage dans une seule session d’entraînement. Le script principal.PY peut s’exécuter sans les analyseurs, auquel cas, il s’exécute avec les valeurs par défaut. Effectuez les tests du modèle après l’entraînement et calculez les mesures d’évaluation telles que le score de dés et la similitude de volume. Enfin, vérifiez les résultats enregistrés sous forme de fichiers image.La segmentation du globe oculaire à l’aide de la séquence U-Net pour la segmentation de la structure orbitale a obtenu une similitude visuelle ou un score VS de 0,83 et un score de dés élevé de 0,86 parce qu’elle avait une grande partie des VOI et peu d’hétérogénéité entre les tomodensitométries. Un score de dés faible de 0,54 a été obtenu pour la segmentation des muscles extraoculaires et de 0,34 pour le nerf optique, car ils apparaissaient rarement dans le volume CT et se trouvaient dans un nombre relativement faible de tranches CT. Cependant, les scores de similitude visuelle des muscles extraoculaires et du nerf optique étaient plus élevés que leurs scores de dés, ce qui indique que la spécificité de la segmentation était faible.Dans l’ensemble, la segmentation de toutes les sous-structures orbitales a atteint un score de dés de 0,79 et un score de similarité visuelle de 0,82. Selon l’application, la taille de VOI et le niveau d’écrêtage de fenêtre peuvent varier. Vous pouvez modifier le code du générateur de séquence à d’autres fins intéressantes.En outre, les hyperparamètres pour la formation du modèle peuvent être modifiés. Le modèle a été formé avec 46 VOI, ce qui n’est pas un grand nombre pour la formation du modèle. Pour surmonter les faibles performances dues au petit nombre d’ensembles de données d’apprentissage, l’apprentissage par transfert et la notation de domaine pourraient être appliqués.

application-deep-learning-based-medical-image-segmentation-via

Research

Recherche

JoVE Journal

Engineering

Ingénierie

Une estimation médiane automatisé changement et de la pression intracrânienne (PIC) de présélection système basé sur la tomodensitométrie (TDM) images pour les patients présentant une lésion cérébrale traumatique (TBI) est proposé d'utiliser le traitement d'images et de techniques d'apprentissage automatique.

Maj automatique Ligne médiane et estimation de la pression intracrânienne basée sur des images CT du cerveau

La méthode présentée ici utilise 18 F-fluorodésoxyglucose (18 F-FDG) par émission de positons / tomodensitométrie (TEP-TDM) et l'imagerie graisse eau séparée résonance magnétique (IRM), chaque numérisé suivante 2 exposition h à thermoneutre (24 ° C ) et froid (17 ° C) dans le but de cartographier le tissu adipeux brun (BAT) chez des sujets humains adultes.

Dépôts de tissus humains adipeux brun segmentés automatiquement par tomographie par émission de positons / informatisée et la résonance magnétique images enregistrées

Il s’agit d’une méthode d’entraînement d’un U-Net multi-coupes pour la segmentation multi-classe de tomogrammes cryo-électroniques en utilisant une partie d’un tomogramme comme entrée d’apprentissage. Nous décrivons comment déduire ce réseau à d’autres tomogrammes et comment extraire des segmentations pour des analyses plus approfondies, telles que la moyenne des sous-tomogrammes et le traçage filamentaire.

Segmentation basée sur l’apprentissage profond des tomogrammes cryoélectroniques

La médecine personnalisée pour la reconstruction orbitaire se développe rapidement. En raison de la nature délicate de l’orbite, de petites anomalies après la reconstruction de la fracture peuvent entraîner une altération de la perception visuelle. Nous décrivons ici trois méthodes de reconstruction virtuelle en 3D des défauts orbitaux, ainsi que leurs indications et les pièges potentiels d’une reconstruction correcte.

Reconstruction tridimensionnelle des fractures orbitaires

La cryo-tomographie électronique (cryo-ET) permet de visualiser en 3D l’ultrastructure cellulaire à une résolution nanométrique, mais la segmentation manuelle reste longue et complexe. Nous présentons un nouveau flux de travail qui intègre un logiciel de réalité virtuelle avancé pour segmenter les tomogrammes cryo-ET, démontrant ainsi son efficacité grâce à la segmentation des mitochondries dans les cellules de mammifères.

Exploiter la réalité virtuelle pour la segmentation et l’analyse immersives des données de cryo-tomographie électronique

Le développement d’un flux de travail automatisé de détection de l’espace articulaire a permis une segmentation à haut débit des os de la patte arrière murine distincts avec une précision de &gt;98 % chez les animaux sauvages. Une application flexible aux pattes avant et pattes atteintes d’arthrite érosive inflammatoire a été obtenue, mais avec des performances dépassées qui justifient une optimisation supplémentaire dans de futures études utilisant des données publiques.

La détection automatisée de l’espace articulaire améliore la précision de segmentation des os

Une particule image en écho de vélocimétrie (EPIV) système capable d'acquérir deux dimensions champs de vitesse dans les fluides optiquement opaques ou opaques à travers des géométries est décrite, et des mesures de débit de validation tuyau sont rapportés.

Echo vélocimétrie par images de particules

Une procédure pour l'étude des écoulements transitoires près des limites à l'aide de haute résolution, haute vitesse vélocimétrie par image de particules (PIV) est décrite ici. PIV est une technique de mesure non intrusive applicable à n'importe quel flux optique accessible par l'optimisation de plusieurs contraintes de paramètres tels que l'image et l'enregistrement des propriétés, les propriétés de la feuille de laser, et des algorithmes d'analyse.

Particules à haute vitesse vélocimétrie par image de près de surfaces

Un flux de travail pour les micro-caractérisation complète de dispositifs optiques actifs est décrit. Il contient des enquêtes structurelles ainsi que fonctionnelles au moyen de CT, LM et SEM. La méthode est démontrée pour une LED blanche qui peut être encore être exploités lors de la caractérisation.

En Profondeur Analyses de LED par une combinaison de tomodensitométrie à rayons X (CT) et Microscopie Light (LM) Corrélée avec microscopie électronique à balayage (MEB)

Nous présentons des protocoles à utiliser dans la mesure de la taille des gouttelettes pulvérisées à partir de buses agricoles utilisées dans les deux applications agrochimiques aériennes et terrestres sur la base. Ces méthodes présentées ont été développées pour fournir la taille des gouttelettes de données cohérente et reproductible à la fois inter et intra-laboratoire, en utilisant des systèmes de diffraction laser.

Mesure de pulvérisation Taille des gouttelettes de Buses agricoles Utilisation Laser Diffraction

Apprenez la segmentation d'images CT orbitales par apprentissage profond avec U-Net séquentiel 2D. Cette méthode améliore le diagnostic non invasif des maladies orbitales difficiles à biopsier.

Application de la segmentation d’images médicales basée sur l’apprentissage profond via la tomodensitométrie orbitale

Explorer plus de vidéos