Name: Anwendung der Deep-Learning-basierten medizinischen Bildsegmentierung mittels orbitaler Computertomographie (Video) | JoVE Journal
Uploaded: 2022-11-30T13:50:00.000+00:00
Duration: 4 min 48 s
Description: Erfahren Sie die Deep-Learning-basierte Segmentierung von Orbital-CT-Bildern mittels sequenziellem U-Net. Dieses Protokoll ermöglicht präzise Maskierung anatomischer Strukturen zur Verbesserung nicht-invasiver Diagnosen.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Diese Arbeit wurde von der National Research Foundation of Korea (NRF) unterstützt, die vom koreanischen Ministerium für Wissenschaft und IKT (MSIT) finanziert wurde (Nummer: 2020R1C1C1010079). Für den CMC-ORBIT-Datensatz erteilte das zentrale Institutional Review Board (IRB) des Catholic Medical Center die Genehmigung (XC19REGI0076). Diese Arbeit wurde vom 2022 Hongik University Research Fund unterstützt.

Die vorliegende Arbeit wurde mit Zustimmung des Institutional Review Board (IRB) des Catholic Medical Center durchgeführt, und die Privatsphäre, Vertraulichkeit und Sicherheit der Gesundheitsinformationen wurden geschützt. Die orbitalen CT-Daten wurden (von anonymisierten menschlichen Probanden) in Krankenhäusern gesammelt, die dem College of Medicine, der Catholic University of Korea (CMC; Seoul St. Mary's Hospital, Yeouido St. Mary's Hospital, Daejeon St. Mary's Hospital und St. Vincent Hospital). Die orbitalen CT-Scans wurden von Januar 2016 bis Dezember 2020 aufgenommen. Der Datensatz enthielt 46 orbitale CT-Scans von koreanischen Männern und Frauen im Alter von 20 Jahren bis 60 Jahren. Die Laufzeitumgebung (RTE) ist in der Zusatztabelle 1 zusammengefasst.
1. Maskierung des Augapfels, des Sehnervs und der extraokularen Muskeln auf den orbitalen CT-Scans
<ol><li>Führen Sie das Maskierungssoftwareprogramm aus. HINWEIS: Die Maskierungssoftware (MediLabel, siehe Materialtabelle) ist eine Software zur Kennzeichnung medizinischer Bilder zur Segmentierung, die nur wenige Klicks erfordert und eine hohe Geschwindigkeit aufweist.</li>
	<li>Laden Sie die orbitale CT, indem Sie auf das Symbol zum Öffnen der Datei klicken und die Ziel-CT-Datei auswählen. Dann werden die CT-Scans auf dem Bildschirm angezeigt.</li>
	<li>Maskieren Sie den Augapfel, den Sehnerv und die extraokularen Muskeln mit Superpixeln.<ol><li>Führen Sie den SmartPencil aus, indem Sie in MediLabel auf den SmartPencil-Assistenten klicken (Video 1).</li>
		<li>Steuern Sie bei Bedarf die Auflösung der Superpixelkarte (z. B. 100, 500, 1.000 und 2.000 Superpixel).</li>
		<li>Klicken Sie auf die Gruppe der Superpixel des Augapfels, des Sehnervs und der extraokularen Muskeln auf der Superpixelkarte, wo Pixel mit ähnlichen Bildintensitätswerten gruppiert sind.</li>
	</ol></li>
	<li>Verfeinern Sie die Masken mit den Autokorrekturfunktionen in MediLabel.<ol><li>Klicken Sie auf den SmartFill-Assistenten , nachdem Sie einige der Superpixel auf den Slices maskiert haben (Video 2).</li>
		<li>Klicken Sie auf das AutoKorrektur-Symbol und stellen Sie sicher, dass die korrigierten Maskenbeschriftungen berechnet werden (Video 3).</li>
	</ol></li>
	<li>Wiederholen Sie Schritt 1.3 und Schritt 1.4, bis die Verfeinerung der Maskierung abgeschlossen ist.</li>
	<li>Speichern Sie die maskierten Bilder.</li>
</ol>2. Vorverarbeitung: Fensterausschnitt und Zuschneiden der VOIs
<ol><li>Extrahieren Sie die VOIs mit preprocessing_multilabel.py (die Datei kann von GitHub heruntergeladen werden).<ol><li>Führen Sie preprocessing_multilabel.py aus.</li>
		<li>Überprüfen Sie die Scans und Masken, die zugeschnitten und im Ordner VOIs gespeichert werden.</li>
	</ol></li>
	<li>Transformieren Sie die VOIs in den Satz von drei sequenziellen CT-Slices für die Eingabe an SEQ-UNET mit builder_multilabel.py (die Datei kann von GitHub heruntergeladen werden).<ol><li>Führen Sie sequence_builder_multilabel.py aus.</li>
		<li>Stellen Sie sicher, dass die Größe der Segmente und Masken während der Transformation auf 64 x 64 Pixel geändert wird.</li>
		<li>Führen Sie während der Transformation ein Clipping mit der Beschneidungsstufe 48 HE und dem Fenster 400 HE durch.</li>
		<li>Überprüfen Sie die gespeicherten transformierten CT-Scans (nii-Datei) und Masken (nii-Datei) im Scan-Ordner bzw. im Maskenordner unter Vorverarbeitete Ordner.</li>
	</ol></li>
</ol>3. Vier Kreuzvalidierungen des orbitalen Segmentierungsmodells
<ol><li>Erstellen Sie das Modell, indem Sie die folgenden Schritte ausführen.<ol><li>Führen Sie main.py aus.</li>
		<li>Wenn Sie main.py ausführen, geben Sie die Faltungsnummer der vier Kreuzvalidierungen mit "-fold num x" an, wobei x 0, 1, 2 oder 3 ist.</li>
		<li>Verwenden Sie beim Ausführen von main.py die Epoche, d. h. die Anzahl der Trainingsiterationen, als Option, z. B. "-epoch x", wobei x die Epochennummer ist. Die Standardzahl ist 500.</li>
		<li>Wenn Sie main.py ausführen, legen Sie die Batchgröße fest, d. h. die Anzahl der Trainingsbeispiele in einer einzelnen Trainingssitzung. Die Standardzahl ist 32.</li>
		<li>Laden Sie main.py die CT-Scans und Masken und initialisieren Sie das SEQ-UNET mit den vortrainierten Parametern mithilfe des LIDC-IDRI-Datensatzes (herunterladbar aus dem Krebsbildgebungsarchiv).</li>
		<li>Führen Sie main.py den Test des Modells nach dem Training durch. Berechnen Sie die Bewertungsmetriken, die Würfelpunktzahl und die Volumenähnlichkeit und speichern Sie sie im Metrikordner.</li>
		<li>Überprüfen Sie die Ergebnisse im segmentierten Ordner.</li>
	</ol></li>
</ol>

<ol><li>Li, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning-based+CT+radiomics+for+feature+representation+and+analysis+of+aging+characteristics+of+Asian+bony+orbit%5BTitle%5D)+AND+%22Journal+of+Craniofacial+Surgery%22%5BJournal%5D)">Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit.</a> Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).</li>
<li>Hamwood, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+deep+learning+method+for+automatic+segmentation+of+the+bony+orbit+in+MRI+and+CT+images%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">A deep learning method for automatic segmentation of the bony orbit in MRI and CT images.</a> Scientific Reports. 11, 1-12 (2021).</li>
<li>Kim, K. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Schwannoma+of+the+orbit%5BTitle%5D)+AND+%22Archives+of+Craniofacial+Surgery%22%5BJournal%5D)">Schwannoma of the orbit.</a> Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).</li>
<li>Baur, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Autoencoders+for+unsupervised+anomaly+segmentation+in+brain+MR+images%3A+A+comparative+study%5BTitle%5D)+AND+%22Medical+Image+Analysis%22%5BJournal%5D)">Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study.</a> Medical Image Analysis. 69, 101952(2021).</li>
<li>Trémeau, A., Colantoni, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Regions+adjacency+graph+applied+to+color+image+segmentation%5BTitle%5D)+AND+%22IEEE+Transactions+on+Image+Processing%22%5BJournal%5D)">Regions adjacency graph applied to color image segmentation.</a> IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).</li>
<li>Boykov, Y. Y., Jolly, M. -P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Interactive+graph+cuts+for+optimal+boundary+%26+region+segmentation+of+objects+in+ND+images%5BTitle%5D)+AND+%22Proceedings+of+Eighth+IEEE+International+Conference+on+Computer+Vision.+International+Conference+on+Computer+Vision%22%5BJournal%5D)">Interactive graph cuts for optimal boundary & region segmentation of objects in ND images.</a> Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).</li>
<li>Rother, C., Kolmogorov, V., Blake, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((%26%2334%3BGrabCut%26%2334%3B+interactive+foreground+extraction+using+iterated+graph+cuts%5BTitle%5D)+AND+%22ACM+Transactions+on+Graphics%22%5BJournal%5D)">&#34;GrabCut&#34; interactive foreground extraction using iterated graph cuts.</a> ACM Transactions on Graphics. 23 (3), 309-314 (2004).</li>
<li>Suh, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Supervised+segmentation+with+domain+adaptation+for+small+sampled+orbital+CT+images%5BTitle%5D)+AND+%22Journal+of+Computational+Design+and+Engineering%22%5BJournal%5D)">Supervised segmentation with domain adaptation for small sampled orbital CT images.</a> Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).</li>
<li>Ronneberger, O., Fischer, P., Brox, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((U-net%3A+Convolutional+networks+for+biomedical+image+segmentation%5BTitle%5D)+AND+%22International+Conference+on+Medical+Image+Computing+and+Computer-Assisted+Intervention.Medical+Image+Computing+and+Computer-Assisted+Intervention+-+MICCAI%22%5BJournal%5D)">U-net: Convolutional networks for biomedical image segmentation.</a> International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention - MICCAI. , 234-241 (2015).</li>
<li>Qamar, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+variant+form+of+3D-UNet+for+infant+brain+segmentation%5BTitle%5D)+AND+%22Future+Generation+Computer+Systems%22%5BJournal%5D)">A variant form of 3D-UNet for infant brain segmentation.</a> Future Generation Computer Systems. 108, 613-623 (2020).</li>
<li>Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aNguyen%2C+H+%22Computational+Pathology+and+Ophthalmic+Medical+Image+Analysis%22">Computational Pathology and Ophthalmic Medical Image Analysis</a>. , Springer. Cham, Switzerland. 167-175 (2018).</li>
<li>Liu, Q., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bidirectional-convolutional+LSTM+based+spectral-spatial+feature+learning+for+hyperspectral+image+classification%5BTitle%5D)+AND+%22Remote+Sensing%22%5BJournal%5D)">Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification.</a> Remote Sensing. 9 (12), 1330(2017).</li>
<li>Yeghiazaryan, V., Voiculescu, I. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Family+of+boundary+overlap+metrics+for+the+evaluation+of+medical+image+segmentation%5BTitle%5D)+AND+%22Journal+of+Medical+Imaging%22%5BJournal%5D)">Family of boundary overlap metrics for the evaluation of medical image segmentation.</a> Journal of Medical Imaging. 5 (1), 015006(2018).</li>
<li>Zhang, G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comparable+performance+of+deep+learning-based+to+manual-based+tumor+segmentation+in+KRAS%2FNRAS%2FBRAF+mutation+prediction+with+MR-based+radiomics+in+rectal+cancer%5BTitle%5D)+AND+%22Frontiers+in+Oncology%22%5BJournal%5D)">Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer.</a> Frontiers in Oncology. 11, 696706(2021).</li>
<li>Christopher, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Performance+of+deep+learning+architectures+and+transfer+learning+for+detecting+glaucomatous+optic+neuropathy+in+fundus+photographs%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs.</a> Scientific Reports. 8, 16685(2018).</li>
</ol>

Die Autoren erklären keine Interessenkonflikte.

Deep-Learning-basierte medizinische Bildanalyse wird häufig zur Krankheitserkennung eingesetzt. In der Ophthalmologie werden Nachweis- und Segmentierungsmodelle bei diabetischer Retinopathie, Glaukom, altersbedingter Makuladegeneration und Frühgeborenenretinopathie eingesetzt. Andere seltene Krankheiten außer denen in der Augenheilkunde wurden jedoch aufgrund des begrenzten Zugangs zu großen offenen öffentlichen Datensätzen für Deep-Learning-Analysen nicht untersucht. Bei der Anwendung dieser Methode in Situationen, in denen kein öffentliches Dataset verfügbar ist, ist der Maskierungsschritt, der eine arbeits- und zeitaufwändige Aufgabe ist, unvermeidlich. Der vorgeschlagene Maskierungsschritt (Protokollabschnitt, Schritt 1) hilft jedoch, innerhalb kurzer Zeit eine Maskierung mit hoher Genauigkeit zu generieren. Mithilfe von Superpixeln und neuronaler Netzwerk-basierter Füllung, bei denen Pixel gruppiert werden, die in Low-Level-Bildeigenschaften ähnlich sind, können Ärzte die Masken beschriften, indem sie auf die Pixelgruppen klicken, anstatt auf die spezifischen Pixel hinzuweisen. Auch die automatischen Korrekturfunktionen helfen dabei, die Maskenprozesse zu verfeinern. Die Effizienz und Effektivität dieser Methode wird dazu beitragen, mehr maskierte Bilder in der medizinischen Forschung zu erzeugen.
Unter den vielen Möglichkeiten der Vorverarbeitung sind die Extraktion von VOIs und das Clipping von Fenstern effektive Methoden. Hier werden das Extrahieren von VOIs und das Clipping von Fenstern in Schritt 2 des Protokolls eingeführt. Wenn die Kliniker den Datensatz vorbereiten, ist die Extraktion des VOI aus dem gegebenen Datensatz der wichtigste Schritt im Prozess, da sich die meisten Segmentierungsfälle auf kleine und spezifische Regionen im gesamten medizinischen Bild konzentrieren. In Bezug auf die VOIs werden die Regionen des Augapfels, des Sehnervs und der extraokularen Muskeln basierend auf dem Standort abgeschnitten, aber effektivere Methoden zur Extraktion von VOIs haben das Potenzial, die Segmentierungsleistung zu verbessern14. 
Für die Segmentierung wird SEQ-UNET in der Studie eingesetzt. Die medizinischen 3D-Bilder haben große Volumina, so dass tiefe neuronale Netzwerkmodelle große Speicherkapazitäten erfordern. In SEQ-UNET wird das Segmentierungsmodell mit einer kleinen Anzahl von Slices implementiert, um die erforderliche Speichergröße zu reduzieren, ohne die Merkmale der 3D-Informationen zu verlieren. 
Das Modell wurde mit 46 VOIs trainiert, was für die Modellausbildung keine große Zahl ist. Aufgrund der geringen Anzahl von Trainingsdatensätzen ist die Leistungsfähigkeit des Sehnervs und der extraokularen Muskelsegmentierung begrenzt. Transfer Learning15 und Domain Adaptation8 könnten eine Lösung zur Verbesserung der Segmentierungsleistung bieten.
Der gesamte hier vorgestellte Segmentierungsprozess beschränkt sich nicht nur auf die orbitale CT-Segmentierung. Die effiziente Markierungsmethode hilft bei der Erstellung eines neuen medizinischen Bilddatensatzes, wenn die Anwendungsdomäne für das Forschungsgebiet einzigartig ist. Die Python-Codes von GitHub bezüglich der Vorverarbeitungs- und Segmentierungsmodellierung können auf andere Domänen angewendet werden, indem der Zuschneidebereich, die Fensterbeschneidungsebene und die Modellhyperparameter wie die Anzahl der sequenziellen Slices, die U-Net-Architekturen usw. geändert werden.

Die Augenhöhle ist ein kleiner und komplizierter Raum von etwa 30,1 cm3 , der wichtige Strukturen wie Augapfel, Nerven, extraokulare Muskeln, Stützgewebe und Gefäße für Seh- und Augapfelbewegungen enthält1. Orbitale Tumoren sind abnormale Gewebewucherungen in der Augenhöhle, und einige von ihnen bedrohen das Sehvermögen oder die Augapfelbewegung der Patienten, was zu tödlichen Funktionsstörungen führen kann. Um die Sehfunktion der Patienten zu erhalten, müssen Ärzte über die Behandlungsmodalitäten basierend auf den Tumormerkmalen entscheiden, und eine chirurgische Biopsie ist in der Regel unvermeidlich. Dieser kompakte und überfüllte Bereich macht es für Kliniker oft schwierig, eine Biopsie durchzuführen, ohne die normale Struktur zu beschädigen. Die Deep-Learning-basierte Bildanalyse der Pathologie zur Bestimmung des Zustands der Umlaufbahn könnte helfen, unnötige oder vermeidbare Verletzungen des orbitalen Gewebes während der Biopsiezu vermeiden 2. Eine Methode der Bildanalyse für orbitale Tumoren ist die Tumorerkennung und -segmentierung. Die Sammlung großer Datenmengen für CT-Bilder, die orbitale Tumoren enthalten, ist jedoch aufgrund ihrer geringen Inzidenz begrenzt3. Die andere effiziente Methode zur computergestützten Tumordiagnose4 besteht darin, den Tumor mit den normalen Strukturen der Umlaufbahn zu vergleichen. Die Anzahl der orbitalen CT-Bilder in normalen Strukturen ist relativ größer als in Tumoren. Daher ist die Segmentierung normaler Bahnstrukturen der erste Schritt, um dieses Ziel zu erreichen.
Diese Studie stellt den gesamten Prozess der Deep-Learning-basierten Orbitalstruktursegmentierung dar, einschließlich der Datenerfassung, Vorverarbeitung und anschließenden Modellierung. Die Studie soll eine Ressource für Kliniker sein, die daran interessiert sind, die aktuelle Methode zur effizienten Erstellung eines maskierten Datensatzes zu verwenden, und für Augenärzte, die Informationen über die Vorverarbeitung und Modellierung von orbitalen CT-Bildern benötigen. Dieser Artikel stellt eine neue Methode zur Orbitalstruktursegmentierung und sequentielles U-Net vor, ein sequentielles 2D-Segmentierungsmodell, das auf einer repräsentativen Deep-Learning-Lösung in U-Net für die Segmentierung medizinischer Bilder basiert. Das Protokoll beschreibt das detaillierte Verfahren der Bahnsegmentierung, einschließlich (1) der Verwendung eines Maskierungswerkzeugs für die Grundwahrheit der Bahnstruktursegmentierung, (2) der Schritte, die für die Vorverarbeitung der Orbitalbilder erforderlich sind, und (3) des Trainierens des Segmentierungsmodells und der Bewertung der Segmentierungsleistung.
Für das überwachte Lernen kommentierten vier erfahrene Augenärzte, die seit über 5 Jahren zertifiziert waren, die Masken des Augapfels, des Sehnervs und der extraokularen Muskeln manuell. Alle Augenärzte verwendeten die Maskierungssoftware (MediLabel, siehe Materialtabelle), die eine Superauflösung für eine effiziente Maskierung von CT-Scans verwendet. Die Maskierungssoftware verfügt über die folgenden halbautomatischen Funktionen: (1) SmartPencil, der Superpixel-Map-Cluster mit ähnlichen Werten der Bildintensitäterzeugt 5; (2) SmartFill, das Segmentierungsmasken erzeugt, indem es die Energiefunktion des laufenden Vorder- und Hintergrunds berechnet 6,7; und (3) Autokorrektur, die die Ränder der Segmentierungsmasken sauber und konsistent mit dem Originalbild macht. Beispielbilder der halbautomatischen Features sind in Abbildung 1 dargestellt. Die detaillierten Schritte der manuellen Maskierung finden Sie im Protokollabschnitt (Schritt 1).
Der nächste Schritt ist die Vorverarbeitung der orbitalen CT-Scans. Um die Orbital Volumes of Interest (VOIs) zu erhalten, werden die Bereiche der Umlaufbahn identifiziert, in denen sich Augapfel, Muskel und Nerv unter normalen Bedingungen befinden, und diese Bereiche werden abgeschnitten. Das Dataset hat eine hohe Auflösung mit <1 mm Voxelauflösung und Schichtdicke in der Ebene, sodass der Interpolationsprozess übersprungen wird. Stattdessen wird das Fensterschneiden auf der 48 HE-Clipping-Ebene und dem 400-HE-Fenster durchgeführt. Nach dem Zuschneiden und Fensterausschnitt werden drei serielle Slices der Orbit-VOIs für den Segmentierungsmodelleingang8 generiert. Der Protokollabschnitt (Schritt 2) enthält Details zu den Vorverarbeitungsschritten.
U-Net9 ist ein weit verbreitetes Segmentierungsmodell für medizinische Bilder. Die U-Net-Architektur besteht aus einem Encoder, der die Merkmale der medizinischen Bilder extrahiert, und einem Decoder, der die diskriminierenden Merkmale semantisch darstellt. Bei der Verwendung von U-Net für CT-Scans bestehen die Faltungsschichten aus 3D-Filtern10,11. Dies ist eine Herausforderung, da die Berechnung von 3D-Filtern eine große Speicherkapazität erfordert. Um den Speicherbedarf für 3D U-Net zu reduzieren, wurde SEQ-UNET8 vorgeschlagen, wobei ein Satz sequenzieller 2D-Slices im U-Net verwendet wird. Um den Verlust raumzeitlicher Korrelationen zwischen den 2D-Bildschnitten des 3D-CT-Scans zu verhindern, werden zwei bidirektionale konvolutionale Langzeitkurzzeitspeicher (C-LSTMs)12 im Basis-U-Net verwendet. Der erste bidirektionale C-LSTM extrahiert die Korrelationen zwischen den Schichten am Ende des Encoders. Das zweite bidirektionale C-LSTM wandelt nach der Ausgabe des Decoders die semantische Segmentierungsinformation in den Dimensionen der Slice-Sequenz in eine einzelne Bildsegmentierung um. Die Architektur von SEQ-UNET ist in Abbildung 2 dargestellt. Die Implementierungscodes sind auf github.com/SleepyChild1005/OrbitSeg verfügbar, und die Verwendung der Codes wird im Protokollabschnitt (Schritt 3) detailliert beschrieben.

<table><tbody><tr><td>GitHub-Link</td><td></td><td></td><td>github.com/SleepyChild1005/OrbitSeg</td></tr><tr><td>MediLabel</td><td>INGRADIENT (Seoul, Korea)</td><td></td><td>ein Programm zur Etikettierung medizinischer Bilder für die Segmentierung mit weniger Klicks und höherer Geschwindigkeit</td></tr><tr><td>SEQ-UNET</td><td></td><td></td>, <td>das von GitHub</td></tr><tr><td>heruntergeladen werden kann. SmartFil-Assistent</td><td></td><td></td><td>in MediLabel&nbsp;</td></tr><tr><td>SmartPencil&nbsp;</td><td></td><td></td><td>Assistent in MediLabel&nbsp;</td></tr></tbody></table>

anwendung der deep-learning-basierten medizinischen bildsegmentierung mittels orbitaler computertomographie

Application of Deep Learning-Based Medical Image Segmentation via Orbital Computed Tomography

In jüngster Zeit wurden Deep-Learning-basierte Segmentierungsmodelle im ophthalmologischen Bereich weit verbreitet. Diese Studie stellt den vollständigen Prozess des Aufbaus eines orbitalen Computertomographie-Segmentierungsmodells (CT) auf Basis von U-Net dar. Für überwachtes Lernen ist ein arbeitsintensiver und zeitaufwändiger Prozess erforderlich. Die Methode der Markierung mit Superauflösung zur effizienten Maskierung der Bodenwahrheit auf orbitalen CT-Bildern wird eingeführt. Außerdem wird das interessierende Volumen im Rahmen der Vorverarbeitung des Datensatzes abgeschnitten. Nach der Extraktion der interessierenden Volumina der Orbitalstrukturen wird das Modell zur Segmentierung der Schlüsselstrukturen des orbitalen CT mit U-Net erstellt, mit sequentiellen 2D-Slices, die als Eingaben verwendet werden, und zwei bidirektionalen konvolutionalen Langzeitspeichern zur Erhaltung der Korrelationen zwischen den Schichten. Diese Studie konzentriert sich hauptsächlich auf die Segmentierung des Augapfels, des Sehnervs und der extraokularen Muskeln. Die Auswertung der Segmentierung zeigt die mögliche Anwendung der Segmentierung auf orbitale CT-Bilder mittels Deep-Learning-Methoden.

Für die quantitative Auswertung wurden zwei Bewertungsmetriken verwendet, die in der CT-Bildsegmentierungsaufgabe verwendet wurden. Dies waren zwei Ähnlichkeitsmetriken, einschließlich Würfelwert (DICE) und Volumenähnlichkeit (VS)13:
DICE (%) = 2 × TP/(2 × TP + FP + FN) VS (%) = 1 − | FN − FP|/(2 × TP + FP + FN)
wobei TP, FP und FN die Werte für wahr positiv, falsch positiv bzw. falsch negativ sind, wenn das Segmentierungsergebnis und die Segmentierungsmaske angegeben werden.
Die Leistung von SEQ-UNET für die Segmentierung von Orbitalstrukturen wurde durch vier Kreuzvalidierungen bewertet. Die Ergebnisse sind in Tabelle 1 dargestellt. Die Augapfelsegmentierung mit SEQ-UNET erreichte einen Würfelwert von 0,86 und einen VS von 0,83. Die Segmentierung der extraokularen Muskeln und des Sehnervs erreichte niedrige Würfelwerte (0,54 bzw. 0,34). Der Würfelwert der Augapfelsegmentierung lag bei über 80%, da er einen großen Anteil der VOIs und wenig Heterogenität zwischen den CT-Scans aufwies. Die Würfelwerte der extraokularen Muskeln und des Sehnervs waren relativ niedrig, da sie selten im CT-Volumen auftraten und in einer relativ kleinen Anzahl der CT-Scheiben gefunden wurden. Die visuellen Ähnlichkeitswerte der extraokularen Muskeln und des Sehnervs (0,65 bzw. 0,80) waren jedoch höher als ihre Würfelwerte. Dieses Ergebnis deutet darauf hin, dass die Spezifität der Segmentierung gering war. Insgesamt betrugen der Würfelwert und die visuelle Ähnlichkeit von SEQ-UNET für die Segmentierung aller orbitalen Substrukturen 0,79 bzw. 0,82. Beispiele für die visuellen Ergebnisse der Orbitalstruktursegmentierung sind in Abbildung 3 dargestellt. In Abbildung 3A-C ist Blau das vorhergesagte Segmentierungsergebnis und Rot die Grundwahrheitsmaske. In Abbildung 3D sind Rot, Grün und Orange der Augapfel, der Sehmuskel bzw. die Nervensegmentierung.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/64500/64500fig01.jpg"> Abbildung 1: Halbautomatische Maskierungsfunktionen. Maskierung des Augapfels, der extraokularen Muskeln und des Sehnervs bei orbitalen CT-Scans mit (A) SmartPencil, (B) SmartFill und (C) AutoCorrection. Die Maske des Augapfels wird von SmartPencil beschriftet, der die Superpixel der Slices berechnet, und die Maske wird durch Klicken auf die Superpixel erstellt. Nach dem Klicken auf einige der Augapfel-Superpixel kann die gesamte Augapfelmaske von SmartFill berechnet werden. Im Falle der Maskierung des Sehnervs erfolgt die Maskierungsverfeinerung durch AutoKorrektur. Blau markierte Augäpfel werden in (A) und (B) angezeigt. <a href="https://www.jove.com/files/ftp_upload/64500/64500fig01large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/64500/64500fig02.jpg"> Abbildung 2: SEQ U-Net-Architektur. Sequentielle 2D-Slices als Ein- und Ausgabe; Zwei bidirektionale C-LSTMs werden am Ende der Kodierungs- und Dekodierungsblöcke basierend auf der U-Net-Architektur angewendet. <a href="https://www.jove.com/files/ftp_upload/64500/64500fig02large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/64500/64500fig03.jpg"> Abbildung 3: Segmentierungsergebnisse der Bahnstrukturen. (A) Augapfel (Markierung 1), (B) Sehmuskel (Markierung 2), (C) Sehnerv (Markierung 3) und (D) Multi-Label (Markierung 1, 2 und 3). Das linke Bild ist der VOI der Umlaufbahn, das mittlere Bild ist die vorhergesagte Segmentierung und das rechte Bild ist die Grundwahrheit. In (A), (B) und (C) ist Blau das vorhergesagte Segmentierungsergebnis und Rot die Grundwahrheitsmaske. In (D) sind rot, grün und orange der Augapfel, der extraokulare Muskel und die Segmentierung des Sehnervs. Die vorhergesagte Segmentierung zeigte eine hohe Leistung (DICE: 0,86 vs. 0,82) im Fall des Augapfels, aber eine geringe Leistung im Fall des extraokularen Muskels (DICE: 0,54 vs. 0,65) und des Sehnervs (DICE: 0,34 vs. 0,8). <a href="https://www.jove.com/files/ftp_upload/64500/64500fig03large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always"><tbody><tr><td rowspan="2"></td>
			<td colspan="2">Multi-Label</td>
			<td colspan="2">Label 1 (Augapfel)</td>
			<td colspan="2">Label 2 (Extraokularmuskel)</td>
			<td colspan="2">Label 3 (Sehnerv)</td>
		</tr><tr><td>WÜRFEL</td>
			<td>VS</td>
			<td>WÜRFEL</td>
			<td>VS</td>
			<td>WÜRFEL</td>
			<td>VS</td>
			<td>WÜRFEL</td>
			<td>VS</td>
		</tr><tr><td>SEQ-UNET</td>
			<td>0.79</td>
			<td>0.82</td>
			<td>0.86</td>
			<td>0.83</td>
			<td>0.54</td>
			<td>0.65</td>
			<td>0.34</td>
			<td>0.8</td>
		</tr></tbody></table>Tabelle 1: Segmentierungsergebnisse für den Würfelwert und die visuelle Ähnlichkeit. Der Augapfel, der eine relativ große Anzahl von Schnitten aufweist, wurde mit einem DICE von 0,8 gut segmentiert, aber der extraokulare Muskel und der Sehnerv, die eine geringe Anzahl von Scheiben und Linienform aufweisen, waren teilweise mit DICE-Werten von 0,54 bzw. 0,34 segmentiert.
Video 1: SmartPencil-Assistent in der Maskierungssoftware. Eine Demonstration der Annotation mehrerer Pixel für die Augapfelmaskierung. Die Maskierungsaufgaben werden mit einem Klick auf geclusterte Superpixel aktiviert. <a href="https://www.jove.com/files/ftp_upload/64500/SmartPencil_Figure1(A).mp4" target="_blank">Bitte klicken Sie hier, um dieses Video herunterzuladen.</a>
Video 2: SmartFill-Assistent im Maskierungssoftwareprogramm. Eine Demonstration der Annotation mehrerer Pixel für die Augapfelmaskierung. Nach Auswahl einiger Pixel im Anmerkungsbereich generiert diese Funktion vollständige Segmentierungsmasken mit ähnlichen Intensitäten wie die ausgewählten Pixel. <a href="https://www.jove.com/files/ftp_upload/64500/SmartFill_Figure1(B).mp4" target="_blank">Bitte klicken Sie hier, um dieses Video herunterzuladen.</a>
Video 3: AutoKorrektur in der Maskierungssoftware. Eine Demonstration der automatischen Korrektur eines maskierten Pixels mit einem vortrainierten Convolutional Neural Network-Algorithmus. <a href="https://www.jove.com/files/ftp_upload/64500/AutoCorrection_Figure(C).mp4" target="_blank">Bitte klicken Sie hier, um dieses Video herunterzuladen.</a>
Ergänzende Tabelle 1: Laufzeitumgebung (RTE) der Maskierungs-, Vorverarbeitungs- und Segmentierungsmodellierung. <a href="https://www.jove.com/files/ftp_upload/64500/Supplemtary%20Table%201.xlsx" target="_blank">Bitte klicken Sie hier, um diese Tabelle herunterzuladen.</a>

Ein Objektsegmentierungsprotokoll für orbitale Computertomographie (CT) Bilder wird eingeführt. Die Methoden zur Markierung der Grundwahrheit von Orbitalstrukturen mit Superauflösung, zur Extraktion des interessierenden Volumens aus CT-Bildern und zur Modellierung der Multilabel-Segmentierung mit 2D-sequentiellem U-Net für orbitale CT-Bilder werden für überwachtes Lernen erläutert.

Anwendung der Deep-Learning-basierten medizinischen Bildsegmentierung mittels orbitaler Computertomographie

Recently, deep learning-based segmentation models have been widely applied in the ophthalmic field. This study presents the complete process of ...

In dieser Studie haben wir das Objektsegmentierungsprotokoll für orbitale Computertomographie-Bilder vorgestellt. Es ist der erste Versuch der Welt. Mit diesem Programm können Sie Maskierung an jedem Anatomieteil leicht durchführen, wo Sie möchten.Es visualisiert und spart Ihnen Zeit und Mühe. Wir hoffen, dass diese Studie ein Grundstein für die Diagnose von Orbitalerkrankungen sein kann, die für die Biopsie schwierig sind. Beginnen Sie mit dem Ausführen des Maskierungssoftwareprogramms.Um den orbitalen CT zu laden, klicken Sie auf das Symbol zum Öffnen der Datei und wählen Sie die Ziel-CT-Datei aus. Um den Augapfel, den Sehnerv und die extraokularen Muskeln mit Superpixeln zu maskieren, führen Sie den SmartPencil aus, indem Sie in MediLabel auf den SmartPencil-Assistenten klicken. Als nächstes steuern Sie bei Bedarf die Auflösung der Superpixelkarte und klicken Sie auf den Cluster der Superpixel des Augapfels, der extraokularen Muskeln und des Sehnervs auf der Superpixelkarte, wo Pixel mit ähnlichen Bildintensitätswerten gruppiert sind.Um die Masken zu verfeinern, klicken Sie auf den SmartFill-Assistenten, nachdem Sie einige der Superpixel auf den Segmenten maskiert haben, klicken Sie dann auf das AutoKorrektur-Symbol und stellen Sie sicher, dass die korrigierten Maskenbeschriftungen berechnet werden. Sobald die Verfeinerung der Maskierung abgeschlossen ist, speichern Sie die maskierten Bilder. Führen Sie das Python-Skript zur Vorverarbeitung aus und überprüfen Sie die Scans und Masken, die zugeschnitten und im VOIs-Ordner gespeichert werden.Führen Sie das Python-Skript des Sequenzgenerators aus, um die VOIs in einen Satz von drei sequenziellen CT-Slices umzuwandeln, die als Eingabe für die Sequenz U-Net verwendet werden. Überprüfen Sie die gespeicherten, transformierten CT-Scans und Masken im Scanordner bzw. im Maskenordner bzw. in den vorverarbeiteten Ordnern. Um das orbitale Segmentierungsmodell zu erstellen, führen Sie das Python-Skript main aus.py und geben Sie die Falznummern an. Legen Sie die Epoche fest, d. h. die Anzahl der Trainingsiterationen, und legen Sie die Batchgröße fest, d. h. die Anzahl der Trainingsbeispiele in einer einzelnen Trainingssitzung. Das Skript main.PY kann ohne die Parser ausgeführt werden, in diesem Fall wird es mit Standardwerten ausgeführt. Führen Sie die Tests des Modells nach dem Training durch und berechnen Sie die Bewertungsmetriken wie Würfelergebnis und Volumenähnlichkeit. Überprüfen Sie abschließend die als Bilddateien gespeicherten Ergebnisse.Die Augapfelsegmentierung mit der Sequenz U-Net für die Segmentierung der Orbitalstruktur erreichte eine visuelle Ähnlichkeit oder VS-Punktzahl von 0,83 und einen hohen Würfelwert von 0,86, da sie einen großen Anteil der VOIs und wenig Heterogenität zwischen CT-Scans aufwies. Ein niedriger Würfelwert von 0,54 wurde für die Segmentierung der extraokularen Muskeln und 0,34 für den Sehnerv erreicht, da sie selten im CT-Volumen auftraten und in einer relativ kleinen Anzahl von CT-Schnitten gefunden wurden. Die visuellen Ähnlichkeitswerte der extraokularen Muskeln und des Sehnervs waren jedoch höher als ihre Würfelwerte, was darauf hindeutet, dass die Spezifität der Segmentierung gering war.Insgesamt erreichte die Segmentierung aller orbitalen Substrukturen einen Würfelwert von 0,79 und einen visuellen Ähnlichkeitswert von 0,82. Je nach Anwendung können die Größe des VOI und der Grad des Fensterausschnitts variieren. Sie können den Sequenz-Builder-Code für andere großartige Zwecke ändern.Auch die Hyperparameter für das Modelltraining können modifiziert werden. Das Modell wurde mit 46 VOIs trainiert, was für die Modellausbildung keine große Zahl ist. Um die geringe Performance aufgrund der geringen Anzahl von Trainingsdatensätzen zu überwinden, konnten Transferlernen und Domänennotation angewendet werden.

application-deep-learning-based-medical-image-segmentation-via

Research

Forschung

JoVE Journal

Engineering

Ingenieurwesen

Hierbei handelt es sich um ein Verfahren zum Trainieren eines Mehrschicht-U-Netzes für die Mehrklassensegmentierung von Kryo-Elektronen-Tomogrammen, wobei ein Teil eines Tomogramms als Trainingseingabe verwendet wird. Wir beschreiben, wie man dieses Netzwerk auf andere Tomogramme ableiten kann und wie man Segmentierungen für weitere Analysen extrahiert, wie z.B. Subtomogramm-Mittelung und Filament-Tracing.

Deep-Learning-basierte Segmentierung von Kryo-Elektronen-Tomogrammen

Die personalisierte Medizin zur Orbitarekonstruktion entwickelt sich rasant. Aufgrund der empfindlichen Beschaffenheit der Augenhöhle können kleine Abweichungen nach der Frakturrekonstruktion zu einer Beeinträchtigung der visuellen Wahrnehmung führen. Im Folgenden beschreiben wir drei Methoden zur virtuellen 3D-Rekonstruktion von Orbitaldefekten und deren Indikationen und mögliche Fallstricke für eine korrekte Rekonstruktion.

Dreidimensionale Rekonstruktion von Orbitalfrakturen

Die Kryo-Elektronentomographie (Kryo-ET) ermöglicht die 3D-Visualisierung der zellulären Ultrastruktur mit Nanometerauflösung, aber die manuelle Segmentierung bleibt zeitaufwändig und komplex. Wir stellen einen neuartigen Workflow vor, der fortschrittliche Virtual-Reality-Software zur Segmentierung von Kryo-ET-Tomogrammen integriert und seine Wirksamkeit durch die Segmentierung von Mitochondrien in Säugetierzellen demonstriert.

Nutzung von Virtual Reality für die immersive Segmentierung und Analyse von Kryo-Elektronentomographie-Daten

Die Entwicklung eines automatisierten Workflows zur Erkennung von Gelenkräumen ermöglichte eine Hochdurchsatzsegmentierung der unterschiedlichen Maus-Hinterpfotenknochen mit &gt;98 % Genauigkeit bei Wildtyp-Tieren. Eine flexible Anwendung auf Vorderpfoten und Pfoten mit entzündlich-erosiver Arthritis wurde erreicht, jedoch mit einer veralteten Leistung, die eine weitere Optimierung in zukünftigen Studien mit öffentlich verfügbaren Daten rechtfertigt.

Automatisierte Gelenkraumerkennung verbessert die Genauigkeit der Knochensegmentierung

Ein Echo Teilchenbildanalysator Velocimetry (EPIV)-System in der Lage ist Erfassen zweidimensionale Felder der Geschwindigkeit in optisch opaken Fluide oder durch optisch opaken Geometrien beschrieben und Validierung Messungen in Rohrströmung berichtet.

Echo Particle Image Velocimetry

Ein Verfahren zur Untersuchung von transienten Strömungen in der Nähe Grenzen mit hochauflösenden, High-Speed-Particle Image Velocimetry (PIV) wird hier beschrieben. PIV ist eine non-intrusive Messtechnik auf jede optisch zugänglichen Strömung durch die Optimierung mehrerer Parameter Zwänge wie die Bild-und Aufnahme-Eigenschaften, die Laser-Blatt Eigenschaften und Analyse-Algorithmen.

High-Speed-Particle Image Velocimetry Nahe Surfaces

Ein Workflow für eine umfassende Mikro Charakterisierung aktiver optischer Geräte skizziert. Es enthält strukturelle sowie funktionelle Untersuchungen mit Hilfe von CT, LM und SEM. Das Verfahren ist für eine weiße LED demonstriert, die noch während der Charakterisierung betrieben werden kann.

In Tiefenanalysen der LEDs durch eine Kombination von Röntgen Computertomographie (CT) und Lichtmikroskopie (LM) korrelierte mit Rasterelektronenmikroskopie (SEM)

Wir präsentieren Protokolle bei der Messung der Spritztröpfchengröße von landwirtschaftlichen Düsen in beiden Luft- und Boden basierte agrochemische Anwendungen verwendet werden. Diese Methoden vorgestellt wurden entwickelt, konsistente und reproduzierbare Tröpfchengröße Daten zu liefern, sowohl inter- und intra Labor, wenn Laserbeugungssysteme verwendet werden.

Mess Spray Tröpfchengröße von landwirtschaftlichen Düsen mit Laserbeugung

Ein Protokoll für die neuroprotektive Anwendung von niedrig dosierten Atmosphärendruck Plasmabehandlung auf Glukose Entbehrung-induzierte SH-SY5Y Verletzungen.

Neue Anwendung ein Atmosphärendruck-Plasma-Jet als eine neuroprotektive Mittel gegen Glukose Deprivation-induzierten Schädigung des SH-SY5Y Zellen

Dieses Manuskript beschreibt der Roman Aufbau und Arbeitsweise einer photoakustischen Mikroskopie und optische Kohärenz Tomographie Dual-Modalität System für die nicht-invasive, markierungsfreie chorioretinalen Bildgebung von größeren Tieren wie Kaninchen.

Neuartige photoakustische Mikroskopie und optische Kohärenztomographie Dual-Modalität chorioretinalen Bildgebung in lebenden Kaninchen Augen

Erfahren Sie die Deep-Learning-basierte Segmentierung von Orbital-CT-Bildern mittels sequenziellem U-Net. Dieses Protokoll ermöglicht präzise Maskierung anatomischer Strukturen zur Verbesserung nicht-invasiver Diagnosen.

Anwendung der Deep-Learning-basierten medizinischen Bildsegmentierung mittels orbitaler Computertomographie

Weitere Videos entdecken