Anwendung der Deep-Learning-basierten medizinischen Bildsegmentierung mittels orbitaler Computertomographie

Summary

Ein Objektsegmentierungsprotokoll für orbitale Computertomographie (CT) Bilder wird eingeführt. Die Methoden zur Markierung der Grundwahrheit von Orbitalstrukturen mit Superauflösung, zur Extraktion des interessierenden Volumens aus CT-Bildern und zur Modellierung der Multilabel-Segmentierung mit 2D-sequentiellem U-Net für orbitale CT-Bilder werden für überwachtes Lernen erläutert.

Abstract

In jüngster Zeit wurden Deep-Learning-basierte Segmentierungsmodelle im ophthalmologischen Bereich weit verbreitet. Diese Studie stellt den vollständigen Prozess des Aufbaus eines orbitalen Computertomographie-Segmentierungsmodells (CT) auf Basis von U-Net dar. Für überwachtes Lernen ist ein arbeitsintensiver und zeitaufwändiger Prozess erforderlich. Die Methode der Markierung mit Superauflösung zur effizienten Maskierung der Bodenwahrheit auf orbitalen CT-Bildern wird eingeführt. Außerdem wird das interessierende Volumen im Rahmen der Vorverarbeitung des Datensatzes abgeschnitten. Nach der Extraktion der interessierenden Volumina der Orbitalstrukturen wird das Modell zur Segmentierung der Schlüsselstrukturen des orbitalen CT mit U-Net erstellt, mit sequentiellen 2D-Slices, die als Eingaben verwendet werden, und zwei bidirektionalen konvolutionalen Langzeitspeichern zur Erhaltung der Korrelationen zwischen den Schichten. Diese Studie konzentriert sich hauptsächlich auf die Segmentierung des Augapfels, des Sehnervs und der extraokularen Muskeln. Die Auswertung der Segmentierung zeigt die mögliche Anwendung der Segmentierung auf orbitale CT-Bilder mittels Deep-Learning-Methoden.

Introduction

Die Augenhöhle ist ein kleiner und komplizierter Raum von etwa 30,1 cm³ , der wichtige Strukturen wie Augapfel, Nerven, extraokulare Muskeln, Stützgewebe und Gefäße für Seh- und Augapfelbewegungen enthält¹. Orbitale Tumoren sind abnormale Gewebewucherungen in der Augenhöhle, und einige von ihnen bedrohen das Sehvermögen oder die Augapfelbewegung der Patienten, was zu tödlichen Funktionsstörungen führen kann. Um die Sehfunktion der Patienten zu erhalten, müssen Ärzte über die Behandlungsmodalitäten basierend auf den Tumormerkmalen entscheiden, und eine chirurgische Biopsie ist in der Regel unvermeidlich. Dieser kompakte und überfüllte Bereich macht es für Kliniker oft schwierig, eine Biopsie durchzuführen, ohne die normale Struktur zu beschädigen. Die Deep-Learning-basierte Bildanalyse der Pathologie zur Bestimmung des Zustands der Umlaufbahn könnte helfen, unnötige oder vermeidbare Verletzungen des orbitalen Gewebes während der Biopsie^{zu vermeiden 2}. Eine Methode der Bildanalyse für orbitale Tumoren ist die Tumorerkennung und -segmentierung. Die Sammlung großer Datenmengen für CT-Bilder, die orbitale Tumoren enthalten, ist jedoch aufgrund ihrer geringen Inzidenz begrenzt³. Die andere effiziente Methode zur computergestützten Tumordiagnose⁴ besteht darin, den Tumor mit den normalen Strukturen der Umlaufbahn zu vergleichen. Die Anzahl der orbitalen CT-Bilder in normalen Strukturen ist relativ größer als in Tumoren. Daher ist die Segmentierung normaler Bahnstrukturen der erste Schritt, um dieses Ziel zu erreichen.

Diese Studie stellt den gesamten Prozess der Deep-Learning-basierten Orbitalstruktursegmentierung dar, einschließlich der Datenerfassung, Vorverarbeitung und anschließenden Modellierung. Die Studie soll eine Ressource für Kliniker sein, die daran interessiert sind, die aktuelle Methode zur effizienten Erstellung eines maskierten Datensatzes zu verwenden, und für Augenärzte, die Informationen über die Vorverarbeitung und Modellierung von orbitalen CT-Bildern benötigen. Dieser Artikel stellt eine neue Methode zur Orbitalstruktursegmentierung und sequentielles U-Net vor, ein sequentielles 2D-Segmentierungsmodell, das auf einer repräsentativen Deep-Learning-Lösung in U-Net für die Segmentierung medizinischer Bilder basiert. Das Protokoll beschreibt das detaillierte Verfahren der Bahnsegmentierung, einschließlich (1) der Verwendung eines Maskierungswerkzeugs für die Grundwahrheit der Bahnstruktursegmentierung, (2) der Schritte, die für die Vorverarbeitung der Orbitalbilder erforderlich sind, und (3) des Trainierens des Segmentierungsmodells und der Bewertung der Segmentierungsleistung.

Für das überwachte Lernen kommentierten vier erfahrene Augenärzte, die seit über 5 Jahren zertifiziert waren, die Masken des Augapfels, des Sehnervs und der extraokularen Muskeln manuell. Alle Augenärzte verwendeten die Maskierungssoftware (MediLabel, siehe Materialtabelle), die eine Superauflösung für eine effiziente Maskierung von CT-Scans verwendet. Die Maskierungssoftware verfügt über die folgenden halbautomatischen Funktionen: (1) SmartPencil, der Superpixel-Map-Cluster mit ähnlichen Werten der Bildintensität^{erzeugt 5}; (2) SmartFill, das Segmentierungsmasken erzeugt, indem es die Energiefunktion des laufenden Vorder- und Hintergrunds berechnet ^6,7; und (3) Autokorrektur, die die Ränder der Segmentierungsmasken sauber und konsistent mit dem Originalbild macht. Beispielbilder der halbautomatischen Features sind in Abbildung 1 dargestellt. Die detaillierten Schritte der manuellen Maskierung finden Sie im Protokollabschnitt (Schritt 1).

Der nächste Schritt ist die Vorverarbeitung der orbitalen CT-Scans. Um die Orbital Volumes of Interest (VOIs) zu erhalten, werden die Bereiche der Umlaufbahn identifiziert, in denen sich Augapfel, Muskel und Nerv unter normalen Bedingungen befinden, und diese Bereiche werden abgeschnitten. Das Dataset hat eine hohe Auflösung mit <1 mm Voxelauflösung und Schichtdicke in der Ebene, sodass der Interpolationsprozess übersprungen wird. Stattdessen wird das Fensterschneiden auf der 48 HE-Clipping-Ebene und dem 400-HE-Fenster durchgeführt. Nach dem Zuschneiden und Fensterausschnitt werden drei serielle Slices der Orbit-VOIs für den Segmentierungsmodelleingang⁸ generiert. Der Protokollabschnitt (Schritt 2) enthält Details zu den Vorverarbeitungsschritten.

U-Net⁹ ist ein weit verbreitetes Segmentierungsmodell für medizinische Bilder. Die U-Net-Architektur besteht aus einem Encoder, der die Merkmale der medizinischen Bilder extrahiert, und einem Decoder, der die diskriminierenden Merkmale semantisch darstellt. Bei der Verwendung von U-Net für CT-Scans bestehen die Faltungsschichten aus 3D-Filtern^10,11. Dies ist eine Herausforderung, da die Berechnung von 3D-Filtern eine große Speicherkapazität erfordert. Um den Speicherbedarf für 3D U-Net zu reduzieren, wurde SEQ-UNET⁸ vorgeschlagen, wobei ein Satz sequenzieller 2D-Slices im U-Net verwendet wird. Um den Verlust raumzeitlicher Korrelationen zwischen den 2D-Bildschnitten des 3D-CT-Scans zu verhindern, werden zwei bidirektionale konvolutionale Langzeitkurzzeitspeicher (C-LSTMs)¹² im Basis-U-Net verwendet. Der erste bidirektionale C-LSTM extrahiert die Korrelationen zwischen den Schichten am Ende des Encoders. Das zweite bidirektionale C-LSTM wandelt nach der Ausgabe des Decoders die semantische Segmentierungsinformation in den Dimensionen der Slice-Sequenz in eine einzelne Bildsegmentierung um. Die Architektur von SEQ-UNET ist in Abbildung 2 dargestellt. Die Implementierungscodes sind auf github.com/SleepyChild1005/OrbitSeg verfügbar, und die Verwendung der Codes wird im Protokollabschnitt (Schritt 3) detailliert beschrieben.

Protocol

Die vorliegende Arbeit wurde mit Zustimmung des Institutional Review Board (IRB) des Catholic Medical Center durchgeführt, und die Privatsphäre, Vertraulichkeit und Sicherheit der Gesundheitsinformationen wurden geschützt. Die orbitalen CT-Daten wurden (von anonymisierten menschlichen Probanden) in Krankenhäusern gesammelt, die dem College of Medicine, der Catholic University of Korea (CMC; Seoul St. Mary's Hospital, Yeouido St. Mary's Hospital, Daejeon St. Mary's Hospital und St. Vincent Hospital). Die orbitalen CT-Scans wurden von Januar 2016 bis Dezember 2020 aufgenommen. Der Datensatz enthielt 46 orbitale CT-Scans von koreanischen Männern und Frauen im Alter von 20 Jahren bis 60 Jahren. Die Laufzeitumgebung (RTE) ist in der Zusatztabelle 1 zusammengefasst.

1. Maskierung des Augapfels, des Sehnervs und der extraokularen Muskeln auf den orbitalen CT-Scans

1. Führen Sie das Maskierungssoftwareprogramm aus.
   HINWEIS: Die Maskierungssoftware (MediLabel, siehe Materialtabelle) ist eine Software zur Kennzeichnung medizinischer Bilder zur Segmentierung, die nur wenige Klicks erfordert und eine hohe Geschwindigkeit aufweist.
2. Laden Sie die orbitale CT, indem Sie auf das Symbol zum Öffnen der Datei klicken und die Ziel-CT-Datei auswählen. Dann werden die CT-Scans auf dem Bildschirm angezeigt.
3. Maskieren Sie den Augapfel, den Sehnerv und die extraokularen Muskeln mit Superpixeln.
   1. Führen Sie den SmartPencil aus, indem Sie in MediLabel auf den SmartPencil-Assistenten klicken (Video 1).
   2. Steuern Sie bei Bedarf die Auflösung der Superpixelkarte (z. B. 100, 500, 1.000 und 2.000 Superpixel).
   3. Klicken Sie auf die Gruppe der Superpixel des Augapfels, des Sehnervs und der extraokularen Muskeln auf der Superpixelkarte, wo Pixel mit ähnlichen Bildintensitätswerten gruppiert sind.
4. Verfeinern Sie die Masken mit den Autokorrekturfunktionen in MediLabel.
   1. Klicken Sie auf den SmartFill-Assistenten , nachdem Sie einige der Superpixel auf den Slices maskiert haben (Video 2).
   2. Klicken Sie auf das AutoKorrektur-Symbol und stellen Sie sicher, dass die korrigierten Maskenbeschriftungen berechnet werden (Video 3).
5. Wiederholen Sie Schritt 1.3 und Schritt 1.4, bis die Verfeinerung der Maskierung abgeschlossen ist.
6. Speichern Sie die maskierten Bilder.

2. Vorverarbeitung: Fensterausschnitt und Zuschneiden der VOIs

1. Extrahieren Sie die VOIs mit preprocessing_multilabel.py (die Datei kann von GitHub heruntergeladen werden).
   1. Führen Sie preprocessing_multilabel.py aus.
   2. Überprüfen Sie die Scans und Masken, die zugeschnitten und im Ordner VOIs gespeichert werden.
2. Transformieren Sie die VOIs in den Satz von drei sequenziellen CT-Slices für die Eingabe an SEQ-UNET mit builder_multilabel.py (die Datei kann von GitHub heruntergeladen werden).
   1. Führen Sie sequence_builder_multilabel.py aus.
   2. Stellen Sie sicher, dass die Größe der Segmente und Masken während der Transformation auf 64 x 64 Pixel geändert wird.
   3. Führen Sie während der Transformation ein Clipping mit der Beschneidungsstufe 48 HE und dem Fenster 400 HE durch.
   4. Überprüfen Sie die gespeicherten transformierten CT-Scans (nii-Datei) und Masken (nii-Datei) im Scan-Ordner bzw. im Maskenordner unter Vorverarbeitete Ordner.

3. Vier Kreuzvalidierungen des orbitalen Segmentierungsmodells

1. Erstellen Sie das Modell, indem Sie die folgenden Schritte ausführen.
   1. Führen Sie main.py aus.
   2. Wenn Sie main.py ausführen, geben Sie die Faltungsnummer der vier Kreuzvalidierungen mit "-fold num x" an, wobei x 0, 1, 2 oder 3 ist.
   3. Verwenden Sie beim Ausführen von main.py die Epoche, d. h. die Anzahl der Trainingsiterationen, als Option, z. B. "-epoch x", wobei x die Epochennummer ist. Die Standardzahl ist 500.
   4. Wenn Sie main.py ausführen, legen Sie die Batchgröße fest, d. h. die Anzahl der Trainingsbeispiele in einer einzelnen Trainingssitzung. Die Standardzahl ist 32.
   5. Laden Sie main.py die CT-Scans und Masken und initialisieren Sie das SEQ-UNET mit den vortrainierten Parametern mithilfe des LIDC-IDRI-Datensatzes (herunterladbar aus dem Krebsbildgebungsarchiv).
   6. Führen Sie main.py den Test des Modells nach dem Training durch. Berechnen Sie die Bewertungsmetriken, die Würfelpunktzahl und die Volumenähnlichkeit und speichern Sie sie im Metrikordner.
   7. Überprüfen Sie die Ergebnisse im segmentierten Ordner.

Results

Für die quantitative Auswertung wurden zwei Bewertungsmetriken verwendet, die in der CT-Bildsegmentierungsaufgabe verwendet wurden. Dies waren zwei Ähnlichkeitsmetriken, einschließlich Würfelwert (DICE) und Volumenähnlichkeit (VS)¹³:

DICE (%) = 2 × TP/(2 × TP + FP + FN)
VS (%) = 1 − | FN − FP|/(2 × TP + FP + FN)

wobei TP, FP und FN die Werte für wahr positiv, falsch positiv bzw. falsch negativ sind, wenn das Segmentierungsergebnis und die Segmentierungsmaske angegeben werden.

Die Leistung von SEQ-UNET für die Segmentierung von Orbitalstrukturen wurde durch vier Kreuzvalidierungen bewertet. Die Ergebnisse sind in Tabelle 1 dargestellt. Die Augapfelsegmentierung mit SEQ-UNET erreichte einen Würfelwert von 0,86 und einen VS von 0,83. Die Segmentierung der extraokularen Muskeln und des Sehnervs erreichte niedrige Würfelwerte (0,54 bzw. 0,34). Der Würfelwert der Augapfelsegmentierung lag bei über 80%, da er einen großen Anteil der VOIs und wenig Heterogenität zwischen den CT-Scans aufwies. Die Würfelwerte der extraokularen Muskeln und des Sehnervs waren relativ niedrig, da sie selten im CT-Volumen auftraten und in einer relativ kleinen Anzahl der CT-Scheiben gefunden wurden. Die visuellen Ähnlichkeitswerte der extraokularen Muskeln und des Sehnervs (0,65 bzw. 0,80) waren jedoch höher als ihre Würfelwerte. Dieses Ergebnis deutet darauf hin, dass die Spezifität der Segmentierung gering war. Insgesamt betrugen der Würfelwert und die visuelle Ähnlichkeit von SEQ-UNET für die Segmentierung aller orbitalen Substrukturen 0,79 bzw. 0,82. Beispiele für die visuellen Ergebnisse der Orbitalstruktursegmentierung sind in Abbildung 3 dargestellt. In Abbildung 3A-C ist Blau das vorhergesagte Segmentierungsergebnis und Rot die Grundwahrheitsmaske. In Abbildung 3D sind Rot, Grün und Orange der Augapfel, der Sehmuskel bzw. die Nervensegmentierung.

Abbildung 1: Halbautomatische Maskierungsfunktionen. Maskierung des Augapfels, der extraokularen Muskeln und des Sehnervs bei orbitalen CT-Scans mit (A) SmartPencil, (B) SmartFill und (C) AutoCorrection. Die Maske des Augapfels wird von SmartPencil beschriftet, der die Superpixel der Slices berechnet, und die Maske wird durch Klicken auf die Superpixel erstellt. Nach dem Klicken auf einige der Augapfel-Superpixel kann die gesamte Augapfelmaske von SmartFill berechnet werden. Im Falle der Maskierung des Sehnervs erfolgt die Maskierungsverfeinerung durch AutoKorrektur. Blau markierte Augäpfel werden in (A) und (B) angezeigt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

Abbildung 2: SEQ U-Net-Architektur. Sequentielle 2D-Slices als Ein- und Ausgabe; Zwei bidirektionale C-LSTMs werden am Ende der Kodierungs- und Dekodierungsblöcke basierend auf der U-Net-Architektur angewendet. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

Abbildung 3: Segmentierungsergebnisse der Bahnstrukturen. (A) Augapfel (Markierung 1), (B) Sehmuskel (Markierung 2), (C) Sehnerv (Markierung 3) und (D) Multi-Label (Markierung 1, 2 und 3). Das linke Bild ist der VOI der Umlaufbahn, das mittlere Bild ist die vorhergesagte Segmentierung und das rechte Bild ist die Grundwahrheit. In (A), (B) und (C) ist Blau das vorhergesagte Segmentierungsergebnis und Rot die Grundwahrheitsmaske. In (D) sind rot, grün und orange der Augapfel, der extraokulare Muskel und die Segmentierung des Sehnervs. Die vorhergesagte Segmentierung zeigte eine hohe Leistung (DICE: 0,86 vs. 0,82) im Fall des Augapfels, aber eine geringe Leistung im Fall des extraokularen Muskels (DICE: 0,54 vs. 0,65) und des Sehnervs (DICE: 0,34 vs. 0,8). Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

	Multi-Label		Label 1 (Augapfel)		Label 2 (Extraokularmuskel)		Label 3 (Sehnerv)
	WÜRFEL	VS	WÜRFEL	VS	WÜRFEL	VS	WÜRFEL	VS
SEQ-UNET	0.79	0.82	0.86	0.83	0.54	0.65	0.34	0.8

Tabelle 1: Segmentierungsergebnisse für den Würfelwert und die visuelle Ähnlichkeit. Der Augapfel, der eine relativ große Anzahl von Schnitten aufweist, wurde mit einem DICE von 0,8 gut segmentiert, aber der extraokulare Muskel und der Sehnerv, die eine geringe Anzahl von Scheiben und Linienform aufweisen, waren teilweise mit DICE-Werten von 0,54 bzw. 0,34 segmentiert.

Video 1: SmartPencil-Assistent in der Maskierungssoftware. Eine Demonstration der Annotation mehrerer Pixel für die Augapfelmaskierung. Die Maskierungsaufgaben werden mit einem Klick auf geclusterte Superpixel aktiviert. Bitte klicken Sie hier, um dieses Video herunterzuladen.

Video 2: SmartFill-Assistent im Maskierungssoftwareprogramm. Eine Demonstration der Annotation mehrerer Pixel für die Augapfelmaskierung. Nach Auswahl einiger Pixel im Anmerkungsbereich generiert diese Funktion vollständige Segmentierungsmasken mit ähnlichen Intensitäten wie die ausgewählten Pixel. Bitte klicken Sie hier, um dieses Video herunterzuladen.

Video 3: AutoKorrektur in der Maskierungssoftware. Eine Demonstration der automatischen Korrektur eines maskierten Pixels mit einem vortrainierten Convolutional Neural Network-Algorithmus. Bitte klicken Sie hier, um dieses Video herunterzuladen.

Ergänzende Tabelle 1: Laufzeitumgebung (RTE) der Maskierungs-, Vorverarbeitungs- und Segmentierungsmodellierung. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.

Discussion

Deep-Learning-basierte medizinische Bildanalyse wird häufig zur Krankheitserkennung eingesetzt. In der Ophthalmologie werden Nachweis- und Segmentierungsmodelle bei diabetischer Retinopathie, Glaukom, altersbedingter Makuladegeneration und Frühgeborenenretinopathie eingesetzt. Andere seltene Krankheiten außer denen in der Augenheilkunde wurden jedoch aufgrund des begrenzten Zugangs zu großen offenen öffentlichen Datensätzen für Deep-Learning-Analysen nicht untersucht. Bei der Anwendung dieser Methode in Situationen, in denen kein öffentliches Dataset verfügbar ist, ist der Maskierungsschritt, der eine arbeits- und zeitaufwändige Aufgabe ist, unvermeidlich. Der vorgeschlagene Maskierungsschritt (Protokollabschnitt, Schritt 1) hilft jedoch, innerhalb kurzer Zeit eine Maskierung mit hoher Genauigkeit zu generieren. Mithilfe von Superpixeln und neuronaler Netzwerk-basierter Füllung, bei denen Pixel gruppiert werden, die in Low-Level-Bildeigenschaften ähnlich sind, können Ärzte die Masken beschriften, indem sie auf die Pixelgruppen klicken, anstatt auf die spezifischen Pixel hinzuweisen. Auch die automatischen Korrekturfunktionen helfen dabei, die Maskenprozesse zu verfeinern. Die Effizienz und Effektivität dieser Methode wird dazu beitragen, mehr maskierte Bilder in der medizinischen Forschung zu erzeugen.

Unter den vielen Möglichkeiten der Vorverarbeitung sind die Extraktion von VOIs und das Clipping von Fenstern effektive Methoden. Hier werden das Extrahieren von VOIs und das Clipping von Fenstern in Schritt 2 des Protokolls eingeführt. Wenn die Kliniker den Datensatz vorbereiten, ist die Extraktion des VOI aus dem gegebenen Datensatz der wichtigste Schritt im Prozess, da sich die meisten Segmentierungsfälle auf kleine und spezifische Regionen im gesamten medizinischen Bild konzentrieren. In Bezug auf die VOIs werden die Regionen des Augapfels, des Sehnervs und der extraokularen Muskeln basierend auf dem Standort abgeschnitten, aber effektivere Methoden zur Extraktion von VOIs haben das Potenzial, die Segmentierungsleistung zu verbessern¹⁴.

Für die Segmentierung wird SEQ-UNET in der Studie eingesetzt. Die medizinischen 3D-Bilder haben große Volumina, so dass tiefe neuronale Netzwerkmodelle große Speicherkapazitäten erfordern. In SEQ-UNET wird das Segmentierungsmodell mit einer kleinen Anzahl von Slices implementiert, um die erforderliche Speichergröße zu reduzieren, ohne die Merkmale der 3D-Informationen zu verlieren.

Das Modell wurde mit 46 VOIs trainiert, was für die Modellausbildung keine große Zahl ist. Aufgrund der geringen Anzahl von Trainingsdatensätzen ist die Leistungsfähigkeit des Sehnervs und der extraokularen Muskelsegmentierung begrenzt. Transfer Learning¹⁵ und Domain Adaptation⁸ könnten eine Lösung zur Verbesserung der Segmentierungsleistung bieten.

Der gesamte hier vorgestellte Segmentierungsprozess beschränkt sich nicht nur auf die orbitale CT-Segmentierung. Die effiziente Markierungsmethode hilft bei der Erstellung eines neuen medizinischen Bilddatensatzes, wenn die Anwendungsdomäne für das Forschungsgebiet einzigartig ist. Die Python-Codes von GitHub bezüglich der Vorverarbeitungs- und Segmentierungsmodellierung können auf andere Domänen angewendet werden, indem der Zuschneidebereich, die Fensterbeschneidungsebene und die Modellhyperparameter wie die Anzahl der sequenziellen Slices, die U-Net-Architekturen usw. geändert werden.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
GitHub-Link			github.com/SleepyChild1005/OrbitSeg
MediLabel	INGRADIENT (Seoul, Korea)		ein Programm zur Etikettierung medizinischer Bilder für die Segmentierung mit weniger Klicks und höherer Geschwindigkeit
SEQ-UNET			das von GitHub
heruntergeladen werden kann. SmartFil-Assistent			in MediLabel
SmartPencil			Assistent in MediLabel