MixKNet: Ein modifiziertes U-förmiges Netzwerk mit Hybridkanalfaltung für die Segmentierung medizinischer Bilder

Zusammenfassung

In dieser Studie wird eine leichtgewichtige U-Net-Variante mit verbesserter Segmentierungsgenauigkeit unter Verwendung von Hybridfaltung und Kanalaufmerksamkeit vorgestellt, die mit weniger Parametern modernste Ergebnisse bei MoNuseg und GlaS erzielt.

Zusammenfassung

Die auf künstlichen neuronalen Netzen basierende Computer-Bildverarbeitungstechnologie hat sich in den letzten Jahren rasant weiterentwickelt und in verschiedenen Bereichen breite Anwendung gefunden. In der medizinischen Bildverarbeitung haben UNet und seine Varianten große Erfolge bei der Läsionserkennung, Zellsegmentierung und Polypensegmentierung gezeigt. Diese Arbeit stellt ein modifiziertes U-förmiges Netzwerk mit reduzierten Netzwerkparametern vor, das durch Verringerung der Netzwerktiefe und Vergrößerung der Netzwerkkanäle erreicht wird, um die Lernfähigkeit des Modells zu verbessern. Um der durch die Tiefenkompression verursachten Verringerung der Lernkapazität entgegenzuwirken, wird ein Hybrid-Channel-Faltungsmodul eingeführt, das das Faltungsmodul des ursprünglichen Netzwerks ersetzt. Das Modell führt einen Kanalaufmerksamkeitsmechanismus zwischen der Schicht und der Punktfaltungsschicht ein, um die praktische Extraktionsfähigkeit von Kanalmerkmalen zu verbessern. Der Artikel kommt auch zu dem Schluss, dass die Verwendung von Mixed-Depth-Faltung die Größenspanne des Segmentierungsziels effektiv lösen kann, was es für ein Modell schwierig macht, für mehrere Datensätze geeignet zu sein. Das vorgeschlagene Modell erzielt modernste Ergebnisse bei zwei populären öffentlichen Datensätzen, MoNuseg und GlaS, mit einer durchschnittlichen Würfelzunahme von 1,0 % bzw. 1,37 %. Die Gesamtparameter des modifizierten Modells wurden auf 1,71 Mio. reduziert, was einer 38,6-fachen Reduzierung im Vergleich zu UCtransNet mit 65,6 Mio. Parametern entspricht.

Einleitung

Die Segmentierung medizinischer Bilder ist in verschiedenen klinischen Anwendungen von entscheidender Bedeutung, einschließlich Diagnose, Behandlungsplanung und Krankheitsüberwachung. Traditionelle Bildverarbeitungsmethoden, die auf Feature-Engineering-Algorithmen basieren, sind nicht mehr geeignet, um die großen Datenmengen zu bewältigen, die im modernen Gesundheitswesen anfallen. Glücklicherweise haben die Weiterentwicklung der Technologie für künstliche neuronale Netze und Verbesserungen bei den Fähigkeiten der Computerhardware es ermöglicht, groß angelegte neuronale Netzwerkmodelle zu trainieren und einzusetzen. Infolgedessen werden Computer-Vision-Verarbeitungsalgorithmen, die auf Modellen des maschinellen Lernens basieren, kontinuierlich weiterentwickelt und in verschiedenen Bereichen eingesetzt.

Die repräsentativste Modellstruktur in der semantischen Segmentierung medizinischer Bilder ist UNet¹ mit einer Codierungs-Dekodierungsarchitektur. Das Modell verwendet zunächst einen mehrstufigen Encoder, um Features unterschiedlicher Maßstäbe aus dem Eingabebild zu extrahieren. Dann führt der Decoder ein schrittweises Upsampling durch, während er die semantischen Merkmale, die vom Encoder der entsprechenden Ebene ausgegeben werden, als Skip-Verbindung kombiniert. Die Leistung der UNet-Architektur kann jedoch durch die Anwendung verschiedener Methoden weiter verbessert werden. Zum Beispiel hat sich gezeigt, dass Aufmerksamkeitsmechanismen die Leistung von Convolutional Neural Networks effektiv verbessern. Diese Mechanismen können selektiv die wesentlichen Merkmale in den Eingabedaten hervorheben, was zu einem besseren Repräsentationslernen und einer besseren Segmentierungsgenauigkeit führt.

Gegenwärtig konzentrieren sich viele Forscher darauf, die vom Encoder extrahierten Merkmale in der Dekodierungsphase effektiv zu fusionieren. Zu den gebräuchlichsten Varianten von UNet gehören Attention UNet², Recurrent UNet³ und V-Net⁴. Diese Ansätze verwenden Aufmerksamkeitsmechanismen⁵, wie z. B. räumliche Aufmerksamkeit, um informative Regionen der Merkmalskarten hervorzuheben und die nicht-informativen Regionen zu unterdrücken. Darüber hinaus enthalten einige Varianten rekurrente neuronale Netze, um die sequentielle Natur der medizinischen Bilder zu modellieren und die Merkmalsdarstellungen zu verbessern. Vortrainingsmodelle wie VGG⁶, ResNet⁷ und DenseNet⁸ wurden häufig verwendet, um die Leistung von U-förmigen Netzwerken zu verbessern, indem sie ihr umfangreiches Wissen aus umfangreichen Datensätzen nutzen. Darüber hinaus wurden Transformatormechanismen wie Selbstaufmerksamkeit und Mehrkopfaufmerksamkeit eingeführt, um langfristige Modellabhängigkeiten zu erkennen und globale Kontextinformationen zu erfassen, was zu einer besseren Segmentierungsleistung führt.

Obwohl sich diese Varianten gegenüber dem ursprünglichen UNet¹ verbessert haben, weisen sie immer noch gewisse Einschränkungen bei der Verarbeitung komplexer medizinischer Bilder mit unterschiedlichen Maßstäben und Formen auf. Darüber hinaus führt die erhöhte Komplexität dieser Varianten oft zu höheren Rechenkosten und längeren Trainingszeiten, was ihre Anwendbarkeit in der Praxis einschränkt.

Um die UNet^{1-Architektur} zu verbessern, wird ein modifiziertes Modell namens MixKNet (Mix Kernel Size U-shape Net) vorgeschlagen, das die Netzwerktiefe reduziert und gleichzeitig die Anzahl der Kanäle erhöht, um die Lernkapazität zu verbessern. Die Reduzierung der Tiefe kann jedoch zu einem Rückgang der Gesamtleistung führen. Um dieses Problem zu beheben, wird ein Hybrid-Channel-Faltungsmodul eingeführt, das das ursprüngliche Convolutional Neural Module ersetzt. Dieses Modul enthält einen Kanalaufmerksamkeitsmechanismus zwischen den tiefen- und punktweisen Faltungsschichten, der darauf abzielt, die Fähigkeit des Modells zu stärken, effektive Kanalmerkmale zu extrahieren.

Um die praktische Anwendbarkeit zu gewährleisten, ist es wichtig zu beachten, dass das vorgeschlagene Verfahren an relativ kleinen medizinischen Bilddatensätzen mit individuellen Bildauflösungen von 500 × 500 bis 1000 × 1000 Pixeln evaluiert wurde. Für das Modelltraining wurden alle Bilder auf 224 × 224 Pixel verkleinert. Die Implementierung erfolgte mit PyTorch auf einer einzelnen NVIDIA RTX 3090 GPU. Diese operationellen Parameter deuten darauf hin, dass die Methode für moderate Versuchsaufbauten rechnerisch machbar und an begrenzte Datensatzgrößen anpassbar ist.

Zusammenfassend stellt dieser Artikel eine neuartige Modifikation der U-förmigen Netzwerkstruktur vor und führt ein hybrides Kanalfaltungsmodul zusammen mit einem Kanalaufmerksamkeitsmechanismus ein, die beide die Segmentierungsleistung bei medizinischen Bilddatensätzen verbessern. Die Hauptbeiträge dieser Arbeit sind wie folgt: (1) Vorschlag einer modifizierten U-förmigen Netzwerkstruktur mit einem hybriden Deep-Wisse-Faltungsmodul, das das ursprüngliche Convolutional Neural Module ersetzt. (2) Einführung eines Kanalaufmerksamkeitsmechanismus zwischen der tiefverwischten und der punktuellen Faltungsschicht, um die effektive Fähigkeit des Modells zur Extraktion von Kanalmerkmalen zu verbessern. (3) Gleichzeitiges Erreichen modernster Ergebnisse bei zwei beliebten öffentlichen Datensätzen im MoNuseg⁹ Kernsegmentierungsdatensatz mit signifikant weniger Modellparametern (im Vergleich zu UCtransNet¹⁰ mit 64M Parametern) und verbesserter Leistung bei dem GlaS¹¹ Drüsensegmentierungsdatensatz.

Der Rest dieses Artikels ist wie folgt aufgebaut. Schritt 2 bietet einen umfassenden Überblick über frühere Studien zu UNet¹ und seinen Variationen in der medizinischen Bildsegmentierung. Die Stärken und Grenzen bestehender Ansätze werden untersucht, zusammen mit verwandten Arbeiten zu Aufmerksamkeitsmechanismen, Mixed-Depthwise Convolutional Networks und deren Anwendungen in Segmentierungsmodellen. Schritt 3 beschreibt die Architektur des vorgeschlagenen MixKNet-Modells, einschließlich Änderungen an der UNet-Struktur, der Integration eines Kanalaufmerksamkeitsmechanismus und der Verwendung von Mixed-Depth-Faltung. Schritt 4 berichtet über die Ergebnisse umfangreicher Experimente, begleitet von einer Diskussion und einer Ablationsstudie, um die Beiträge der einzelnen Komponenten zu bewerten. In Schritt 5 schließlich wird das Papier abgeschlossen und mögliche Richtungen für die zukünftige Forschung skizziert.

Dieser Abschnitt beginnt mit einem Überblick über frühere Studien zu UNet und seinen Varianten in der medizinischen Bildsegmentierung, wobei die Stärken und Grenzen bestehender Methoden skizziert werden. Darüber hinaus wird die damit zusammenhängende Forschung zu Aufmerksamkeitsmechanismen und deren Anwendung in Segmentierungsmodellen diskutiert. Jüngste Entwicklungen im Bereich der tiefenweisen Faltungstechniken zur Verbesserung der Segmentierungsleistung werden ebenfalls untersucht. Eine vergleichende Analyse des vorgeschlagenen MixKNet (c) und anderer Modelle ist in Abbildung 1 dargestellt, wobei gestrichelte Linien Skip-Verbindungen anzeigen.

UNet und seine Variationen
Die UNet-Architektur wurde erstmals 2015 von Ronneberger et al.^{vorgeschlagen 1} und wird seitdem häufig in der medizinischen Bildsegmentierung eingesetzt. Das Modell besteht aus einem Codierungspfad und einem Decodierungspfad. Der Encoder extrahiert High-Level-Features aus dem Eingabebild, während der Decoder die Features hochrechnet und kombiniert, um eine Segmentierungskarte zu generieren. Seitdem wurden verschiedene Modifikationen an der UNet-Architektur vorgenommen, um die Leistung bei der Segmentierung medizinischer Bilder zu verbessern. Eine der häufigsten Modifikationen ist die Einführung von Skip-Verbindungen, die nachweislich die Genauigkeit der Segmentierung verbessern. Zhou et ^al.12 schlugen eine UNet-Variante vor, die dichte Skip-Verbindungen verwendet, die es dem Modell ermöglicht, räumliche Informationen besser zu erhalten.

Eine weitere beliebte Modifikation der UNet-Architektur ist das Hinzufügen von Aufmerksamkeitsmechanismen. Diese Mechanismen können dem Modell helfen, die wichtigsten Merkmale selektiv hervorzuheben, was zu einem besseren Darstellungslernen und einer besseren Segmentierungsgenauigkeit führt. Einige Beispiele für Varianten mit Aufmerksamkeitsmechanismen sind Attention UNet², ResUNet mit Aufmerksamkeitstoren¹³ und Dense-UNet mit Aufmerksamkeitstoren¹⁴. Zusätzlich zu den oben genannten Modifikationen wurden viele weitere Varianten der UNet-Architektur für die Segmentierung medizinischer Bilder vorgeschlagen. UCTransNet¹⁰ ist eine Variante der U-Net-Architektur, die Skip-Verbindungen und ein Transformer-Modul umfasst. Die Skip-Verbindungen in UCTransNet¹⁰ wurden aus kanaltechnischer Sicht neu überdacht, was eine bessere Wiederverwendung von Funktionen ermöglicht und die Anzahl der Parameter reduziert. Das Transformer-Modul wurde hinzugefügt, um langfristige Abhängigkeiten zu erfassen und die Übersetzungsqualität zu verbessern. UCTransNet¹⁰ hat gezeigt, dass es bei mehreren Benchmarks für maschinelle Übersetzung hochmoderne Ergebnisse erzielt. Zihan et al. schlugen ein Deep-Learning-Modell namens LViT¹⁵ vor, das sie auf medizinische Bildanalyseaufgaben anwendeten. Um die semi-überwachte Version von LViT¹⁵ zu erweitern und den Qualitätsmangel bei den Bilddaten auszugleichen, schlugen sie den Exponential Pseudo Label Iteration Mechanism (EPI) vor. Um die lokalen Merkmale von Bildern zu erhalten, schlugen sie außerdem das Pixel-Level Attention Module (PLAM) vor, das sich selektiv auf wichtige Bildmerkmale konzentriert.

Aufmerksamkeitsmechanismus
Aufmerksamkeitsmechanismen wurden im Bereich des maschinellen Lernens umfassend untersucht, insbesondere in der Verarbeitung natürlicher Sprache und Computer Vision. In den letzten Jahren wurden Aufmerksamkeitsmechanismen auch auf medizinische Bildanalyseaufgaben angewendet, einschließlich der Bildsegmentierung. Bahdanau et ^al.16 führten einen Aufmerksamkeitsmechanismus in der neuronalen maschinellen Übersetzung ein, um die Qualität der Übersetzung zu verbessern. Der Mechanismus ermöglicht es dem Modell, sich selektiv auf relevante Teile der Eingabesequenz zu konzentrieren und so die Übersetzungsqualität zu verbessern. Seitdem wurden verschiedene Aufmerksamkeitsmechanismen für Bildanalyseaufgaben vorgeschlagen. Eine gängige Art von Aufmerksamkeitsmechanismus ist der räumliche Aufmerksamkeitsmechanismus, bei dem jedem Pixel in der Feature-Map basierend auf seiner Wichtigkeit eine Gewichtung zugewiesen wird. Zum Beispiel schlugen Guo et ^al.17 einen räumlichen Aufmerksamkeitsmechanismus für die Aufgabe der retinalen Gefäßsegmentierung vor. Der Mechanismus verwendet einen Gating-Mechanismus, um die Gewichtung der räumlichen Features anzupassen und so die Fähigkeit des Modells zu verbessern, zwischen dem Gefäß und Nicht-Gefäßpixeln zu unterscheiden. Eine andere Art von Aufmerksamkeitsmechanismus ist die Kanalaufmerksamkeit, bei der die Gewichtung von Feature-Maps kanalübergreifend angepasst wird. Hu et ^al.18 schlugen ein Squeeze-and-Excitation-Netzwerk (SENet) vor, das kanalweise Aufmerksamkeit auf die Merkmalskarten anwendet und so die Leistung der Bildklassifizierungsaufgabe verbessert. In jüngerer Zeit wurden Aufmerksamkeitsmechanismen mit Convolutional Neural Networks (CNNs) für Bildsegmentierungsaufgaben kombiniert. Zum Beispiel schlugen Chen et ^al.19 ein aufmerksamkeitsgesteuertes Netzwerk für die Segmentierung von Hirntumoren vor, das räumliche und kanalweise Aufmerksamkeitsmechanismen kombiniert.

Jüngste Fortschritte im Bereich des semi-überwachten und multimodalen Lernens für die medizinische Bildanalyse und Fernerkundung haben vielversprechende Leistungsverbesserungen gezeigt. Yang et ^al.20 schlugen UMSCS vor, ein neuartiges ungepaartes multimodales Segmentierungsframework, das modalitätsübergreifendes generatives Lernen und semi-überwachte Strategien nutzt. Zhang et al. stellten mehrere hochmoderne Techniken vor: ein evidenzgestütztes Tri-Branch-Konsistenzmodell für semi-überwachte Segmentierung²¹, ein selbstbewusstes und stichprobenübergreifendes prototypisches Lernframework für die medizinische Bildsegmentierung²² und einen zeitfrequenzbewussten hierarchischen Merkmalsoptimierungsansatz für die Erkennung von Radarstörungen mit synthetischer Apertur (SAR) in der Luft- und Raumfahrt²³. Diese Arbeiten unterstreichen die Bedeutung der hybriden Supervision und der domänenbewussten Merkmalsmodellierung sowohl bei medizinischen als auch bei technischen Bildgebungsaufgaben.

Tiefengewächtete Faltung
Die tiefenweise Faltung dient der Erfassung kanalweiser Korrelationen in den Eingabe-Merkmalskarten und verbessert nachweislich die Effizienz und Genauigkeit von neuronalen Faltungsnetzen.

Eines der frühesten und einflussreichsten tiefenweisen Faltungsmodelle ist MobileNet²⁴, das von Howard et al. im Jahr 2017 vorgeschlagen wurde. MobileNet verwendet eine tiefenweise trennbare Faltung, bei der eine tiefenweise Faltung gefolgt von einer punktweisen Faltung angewendet wird, um die Anzahl der Parameter und Berechnungen zu reduzieren, die für Faltungsschichten erforderlich sind. Dies ermöglicht es MobileNet, bei Bildklassifizierungsaufgaben eine hochmoderne Genauigkeit zu erreichen und dabei deutlich weniger Parameter zu verwenden als herkömmliche Convolutional Neural Networks. Seit der Einführung von MobileNet wurden eine Reihe weiterer tiefenweiser Faltungsarchitekturen vorgeschlagen, darunter ShuffleNet²⁵, Xception²⁶ und ResNeXt²⁷. Diese Modelle unterscheiden sich in ihrer spezifischen Implementierung der Deep-Wise-Faltung, aber alle haben das gemeinsame Ziel, die Rechenkomplexität von Faltungsschichten zu reduzieren und gleichzeitig die Genauigkeit beizubehalten oder zu verbessern. Die tiefenweise Faltung wurde auch auf die Aufgabe der semantischen Segmentierung angewendet, wobei Modelle wie PSPNet²⁸ tiefenweise trennbare Faltung verwenden, um den Rechen- und Speicherbedarf großer Faltungsschichten zu reduzieren. MixNet²⁹ erweitert die Idee der tiefenweisen Faltung weiter, indem es eine gemischte tiefenweise Faltung einführt, die mehrere Kernelgrößen verwendet, um Merkmale in unterschiedlichen Skalen zu erfassen. Es hat sich gezeigt, dass es andere hochmoderne Modelle übertrifft und gleichzeitig vergleichbare Parameter und FLOPs beibehält. Diese Modelle haben signifikante Verbesserungen in Bezug auf Genauigkeit und Effizienz gegenüber herkömmlichen Convolutional Neural Networks bei verschiedenen semantischen Segmentierungsaufgaben gezeigt.

Protokoll

In diesem Abschnitt wird die vorgeschlagene MixKNet-Architektur für die Segmentierung medizinischer Bilder beschrieben. Das MixKNet-Modell erweitert die UNet-Architektur um Aufmerksamkeitsmechanismen und gemischte tiefenbezogene Faltungsschichten. Die in dieser Studie verwendete Software ist in der Materialtabelle aufgeführt.

1. Gesamtarchitektur

1. Die MixKNet-Architektur, die in Abbildung 2 dargestellt ist, folgt der standardmäßigen UNet-Struktur, die aus einem Encoder und einem Decoder besteht. Legen Sie das Eingabe-Shape auf 224 × 224 × 3 fest. Verwenden Sie im Encoder zwei DownBlock-Module, die jeweils eine 1×1-Tiefenfaltung, eine 2×2-Max-Pooling-Schicht und eine Multi-Kernel-Faltung (MDConv) mit Kernelgrößen wie [1, 3, 5] oder [3-13] enthalten.
2. Verwenden Sie im Decoder zwei UpBlock-Module, die jeweils ein bilineares Upsampling durchführen, eine Verbindungsverkettung überspringen, eine 1×1-Tiefenfaltung und eine Multi-Kernel-Faltung durchführen.
3. Verwenden Sie ReLU-Aktivierungen nach jedem Faltungsblock. Wenden Sie eine abschließende 1×1-Faltung an, um die Ausgabe zu erzeugen, gefolgt von einer Sigmoid-Aktivierung für die binäre Segmentierung, oder lassen Sie sie für externes Softmax in Aufgaben mit mehreren Klassen nicht aktiviert.

2. Abgeflachte U-Form

HINWEIS: Reduzieren Sie die Tiefe der Architektur des neuronalen Netzwerks, um die Rechenkomplexität und die Modellgröße zu verringern, wobei Sie sich bewusst sein müssen, dass dies die Kapazität zum Erlernen komplexer Datendarstellungen verringern kann.

1. Reduzieren Sie eine vierstufige UNet-Architektur auf eine zweistufige Version, wie in Abbildung 3 dargestellt, um die Anzahl der Modellparameter zu verringern und gleichzeitig die Kernkomponenten für die Codierung und Decodierung beizubehalten.
   1. Erstellen Sie die vereinfachte Architektur, indem Sie die Ebenen 3 und 4 sowohl aus dem Encoder- als auch aus dem Decoderpfad entfernen, und behalten Sie die Featureverbindungen auf Ebene 2 bei.
   2. Passen Sie die Downsampling- und Upsampling-Vorgänge entsprechend an, um sie an die reduzierte Tiefe anzupassen – verwenden Sie nur einen Downsampling-Schritt vor dem Engpass und einen Upsampling-Schritt danach.
      HINWEIS: Diese Verringerung der Tiefe kann die Lernfähigkeit des Modells beeinträchtigen, da komplexe Beziehungen zwischen Eingabe und Ausgabe möglicherweise nicht erfasst werden. Durch Erhöhen der Anzahl der Basisfaltungskanäle in jeder Modellschicht kann diese Einschränkung überwunden werden, indem die Fähigkeit des Modells zum Erlernen diskriminierender Merkmale verbessert wird. Mit mehr Faltungskanälen kann das Modell komplexere Muster und Beziehungen in den Eingabedaten erfassen, wodurch die geringere Tiefe kompensiert und die Leistung verbessert wird.
2. Beachten Sie, dass eine Erhöhung der Anzahl von Faltungskanälen auch die Rechenkomplexität und den Speicherverbrauch des Modells erhöhen kann, was einen Kompromiss bei der Trainings- und Rückschlussgeschwindigkeit darstellt. Finden Sie ein angemessenes Gleichgewicht zwischen Modellkapazität und Recheneffizienz.

3. Mischen Sie die Kernel-Größe für den Encoder

1. Um die Leistung des Encoders zu verbessern, verwenden Sie im DC-CA-Modul (Depthwise Convolution and Channel Attention) einen Ansatz mit gemischter Kernelgröße, wie in Abbildung 4 dargestellt. Anstatt sich auf eine einzelne Kernelgröße zu verlassen, wenden Sie mehrere tiefenbezogene Faltungen parallel mit unterschiedlichen Kernelgrößen an (z. B. 1, 3, 5, 7, 9, 11, 13), um Merkmale in mehreren rezeptiven Feldern zu extrahieren.
2. Wenden Sie die Batch-Normalisierung und die ReLU-Aktivierung auf jeden Zweig einzeln an, bevor Sie verkettet werden. Verketten Sie die Ausgaben der einzelnen Kernel-Verzweigungen entlang der Kanaldimension.
3. Verwenden Sie eine punktweise 1×1-Faltung nach der Verkettung, um Features zu verschmelzen und auf eine feste Anzahl von Ausgabekanälen zu projizieren, wobei die Konsistenz mit der erwarteten Eingabegröße der nächsten Schicht erhalten bleibt.
   HINWEIS: Die gemischte Tiefenfaltungsschicht besteht aus mehreren Tiefenfaltungen mit unterschiedlichen Kerngrößen, gefolgt von einer punktweisen Faltung. Dieses Design ermöglicht die Erfassung von Merkmalen auf verschiedenen Skalen, was bei der Segmentierung medizinischer Bilder von entscheidender Bedeutung ist. Das erste Modul verwendet drei Kernelgrößen - 1, 3 und 5 -, um das rezeptive Feld zu erhöhen, während das zweite Modul größere Kernelgrößen und mehr Gruppen verwendet, insbesondere 3, 5, 7, 9, 11 und 13.

4. Aufmerksamkeit kanalisieren

1. Integrieren Sie einen Kanalaufmerksamkeitsmechanismus in das DC-CA-Modul, um die Merkmalsdarstellung zu verbessern.
   1. Verwenden Sie eine 1×1-Faltung mit "gleichem" Padding, um kanalweise Aufmerksamkeitskarten zu erstellen. Wenden Sie globales durchschnittliches Pooling über räumliche Dimensionen an, um einen kompakten Deskriptor für jeden Kanal zu erstellen.
   2. Verwenden Sie ein leichtgewichtiges Faltungsnetzwerk, das aus zwei 1×1-Faltungen mit einer ReLU-Aktivierung dazwischen besteht. Vermeiden Sie die Aufteilung der Gewichtung über mehrere Kanäle hinweg – lernen Sie einzigartige Aufmerksamkeitsgewichtungen pro Kanal kennen.
   3. Wenden Sie eine Sigmoidaktivierung auf die endgültige Ausgabe an, um normalisierte Aufmerksamkeitswerte zu erhalten. Gewichten Sie die Eingabe-Feature-Maps durch kanalweise Multiplikation neu.
      HINWEIS: Der Eingangstensor sei x. Die Kanalaufmerksamkeit wird durch den folgenden Ausdruck implementiert:
      (Achtung)_tensor = σ(conv(ReLU(conv(x)))) (1)
      Dabei steht σ für die Sigmoid-Aktivierungsfunktion, conv für die Faltungsoperation und ReLU für die gleichgerichtete Aktivierungsfunktion für lineare Einheiten.
2. Rufen Sie die Aufmerksamkeitskarte ab, indem Sie eine Pooling-Operation für den Aufmerksamkeitstensor durchführen und ihn anschließend erweitern, um ihn so zu erweitern, dass er der Größe des Ausgabetensors nach der Faltung mit einer anderen Kernelgröße y entspricht:
   attention = expand(avg_pool([attention]_tensor),size(y)) (2)
3. Berechnen Sie den Ausgabetensor z , indem Sie eine elementweise Multiplikation des Eingabetensors y mit der Aufmerksamkeitskarte durchführen:
   z = z * Achtung (3)
   wobei * die elementweise Multiplikation darstellt

5. Datensätze

HINWEIS: In dieser Studie werden zwei öffentlich zugängliche medizinische Bilddatensätze verwendet, wie in Tabelle 1 und Tabelle 2 dargestellt: GlaS (Sirinukunwattana et al.11) und MoNuSeg (Kumar et ^al.9).

1. Verwenden Sie den Datensatz zur Drüsensegmentierung (Sirinukunwattana et ^al.11), der mit einem digitalen Pathologiescanner erfasst und manuell annotiert wurde, um einzelne Drüsenstrukturen innerhalb von Gewebeproben zu segmentieren.
   HINWEIS: Der Datensatz besteht aus 165 Bildern mit einer Auflösung von jeweils 500 × 500 Pixeln sowie entsprechenden Ground-Truth-Segmentierungsmasken. Der MoNuSeg-Datensatz (Kumar et ^al.9) umfasst 51 Bilder von mikroskopischen Kernen mit einer Auflösung von jeweils 1000 × 1000 Pixeln.

6. Einzelheiten zur Implementierung

1. Implementieren Sie das Modell mit PyTorch auf einer einzelnen NVIDIA RTX 3090-GPU. Verwenden Sie Ubuntu 22.04 als Betriebssystem.
2. Ändern Sie die Größe aller Eingabebilder auf eine feste Größe von 224 × 224 Pixeln. Wenden Sie Datenerweiterungstechniken an, um die Vielfalt der Schulungen zu verbessern.
   1. Wenden Sie Augmentierungen nach dem Zufallsprinzip in der folgenden Reihenfolge an: horizontales Spiegeln → vertikales Spiegeln → Drehen → Gammakorrektur → logarithmische Transformation → zufällige Skalierung.
   2. Wenden Sie zufällige horizontale Spiegelungen mit einer Wahrscheinlichkeit von 0,5, vertikale Spiegelungen mit einer Wahrscheinlichkeit von 0,5 und Drehungen innerhalb von ±15 Grad mit einer Wahrscheinlichkeit von 0,5 an.
   3. Wenden Sie die Gamma-Korrektur mit einer Wahrscheinlichkeit von 0,3, die logarithmische Transformation mit einer Wahrscheinlichkeit von 0,3 und die zufällige Skalierung mit einem Skalierungsfaktor zwischen 0,9 und 1,1 an, die mit einer Wahrscheinlichkeit von 0,3 angewendet wird.
   4. Normalisieren Sie Bilder mit Mittelwerten von [0,485, 0,456, 0,406] und Standardabweichungen von [0,229, 0,224, 0,225].
3. Trainieren Sie das Modell mit dem Adam-Optimierer mit einer Lernrate von 0,001 und einer Batchgröße von 4. Verwenden Sie das Kosinus-Glühen mit der Technik zur Planung der Lernrate "Warm Restarts", um Variabilität in den Lernratenplan einzuführen und eine Konvergenz zu lokalen Optima zu verhindern.
   HINWEIS: Verwenden Sie die integrierte torch.optim.lr_scheduler von PyTorch. CosineAnnealingWarmStartet den Scheduler neu. Der Optimierer und der Scheduler wurden wie folgt implementiert:
   Optimierer = torch.optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-5)
   Planer = torch.optim.lr_scheduler. CosinusAnnealingWarmNeustarts(
   Optimierer, T_0=10, T_mult=2, eta_min=1E-6)
   Dabei gibt T_0=10 die Anzahl der Epochen bis zum ersten Neustart an, T_mult=2 verdoppelt die Neustartphase nach jedem Zyklus und eta_min=1e-6 legt die minimale Lernrate fest. Aktualisieren Sie die Lernrate am Ende jeder Epoche, indem Sie scheduler.step() aufrufen.
4. Verwenden Sie die binäre Kreuzentropie als Verlustfunktion. Wenden Sie einen frühen Stopp an, um eine Überanpassung zu vermeiden. Trainieren Sie das Modell für maximal 5000 Epochen.
5. Bewerten Sie die Modellleistung anhand des mittleren Schnittpunkts über Union (mIoU) und des Würfelkoeffizienten.
   Würfel =(2|A∩B|)/(|A|+|B|) (4)
   IoU=(|A∩B|)/(|A∪B|) (5)
   HINWEIS: Der mIoU ist das Verhältnis der Schnittmenge zwischen der vorhergesagten und der Ground-Truth-Segmentierungsmaske zu ihrer Vereinigung. Gleichzeitig ist der Würfelkoeffizient das Verhältnis des doppelten Schnittpunkts zur Summe der vorhergesagten und der Ground-Truth-Segmentierungsmaske.
6. Führen Sie eine strenge Bewertung kleiner Datensätze mit drei Runden 5-facher Kreuzvalidierung durch, was zu insgesamt 15 Bewertungen führt. Mischen Sie die Kreuzvalidierungs-Splits in jeder Runde nach dem Zufallsprinzip, um die Variabilität zwischen den Folds zu gewährleisten. Stratifizieren Sie die Falten basierend auf Klassenverteilungen, um das Etikettengleichgewicht innerhalb jeder Faltung aufrechtzuerhalten.
7. Berechnen Sie die mittlere Leistung über Folds hinweg, um das Risiko einer Konvergenz zu lokalen Optima zu verringern. Führen Sie einen statistischen Test durch, um nachzuweisen, dass der vorgeschlagene Ansatz statistisch signifikante Verbesserungen gegenüber vergleichbaren Methoden erzielt.
8. Zeigen Sie repräsentative Validierungsvorhersagen während des Trainings in Abbildung 5 , um die fortschreitende Verbesserung der Segmentierungsqualität zu veranschaulichen. Laden Sie nach Abschluss des Trainings den leistungsstärksten Modellprüfpunkt basierend auf der Validierungsleistung (z. B. höchster mIoU- und Würfelwert).
   1. Führen Sie das Modell für den Validierungssatz aus, um mit den gespeicherten Parametern vorhergesagte Segmentierungsmasken zu generieren.
   2. Visualisieren Sie die Ergebnisse mit Matplotlib, indem Sie das Eingabebild, die Ground-Truth-Maske und die vorhergesagte Maske in einem nebeneinander liegenden Format anzeigen.
   3. Heben Sie die Überlegenheit der vorgeschlagenen Methode in Bezug auf die Segmentierungsleistung hervor, indem Sie repräsentative Regionen mit roten Kästchen in der Visualisierung markieren.

Ergebnisse

Vergleich mit modernsten Methoden
Die MixKNet-Architektur wurde anhand von zwei medizinischen Bildsegmentierungsdatensätzen, GlaS und MoNuSeg, evaluiert und mit modernsten Methoden in diesem Bereich verglichen. Die Evaluierung erfolgte durch die Angabe der Würfel- und IoU-Werte der vorgeschlagenen Methode und mehrerer vergleichbarer Modelle, wie in Tabelle 3 dargestellt. Die Ergebnisse zeigen, dass die MixKNet-Architektur die anderen Modelle übertrifft...

Diskussion

In dieser Studie wird MixKNet vorgestellt, eine neuartige Modifikation der UNet^{1-Architektur} für die medizinische Bildsegmentierung, die eine Mixed-Depth-Faltung und einen Kanalaufmerksamkeitsmechanismus integriert, um die Segmentierungsleistung zu verbessern und gleichzeitig die Rechenkomplexität erheblich zu reduzieren. Die Hybridkanal-Faltung kombiniert mehrere Faltungskernel, die auf separaten Kanalgruppen arbeiten. Dieses Design ermöglicht es dem Netzwerk, ve...

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Linux OS (Ubuntu 22.04)	Verschiedenes (Open Source Community)	N/A(Version 22.04 LTS)	Open-Source-Betriebssystem für die Entwicklung https://releases.ubuntu.com/22.04/
NVIDIA RTX 3090 GPU	NVIDIA	3090	Hochleistungs-GPU für Deep Learning
> https://www.nvidia.com/en-us/geforce/graphics-cards/30-series/rtx-3090/ Python	Python Software Foundation	N/A (Version ≥ 3.8)	Programmiersprache für die KI/ML-Entwicklung https://www.python.org/
PyTorch	Meta AI	N/A (Version 1.13)	Open-Source-Framework für maschinelles Lernen https://pytorch.org/
Visual Studio Code (VS Code)	Microsoft	N/A	Leichtgewichtiger und leistungsstarker Code-Editor https://code.visualstudio.com/