Methodenartikel

Ein seltenes multimodales Deep-Learning-Framework zur präzisen Diagnose der Parotiddrüse

DOI:

10.3791/70231

⸱

8. Mai 2026

 ,  ,  ,  ,  ,  , 
1Stomatology Department, The Affiliated Wuxi People's Hospital of Nanjing Medical University, 2Department of Oral and Maxillofacial Surgery, Zhongshan Hospital, Fudan University

In diesem Artikel

Zusammenfassung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dieser Artikel präsentiert ein multimodales Deep-Learning-Framework mit wenigen Aufnahmen zur genauen Klassifikation von Parotiddrüsentumoren mittels Magnetresonanztomographie.

Zusammenfassung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Eine genaue Unterscheidung zwischen gutartigen und bösartigen Parotistumoren ist für die Patientenprognose unerlässlich. Aufgrund des hohen Heterogenitätsgrades von Parotid-Tumoren und der begrenzten Verfügbarkeit bildgebender Daten bleibt die präoperative Diagnose jedoch eine erhebliche Herausforderung. Um dieses Problem anzugehen, schlägt die vorliegende Studie ein multimodales Deep-Learning-Framework auf Basis von Small-Sample Learning vor. Dieses Framework integriert Multisequenz-MRT-Informationen und integriert einen multiskaligen räumlichen Aufmerksamkeitsmechanismus, um die Feature-Extraktion und Klassifikation in Situationen mit begrenzten Proben zu verbessern. Das Modell wurde systematisch mit einer retrospektiv gesammelten Kohorte von 198 Patienten mit histopathologisch bestätigten primären Parotiddrüsentumoren (107 gutartige, 91 bösartige) untersucht, die in unserer Einrichtung eine vollständige präoperative MRT unterzogen – einschließlich T1-gewichteter, T2-gewichteter und diffusionsgewichteter Bildgebung – ohne vorherige Behandlung der Parotidläsion. Die Kohorte wurde auf Patientenebene in Training (70 %), Validierung (15 %) und Testgruppen (15 %) unterteilt, wobei stratifizierte Zufallsstichproben verwendet wurden, um das Verhältnis von gutartigen zu bösartigen Gruppen zu erhalten, um gegenseitig ausschließende Teilmengen zu gewährleisten und Datenlecks zu verhindern. Das Modell erreichte eine Fläche unter der Kurve (AUC) von 0,9822. Diese Erkenntnis unterstreicht die Fähigkeit des Systems, zwischen gutartigen und bösartigen Tumoren zu unterscheiden. Darüber hinaus zeigte das Modell erhebliche Vorteile hinsichtlich der diagnostischen Genauigkeit im Vergleich zu erfahrenen Radiologen, was seine potenzielle Anwendung bei der präoperativen beneign-malignen Differenzierung und der klinischen Entscheidungsunterstützung bei Parotistumoren unterstreicht.

Einleitung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Epidemiologische Daten zeigen, dass die Häufigkeit von Parotisdrüsentumoren zunimmt. Die Parotisdrüse, die größte Speicheldrüse im menschlichen Körper1, ist einer der häufigsten Stellen für Kopf- und Halstumore. Während Parotiddrüsentumoren relativ selten sind und etwa 5 % der Kopf- und Halstumoren ausmachen, übertreffen gutartige Läsionen bei weitem bösartige und machen etwa 80 % aller Parotiddrüsentumorenaus 2,3. Gutartige und bösartige Parotistumoren weisen signifikante Unterschiede in biologischem Verhalten, Behandlungsstrategien und Prognose auf. Gutartige Tumore wachsen typischerweise langsam, zeigen ein ausgedehntes Wachstum und metastasieren selten. Günstige Ergebnisse folgen auf eine vollständige chirurgische Entfernung. Im Gegensatz dazu zeigen bösartige Tumore deutliche invasive Wachstumsmuster und dringen häufig in umliegende Gewebe wie den Gesichtsnerv, die Haut und den Knochen ein. Sie sind außerdem in der Lage zu fernen Metastasen, was zu einer schlechteren Prognose 4,5 führt.

Dennoch bleibt die präoperative Unterscheidung zwischen gutartigen und bösartigen Parotistumoren eine klinische diagnostische Herausforderung. Aufgrund des Fehlens spezifischer klinischer Manifestationen ist das erste Symptom der meisten Parotid-Tumoren (unabhängig von der Malignität) eine schmerzfreie Masse, was die Differenzierung allein anhand von Anzeichen oder Symptomenerschwert. Obwohl Symptome wie Schmerzen oder Gesichtslähmung oft als potenzielle Anzeichen für eine Malignität gelten, sind sie bei frühen malignen Läsionen selten. Umgekehrt können einige gutartige Tumore mit Entzündungsreaktionen ähnliche Erscheinungsformen zeigen. Die präoperative Beurteilung von Parotistumoren erfolgt hauptsächlich durch bildgebende Untersuchungen, die die primäre nicht-invasive Methode für diese Begutachtung darstellen. Es sollte jedoch beachtet werden, dass jede bildgebende Methode ihre Grenzen hat. Die Magnetresonanztomographie (MRT) gilt aufgrund ihrer außergewöhnlichen Weichteilauflösung als optimale Methode für die Bewertung von Parotidtumoren, wobei Studien eine maximale Genauigkeit von 93 % bei der Unterscheidung gutartiger von bösartigen Läsionenzeigen. Konventionelle Sequenzen zeigen jedoch signifikante Überschneidungen in den Signaleigenschaften9. CT wird hauptsächlich zur Beurteilung der Knochenbeteiligung eingesetzt; allerdings ist seine Empfindlichkeit geringer als die des MRT, wenn es darum geht, gutartige von bösartigen Tumoren10,11 zu unterscheiden. Ultraschall ist ein geeignetes Verfahren zur vorläufigen Untersuchung oberflächlicher Läsionen; seine Wirksamkeit hängt jedoch von der Expertise des Betreibersab. PET-CT zeichnet sich durch seine hohe metabolische Sensitivität aus; Allerdings begrenzen die hohen Kosten und die Fehlpositivitätsrate den Einsatz bei der Erstdiagnose und eignen sich daher besser für die Stadieneinteilung und Nachbeobachtung bösartiger Tumore. Folglich sind einzelne bildgebende Modalitäten oft nicht in der Lage, präzise Diagnosen zu stellen, und die präoperative Unterscheidung zwischen gutartigen und bösartigen Läsionen beruht typischerweise auf einer umfassenden Analyse multimodaler Informationen.

In den letzten Jahren hat sich das Feld der Künstlichen Intelligenz (KI), insbesondere die Teilgruppe der Deep-Learning-(DL)-Technologien, die durch konvolutionelle neuronale Netze (CNNs) repräsentiert werden, als bedeutender Beitrag zu Fortschritten in der Tumorbildgebungsdiagnostik hervorgetreten. Dies liegt an den leistungsstarken Funktionen der Bildfeature-Extraktion und Mustererkennung, die diese Technologien bieten. Deep-Learning-Modelle extrahieren automatisch komplexe, multiskalierte Funktionen über mehrschichtige neuronale Netze, wodurch die Abhängigkeit vom manuellen Feature-Design deutlich reduziert wird und die Diagnoseleistung verbessert wird. Eine umfangreiche Menge Forschung hat ihr Potenzial in der multimodalen medizinischen Bildgebung bestätigt. Gu Jionghui et al.13 entwickelten ein multimodales Deep-Learning-System, das Brustultraschall und MRT integrierte und die Reaktion auf neoadjuvante Chemotherapie effektiv vorhersagte und traditionelle Methoden übertraf. Lu G et al.14 erreichten eine präzise Unterscheidung zwischen gutartigen und bösartigen Brusttumoren durch Integration von Ultraschall-, Mammographie- und MRT-Bildern mit Transferlernstrategien, was einen AUC von 0,947 ergab. Horasan A et al.15 führten eine Fusionsanalyse der prostata-multiparametrischen MRT (mpMRI) mit 3D-CNNs mit ResNet- und Inception-Architekturen durch und erreichten eine Genauigkeit von etwa 91,3 %. In der Parotidbildgebung entwickelten Zhang G et al.16 ein Deep-Learning-Modell, das Ultraschall- und klinische Daten zur Benign-malignen Differenzierung integriert; Hu X und Wang H.17 erreichten eine Klassifikationsgenauigkeit von 92,3 % (AUC=0,96) mit einem ResNet50-Modell basierend auf CT-Bildern. Die gesammelten Belege aus diesen Studien zeigen die erheblichen Vorteile der Verwendung von Deep-Learning-Modellen zur Analyse von Parotid- und anderen soliden Tumorbildern.

Traditionelle Deep-Learning-Methoden sind jedoch häufig auf umfangreiche Datensätze angewiesen, um eine optimale Leistung zu erzielen. Parotidkrebs besitzt als Tumor mit niedriger Inzidenz vergleichsweise begrenzte Daten18. Darüber hinaus zeigen Parotistumoren eine hohe bildgebende Heterogenität, die durch komplexe Variationen in Signalintensität, morphologischer Struktur und Beziehungen zum umliegenden Drüsengewebe gekennzeichnet ist. Diese Merkmale umfassen verschiedene räumliche Skalen – zum Beispiel globale Tumormorphologie und Grenzdefinition sowie lokale Merkmale wie interne Signalheterogenität und infiltrative Muster – was es für Einzelgrößen- oder einfache Merkmalsextraktionsmethoden schwierig macht, wichtige Unterscheidungen zwischen gutartigen und bösartigen Läsionen vollständig zu erfassen. Darüber hinaus stützten sich frühere Studien oft auf einzelne MRT-Sequenzen (z. B. ausschließlich strukturelle oder funktionelle Bildgebung), was die Möglichkeit einschränkt, umfassende Darstellungen der Tumormerkmale zu erhalten, wie in früheren Arbeiten19,20 berichtet.

Um diese Herausforderungen zu bewältigen, vermuten wir, dass ein multimodales Deep-Learning-Framework mit kleiner Stichprobe, das Multisequenz-MRT und einen multiskaligen räumlichen Aufmerksamkeitsmechanismus integriert, gutartige und bösartige Parotistumoren unter begrenzten Datenbedingungen effektiv unterscheiden und konventionelle Ansätze sowie die Bewertung von Radiologen übertreffen kann. Konkret verwendet dieses System eine Methode mitwenigen Lernmethoden , um diskriminierende Merkmale aus einer begrenzten Anzahl von repräsentativen gutartigen und bösartigen Fällen zu erkennen. Das Modell nutzt einen räumlichen Fokussierungsmechanismus, um sich auf wichtige Läsionsregionen zu konzentrieren und so die Genauigkeit des Modells bei der Unterscheidung gutartiger von bösartigen Parotistumoren zu verbessern. Das Modell wurde mit einer retrospektiv gesammelten Kohorte von 198 Patienten mit pathologisch bestätigten Parotiddrüsentumoren an unserer Einrichtung ausgewertet. Diese Studie integriert strukturelle (T1WI, T2WI) und funktionelle (DWI) MRT-Sequenzen, um morphologische und funktionelle Informationen zu unterstützen. Das vorgeschlagene Rahmenwerk soll die präoperative Unterscheidung zwischen gutartigen und bösartigen Parotistumoren erleichtern.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Protokoll

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Alle in dieser Studie verwendeten Patientendaten wurden ausschließlich im Wuxi People's Hospital gesammelt und bestanden aus 198 pathologisch bestätigten Fällen von Parotid-Tumoren. Diese Studie wurde vom Institutional Review Board des Wuxi People's Hospital (IRB Nr. KY24068) und in voller Übereinstimmung mit institutionellen Richtlinien und internationalen ethischen Standards durchgeführt wird. Alle Daten wurden vor der Analyse vollständig anonymisiert.

MRT-Bildaufnahme

Alle MRT-Sequenzen (T1-gewichtete Bildgebung, T2-gewichtete Bildgebung und diffusionsgewichtete Bildgebung) wurden auf einem 3,0-Tesla-MRT-Scanner (Siemens MAGNETOM Verio oder Prisma) mit einer 16-Kanal-Kopf- und Halsspule aufgenommen. Die Erfassungsparameter waren wie folgt: T1-gewichtete Bilder wurden mit TR/TE = 500/15 ms, Schnittdicke = 3 mm, Matrix = 256 × 256, Sichtfeld = 240 mm gewonnen; T2-gewichtete Bilder wurden mit TR/TE = 4000/90 ms, Schnittdicke = 3 mm, Matrix = 320 × 320, Sichtfeld = 240 mm aufgenommen; Diffusionsgewichtete Bilder wurden mit TR/TE = 5000/80 ms, b-Werten = 0 und 1000 s/mm2, Schnittdicke = 3 mm, Matrix = 128 × 128, Sichtfeld = 240 mm, mit automatisch generierten scheinbaren Diffusionskoeffizientenkarten gewonnen. Alle Sequenzen wurden in der Axialebene ohne Zwischenschnitt aufgenommen.

Studiendesign

Diese retrospektive Studie analysierte präoperative MRT-Daten von 198 Patienten mit histopathologisch bestätigten primären Parotisdrüsentumoren (107 gutartig und 91 bösartig). Alle Patienten unterzogen sich in unserer Einrichtung vollständigen Parotid-MRT-Untersuchungen, einschließlich T1-gewichteter Bildgebenheit, T2-gewichteter Bildaufnahme und diffusionsgewichteter Bildabbildung, ohne vorherige Behandlung der Parotidläsion. Verwenden Sie chirurgische Resektionsproben oder eine Kernbiopsie als Referenzstandard. Die Einschlusskriterien waren ein histopathologisch bestätigter primärer Parotiddrüsentumor, ein präoperatives MRT mit allen erforderlichen Sequenzen in unserer Einrichtung sowie keine vorherige Operation, Strahlentherapie, Chemotherapie oder Ablation der Parotidläsion. Ausschlusskriterien umfassten metastasierte Tumore an der Parotiddrüse, signifikante Bewegungsartefakte oder unvollständige Sequenzen, die Bilder nicht diagnostisch machten, sowie wiederkehrende Tumore nach vorheriger Behandlung. Die Gesamtkohorte bestand aus 118 Männern (59,6 %) und 80 Frauen (40,4 %) im Alter von 26 bis 89 Jahren (Mittelwert ± SD 53,0 ± 12,8 Jahre), und die nach Tumortyp geschichteten demografischen Merkmale waren wie folgt: gutartige Gruppe (n=107) mit 59 Männern (55,1 %) und 48 Frauen (44,9 %), Altersbereich 28–87 Jahre (Mittelwert ± SD 54,2 ± 12,1 Jahre), und bösartige Gruppe (n=91) mit 59 Männern (64,8 %) und 32 Frauen (35,2 %), Altersgruppe 26–89 Jahre (Mittelwert ± SD 51,6 ± 13,4 Jahre); Ein stratifizierter Zufallsstichprobe-Ansatz wurde angewandt, um die 198 Patienten in Trainingssets (70 %, n=138), Validierung (15 %, n=30) und Testsets (15 %, n=30) zu unterteilen, wobei das Verhältnis von gutartigen zu bösartigen Fällen über alle Teilmengen hinweg erhalten blieb (Validierung und Testsets enthielten jeweils 16 gutartige und 14 bösartige Fälle), wobei die Aufteilung auf Patientenebene statt pro Schnitt oder Bild erfolgte, Sicherstellung, dass alle Trainings-, Validierungs- und Testsätze sich gegenseitig ausschließen und keine Patientenüberschneidungen haben, um Datenlecks zu verhindern und eine unvoreingenommene Bewertung der Modellgeneralisierbarkeit zu ermöglichen.

Datenvorverarbeitung

Die Studie führte standardisierte Vorverarbeitung aller MRT-Bilder durch vier Hauptschritte um: Bildregistrierung und -neubeprobung, Entschädigung, Datenerweiterung und Normalisierung. Um Variationen in MRT-Protokollen und Patientenpositionierung zu berücksichtigen, wurden alle T1WI-, T2WI- und DWI-Volumina zunächst starr in die T1WI-Sequenz als Referenzraum registriert und mittels trilinearer Interpolation auf isotrope Auflösung von 1 mm3 neu betastet. Die Entrauschung wurde dann auf allen registrierten Volumes mit dem Non-Local Means (NLM)-Algorithmus22 durchgeführt, wobei der Glättungsparameter automatisch auf 0,8-fach der geschätzten Rauschstandardabweichung gesetzt wurde, ein Suchfenster von 21×21×21 Voxeln und ein Ähnlichkeitsfenster von 7×7×7 Voxeln stattfand. Dieser Ansatz reduziert effektiv zufälliges Rauschen und erhält dabei wichtige strukturelle Details. Anschließend wurden zur Erweiterung der effektiven Trainingsstichprobengröße, zur Verbesserung der Modellverallgemeinerung und zur Minderung von Overfitting auf dem begrenzten Datensatz mehrere Datenaugmentationsstrategien, darunter Zufallsrotation (±15°) und Zufallsskalierung (0,9–1,1)23,24, während jeder Trainingsphase ausschließlich auf die Trainingsset-Bilder angewendet, wobei alle Transformationen mit einem festen Zufallsseed von 42 für vollständige Reproduzierbarkeit generiert wurden; Die Validierungs- und Testsätze blieben unerweitert, um eine objektive Modellbewertung zu gewährleisten. Schließlich wurde zur Beseitigung systematischer Unterschiede in der Signalintensität zwischen verschiedenen Scangeräten und Sitzungen die Z-Score-Normalisierung auf jedes Volumen angewendet, indem der Mittelwert subtrahiert und durch die Standardabweichung geteilt wurde, woraufhin die normalisierten Pixelwerte linear auf den Bereich [0, 1] skaliert wurden, um die Eingabeanforderungen des PyTorch Deep-Learning-Frameworks25 zu erfüllen.

Modellarchitektur

Die vorliegende Studie schlägt ein multimodales Deep-Learning-Framework auf Basis von Few-Shot Learning vor, das komplementäre Informationen aus mehreren MRT-Sequenzen (T1-gewichtete Bildgebung, T2-gewichtete Bildgebung und diffusionsgewichtete Bildgebung) integriert und einen multiskaligen räumlichen Aufmerksamkeitsmechanismus integriert, um die Merkmalsrepräsentation und Klassifikationsleistung unter begrenzten Stichprobenbedingungen zu verbessern. Alle MRT-Volumina wurden in der Axialebene auf demselben Scanner aufgenommen; vor der Eingabe wurden sie einer starren Registrierung unterzogen, um die räumliche Ausrichtung über die Sequenzen sicherzustellen, wobei die Ausrichtungsqualität manuell von einem leitenden Radiologen überprüft wurde, und die vollständigen 3D-Volumina, die auf die Parotidläsion zentriert waren, auf eine standardisierte Interessensregion zugeschnitten, auf isotrope Auflösung neu betastet und auf konsistente Maße angepasst wurden. Durch die Kombination des Few-Shot-Learning-Paradigma, des multiskaligen räumlichen Aufmerksamkeitsmoduls und der Cross-modal Feature-Fusion durch kanalweise Konkatenation adressiert das Framework die Herausforderungen der Modellgeneralisierung in datenarmen Umgebungen und ermöglicht robustes Lernen diskriminierender Features aus einer kleinen Anzahl annotierter Stichproben, wobei die vollständige Architektur in Abbildung 1 dargestellt ist. Obwohl der Datensatz 198 Patienten umfasst, wird der Few-Shot-Ansatz gewählt, da Parotid-Tumore eine hohe bildgebende Heterogenität aufweisen und die annotierten volumetrischen multimodalen Daten relativ begrenzt im Hinblick auf die Aufgabenkomplexität bleiben, wodurch reale klinische Szenarien mit wenigen markierten Beispielen besser simuliert werden können; ein konventioneller überwachter Trainingsansatz wurde ebenfalls zum Vergleich evaluiert, und die Vorteile der Mehr-Schuss-Konfiguration werden in den Ablationsstudien im Ergebnisabschnitt demonstriert. Das Backbone-Netzwerk verwendet R3D-1826 (eine 3D-ResNet-18-Variante mit vollständigen raumzeitlichen Faltungen), vortrainiert auf Kinetics-400, als Shared-Weight-Feature-Extractor für jede MRT-Sequenz; Während der Anpassung wird ein prototypischer Netzwerkkopf für die Few-Shot-Klassifikation verwendet, wobei das Multi-Scale Spatial Attention-Modul nach den Faltungsstufen jeder modalitätsspezifischen Zweigung eingefügt wird, gefolgt von Cross-Modal Fusion und einem gemeinsamen Klassifikator. Die Neuheit des vorgeschlagenen multiskaligen räumlichen Aufmerksamkeitsmechanismus liegt in seiner Verwendung paralleler Faltungspfade mit Kerngrößen von 1×1, 3×3 und 5×5, wobei jeder Pfad unabhängig eine räumliche Aufmerksamkeitskarte an einem anderen rezeptiven Feld erzeugt, die anschließend mittels Softmax normalisiert und adaptiv mit den Eingabemerkmalen durch gewichtete Summation fusioniert wird; Dieses Design erfasst explizit Läsionsmerkmale über mehrere räumliche Skalen hinweg – von feinen lokalen Details wie der internen Signalheterogenität bis hin zu breiteren kontextuellen Strukturen wie Tumorrändern und Schnittstellen mit umgebendem Gewebe – und bietet eine überlegene Leistung im Vergleich zu herkömmlichen Aufmerksamkeitsmodulen. Die Feinabstimmungsstrategie verläuft in zwei Phasen: Anfangs werden die vortrainierten R3D-18-Backbone-Schichten eingefroren, um allgemeine raumzeitliche Darstellungen zu erhalten, während nur die Aufmerksamkeitsmodule, Fusionsschichten und der prototypische Kopf trainiert werden; anschließend werden die letzten beiden Restblöcke (Schicht3 und Schicht4) jedes Rückgrats aufgetaut, um eine End-to-End-Anpassung an MRT-spezifische volumetrische Merkmale zu ermöglichen. Das Training wurde mit dem Adam-Optimierer mit einer anfänglichen Lernrate von 0,0001 durchgeführt, die alle 20. Epochen um den Faktor 0,1 durch Step-Decay-Planung reduziert wurde; das Modell durchlief 100 Epochen episodischen Trainings mit einer Batchgröße von 8 Episoden (jeweils bestehend aus Support- und Abfragesets), basierend auf dem Standardprotokoll für wenige Schüsse in einer zweiseitigen K-Shot-Konfiguration (mit K=5 während primärem Meta-Training und Evaluation); alle Experimente wurden auf einer Hochleistungs-GPU mit 24 GB Speicher durchgeführt, und ein fester zufälliger Seed von 42 wurde bei Datenpartitionierung, Gewichtinitialisierung und Augmentation angewendet, um vollständige Reproduzierbarkeit sicherzustellen.

Few-shot Learning Task Paradigm für die Klassifikation von Parotisdrüsentumoren

Angesichts der begrenzten Verfügbarkeit hochwertiger annotierter Daten zu Parotiddrüsentumoren und der hohen bildgebenden Heterogenität dieser Läsionen verwendet diese Studie ein metrikbasiertes Mehr-Schuss-Lernparadigma, obwohl der Gesamtdatensatz 198 Patienten umfasst. Die Unterstützungsset-Abfrageset-Aufgabenstruktur wird verwendet, um den diagnostischen Schlussfolgerungsprozess in der klinischen Praxis zu simulieren, wo typischerweise nur eine kleine Anzahl repräsentativer Beispiele für seltene oder heterogene Tumorsubtypen verfügbar ist. Jede Trainingsaufgabe ist in einem N-Wege-K-Shot-Format definiert (N=2, entsprechend der gutartigen/malignen Klassifikation), was es dem Modell ermöglicht, diskriminierende Merkmalsrepräsentationen aus einer kleinen Anzahl von Stichproben zu lernen. Konkret umfasst der Support-Satz für jede Aufgabe K multimodale Stichproben (T1-gewichtete Bildgebung, T2-gewichtete Bildgebung und diffusionsgewichtete Bildgebung) pro Klasse, um Klassenprototypen zu erstellen, während der Abfragesatz Proben enthält, die klassifiziert werden sollen. Das Modell trifft Klassifikationsentscheidungen auf Basis von Distanzmetriken, indem es die Ähnlichkeit zwischen den Merkmalen von Abfragestichproben und Klassenprototypen im Embedding-Raum berechnet. Dieser Lernmechanismus ist bemerkenswert, da er das Modell von der Abhängigkeit groß annotierter Daten befreien kann, wodurch es für praktische Anwendungen in datenarmen klinischen Umgebungen besser geeignet ist. Zum direkten Vergleich wurde auch ein konventioneller überwachter Trainingsansatz mit dem vollständigen Trainingsset ohne episodische Sampling mit wenigen Schüssen bewertet, und die Vorteile der Konfiguration mit wenigen Schüssen hinsichtlich Verallgemeinerung und Stabilität unter Bedingungen mit begrenzten Stichproben werden in den im Abschnitt Results präsentierten Ablationsstudien quantitativ demonstriert.

In der Klassifikationsphase verwendet diese Studie ein prototypisches Netzwerk als Klassifikator. Für jede Kategorie c in der Unterstützungsmenge wird der Prototypvektor p_c als Mittelwert der eingebetteten Unterstützungsproben berechnet:

figure-protocol-1(1)

wobei f(·) die Einbettungsfunktion (Merkmalsextraktor) bezeichnet, figure-protocol-2 die i-te Trägerprobe der Kategorie c und K die Anzahl der Schüsse pro Klasse ist.

Für eine gegebene Abfragestichprobe x wird die Wahrscheinlichkeit, zur Kategorie c zu gehören, mittels der Softmax-Funktion über negative euklidische Abstände berechnet:

figure-protocol-3(2)

wobei d(·, ·) die euklidische Abstandsfunktion darstellt.

Architektur basierend auf multimodaler Feature-Fusion

Um den komplementären Wert von Multisequenz-MRT-Daten voll auszuschöpfen, entwarf diese Studie ein drei-Branch-Feature-Fusionsnetzwerk, das T1-gewichtete Bildgebung (T1WI), T2-gewichtete Bildaufnahme (T2WI) und diffusionsgewichtete Bildgebungssequenzen (DWI) getrennt verarbeitet. Jede Sequenz wird zunächst mit einem Shared-Weight-R3D-18-Modell extrahiert, das auf dem Kinetics-400-Datensatz mit Gewichten aus der offiziellen PyTorch TorchVision-Implementierung vortrainiert ist; Während der Anpassung wurde eine zweistufige Feinabstimmungsstrategie angewandt, bei der alle Schichten des vortrainierten Backbone zunächst fixiert gehalten wurden, um allgemeine räumliche Repräsentationen zu erhalten, während nur die multiskaligen räumlichen Aufmerksamkeitsmodule, crossmodale Fusionsschichten und prototypischer Netzwerkkopf trainiert wurden, danach wurden die letzten beiden Restblöcke (Schicht3 und Schicht4) jedes Backbone für eine End-to-End-Anpassung an MRT-spezifische volumetrische Merkmale enttaut, wobei die früheren Schichten (Schicht1 und Schicht2) während des gesamten Trainings eingefroren blieben. Dieses Netzwerk nutzt 3D-Faltungskerne, die über räumliche und zeitliche Dimensionen hinweg gleiten, um die volumetrische Morphologie des Tumors und räumliche kontextuelle Informationen effektiv zu erfassen. Während der Merkmalsfusion wird eine konkatenationsbasierte crossmodale Strategie eingesetzt, bei der die aufmerksamkeitsverstärkten Merkmalsrepräsentationen der drei Modalitäten entlang der Kanaldimension zu einem umfassenden multimodalen Merkmalsvektor verkettet werden. Dieser Fusionsansatz bewahrt die einzigartigen Informationen jeder Modalität – die anatomische Klarheit von T1WI, die Gewebezusammensetzungssensitivität von T2WI und die zelluläre Funktionalität von DWI – und erreicht gleichzeitig eine effektive Komplementarität der diagnostischen Informationen, wodurch die Funktionsausdrucksvielfalt und die Diskriminierungskraft deutlich verbessert werden.

Mehrskaliger räumlicher Aufmerksamkeitsmechanismus

Diese Studie integriert ein multiskaliges räumliches Aufmerksamkeitsmodul, um Läsionsmerkmale auf verschiedenen räumlichen Skalen zu erfassen. Wie in Abbildung 2 dargestellt, verwendet das Modul parallele Faltungspfade mit Kerngrößen von 1×1, 3×3 und 5×5. Jeder Pfad erzeugt unabhängig eine räumliche Aufmerksamkeitskarte, die mittels Softmax normalisiert und dann adaptiv mit den Eingabemerkmalen durch gewichtete Summation fusioniert wird. Dieses Design ermöglicht es dem Modell, sich auf Bereiche zu konzentrieren, die besser geeignet sind, um gutartige von bösartigen Läsionen zu unterscheiden, während der Einfluss irrelevanter Hintergrundbereiche reduziert wird. Die daraus resultierenden Aufmerksamkeitskarten können helfen, Interessensgebiete in den Bildern hervorzuheben.

DATENVERFÜGBARKEIT:

Eine repräsentative Teilmenge vollständig anonymisierter multimodaler MRT-Sequenzen (T1WI, T2WI, DWI) aus der Studienkohorte ist öffentlich im Zenodo-Repository verfügbar: https://doi.org/10.5281/zenodo.17744149 (Version v1). Diese Daten werden unter einer Creative Commons Attribution 4.0 International (CC-BY 4.0) Lizenz ohne Zugriffsbeschränkungen geteilt. Der vollständige anonymisierte Datensatz ist noch nicht öffentlich verfügbar und wird in einer späteren Version des Archivs nach der formellen Veröffentlichung dieses Manuskripts veröffentlicht, vorbehaltlich institutioneller und ethischer Genehmigung.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Ergebnisse

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Überblick über die Modellleistung

Um die diagnostische Leistung des Modells zu bewerten, wurde eine Reihe von Standardkennzahlen verwendet, darunter Genauigkeit, Präzision, Rückruf und F1-Score. Unter der 2-Wege-5-Schuss-Konfiguration erzielte das multimodale Few-Shot-Lernmodell auf Basis von R3D-18 folgende Ergebnisse auf dem Testset zur Klassifikation von Parotiddrüsentumoren: Genauigkeit von 96,88 %, Präzision von 97,50 %, Rückruf von 96,88...

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Diskussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

In dieser Studie stellten wir die Hypothese auf, dass ein multimodales Deep-Learning-Framework mit wenigen Schüssen, das Multisequenz-MRT (T1-gewichtet, T2-gewichtete und diffusionsgewichtete Bildgebung) mit einem multiskaligen räumlichen Aufmerksamkeitsmechanismus integriert, gutartige und bösartige Parotisdrüsentumoren unter begrenzten annotierten Datenbedingungen präzise unterscheiden und sowohl konventionelle Deep-Learning-Ansätze als auch erfahrene Radiologen übertreffen kann.

<...

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Offenlegungen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Autoren geben keine konkurrierenden finanziellen oder nicht-finanziellen Interessen an.

Danksagungen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Diese Forschung wurde von der National Natural Science Foundation of China (Nr. 82473200), dem Key Medical Research Project der Jiangsu Provincial Health Commission (Nr.K2023061) und dem Projekt der Jiangsu Provincial Health Commission on Elderly Health Commission (KLM2023019) an YJH finanziert.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Materialien

Liste der in diesem Artikel verwendeten Materialien
NameUnternehmenKatalognummerKommentare
Grad-CAMhttps://github.com/jacobgil/pytorch-grad-cam
NumPy 1.25NumPy-Entwicklerhttps://numpy.org/
Pandas 2.1Pandas-Entwicklerhttps://pandas.pydata.org/
PycharmJetBrainshttps://www.jetbrains.com/zh-cn/pycharm/
Python 3.10Python Software Foundationhttps://www.python.org/
PyTorch 2.1Meta Platforms, Inc.https://pytorch.org/
scikit-learn 1.3Scikit-learn-Entwicklerhttps://scikit-learn.org/
SHAPhttps://github.com/slundberg/shap
Siemens MAGNETOM Prisma 3.0T MagnetresonanztomographiesystemSiemens Healthineershttps://www.siemens-healthineers.cn/magnetic-resonance-imaging/3t-mri-scanner/magnetom-prisma

Referenzen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Liu, X., Pan, Y., Zhang, X., Sha, Y., Wang, S., et al. A Deep Learning Model for Classification of Parotid Neoplasms Based on Multimodal Magnetic Resonance Image Sequences. Laryngoscope. 133 (2), 327-335 (2023).
  2. Moore, M. G., Yueh, B., Lin, D. T., Bradford, C. R., Smith, R. V., et al. Controversies in the Workup and Surgical Management of Parotid Neoplasms. Otolaryngol Head Neck Surg. 164 (1), 27-36 (2021).
  3. Gautam, S. K., Kumar, S., Singh, H. P., Singh, A. B., Chandra, M. Clinico-Pathological Profile of Parotid Gland Tumors at a Tertiary Care Center in North India. Natl J Maxillofac Surg. 14 (3), 438-443 (2023).
  4. Alshammari, A., Aljufairi, E., Alsayed, A. Oncocytic Mucoepidermoid Carcinoma of the Parotid Gland: Case Report. J Surg Case Rep. 2022 (4), rjac039(2022).
  5. Thielker, J., Grosheva, M., Ihrler, S., Wittig, A., Guntinas-Lichius, O. Contemporary Management of Benign and Malignant Parotid Tumors. Front Surg. 5, 39(2018).
  6. Davachi, B., Imanimoghaddam, M., Majidi, M. R., Sahebalam, A., Johari, M., et al. The Efficacy of Magnetic Resonance Imaging and Color Doppler Ultrasonography in Diagnosis of Salivary Gland Tumors. J Dent Res Dent Clin Dent Prospects. 8 (4), 246-250 (2014).
  7. Pedicelli, A., Trombatore, P., Bartolo, A., Camilli, A., Rossi, E. D., et al. Preoperative Direct Puncture Embolization of Castleman Disease of the Parotid Gland: A Case Report. Curr Oncol. 31 (4), 2047-2056 (2024).
  8. Paris, J., Facon, F., Pascal, T., Chrestian, M., Moulin, G., et al. Preoperative Diagnostic Values of Fine-Needle Cytology and MRI in Parotid Gland Tumors. Eur Arch Otorhinolaryngol. 262 (1), 27-31 (2005).
  9. Yologlu, Z., Aydin, H., Alp, N. A., Aribas, B. K., Kizilgoz, V., et al. Diffusion-Weighted Magnetic Resonance Imaging in the Diagnosis of Parotid Masses: Preliminary Results. Saudi Med J. 37 (12), 1412-1417 (2016).
  10. Stoia, S., et al. Cross-Sectional Imaging and Cytologic Investigations in the Preoperative Diagnosis of Parotid Gland Tumors: An Updated Literature Review. Bosn J Basic Med Sci. 21 (1), 19-32 (2021).
  11. Christe, A., Waldherr, C., Hallett, R., Zbaeren, P., Thoeny, H. MR Imaging of Parotid Tumors: Typical Lesion Characteristics Improve Discrimination Between Benign and Malignant Disease. Am J Neuroradiol. 32 (7), 1202-1207 (2011).
  12. Li, L., Zhao, Y., Luo, D., Yang, L., Hu, L., et al. Diagnostic Value of Single-Source Dual-Energy Spectral Computed Tomography in Differentiating Parotid Gland Tumors: Initial Results. Quant Imaging Med Surg. 8 (6), 588-596 (2018).
  13. Gu, J., Zhong, X., Fang, C., Lou, W., Fu, P., et al. Deep Learning of Multimodal Ultrasound: Stratifying the Response to Neoadjuvant Chemotherapy in Breast Cancer Before Treatment. Oncologist. 29 (2), e187-e197 (2024).
  14. Lu, G., Tian, R., Yang, W., Liu, R., Liu, D., et al. Deep Learning Radiomics Based on Multimodal Imaging for Distinguishing Benign and Malignant Breast Tumors. Front Med. 11, 1402967(2024).
  15. Horasan, A., Güneş, A. Advancing Prostate Cancer Diagnosis: A Deep Learning Approach for Enhanced Detection in MRI Images. Diagnostics. 14 (14), 1871(2024).
  16. Zhang, G., et al. A Deep Learning Model for the Differential Diagnosis of Benign and Malignant Salivary Gland Tumors Based on Ultrasound Imaging and Clinical Data. Quant Imaging Med Surg. 13 (5), 2989-3000 (2023).
  17. Hu, Z., Wang, B., Pan, X., Cao, D., Gao, A., et al. Using Deep Learning to Distinguish Malignant from Benign Parotid Tumors on Plain Computed Tomography Images. Front Oncol. 12, 919088(2022).
  18. Khodabakhshi, Z., et al. MRI-Based Radiomics for Predicting Histology in Malignant Salivary Gland Tumors: Methodology and Proof of Principle. Sci Rep. 14 (1), 9945(2024).
  19. Sreecharan, V., et al. Multiparametric MRI in Diagnosis of Parotid Gland Tumor: An Observational Study in 3-T MRI. Indian J Radiol Imaging. 35 (2), 402-410 (2024).
  20. Chang, Y. J., Huang, T. Y., Liu, Y. J., Chung, H. W., Juan, C. J. Classification of Parotid Gland Tumors by Using Multimodal MRI and Deep Learning. NMR Biomed. 34 (8), e4408(2021).
  21. Parnami, A., Lee, M. Learning from Few Examples: A Summary of Approaches to Few-Shot Learning. ArXiv. abs/2203.04291, (2022).
  22. Buades, A., Coll, B., Morel, J. M. A Non-Local Algorithm for Image Denoising. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 2, 60-65 (2005).
  23. Maharana, K., Mondal, S., Nemade, B. A Review: Data Pre-Processing and Data Augmentation Techniques. Global Transitions Proceedings, 3, 91-99 (2022).
  24. Mumuni, A., Mumuni, F. Data augmentation: A comprehensive survey of modern approaches. Array. 16, 100258(2022).
  25. Au, R. C., Tan, W. C., Bourbeau, J., Hogg, J. C., Kirby, M. Impact of Image Pre-Processing Methods on Computed Tomography Radiomics Features in Chronic Obstructive Pulmonary Disease. Phys Med Biol. 66 (24), 245015(2021).
  26. Tran, D., Wang, H., Torresani, L., Ray, J., LeCun, Y., et al. A Closer Look at Spatiotemporal Convolutions for Action Recognition. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, , 6450-6459 (2017).
  27. He, K., Zhang, X., Ren, S., Sun, J. Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 770-778 (2016).
  28. Huang, G., Liu, Z., Van Der Maaten, L., Weinberger, K. Q. Densely Connected Convolutional Networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 2261-2269 (2017).
  29. Xie, S., Girshick, R., Dollár, P., Tu, Z., He, K. Aggregated Residual Transformations for Deep Neural Networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 5987-5995 (2017).
  30. Snell, J., Swersky, K., Zemel, R. Prototypical Networks for Few-Shot Learning. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing System, , 4080-4090 (2017).
  31. Zhou, F., Wang, P., Zhang, L., Wei, W., Zhang, Y. Revisiting Prototypical Network for Cross-Domain Few-Shot Learning. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), , 20061-20070 (2023).
  32. Li, T., et al. Automated Diagnosis of Major Depressive Disorder With Multi-Modal MRIs Based on Contrastive Learning: A Few-Shot Study. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 32, 1566-1576 (2024).
  33. Liu, Q., Tian, Y., Zhou, T., et al. A Few-Shot Disease Diagnosis Decision Making Model Based on Meta-Learning for General Practice. Artif Intell Med. 147, 102718(2024).
  34. Jiao, S., et al. Multi-Modal Contrastive Learning for Medical Image Classification with Limited Training Data. 2024 International Conference on Machine Learning and Applications (ICMLA), , 1083-1088 (2024).
  35. Ouahab, A., Ahmed, O. B. ProtoMed: Prototypical Networks with Auxiliary Regularization for Few-Shot Medical Image Classification. Image and Vision Computing. 154, 105337(2025).
  36. Wang, L., Uddin, I. I., Santosh, K. C. Expert-Guided Explainable Few-Shot Learning with Active Sample Selection for Medical Image Analysis. IEEE Journal of Biomedical and Health Informatics. , (2025).
  37. Hu, J., Shen, L., Sun, G. Squeeze-and-Excitation Networks. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, , 7132-7141 (2018).
  38. Woo, S., Park, J., Lee, J. Y., Kweon, I. S. CBAM: Convolutional Block Attention Module. Computer Vision – ECCV 2018: 15th European Conference, Munich, Germany, September 8–14, 2018, Proceedings, Part VII, , 3-19 (2018).
  39. Wang, Q., et al. ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), , 11534-11542 (2020).
  40. Misra, D., et al. Rotate to Attend: Convolutional Triplet Attention Module. 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), , 3138-3147 (2021).
  41. Selvaraju, R. R., Cogswell, M., Das, A., Vedantam, R., Parikh, D., et al. Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization. 2017 IEEE International Conference on Computer Vision (ICCV), , 618-626 (2017).
  42. Wang, S., Zhang, Y. Grad-CAM: Understanding AI Models. Computers, Materials & Continua. 76 (2), 1321-1324 (2023).
  43. Lundberg, S. M., Lee, S. I. A Unified Approach to Interpreting Model Predictions. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems, , 4768-4777 (2017).

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Nachdrucke und Genehmigungen

Genehmigung beantragen, um den Text oder die Abbildungen dieses JoVE-Artikels zu verwenden

Genehmigung beantragen

Schlagwörter

Multimodal Deep LearningFew Shot LearningParotid Gland TumorsMRI DiagnosisSpatial AttentionTumor ClassificationBenign Malignant DifferentiationPrecision DiagnosisSmall Sample LearningClinical Decision Support

Verwandte Artikel