Ein Swin Transformer-basiertes Modell zur Detektion von Schilddrüsenknoten in Ultraschallbildern
April 21st, 2023
In dieser Arbeit wird ein neues Modell zur Detektion von Schilddrüsenknoten in Ultraschallbildern vorgeschlagen, das den Swin Transformer als Rückgrat für die langreichweitige Kontextmodellierung verwendet. Experimente belegen, dass es in Bezug auf Empfindlichkeit und Genauigkeit gut funktioniert.
Dieses Programm implementiert eine automatische und effiziente Maßnahme zur Erkennung von Schilddrüsenknoten, die in Zukunft die Arbeitsbelastung von Ärzten verringern kann. Bei dieser Technik wird ein Swin-Transformator auf ein Knotenerkennungsnetzwerk angewendet. Swin Transformer sind effektiv bei der Erfassung von Inhaltsinformationen über große Entfernungen, was sehr hilfreich ist, um die Empfindlichkeit der Knotenfixierung zu verbessern.
Öffnen Sie zunächst ein Terminal auf dem Computer und installieren Sie Python 3.8, indem Sie sudo apt-get install python3.8 in die Befehlszeile eingeben. Um PyTorch 1.7 zu installieren, gehen Sie auf die offizielle Website von Miniconda und installieren Sie es. Erstellen Sie dann eine Conda-Umgebung, indem Sie den auf dem Bildschirm angezeigten Befehl in der Befehlszeile eingeben, und aktivieren Sie sie, indem Sie conda activate SwinFasterRCNN eingeben.
Installieren Sie PyTorch, indem Sie den angezeigten Befehl in die Befehlszeile schreiben. Klonen Sie für die Installation der MM-Erkennung aus dem offiziellen GitHub-Repository, und installieren Sie dann MM Detection, indem Sie den Befehl pip install v e in die Befehlszeile schreiben. Öffnen Sie die schedule_1x.
py-Datei im Vim-Texteditor und bearbeiten Sie die Datei, um die standardmäßigen trainingsbezogenen Parameter festzulegen, einschließlich Optimierer, Lernrate und Epic. Beginnen Sie das Training, indem Sie den auf dem Bildschirm angezeigten Befehl eingeben. Warten Sie, bis das Netzwerk mit dem Training für 48 Epics begonnen hat und die resultierenden trainierten Gewichtungen des SwinFasterRCNN-Netzwerks im Ausgabeordner generiert wurden.
Speichern Sie die Modellgewichte mit der höchsten Genauigkeit im Validierungssatz. Wählen Sie nach dem Training das Modell mit der besten Leistung im Validierungsset für die Erkennung von Schilddrüsenknoten in den neuen Bildern aus. Führen Sie das Testskript aus, um die Größe des Bildes auf 512 x 512 Pixel zu ändern und es zu normalisieren.
Warten Sie, bis das Skript die vortrainierten Modellparameter automatisch in den SwinFasterRCNN geladen hat, und geben Sie das vorverarbeitete Bild zur Inferenz in den SwinFasterRCNN ein. Warten Sie, bis SwinFasterRCNN das Vorhersagefeld für jedes Bild ausgegeben hat. Lassen Sie schließlich das Skript automatisch eine NMS-Nachbearbeitung für jedes Bild durchführen, um die Duplikaterkennungsfelder zu entfernen.
Die Erkennungsergebnisse für dasselbe Bild werden in einer bestimmten Zeile angezeigt. Die Spalten sind die Erkennungsergebnisse für SwinFasterRCNN, FasterRCNN, YOLOv3, SSD, RetinaNet und DETR. Die Ground Truths der Regionen sind mit grünen rechteckigen Kästchen markiert.
Die Detektionsergebnisse werden von den roten rechteckigen Kästchen eingerahmt. Es ist sehr wichtig, den geeigneten Hyperparameter auszuwählen, um sicherzustellen, dass diese konvergieren, was durch viele Experimente bestimmt werden muss.
View the full transcript and gain access to thousands of scientific videos
Übersicht
Diese Studie präsentiert einen neuartigen Ansatz zur Erkennung von Schilddrüsenknoten in Ultraschallbildern unter Verwendung eines Swin Transformer Modells. Die vorgeschlagene Methode zeigt eine verbesserte Sensitivität und Genauigkeit bei der Knotenerkennung.
Wichtige Studienkomponenten
Wissenschaftsbereich
- Medizinische Bildgebung
- Maschinelles Lernen
- Schilddrüsengesundheit
Hintergrund
- Schilddrüsenknoten sind häufig und erfordern eine genaue Erkennung für eine korrekte Diagnose.
- Traditionelle Methoden können zeitaufwendig und subjektiv sein.
- Maschinenlerntechniken, insbesondere Deep Learning, haben in der medizinischen Bildanalyse vielversprechende Ergebnisse gezeigt.
- Swin Transformer sind effektiv beim Erfassen von langfristigen kontextuellen Informationen in Bildern.
Zweck der Studie
- Entwicklung eines automatisierten Systems zur Erkennung von Schilddrüsenknoten.
- Verbesserung der Sensitivität und Genauigkeit der Knotenerkennung in Ultraschallbildern.
- Reduzierung der Arbeitsbelastung von Gesundheitsfachkräften.
Verwendete Methoden
- Implementierung eines auf dem Swin Transformer basierenden Knotenerkennungsnetzwerks.
- Training des Modells mit einem Datensatz von Ultraschallbildern.
- Nutzung von Python und PyTorch für die Modellentwicklung.
- Nachbearbeitungstechniken zur Verfeinerung der Erkennungsergebnisse.
Hauptergebnisse
- Das Swin Transformer Modell erreichte eine hohe Sensitivität und Genauigkeit bei der Erkennung von Schilddrüsenknoten.
- Der Vergleich mit anderen Modellen wie FasterRCNN und YOLOv3 zeigte eine überlegene Leistung.
- Effektives Hyperparameter-Tuning war entscheidend für eine optimale Modellleistung.
- Die Ergebnisse wurden visuell dargestellt, wobei Erkennungsboxen wahre Positive und falsche Positive hervorhoben.
Schlussfolgerungen
- Das vorgeschlagene Modell verbessert die Erkennung von Schilddrüsenknoten erheblich.
- Die Automatisierung der Knotenerkennung kann die Belastung der Gesundheitsdienstleister verringern.
- Zukünftige Arbeiten könnten sich auf die weitere Verfeinerung des Modells und die Erweiterung seiner Anwendbarkeit konzentrieren.
Häufig gestellte Fragen
Executive Industry Relevance
Automated detection of thyroid nodules in ultrasound images addresses a critical bottleneck in early disease identification and risk stratification. Integrating Swin Transformer-based models into discovery-stage imaging workflows enhances predictive confidence and supports scalable, reproducible analysis across large datasets. This capability is directly relevant for biopharma teams seeking to accelerate biomarker discovery and translational research in endocrine and oncology portfolios.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables high-throughput, quantitative identification of disease-relevant features in imaging datasets.
- Supports objective, reproducible target validation by reducing operator subjectivity in nodule detection.
- Improves mechanistic de-risking by capturing long-range contextual dependencies in tissue morphology.
- Facilitates portfolio triage by providing robust, scalable image analysis outputs.
Screening & Assay Development
- Prepares validated imaging datasets for downstream phenotypic screening and biomarker analysis.
- Standardizes detection outputs, supporting reproducibility and cross-study comparability.
- Enables scalable screening of large patient cohorts for translational biomarker discovery.
- Provides quantitative bounding box and confidence score outputs for reliable evaluation.
Translational & Preclinical Research
- Aligns imaging outputs with disease-relevant endpoints for translational continuity.
- Supports risk-adjusted advancement decisions by improving sensitivity and specificity in detection tasks.
- Enables integration of imaging biomarkers into preclinical and clinical research pipelines.
- Reduces late-stage biological risk by improving early detection accuracy.
Pipeline & Workflow Integration
This Swin Transformer-based detection model fits within the imaging analysis continuum from early discovery through translational research, supporting both hypothesis testing and biomarker validation.
- Discovery Biology: Enhances hypothesis testing by providing objective, quantitative imaging readouts.
- Screening: Delivers reproducible, scalable detection outputs suitable for high-throughput screening workflows.
- Analytics: Outputs quantitative bounding boxes and confidence scores, enabling robust statistical comparisons.
- Translational Research: Bridges discovery and preclinical phases by aligning imaging outputs with disease endpoints.
- Enterprise Reuse: Provides a reusable, adaptable imaging analysis capability for diverse disease models.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence and reduces mechanistic ambiguity in imaging-based studies.
- Operational Value: Standardizes and automates image analysis, improving reproducibility and scalability.
- Strategic Value: Enables better go/no-go decisions and capital efficiency by reducing manual review burden.
- Portfolio Impact: Supports risk-adjusted prioritization and advancement of imaging-driven discovery programs.
Implementation Considerations
- Requires expertise in machine learning, medical imaging, and Python-based frameworks.
- Needs access to GPU-enabled computational infrastructure for model training and inference.
- Demands cross-team standardization of imaging protocols and annotation practices.
- Adaptation across different imaging modalities or disease models may require additional validation.
- Hyperparameter tuning and model selection are critical for optimal performance and convergence.
