Модель на основе трансформатора Swin для обнаружения узлов щитовидной железы на ультразвуковых изображениях
21 апреля 2023 г.
Здесь предложена новая модель обнаружения узлов щитовидной железы на ультразвуковых изображениях, которая использует Swin Transformer в качестве основы для выполнения долгосрочного контекстного моделирования. Эксперименты доказывают, что он хорошо работает с точки зрения чувствительности и точности.
Эта программа реализует автоматическую и эффективную меру по выявлению узлов щитовидной железы, что может снизить нагрузку на врачей в будущем. Этот метод применяет трансформатор Swin к сети обнаружения конкреций. Swin Transformers эффективны при сборе информации о содержании на большом расстоянии, что очень полезно для повышения чувствительности задержания конкреций.
Для начала откройте терминал на компьютере и установите Python 3.8, набрав sudo apt-get install python3.8 в командной строке. Чтобы установить PyTorch 1.7, перейдите на официальный сайт Miniconda и установите его. Затем создайте среду Conda, введя команду, показанную на экране в командной строке, и активируйте ее, введя conda activate SwinFasterRCNN.
Установите PyTorch, написав показанную команду в командной строке. Для установки обнаружения MM клонируйте из официального репозитория GitHub, а затем установите MM Detection, написав команду pip install v e в командной строке. Откройте schedule_1x.
py в текстовом редакторе Vim и отредактируйте файл, чтобы установить параметры, связанные с обучением по умолчанию, включая оптимизатор, скорость обучения и epic. Начните обучение, введя команду, показанную на экране. Подождите, пока сеть начнет обучение для 48 эпиков, и в выходной папке будут сгенерированы результирующие обученные веса сети SwinFasterRCNN.
Сохраняйте весовые коэффициенты модели с высочайшей точностью в проверочном наборе. После обучения выберите модель с наилучшими показателями в наборе валидации для обнаружения узлов щитовидной железы на новых изображениях. Запустите тестовый сценарий, чтобы изменить размер изображения до 512 на 512 пикселей и нормализовать его.
Подождите, пока сценарий автоматически загрузит предварительно обученные параметры модели в SwinFasterRCNN, и передайте предварительно обработанное изображение в SwinFasterRCNN для вывода. Подождите, пока SwinFasterRCNN выведет окно прогноза для каждого изображения. Наконец, разрешите сценарию автоматически выполнять постобработку NMS для каждого изображения, чтобы удалить дубликаты блоков обнаружения.
Результаты обнаружения для одного и того же изображения отображаются в заданной строке. В столбцах приведены результаты обнаружения для SwinFasterRCNN, FasterRCNN, YOLOv3, SSD, RetinaNet и DETR. Основные истины регионов отмечены зелеными прямоугольными рамками.
Результаты обнаружения обрамляются красными прямоугольными прямоугольниками. Очень важно выбрать соответствующий гиперпараметр, чтобы обеспечить те сходимости, которые должны быть определены многими экспериментами.
Просмотрите полный транскрипт и получите доступ к тысячам научных видео
Обзор
Это исследование представляет новый подход для обнаружения узлов щитовидной железы на ультразвуковых изображениях с использованием модели Swin Transformer. Предложенный метод демонстрирует улучшенную чувствительность и точность в обнаружении узлов.
Ключевые компоненты исследования
Область науки
- Медицинские исследования
- Машинное обучение
- Здоровье щитовидной железы
Фон
- Узлы щитовидной железы распространены и требуют точного обнаружения для правильной диагностики.
- Традиционные методы могут быть трудоемкими и субъективными.
- Методы машинного обучения, особенно глубокое обучение, показали обнадеживающие результаты в анализе медицинских изображений.
- Swin Transformers эффективны в захвате контекстуальной информации на больших расстояниях в изображениях.
Цель исследования
- Разработать автоматизированную систему для обнаружения узлов щитовидной железы.
- Повысить чувствительность и точность обнаружения узлов на ультразвуковых изображениях.
- Снизить рабочую нагрузку медицинских работников.
Использованные методы
- Реализация сети для обнаружения узлов на основе Swin Transformer.
- Обучение модели с набором ультразвуковых изображений.
- Использование Python и PyTorch для разработки модели.
- Техники послеобработки для уточнения результатов обнаружения.
Основные результаты
- Модель Swin Transformer достигла высокой чувствительности и точности при обнаружении узлов щитовидной железы.
- Сравнение с другими моделями, такими как FasterRCNN и YOLOv3, показало лучшую производительность.
- Эффективная настройка гиперпараметров была важна для оптимальной производительности модели.
- Результаты были визуально представлены с помощью рамок обнаружения, выделяющих истинные положительные и ложноположительные результаты.
Выводы
- Предложенная модель значительно улучшает обнаружение узлов щитовидной железы.
- Автоматизация обнаружения узлов может уменьшить нагрузку на медицинских работников.
- Будущая работа может быть направлена на дальнейшее усовершенствование модели и расширение ее применимости.
Часто задаваемые вопросы
Executive Industry Relevance
Automated detection of thyroid nodules in ultrasound images addresses a critical bottleneck in early disease identification and risk stratification. Integrating Swin Transformer-based models into discovery-stage imaging workflows enhances predictive confidence and supports scalable, reproducible analysis across large datasets. This capability is directly relevant for biopharma teams seeking to accelerate biomarker discovery and translational research in endocrine and oncology portfolios.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables high-throughput, quantitative identification of disease-relevant features in imaging datasets.
- Supports objective, reproducible target validation by reducing operator subjectivity in nodule detection.
- Improves mechanistic de-risking by capturing long-range contextual dependencies in tissue morphology.
- Facilitates portfolio triage by providing robust, scalable image analysis outputs.
Screening & Assay Development
- Prepares validated imaging datasets for downstream phenotypic screening and biomarker analysis.
- Standardizes detection outputs, supporting reproducibility and cross-study comparability.
- Enables scalable screening of large patient cohorts for translational biomarker discovery.
- Provides quantitative bounding box and confidence score outputs for reliable evaluation.
Translational & Preclinical Research
- Aligns imaging outputs with disease-relevant endpoints for translational continuity.
- Supports risk-adjusted advancement decisions by improving sensitivity and specificity in detection tasks.
- Enables integration of imaging biomarkers into preclinical and clinical research pipelines.
- Reduces late-stage biological risk by improving early detection accuracy.
Pipeline & Workflow Integration
This Swin Transformer-based detection model fits within the imaging analysis continuum from early discovery through translational research, supporting both hypothesis testing and biomarker validation.
- Discovery Biology: Enhances hypothesis testing by providing objective, quantitative imaging readouts.
- Screening: Delivers reproducible, scalable detection outputs suitable for high-throughput screening workflows.
- Analytics: Outputs quantitative bounding boxes and confidence scores, enabling robust statistical comparisons.
- Translational Research: Bridges discovery and preclinical phases by aligning imaging outputs with disease endpoints.
- Enterprise Reuse: Provides a reusable, adaptable imaging analysis capability for diverse disease models.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence and reduces mechanistic ambiguity in imaging-based studies.
- Operational Value: Standardizes and automates image analysis, improving reproducibility and scalability.
- Strategic Value: Enables better go/no-go decisions and capital efficiency by reducing manual review burden.
- Portfolio Impact: Supports risk-adjusted prioritization and advancement of imaging-driven discovery programs.
Implementation Considerations
- Requires expertise in machine learning, medical imaging, and Python-based frameworks.
- Needs access to GPU-enabled computational infrastructure for model training and inference.
- Demands cross-team standardization of imaging protocols and annotation practices.
- Adaptation across different imaging modalities or disease models may require additional validation.
- Hyperparameter tuning and model selection are critical for optimal performance and convergence.
