Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Medicine
Click here for the English version

Medicine

מודל מבוסס Swin Transformer לזיהוי קשריות בבלוטת התריס בתמונות אולטרסאונד

Published: April 21, 2023 doi: 10.3791/64480
Automatic Translation
1, 2, 3, 3, 3, 3, 1, 2
1Department of Ultrasonography, West China Hospital of Sichuan University, 2Department of Thyroid Surgery, West China Hospital of Sichuan University, 3MedAI Technology (Wuxi) Co. Ltd.

Summary

כאן מוצע מודל חדש לזיהוי קשריות בלוטת התריס בתמונות אולטרסאונד, המשתמש בשנאי Swin כעמוד השדרה לביצוע מידול הקשר ארוך טווח. ניסויים מוכיחים כי הוא מתפקד היטב במונחים של רגישות ודיוק.

Abstract

בשנים האחרונות חלה עלייה בשכיחות סרטן בלוטת התריס. זיהוי קשריות בלוטת התריס הוא קריטי הן לגילוי והן לטיפול בסרטן בלוטת התריס. רשתות עצביות קונבולוציוניות (CNN) השיגו תוצאות טובות במשימות ניתוח תמונה של אולטרסאונד בלוטת התריס. עם זאת, בשל שדה הקלט התקף המוגבל של שכבות קונבולוציוניות, CNN אינם מצליחים ללכוד תלות הקשרית ארוכת טווח, החשובה לזיהוי גושים בבלוטת התריס בתמונות אולטרסאונד. רשתות טרנספורמר יעילות בלכידת מידע קונטקסטואלי ארוך טווח. בהשראת זה, אנו מציעים שיטה חדשנית לזיהוי קשריות בלוטת התריס המשלבת את עמוד השדרה של Swin Transformer ואת R-CNN המהיר יותר. באופן ספציפי, תמונת אולטרסאונד מוקרנת תחילה לתוך רצף 1D של הטבעות, אשר מוזנות לאחר מכן לתוך שנאי Swin היררכי.

עמוד השדרה של Swin Transformer מחלץ תכונות בחמישה קני מידה שונים על ידי שימוש בחלונות מוסטים לחישוב תשומת לב עצמית. לאחר מכן, רשת פירמידת תכונות (FPN) משמשת להתיך את התכונות מקשקשים שונים. לבסוף, ראש זיהוי משמש לחיזוי תיבות תוחמות ואת ציוני הביטחון המתאימים. נתונים שנאספו מ -2,680 חולים שימשו לביצוע הניסויים, והתוצאות הראו כי שיטה זו השיגה את ציון mAP הטוב ביותר של 44.8%, יותר מאשר קווי בסיס מבוססי CNN. בנוסף, צברנו רגישות טובה יותר (90.5%) מהמתחרים. זה מצביע על כך שמידול הקשר במודל זה יעיל לזיהוי קשריות בלוטת התריס.

Introduction

שכיחות סרטן בלוטת התריס עלתה במהירות מאז 1970, במיוחד בקרב נשים בגיל העמידה1. גושים בבלוטת התריס עשויים לנבא את הופעתו של סרטן בלוטת התריס, ורוב גושי בלוטת התריס הם אסימפטומטיים2. גילוי מוקדם של גושים בבלוטת התריס עוזר מאוד בריפוי סרטן בלוטת התריס. לכן, על פי הנחיות התרגול הנוכחיות, כל החולים עם חשד לזפקת נודולרית בבדיקה גופנית או עם ממצאי הדמיה חריגים צריכים לעבור בדיקה נוספת 3,4.

אולטרסאונד בלוטת התריס (US) היא שיטה נפוצה המשמשת לאיתור ואפיון נגעים בבלוטת התריס 5,6. ארה"ב היא טכנולוגיה נוחה, זולה ונטולת קרינה. עם זאת, היישום של US מושפע בקלות על ידי מפעיל 7,8. תכונות כגון הצורה, הגודל, האקוגניות והמרקם של גושי בלוטת התריס ניתנות להבחנה בקלות בתמונות אמריקאיות. למרות שמאפיינים מסוימים בארה"ב - הסתיידויות, אקוגניות וגבולות לא סדירים - נחשבים לעתים קרובות לקריטריונים לזיהוי גושים בבלוטת התריס, נוכחותה של שונות בין צופים היא בלתי נמנעת 8,9. תוצאות האבחון של רדיולוגים בעלי רמות ניסיון שונות שונות. רדיולוגים לא מנוסים נוטים יותר לאבחן לא נכון מאשר רדיולוגים מנוסים. מאפיינים מסוימים של ארה"ב כגון השתקפויות, צללים והדים עלולים לפגוע באיכות התמונה. ירידה זו באיכות התמונה הנגרמת על ידי אופי ההדמיה בארה"ב מקשה אפילו על רופאים מנוסים לאתר גושים במדויק.

אבחון בעזרת מחשב (CAD) עבור גושים בבלוטת התריס התפתח במהירות בשנים האחרונות והוא יכול להפחית ביעילות טעויות הנגרמות על ידי רופאים שונים ולסייע לרדיולוגים לאבחן גושים במהירות ובדייקנות10,11. מערכות CAD שונות מבוססות CNN הוצעו לניתוח קשריות בארה"ב של בלוטת התריס, כולל סגמנטציה 12,13, זיהוי 14,15 וסיווג 16,17. CNN הוא מודל למידה רב-שכבתי ומפוקח18, ומודולי הליבה של CNN הם שכבות הפיתול והאיגום. שכבות הפיתול משמשות לחילוץ תכונות, ושכבות האיגום משמשות לדגימת הפחתה. שכבות פיתול הצל יכולות לחלץ תכונות עיקריות כגון מרקם, קצוות וקווי מתאר, ואילו שכבות קונבולוציה עמוקות לומדות תכונות סמנטיות ברמה גבוהה.

CNN זכו להצלחה רבה בראייה ממוחשבת 19,20,21. עם זאת, CNN אינם מצליחים ללכוד תלות הקשרית ארוכת טווח בשל שדה הקלט החוקי המוגבל של שכבות הפיתול. בעבר, ארכיטקטורות עמוד השדרה לסיווג תמונות השתמשו בעיקר ב-CNN. עם הופעתו של Vision Transformer (ViT)22,23, מגמה זו השתנתה, וכעת דגמים חדישים רבים משתמשים בשנאים כעמוד שדרה. בהתבסס על תיקוני תמונה שאינם חופפים, ViT משתמש במקודד שנאיסטנדרטי 25 כדי למדל יחסים מרחביים גלובליים. Swin Transformer24 מציג גם חלונות משמרות כדי ללמוד תכונות. חלונות המשמרת לא רק מביאים יעילות רבה יותר, אלא גם מפחיתים מאוד את אורך הרצף מכיוון שתשומת הלב העצמית מחושבת בחלון. יחד עם זאת, האינטראקציה בין שני חלונות סמוכים יכולה להתבצע באמצעות פעולת הסטה (תנועה). היישום המוצלח של שנאי סווין בראייה ממוחשבת הוביל לחקירת ארכיטקטורות מבוססות שנאים לניתוח תמונת אולטרסאונד26.

לאחרונה, Li et al. הציעו גישת למידה עמוקה28 לגילוי סרטן פפילרי של בלוטת התריס בהשראת R-CNN27 מהיר יותר. R-CNN מהיר יותר היא ארכיטקטורת זיהוי אובייקטים קלאסית מבוססת CNN. ל- R-CNN המהיר המקורי יש ארבעה מודולים - עמוד השדרה של CNN, רשת הצעת האזור (RPN), שכבת איגום החזר ההשקעה וראש האיתור. עמוד השדרה של CNN משתמש בקבוצה של שכבות conv + bn + relu + איגום בסיסיות כדי לחלץ מפות תכונות מתמונת הקלט. לאחר מכן, מפות התכונות מוזנות לתוך RPN ושכבת איגום ROI. תפקידה של רשת RPN הוא ליצור הצעות אזוריות. מודול זה משתמש ב- softmax כדי לקבוע אם עוגנים הם חיוביים ויוצר עוגנים מדויקים על ידי רגרסיה של תיבה תוחמת. שכבת איגום החזר ההשקעה מחלצת את מפות תכונות ההצעה על ידי איסוף מפות תכונות הקלט וההצעות ומזינה את מפות תכונות ההצעה לראש הזיהוי הבא. ראש הזיהוי משתמש במפות תכונת ההצעה כדי לסווג אובייקטים ולקבל מיקומים מדויקים של תיבות הזיהוי על ידי רגרסיה של תיבה תוחמת.

מאמר זה מציג רשת חדשה לזיהוי קשריות בלוטת התריס בשם Swin Faster R-CNN שנוצרה על ידי החלפת עמוד השדרה של CNN ב- R-CNN מהיר יותר בשנאי Swin, מה שמביא למיצוי טוב יותר של תכונות לזיהוי קשריות מתמונות אולטרסאונד. בנוסף, רשת פירמידת התכונות (FPN)29 משמשת לשיפור ביצועי הזיהוי של המודל עבור גושים בגדלים שונים על ידי צבירת תכונות של קשקשים שונים.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

מחקר רטרוספקטיבי זה אושר על ידי מועצת הביקורת המוסדית של בית החולים מערב סין, אוניברסיטת סצ'ואן, סצ'ואן, סין, והדרישה לקבלת הסכמה מדעת בוטלה.

1. הגדרת סביבה

  1. תוכנת יחידת עיבוד גרפי (GPU)
    1. כדי ליישם יישומי למידה עמוקה, תחילה הגדר את הסביבה הקשורה ל- GPU. הורד והתקן תוכנות ומנהלי התקנים המתאימים למעבד הגרפי מאתר האינטרנט של המעבד הגרפי.
      הערה: עיין בטבלת החומרים עבור אלה ששימשו במחקר זה.
  2. התקנת Python3.8
    1. פתח מסוף במכונה. הקלד את הפרטים הבאים:
      שורת הפקודה: sudo apt-get install python3.8 python-dev python-virtualenv
  3. התקנת Pytorch1.7
    1. בצע את השלבים באתר הרשמי כדי להוריד ולהתקין את Miniconda.
    2. צור סביבת קונדה והפעל אותה.
      שורת פקודה: קונדה ליצור --שם SwinFasterRCNN python=3.8 -y
      שורת פקודה: conda activate SwinFasterRCNN
    3. התקן את Pytorch.
      שורת פקודה: קונדה להתקין pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2
  4. התקנת MMDetection
    1. שיבוט מהמאגר הרשמי של Github.
      שורת הפקודה: git clone https://github.com/open-mmlab/mmdetection.git
    2. התקן את MMDetection.
      שורת פקודה: cd mmdetection
      שורת פקודה: pip install -v -e .

2. הכנת נתונים

  1. איסוף נתונים
    1. אסף את תמונות האולטרסאונד (כאן, 3,000 מקרים מבית חולים שלישוני דרגה א'). ודא שלכל מקרה יש רשומות אבחון, תוכניות טיפול, דוחות בארה"ב והתמונות התואמות מארה"ב.
    2. מקם את כל התמונות בארה"ב בתיקייה בשם "images".
      הערה: הנתונים ששימשו במחקר זה כללו 3,853 תמונות אמריקאיות מ -3,000 מקרים.
  2. ניקוי נתונים
    1. בדוק ידנית את ערכת הנתונים לאיתור תמונות של אזורים שאינם של בלוטת התריס, כגון תמונות לימפה.
    2. בדוק ידנית את ערכת הנתונים לאיתור תמונות הכוללות זרימת דופלר צבעונית.
    3. מחקו את התמונות שנבחרו בשני השלבים הקודמים.
      הערה: לאחר ניקוי הנתונים, נותרו 3,000 תמונות מתוך 2,680 מקרים.
  3. ביאור נתונים
    1. בקש מרופא בכיר לאתר את אזור הקשרית בתמונה בארה"ב ולשרטט את גבול הגולם.
      הערה: ניתן למצוא את תוכנת הביאור ואת תהליך הביאור בקובץ משלים 1.
    2. בקש מרופא בכיר נוסף לעבור ולשנות את תוצאות הביאור.
    3. מקם את הנתונים המבוארים בתיקיה נפרדת בשם "ביאורים".
  4. פיצול נתונים
    1. הפעל את סקריפט python והגדר את נתיב התמונה בשלב 2.1.2 ואת נתיבי הביאורים בשלב 2.3.3. חלקו באופן אקראי את כל התמונות ואת הקבצים המסומנים המתאימים לערכות הדרכה ואימות ביחס של 8:2. שמור את נתוני ערכת האימונים בתיקייה "רכבת" ואת נתוני ערכת האימות בתיקייה "Val".
      הערה: סקריפטים של Python מסופקים בקובץ משלים 2.
  5. המרה לתבנית ערכת הנתונים CoCo
    הערה: כדי להשתמש ב-MMDetection, עבד את הנתונים לתבנית ערכת נתונים CoCo, הכוללת קובץ json המכיל את פרטי הביאור ותיקיית תמונות המכילה את התמונות מארה"ב.
    1. הפעל את סקריפט הפיתון, והזן את נתיבי תיקיית הביאורים (שלב 2.3.3) כדי לחלץ את אזורי הגושים המתוארים על ידי הרופא ולהמיר אותם למסכות. שמור את כל המסכות בתיקייה "מסכות".
      הערה: סקריפטים של Python מסופקים בקובץ משלים 3.
    2. הפעל את סקריפט python והגדר את הנתיב של תיקיית המסכות בשלב 2.5.1 כדי להפוך את הנתונים לערכת נתונים בפורמט CoCo וליצור קובץ json עם התמונות בארה"ב.
      הערה: סקריפטים של Python מסופקים בקובץ משלים 4.

3. Swin תצורת RCNN מהירה יותר

  1. הורד את קובץ הדגם Swin Transformer (https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py), שנה אותו ומקם אותו בתיקייה "mmdetection/mmdet/models/backblines/". פתח את הקובץ "swin_transformer.py" בעורך טקסט vim, ושנה אותו כקובץ דגם Swin Transformer המסופק בקובץ משלים 5.
    שורת הפקודה: vim swin_transformer.py
  2. צור עותק של קובץ התצורה R-CNN המהיר יותר, שנה את עמוד השדרה ל- Swin Transformer והגדר את פרמטרי FPN.
    שורת הפקודה: cd mmdetection/configs/faster_rcnn
    שורת הפקודה: cp faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py
    הערה: קובץ התצורה Swin Faster R-CNN (swin_faster_rcnn_swin.py) מסופק בקובץ משלים 6. מבנה הרשת Swin Faster R-CNN מוצג באיור 1.
  3. הגדר את נתיב ערכת הנתונים לנתיב ערכת הנתונים בתבנית CoCo (שלב 2.5.2) בקובץ התצורה. פתח את הקובץ "coco_detection.py" בעורך הטקסט vim ושנה את השורה הבאה:
    data_root = "נתיב ערכת הנתונים(שלב 2.5.2)"
    שורת פקודה:vim mmdetection/configs/_base_/datasets/coco_detection.py

4. אימון Swin מהר יותר R-CNN

  1. ערוך mmdetection/configs/_base_/schedules/schedule_1x.py, והגדר את הפרמטרים הקשורים לאימון כברירת מחדל, כולל קצב הלמידה, האופטימיזציה והתקופה. פתח את הקובץ "schedule_1x.py" בעורך הטקסט vim ושנה את השורות הבאות:
    אופטימיזציה = dict(type="AdamW", lr=0.001, momentum=0.9, weight_decay=0.0001)
    runner = dict(type='EpochBasedRunner', max_epochs=48)
    שורת פקודה:vim mmdetection/configs/_base_/schedules/schedule_1x.py
    הערה: בפרוטוקול זה עבור מאמר זה, קצב הלמידה נקבע ל -0.001, נעשה שימוש באופטימיזציה של AdamW, תקופת האימון המקסימלית הוגדרה ל -48, וגודל האצווה נקבע ל -16.
  2. התחל להתאמן על-ידי הקלדת הפקודות הבאות. המתן עד שהרשת תתחיל להתאמן במשך 48 תקופות והמשקולות המאומנות המתקבלות של רשת Swin Faster R-CNN ייווצרו בתיקיית הפלט. שמור את משקלי הדגם בדיוק הגבוה ביותר בערכת האימות.
    שורת פקודה: cd mmdetection
    שורת הפקודה: כלי פיתון/רכבת.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --work-dir ./work_dirs
    הערה: הדגם אומן על "NVIDIA GeForce RTX3090 24G" GPU. יחידת העיבוד המרכזית ששימשה הייתה "מעבד AMD Epyc 7742 64 ליבות × 128", ומערכת ההפעלה הייתה אובונטו 18.06. זמן האימון הכולל היה ~ 2 שעות.

5. ביצוע זיהוי קשריות בלוטת התריס בתמונות חדשות

  1. לאחר האימון, בחרו את הדגם עם הביצועים הטובים ביותר בערכת האימות לזיהוי קשריות בבלוטת התריס בתמונות החדשות.
    1. ראשית, שנה את גודל התמונה ל- 512 פיקסלים x 512 פיקסלים, ונמל אותה. פעולות אלה מבוצעות באופן אוטומטי בעת הפעלת קובץ ה-script לבדיקה.
      שורת פקודה: כלי פיתון/בדיקה.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --out ./output
    2. המתן עד שהסקריפט יטען באופן אוטומטי את פרמטרי המודל שהוכשרו מראש ל- Swin Faster R-CNN, והזן את התמונה המעובדת מראש ל- Swin Faster R-CNN לצורך הסקת מסקנות. המתן עד ש-Swin Faster R-CNN יפיק את תיבת החיזוי עבור כל תמונה.
    3. לבסוף, אפשר לסקריפט לבצע באופן אוטומטי עיבוד מחדש של NMS בכל תמונה כדי להסיר תיבות זיהוי כפולות.
      הערה: תוצאות הזיהוי מופקות לתיקייה שצוינה, המכילה את התמונות עם תיבות הזיהוי וקואורדינטות התיבה התוחמת בקובץ ארוז.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

תמונות בלוטת התריס בארה"ב נאספו משני בתי חולים בסין מספטמבר 2008 עד פברואר 2018. קריטריוני הזכאות להכללת התמונות האמריקאיות במחקר זה היו בדיקה אמריקאית קונבנציונלית לפני ביופסיה וטיפול כירורגי, אבחון בביופסיה או פתולוגיה לאחר ניתוח, וגיל ≥ 18 שנים. קריטריוני ההחרגה היו תמונות ללא רקמות בלוטת התריס.

3,000 תמונות האולטרסאונד כללו 1,384 גושים ממאירים ו-1,616 גושים שפירים. רוב הגושים הממאירים (90%) היו קרצינומה פפילרית, ו-66% מהגושים השפירים היו זפקת נודולרית. כאן, 25% מהגושים היו קטנים מ -5 מ"מ, 38% היו בין 5 מ"מ ל -10 מ"מ, ו -37% היו גדולים מ -10 מ"מ.

כל התמונות בארה"ב נאספו באמצעות IU22 ו-DC-80 של פיליפס, ונעשה בהן שימוש במצב ברירת המחדל של בדיקת בלוטת התריס. שני המכשירים היו מצוידים בבדיקות ליניאריות של 5-13 מגה-הרץ. לחשיפה טובה של השוליים התחתונים של בלוטת התריס, כל המטופלים נבדקו במצב שכיבה עם גב מורחב. הן אונות בלוטת התריס והן האיסטמוס נסרקו במישור האורכי והרוחבי על פי תקני ההסמכה של המכללה האמריקאית לרדיולוגיה. כל הבדיקות בוצעו על ידי שני רדיולוגים בכירים של בלוטת התריס בעלי ניסיון קליני של ≥10 שנים. האבחנה של בלוטת התריס התבססה על ממצאים היסטופתולוגיים משאיפת מחט עדינה, ביופסיה או ניתוח בלוטת התריס.

בחיים האמיתיים, מכיוון שתמונות אמריקאיות מושחתות על ידי רעש, חשוב לבצע עיבוד מקדים נכון של התמונות האמריקאיות, כגון זיהוי תמונות המבוסס על התמרת גל30, חישה דחיסה 31 והשוואת היסטוגרמה32. בעבודה זו, השתמשנו בהשוואת היסטוגרמה כדי לעבד מראש את התמונות בארה"ב, לשפר את איכות התמונה ולהקל על הירידה באיכות התמונה הנגרמת על ידי רעש.

במה שלהלן, חיובי אמיתי, חיובי כוזב, שלילי אמיתי ושלילי כוזב מכונים TP, FP, TN ו- FN, בהתאמה. השתמשנו ב-mAP, רגישות וספציפיות כדי להעריך את ביצועי זיהוי הגושים של המודל. mAP הוא מדד נפוץ בזיהוי אובייקטים. רגישות וספציפיות חושבו באמצעות משוואה (1) ומשוואה (2):

Equation 1 (1)

Equation 2 (2)

במאמר זה, TP מוגדר כמספר הגושים שזוהו כהלכה, שיש להם הצטלבות מעל איחוד (IoU) בין תיבת החיזוי לבין תיבת האמת הקרקעית של >0.3 וציון אמון >0.6. IoU הוא ההצטלבות מעל האיחוד, המחושב באמצעות משוואה (3):

Equation 3 (3)

השווינו בין מספר רשתות זיהוי אובייקטים קלאסיות, כולל SSD 33, YOLO-v3 34, Faster R-CNN27 מבוסס עמוד השדרה של CNN, RetinaNet35 ו-DETR 36. YOLO-v3 ו-SSD הן רשתות זיהוי חד-שלביות, DETR היא רשת זיהוי עצמים מבוססת שנאים, ו-R-CNN ו-RetinaNet הן רשתות זיהוי דו-שלביות. טבלה 1 מראה כי הביצועים של Swin Faster R-CNN עדיפים על השיטות האחרות, ומגיעים ל-0.448 mAP, שהם 0.028 יותר מ-R-CNN המהיר יותר של CNN ו-0.037 יותר מ-YOLO-v3. על ידי שימוש ב- Swin Faster R-CNN, ניתן לזהות 90.5% מקשריות בלוטת התריס באופן אוטומטי, שהוא ~ 3% גבוה יותר מאשר R-CNN מהיר יותר מבוסס עמוד שדרה של CNN (87.1%). כפי שניתן לראות באיור 2, השימוש ב-Swin Transformer כעמוד השדרה הופך את מיקום הגבול למדויק יותר.

Figure 1
איור 1: דיאגרמה של ארכיטקטורת הרשת Swin Faster R-CNN. לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

Figure 2
איור 2: תוצאות זיהוי. תוצאות הזיהוי של אותה תמונה נמצאות בשורה נתונה. העמודות הן תוצאות הזיהוי, משמאל לימין, עבור Swin Faster R-CNN, Faster R-CNN, YOLO-v3, SSD, RetinaNet ו- DETR, בהתאמה. אמיתות הקרקע של האזורים מסומנות בתיבות מלבניות ירוקות. תוצאות הזיהוי ממוסגרות על-ידי התיבות המלבניות האדומות. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

שיטת עמוד השדרה מפה רגישות ספציפיות
YOLO-v3 דארק נט 0.411 0.869 0.877
SSD VGG16 0.425 0.841 0.849
RetinaNet ResNet50 0.382 0.845 0.841
R-CNN מהיר יותר ResNet50 0.42 0.871 0.864
דטר ResNet50 0.416 0.882 0.86
Swin R-CNN מהיר יותר ללא FPN Swin Transformer 0.431 0.897 0.905
Swin R-CNN מהיר יותר עם FPN 0.448 0.905 0.909

טבלה 1: השוואת ביצועים עם שיטות זיהוי אובייקטים מתקדמות.

קובץ משלים 1: הוראות הפעלה עבור ביאור הנתונים והתוכנה שבה נעשה שימוש. אנא לחץ כאן כדי להוריד קובץ זה.

קובץ משלים 2: סקריפט Python המשמש לחלוקת ערכת הנתונים לערכת האימונים ולערכת האימות, כפי שצוין בשלב 2.4.1. אנא לחץ כאן כדי להוריד קובץ זה.

קובץ משלים 3: סקריפט Python המשמש להמרת קובץ הביאורים למסיכות, כפי שהוזכר בשלב 2.5.1. אנא לחץ כאן כדי להוריד קובץ זה.

קובץ משלים 4: סקריפט Python המשמש להפיכת הנתונים לערכת נתונים בפורמט CoCo, כפי שהוזכר בשלב 2.5.2. אנא לחץ כאן כדי להוריד קובץ זה.

קובץ משלים 5: קובץ הדגם Swin Transformer ששונה מוזכר בשלב 3.1. אנא לחץ כאן כדי להוריד קובץ זה.

קובץ משלים 6: קובץ התצורה Swin Faster R-CNN המוזכר בשלב 3.2. אנא לחץ כאן כדי להוריד קובץ זה.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

מאמר זה מתאר בפירוט כיצד לבצע את הגדרת הסביבה, הכנת הנתונים, תצורת המודל והדרכת הרשת. בשלב הגדרת הסביבה, יש לשים לב כדי לוודא שהספריות התלויות תואמות ותואמות. עיבוד נתונים הוא צעד חשוב מאוד; יש להשקיע זמן ומאמץ כדי להבטיח את דיוק הביאורים. בעת אימון המודל, ייתכן שתיתקל ב- "ModuleNotFoundError". במקרה זה, יש צורך להשתמש בפקודה "התקנת פיפ" כדי להתקין את הספרייה החסרה. אם אובדן ערכת האימות אינו קטן או מתנודד מאוד, יש לבדוק את קובץ הביאור ולנסות להתאים את קצב הלמידה ואת גודל האצווה כדי לגרום להפסד להתכנס.

זיהוי קשריות בלוטת התריס חשוב מאוד לטיפול בסרטן בלוטת התריס. מערכת CAD יכולה לסייע לרופאים באיתור גושים, למנוע הבדלים בתוצאות האבחון הנגרמות על ידי גורמים סובייקטיביים, ולהפחית את ההחמצה בזיהוי גושים. בהשוואה למערכות CAD קיימות מבוססות CNN, הרשת המוצעת במאמר זה מציגה את Swin Transformer כדי לחלץ תכונות תמונה אולטרסאונד. על ידי לכידת תלות למרחקים ארוכים, Swin Faster R-CNN יכול לחלץ את תכונות הקשרית מתמונות אולטרסאונד בצורה יעילה יותר. תוצאות הניסוי מראות כי Swin Faster R-CNN משפר את הרגישות של זיהוי גושים ב~3% בהשוואה ל- R-CNN מהיר יותר מבוסס עמוד השדרה של CNN. היישום של טכנולוגיה זו יכול להפחית מאוד את העומס על הרופאים, כפי שהוא יכול לזהות גושים בלוטת התריס בבדיקת אולטרסאונד מוקדמת ולהנחות רופאים לטיפול נוסף. עם זאת, בשל מספר רב של פרמטרים של שנאי סווין, זמן ההסקה של Swin Faster R-CNN הוא ~ 100 אלפיות השנייה לתמונה (נבדק על NVIDIA TITAN 24G GPU ומעבד AMD Epyc 7742). זה יכול להיות מאתגר לעמוד בדרישות של אבחון בזמן אמת עם Swin Faster R-CNN. בעתיד, נמשיך לאסוף מקרים כדי לאמת את היעילות של שיטה זו ולערוך מחקרים נוספים על ניתוח תמונת אולטרסאונד דינמי.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

המחברים מצהירים כי אין ניגודי עניינים.

Acknowledgments

מחקר זה נתמך על ידי הקרן הלאומית למדעי הטבע של סין (מענק מס '32101188) והפרויקט הכללי של מחלקת המדע והטכנולוגיה של מחוז סצ'ואן (מענק מס '2021YFS0102), סין.

Materials

Name Company Catalog Number Comments
GPU RTX3090 Nvidia 1 24G GPU
mmdetection2.11.0 SenseTime 4 https://github.com/open-mmlab/mmdetection.git
python3.8 — 2 https://www.python.org
pytorch1.7.1 Facebook 3 https://pytorch.org

DOWNLOAD MATERIALS LIST

References

  1. Grant, E. G., et al. Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee. Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).
  2. Zhao, J., Zheng, W., Zhang, L., Tian, H. Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology. Health Information Science and Systems. 1, 5 (2013).
  3. Haugen, B. R. American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed. Cancer. 123 (3), 372-381 (2017).
  4. Shin, J. H., et al. Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations. Korean Journal of Radiology. 17 (3), 370-395 (2016).
  5. Horvath, E., et al. An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management. The Journal of Clinical Endocrinology & Metabolism. 94 (5), 1748-1751 (2009).
  6. Park, J. -Y., et al. A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma. Thyroid. 19 (11), 1257-1264 (2009).
  7. Moon, W. -J., et al. Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study. Radiology. 247 (3), 762-770 (2008).
  8. Park, C. S., et al. Observer variability in the sonographic evaluation of thyroid nodules. Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).
  9. Kim, S. H., et al. Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules. Korean Journal of Radiology. 11 (2), 149-155 (2010).
  10. Choi, Y. J., et al. A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment. Thyroid. 27 (4), 546-552 (2017).
  11. Chang, T. -C. The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography. Journal of Medical Ultrasound. 23 (4), 177-184 (2015).
  12. Fully convolutional networks for ultrasound image segmentation of thyroid nodules. Li, X. IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems (HPCC/SmartCity/DSS), , 886-890 (2018).
  13. Nguyen, D. T., Choi, J., Park, K. R. Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks. Mathematics. 10 (19), 3484 (2022).
  14. Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images. Medical Physics. 44 (5), 1678-1691 (2017).
  15. Song, W., et al. Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition. IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).
  16. Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images. Wang, J., et al. 2018 25Th IEEE International Conference on Image Processing (ICIP), , IEEE. 3114-3118 (2018).
  17. Wang, L., et al. A multi-scale densely connected convolutional neural network for automated thyroid nodule classification. Frontiers in Neuroscience. 16, 878718 (2022).
  18. Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Communications of the ACM. 60 (6), 84-90 (2017).
  19. He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).
  20. Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. Relation networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).
  21. Szegedy, C., et al. Going deeper with convolutions. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).
  22. Dosovitskiy, A., et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929. , (2020).
  23. Touvron, H., et al. Training data-efficient image transformers & distillation through attention. arXiv:2012.12877. , (2021).
  24. Liu, Z., et al. Swin Transformer: Hierarchical vision transformer using shifted windows. 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).
  25. Vaswani, A., et al. Attention is all you need. Advances in Neural Information Processing Systems. 30, (2017).
  26. Chen, J., et al. TransUNet: Transformers make strong encoders for medical image segmentation. arXiv. arXiv:2102.04306. , (2021).
  27. Ren, S., He, K., Girshick, R., Sun, J. Faster r-cnn: Towards real-time object detection with region proposal networks. Advances in Neural Information Processing Systems. 28, 91-99 (2015).
  28. Li, H., et al. An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images. Scientific Reports. 8, 6600 (2018).
  29. Lin, T. -Y., et al. Feature pyramid networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).
  30. Ouahabi, A. A review of wavelet denoising in medical imaging. 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).
  31. Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. Image denoising using a compressive sensing approach based on regularization constraints. Sensors. 22 (6), 2199 (2022).
  32. Castleman, K. R. Digital Image Processing. , Prentice Hall Press. Hoboken, NJ. (1996).
  33. Liu, W., et al. Ssd: Single shot multibox detector. European Conference on Computer Vision. , 21-37 (2016).
  34. Redmon, J., Farhadi, A. Yolov3: An incremental improvement. arXiv. arXiv:1804.02767. , (2018).
  35. Lin, T. -Y., Goyal, P., Girshick, R., He, K., Dollár, P. Focalloss for dense object detection. arXiv. arXiv:1708.02002. , (2017).
  36. Carion, N., et al. End-to-end object detection with transformers. Computer Vision-ECCV 2020: 16th European Conference. , Glasgow, UK. 23-28 (2020).

Tags

רפואה גיליון 194
מודל מבוסס Swin Transformer לזיהוי קשריות בבלוטת התריס בתמונות אולטרסאונד
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Tian, Y., Zhu, J., Zhang, L., Mou,… More

Tian, Y., Zhu, J., Zhang, L., Mou, L., Zhu, X., Shi, Y., Ma, B., Zhao, W. A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images. J. Vis. Exp. (194), e64480, doi:10.3791/64480 (2023).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter