Name: מודל מבוסס Swin Transformer לזיהוי קשריות בבלוטת התריס בתמונות אולטרסאונד (וידאו) | JoVE Journal
Uploaded: 2023-04-21T14:15:00.000+00:00
Duration: 4 min 23 s
Description: למד זיהוי אוטומטי של קשריות בבלוטת התריס באמצעות מודל Swin Transformer בתמונות אולטרסאונד. שיטה זו משפרת רגישות ודיוק בזיהוי ומפחיתה את עומס העבודה על צוותי רפואה.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

מחקר זה נתמך על ידי הקרן הלאומית למדעי הטבע של סין (מענק מס '32101188) והפרויקט הכללי של מחלקת המדע והטכנולוגיה של מחוז סצ'ואן (מענק מס '2021YFS0102), סין.

מחקר רטרוספקטיבי זה אושר על ידי מועצת הביקורת המוסדית של בית החולים מערב סין, אוניברסיטת סצ'ואן, סצ'ואן, סין, והדרישה לקבלת הסכמה מדעת בוטלה.
1. הגדרת סביבה
<ol><li>תוכנת יחידת עיבוד גרפי (GPU)<ol><li>כדי ליישם יישומי למידה עמוקה, תחילה הגדר את הסביבה הקשורה ל- GPU. הורד והתקן תוכנות ומנהלי התקנים המתאימים למעבד הגרפי מאתר האינטרנט של המעבד הגרפי. הערה: עיין בטבלת החומרים עבור אלה ששימשו במחקר זה.</li>
	</ol></li>
	<li>התקנת Python3.8<ol><li>פתח מסוף במכונה. הקלד את הפרטים הבאים: שורת הפקודה: sudo apt-get install python3.8 python-dev python-virtualenv</li>
	</ol></li>
	<li>התקנת Pytorch1.7<ol><li>בצע את השלבים באתר הרשמי כדי להוריד ולהתקין את Miniconda.</li>
		<li>צור סביבת קונדה והפעל אותה. שורת פקודה: קונדה ליצור --שם SwinFasterRCNN python=3.8 -y שורת פקודה: conda activate SwinFasterRCNN</li>
		<li>התקן את Pytorch. שורת פקודה: קונדה להתקין pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 </li>
	</ol></li>
	<li>התקנת MMDetection<ol><li>שיבוט מהמאגר הרשמי של Github. שורת הפקודה: git clone https://github.com/open-mmlab/mmdetection.git</li>
		<li>התקן את MMDetection. שורת פקודה: cd mmdetection שורת פקודה: pip install -v -e .</li>
	</ol></li>
</ol>2. הכנת נתונים
<ol><li>איסוף נתונים<ol><li>אסף את תמונות האולטרסאונד (כאן, 3,000 מקרים מבית חולים שלישוני דרגה א'). ודא שלכל מקרה יש רשומות אבחון, תוכניות טיפול, דוחות בארה"ב והתמונות התואמות מארה"ב.</li>
		<li>מקם את כל התמונות בארה"ב בתיקייה בשם "images". הערה: הנתונים ששימשו במחקר זה כללו 3,853 תמונות אמריקאיות מ -3,000 מקרים.</li>
	</ol></li>
	<li>ניקוי נתונים<ol><li>בדוק ידנית את ערכת הנתונים לאיתור תמונות של אזורים שאינם של בלוטת התריס, כגון תמונות לימפה.</li>
		<li>בדוק ידנית את ערכת הנתונים לאיתור תמונות הכוללות זרימת דופלר צבעונית.</li>
		<li>מחקו את התמונות שנבחרו בשני השלבים הקודמים. הערה: לאחר ניקוי הנתונים, נותרו 3,000 תמונות מתוך 2,680 מקרים.</li>
	</ol></li>
	<li>ביאור נתונים<ol><li>בקש מרופא בכיר לאתר את אזור הקשרית בתמונה בארה"ב ולשרטט את גבול הגולם. הערה: ניתן למצוא את תוכנת הביאור ואת תהליך הביאור בקובץ משלים 1.</li>
		<li>בקש מרופא בכיר נוסף לעבור ולשנות את תוצאות הביאור.</li>
		<li>מקם את הנתונים המבוארים בתיקיה נפרדת בשם "ביאורים".</li>
	</ol></li>
	<li>פיצול נתונים<ol><li>הפעל את סקריפט python והגדר את נתיב התמונה בשלב 2.1.2 ואת נתיבי הביאורים בשלב 2.3.3. חלקו באופן אקראי את כל התמונות ואת הקבצים המסומנים המתאימים לערכות הדרכה ואימות ביחס של 8:2. שמור את נתוני ערכת האימונים בתיקייה "רכבת" ואת נתוני ערכת האימות בתיקייה "Val". הערה: סקריפטים של Python מסופקים בקובץ משלים 2.</li>
	</ol></li>
	<li>המרה לתבנית ערכת הנתונים CoCo הערה: כדי להשתמש ב-MMDetection, עבד את הנתונים לתבנית ערכת נתונים CoCo, הכוללת קובץ json המכיל את פרטי הביאור ותיקיית תמונות המכילה את התמונות מארה"ב.<ol><li>הפעל את סקריפט הפיתון, והזן את נתיבי תיקיית הביאורים (שלב 2.3.3) כדי לחלץ את אזורי הגושים המתוארים על ידי הרופא ולהמיר אותם למסכות. שמור את כל המסכות בתיקייה "מסכות". הערה: סקריפטים של Python מסופקים בקובץ משלים 3.</li>
		<li>הפעל את סקריפט python והגדר את הנתיב של תיקיית המסכות בשלב 2.5.1 כדי להפוך את הנתונים לערכת נתונים בפורמט CoCo וליצור קובץ json עם התמונות בארה"ב. הערה: סקריפטים של Python מסופקים בקובץ משלים 4.</li>
	</ol></li>
</ol>3. Swin תצורת RCNN מהירה יותר
<ol><li>הורד את קובץ הדגם Swin Transformer (https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py), שנה אותו ומקם אותו בתיקייה "mmdetection/mmdet/models/backblines/". פתח את הקובץ "swin_transformer.py" בעורך טקסט vim, ושנה אותו כקובץ דגם Swin Transformer המסופק בקובץ משלים 5. שורת הפקודה: vim swin_transformer.py</li>
	<li>צור עותק של קובץ התצורה R-CNN המהיר יותר, שנה את עמוד השדרה ל- Swin Transformer והגדר את פרמטרי FPN. שורת הפקודה: cd mmdetection/configs/faster_rcnn שורת הפקודה: cp faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py הערה: קובץ התצורה Swin Faster R-CNN (swin_faster_rcnn_swin.py) מסופק בקובץ משלים 6. מבנה הרשת Swin Faster R-CNN מוצג באיור 1.</li>
	<li>הגדר את נתיב ערכת הנתונים לנתיב ערכת הנתונים בתבנית CoCo (שלב 2.5.2) בקובץ התצורה. פתח את הקובץ "coco_detection.py" בעורך הטקסט vim ושנה את השורה הבאה: data_root = "נתיב ערכת הנתונים(שלב 2.5.2)" שורת פקודה:vim mmdetection/configs/_base_/datasets/coco_detection.py</li>
</ol>4. אימון Swin מהר יותר R-CNN
<ol><li>ערוך mmdetection/configs/_base_/schedules/schedule_1x.py, והגדר את הפרמטרים הקשורים לאימון כברירת מחדל, כולל קצב הלמידה, האופטימיזציה והתקופה. פתח את הקובץ "schedule_1x.py" בעורך הטקסט vim ושנה את השורות הבאות: אופטימיזציה = dict(type="AdamW", lr=0.001, momentum=0.9, weight_decay=0.0001) runner = dict(type='EpochBasedRunner', max_epochs=48) שורת פקודה:vim mmdetection/configs/_base_/schedules/schedule_1x.py הערה: בפרוטוקול זה עבור מאמר זה, קצב הלמידה נקבע ל -0.001, נעשה שימוש באופטימיזציה של AdamW, תקופת האימון המקסימלית הוגדרה ל -48, וגודל האצווה נקבע ל -16.</li>
	<li>התחל להתאמן על-ידי הקלדת הפקודות הבאות. המתן עד שהרשת תתחיל להתאמן במשך 48 תקופות והמשקולות המאומנות המתקבלות של רשת Swin Faster R-CNN ייווצרו בתיקיית הפלט. שמור את משקלי הדגם בדיוק הגבוה ביותר בערכת האימות. שורת פקודה: cd mmdetection שורת הפקודה: כלי פיתון/רכבת.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --work-dir ./work_dirs הערה: הדגם אומן על "NVIDIA GeForce RTX3090 24G" GPU. יחידת העיבוד המרכזית ששימשה הייתה "מעבד AMD Epyc 7742 64 ליבות × 128", ומערכת ההפעלה הייתה אובונטו 18.06. זמן האימון הכולל היה ~ 2 שעות.</li>
</ol>5. ביצוע זיהוי קשריות בלוטת התריס בתמונות חדשות
<ol><li>לאחר האימון, בחרו את הדגם עם הביצועים הטובים ביותר בערכת האימות לזיהוי קשריות בבלוטת התריס בתמונות החדשות.<ol><li>ראשית, שנה את גודל התמונה ל- 512 פיקסלים x 512 פיקסלים, ונמל אותה. פעולות אלה מבוצעות באופן אוטומטי בעת הפעלת קובץ ה-script לבדיקה. שורת פקודה: כלי פיתון/בדיקה.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --out ./output</li>
		<li>המתן עד שהסקריפט יטען באופן אוטומטי את פרמטרי המודל שהוכשרו מראש ל- Swin Faster R-CNN, והזן את התמונה המעובדת מראש ל- Swin Faster R-CNN לצורך הסקת מסקנות. המתן עד ש-Swin Faster R-CNN יפיק את תיבת החיזוי עבור כל תמונה.</li>
		<li>לבסוף, אפשר לסקריפט לבצע באופן אוטומטי עיבוד מחדש של NMS בכל תמונה כדי להסיר תיבות זיהוי כפולות. הערה: תוצאות הזיהוי מופקות לתיקייה שצוינה, המכילה את התמונות עם תיבות הזיהוי וקואורדינטות התיבה התוחמת בקובץ ארוז.</li>
	</ol></li>
</ol>

<ol><li>Grant, E. G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Thyroid+ultrasound+reporting+lexicon%3A+White+paper+of+the+ACR+Thyroid+Imaging%2C+Reporting+and+Data+System+%28TIRADS%29+committee%5BTitle%5D)+AND+%22Journal+of+the+American+College+of+Radiology%22%5BJournal%5D)">Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee.</a> Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).</li>
<li>Zhao, J., Zheng, W., Zhang, L., Tian, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Segmentation+of+ultrasound+images+of+thyroid+nodule+for+assisting+fine+needle+aspiration+cytology%5BTitle%5D)+AND+%22Health+Information+Science+and+Systems%22%5BJournal%5D)">Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology.</a> Health Information Science and Systems. 1, 5(2013).</li>
<li>Haugen, B. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((American+Thyroid+Association+management+guidelines+for+adult+patients+with+thyroid+nodules+and+differentiated+thyroid+cancer%3A+What+is+new+and+what+has+changed%5BTitle%5D)+AND+%22Cancer%22%5BJournal%5D)">American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed.</a> Cancer. 123 (3), 372-381 (2017).</li>
<li>Shin, J. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Ultrasonography+diagnosis+and+imaging-based+management+of+thyroid+nodules%3A+Revised+Korean+Society+of+Thyroid+Radiology+consensus+statement+and+recommendations%5BTitle%5D)+AND+%22Korean+Journal+of+Radiology%22%5BJournal%5D)">Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations.</a> Korean Journal of Radiology. 17 (3), 370-395 (2016).</li>
<li>Horvath, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+ultrasonogram+reporting+system+for+thyroid+nodules+stratifying+cancer+risk+for+clinical+management%5BTitle%5D)+AND+%22The+Journal+of+Clinical+Endocrinology+%26+Metabolism%22%5BJournal%5D)">An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management.</a> The Journal of Clinical Endocrinology & Metabolism. 94 (5), 1748-1751 (2009).</li>
<li>Park, J. -Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+proposal+for+a+thyroid+imaging+reporting+and+data+system+for+ultrasound+features+of+thyroid+carcinoma%5BTitle%5D)+AND+%22Thyroid%22%5BJournal%5D)">A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma.</a> Thyroid. 19 (11), 1257-1264 (2009).</li>
<li>Moon, W. -J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Benign+and+malignant+thyroid+nodules%3A+US+differentiation-Multicenter+retrospective+study%5BTitle%5D)+AND+%22Radiology%22%5BJournal%5D)">Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study.</a> Radiology. 247 (3), 762-770 (2008).</li>
<li>Park, C. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Observer+variability+in+the+sonographic+evaluation+of+thyroid+nodules%5BTitle%5D)+AND+%22Journal+of+Clinical+Ultrasound%22%5BJournal%5D)">Observer variability in the sonographic evaluation of thyroid nodules.</a> Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).</li>
<li>Kim, S. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Observer+variability+and+the+performance+between+faculties+and+residents%3A+US+criteria+for+benign+and+malignant+thyroid+nodules%5BTitle%5D)+AND+%22Korean+Journal+of+Radiology%22%5BJournal%5D)">Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules.</a> Korean Journal of Radiology. 11 (2), 149-155 (2010).</li>
<li>Choi, Y. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+computer-aided+diagnosis+system+using+artificial+intelligence+for+the+diagnosis+and+characterization+of+thyroid+nodules+on+ultrasound%3A+initial+clinical+assessment%5BTitle%5D)+AND+%22Thyroid%22%5BJournal%5D)">A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment.</a> Thyroid. 27 (4), 546-552 (2017).</li>
<li>Chang, T. -C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+role+of+computer-aided+detection+and+diagnosis+system+in+the+differential+diagnosis+of+thyroid+lesions+in+ultrasonography%5BTitle%5D)+AND+%22Journal+of+Medical+Ultrasound%22%5BJournal%5D)">The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography.</a> Journal of Medical Ultrasound. 23 (4), 177-184 (2015).</li>
<li>Fully convolutional networks for ultrasound image segmentation of thyroid nodules. Li, X. IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems (HPCC/SmartCity/DSS), , 886-890 (2018).</li>
<li>Nguyen, D. T., Choi, J., Park, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Thyroid+nodule+segmentation+in+ultrasound+image+based+on+information+fusion+of+suggestion+and+enhancement+networks%5BTitle%5D)+AND+%22Mathematics%22%5BJournal%5D)">Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks.</a> Mathematics. 10 (19), 3484(2022).</li>
<li>Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cascade+convolutional+neural+networks+for+automatic+detection+of+thyroid+nodules+in+ultrasound+images%5BTitle%5D)+AND+%22Medical+Physics%22%5BJournal%5D)">Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images.</a> Medical Physics. 44 (5), 1678-1691 (2017).</li>
<li>Song, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Multitask+cascade+convolution+neural+networks+for+automatic+thyroid+nodule+detection+and+recognition%5BTitle%5D)+AND+%22IEEE+Journal+of+Biomedical+and+Health+Informatics%22%5BJournal%5D)">Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition.</a> IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).</li>
<li>Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images. Wang, J., et al. 2018 25Th IEEE International Conference on Image Processing (ICIP), , IEEE. 3114-3118 (2018).</li>
<li>Wang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multi-scale+densely+connected+convolutional+neural+network+for+automated+thyroid+nodule+classification%5BTitle%5D)+AND+%22Frontiers+in+Neuroscience%22%5BJournal%5D)">A multi-scale densely connected convolutional neural network for automated thyroid nodule classification.</a> Frontiers in Neuroscience. 16, 878718(2022).</li>
<li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Imagenet+classification+with+deep+convolutional+neural+networks%5BTitle%5D)+AND+%22Communications+of+the+ACM%22%5BJournal%5D)">Imagenet classification with deep convolutional neural networks.</a> Communications of the ACM. 60 (6), 84-90 (2017).</li>
<li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+residual+learning+for+image+recognition%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Deep residual learning for image recognition.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).</li>
<li>Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Relation+networks+for+object+detection%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Relation networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).</li>
<li>Szegedy, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Going+deeper+with+convolutions%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Going deeper with convolutions.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).</li>
<li>Dosovitskiy, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+image+is+worth+16x16+words%3A+Transformers+for+image+recognition+at+scale%5BTitle%5D)+AND+%22arXiv+preprint+arXiv%3A2010.11929%22%5BJournal%5D)">An image is worth 16x16 words: Transformers for image recognition at scale.</a> arXiv preprint arXiv:2010.11929. , (2020).</li>
<li>Touvron, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Training+data-efficient+image+transformers+%26+distillation+through+attention%5BTitle%5D)+AND+%22arXiv%3A2012.12877%22%5BJournal%5D)">Training data-efficient image transformers & distillation through attention.</a> arXiv:2012.12877. , (2021).</li>
<li>Liu, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Swin+Transformer%3A+Hierarchical+vision+transformer+using+shifted+windows%5BTitle%5D)+AND+%222021+IEEE%2FCVF+International+Conference+on+Computer+Vision+%28ICCV%29%22%5BJournal%5D)">Swin Transformer: Hierarchical vision transformer using shifted windows.</a> 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).</li>
<li>Vaswani, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Attention+is+all+you+need%5BTitle%5D)+AND+%22Advances+in+Neural+Information+Processing+Systems%22%5BJournal%5D)">Attention is all you need.</a> Advances in Neural Information Processing Systems. 30, (2017).</li>
<li>Chen, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((TransUNet%3A+Transformers+make+strong+encoders+for+medical+image+segmentation.+arXiv%5BTitle%5D)+AND+%22arXiv%3A2102.04306%22%5BJournal%5D)">TransUNet: Transformers make strong encoders for medical image segmentation. arXiv.</a> arXiv:2102.04306. , (2021).</li>
<li>Ren, S., He, K., Girshick, R., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Faster+r-cnn%3A+Towards+real-time+object+detection+with+region+proposal+networks%5BTitle%5D)+AND+%22Advances+in+Neural+Information+Processing+Systems%22%5BJournal%5D)">Faster r-cnn: Towards real-time object detection with region proposal networks.</a> Advances in Neural Information Processing Systems. 28, 91-99 (2015).</li>
<li>Li, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+improved+deep+learning+approach+for+detection+of+thyroid+papillary+cancer+in+ultrasound+images%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images.</a> Scientific Reports. 8, 6600(2018).</li>
<li>Lin, T. -Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Feature+pyramid+networks+for+object+detection%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Feature pyramid networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).</li>
<li>Ouahabi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+review+of+wavelet+denoising+in+medical+imaging%5BTitle%5D)+AND+%222013+8th+International+Workshop+on+Systems%2C+Signal+Processing+and+their+Applications%22%5BJournal%5D)">A review of wavelet denoising in medical imaging.</a> 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).</li>
<li>Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Image+denoising+using+a+compressive+sensing+approach+based+on+regularization+constraints%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Image denoising using a compressive sensing approach based on regularization constraints.</a> Sensors. 22 (6), 2199(2022).</li>
<li>Castleman, K. R. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aCastleman%2C+KR+%22Digital+Image+Processing%22">Digital Image Processing</a>. , Prentice Hall Press. Hoboken, NJ. (1996).</li>
<li>Liu, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Ssd%3A+Single+shot+multibox+detector%5BTitle%5D)+AND+%22European+Conference+on+Computer+Vision%22%5BJournal%5D)">Ssd: Single shot multibox detector.</a> European Conference on Computer Vision. , 21-37 (2016).</li>
<li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Yolov3%3A+An+incremental+improvement%5BTitle%5D)+AND+%22arXiv.+arXiv%3A1804.02767%22%5BJournal%5D)">Yolov3: An incremental improvement.</a> arXiv. arXiv:1804.02767. , (2018).</li>
<li>Lin, T. -Y., Goyal, P., Girshick, R., He, K., Dollár, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Focalloss+for+dense+object+detection%5BTitle%5D)+AND+%22arXiv.+arXiv%3A1708.02002%22%5BJournal%5D)">Focalloss for dense object detection.</a> arXiv. arXiv:1708.02002. , (2017).</li>
<li>Carion, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((End-to-end+object+detection+with+transformers%5BTitle%5D)+AND+%22Computer+Vision-ECCV+2020%3A+16th+European+Conference%22%5BJournal%5D)">End-to-end object detection with transformers.</a> Computer Vision-ECCV 2020: 16th European Conference. , Glasgow, UK. 23-28 (2020).</li>
</ol>

המחברים מצהירים כי אין ניגודי עניינים.

מאמר זה מתאר בפירוט כיצד לבצע את הגדרת הסביבה, הכנת הנתונים, תצורת המודל והדרכת הרשת. בשלב הגדרת הסביבה, יש לשים לב כדי לוודא שהספריות התלויות תואמות ותואמות. עיבוד נתונים הוא צעד חשוב מאוד; יש להשקיע זמן ומאמץ כדי להבטיח את דיוק הביאורים. בעת אימון המודל, ייתכן שתיתקל ב- "ModuleNotFoundError". במקרה זה, יש צורך להשתמש בפקודה "התקנת פיפ" כדי להתקין את הספרייה החסרה. אם אובדן ערכת האימות אינו קטן או מתנודד מאוד, יש לבדוק את קובץ הביאור ולנסות להתאים את קצב הלמידה ואת גודל האצווה כדי לגרום להפסד להתכנס.
<p class="jove_...

שכיחות סרטן בלוטת התריס עלתה במהירות מאז 1970, במיוחד בקרב נשים בגיל העמידה1. גושים בבלוטת התריס עשויים לנבא את הופעתו של סרטן בלוטת התריס, ורוב גושי בלוטת התריס הם אסימפטומטיים2. גילוי מוקדם של גושים בבלוטת התריס עוזר מאוד בריפוי סרטן בלוטת התריס. לכן, על פי הנחיות התרגול הנוכחיות, כל החולים עם חשד לזפקת נודולרית בבדיקה גופנית או עם ממצאי הדמיה חריגים צריכים לעבור בדיקה נוספת 3,4.
אולטרסאונד בלוטת התריס (US) היא שיטה נפוצה המשמשת לאיתור ואפיון נגעים בבלוטת התריס 5,6. ארה"ב היא טכנולוגיה נוחה, זולה ונטולת קרינה. עם זאת, היישום של US מושפע בקלות על ידי מפעיל 7,8. תכונות כגון הצורה, הגודל, האקוגניות והמרקם של גושי בלוטת התריס ניתנות להבחנה בקלות בתמונות אמריקאיות. למרות שמאפיינים מסוימים בארה"ב - הסתיידויות, אקוגניות וגבולות לא סדירים - נחשבים לעתים קרובות לקריטריונים לזיהוי גושים בבלוטת התריס, נוכחותה של שונות בין צופים היא בלתי נמנעת 8,9. תוצאות האבחון של רדיולוגים בעלי רמות ניסיון שונות שונות. רדיולוגים לא מנוסים נוטים יותר לאבחן לא נכון מאשר רדיולוגים מנוסים. מאפיינים מסוימים של ארה"ב כגון השתקפויות, צללים והדים עלולים לפגוע באיכות התמונה. ירידה זו באיכות התמונה הנגרמת על ידי אופי ההדמיה בארה"ב מקשה אפילו על רופאים מנוסים לאתר גושים במדויק.
אבחון בעזרת מחשב (CAD) עבור גושים בבלוטת התריס התפתח במהירות בשנים האחרונות והוא יכול להפחית ביעילות טעויות הנגרמות על ידי רופאים שונים ולסייע לרדיולוגים לאבחן גושים במהירות ובדייקנות10,11. מערכות CAD שונות מבוססות CNN הוצעו לניתוח קשריות בארה"ב של בלוטת התריס, כולל סגמנטציה 12,13, זיהוי 14,15 וסיווג 16,17. CNN הוא מודל למידה רב-שכבתי ומפוקח18, ומודולי הליבה של CNN הם שכבות הפיתול והאיגום. שכבות הפיתול משמשות לחילוץ תכונות, ושכבות האיגום משמשות לדגימת הפחתה. שכבות פיתול הצל יכולות לחלץ תכונות עיקריות כגון מרקם, קצוות וקווי מתאר, ואילו שכבות קונבולוציה עמוקות לומדות תכונות סמנטיות ברמה גבוהה.
CNN זכו להצלחה רבה בראייה ממוחשבת 19,20,21. עם זאת, CNN אינם מצליחים ללכוד תלות הקשרית ארוכת טווח בשל שדה הקלט החוקי המוגבל של שכבות הפיתול. בעבר, ארכיטקטורות עמוד השדרה לסיווג תמונות השתמשו בעיקר ב-CNN. עם הופעתו של Vision Transformer (ViT)22,23, מגמה זו השתנתה, וכעת דגמים חדישים רבים משתמשים בשנאים כעמוד שדרה. בהתבסס על תיקוני תמונה שאינם חופפים, ViT משתמש במקודד שנאיסטנדרטי 25 כדי למדל יחסים מרחביים גלובליים. Swin Transformer24 מציג גם חלונות משמרות כדי ללמוד תכונות. חלונות המשמרת לא רק מביאים יעילות רבה יותר, אלא גם מפחיתים מאוד את אורך הרצף מכיוון שתשומת הלב העצמית מחושבת בחלון. יחד עם זאת, האינטראקציה בין שני חלונות סמוכים יכולה להתבצע באמצעות פעולת הסטה (תנועה). היישום המוצלח של שנאי סווין בראייה ממוחשבת הוביל לחקירת ארכיטקטורות מבוססות שנאים לניתוח תמונת אולטרסאונד26.
לאחרונה, Li et al. הציעו גישת למידה עמוקה28 לגילוי סרטן פפילרי של בלוטת התריס בהשראת R-CNN27 מהיר יותר. R-CNN מהיר יותר היא ארכיטקטורת זיהוי אובייקטים קלאסית מבוססת CNN. ל- R-CNN המהיר המקורי יש ארבעה מודולים - עמוד השדרה של CNN, רשת הצעת האזור (RPN), שכבת איגום החזר ההשקעה וראש האיתור. עמוד השדרה של CNN משתמש בקבוצה של שכבות conv + bn + relu + איגום בסיסיות כדי לחלץ מפות תכונות מתמונת הקלט. לאחר מכן, מפות התכונות מוזנות לתוך RPN ושכבת איגום ROI. תפקידה של רשת RPN הוא ליצור הצעות אזוריות. מודול זה משתמש ב- softmax כדי לקבוע אם עוגנים הם חיוביים ויוצר עוגנים מדויקים על ידי רגרסיה של תיבה תוחמת. שכבת איגום החזר ההשקעה מחלצת את מפות תכונות ההצעה על ידי איסוף מפות תכונות הקלט וההצעות ומזינה את מפות תכונות ההצעה לראש הזיהוי הבא. ראש הזיהוי משתמש במפות תכונת ההצעה כדי לסווג אובייקטים ולקבל מיקומים מדויקים של תיבות הזיהוי על ידי רגרסיה של תיבה תוחמת.
מאמר זה מציג רשת חדשה לזיהוי קשריות בלוטת התריס בשם Swin Faster R-CNN שנוצרה על ידי החלפת עמוד השדרה של CNN ב- R-CNN מהיר יותר בשנאי Swin, מה שמביא למיצוי טוב יותר של תכונות לזיהוי קשריות מתמונות אולטרסאונד. בנוסף, רשת פירמידת התכונות (FPN)29 משמשת לשיפור ביצועי הזיהוי של המודל עבור גושים בגדלים שונים על ידי צבירת תכונות של קשקשים שונים.

<table><tbody><tr><td>GPU RTX3090</td><td>Nvidia</td><td>1</td><td>24G GPU</td></tr><tr><td>mmdetection2.11.0</td><td>SenseTime</td><td>4</td><td>https://github.com/open-mmlab/mmdetection.git</td></tr><tr><td>python3.8</td><td>&mdash;</td><td>2</td><td></td></tr><tr><td>https://www.python.org pytorch1.7.1</td><td>פייסבוק</td><td>3</td><td>https://pytorch.org</td></tr></tbody></table>

מודל מבוסס swin transformer לזיהוי קשריות בבלוטת התריס בתמונות אולטרסאונד

A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images

בשנים האחרונות חלה עלייה בשכיחות סרטן בלוטת התריס. זיהוי קשריות בלוטת התריס הוא קריטי הן לגילוי והן לטיפול בסרטן בלוטת התריס. רשתות עצביות קונבולוציוניות (CNN) השיגו תוצאות טובות במשימות ניתוח תמונה של אולטרסאונד בלוטת התריס. עם זאת, בשל שדה הקלט התקף המוגבל של שכבות קונבולוציוניות, CNN אינם מצליחים ללכוד תלות הקשרית ארוכת טווח, החשובה לזיהוי גושים בבלוטת התריס בתמונות אולטרסאונד. רשתות טרנספורמר יעילות בלכידת מידע קונטקסטואלי ארוך טווח. בהשראת זה, אנו מציעים שיטה חדשנית לזיהוי קשריות בלוטת התריס המשלבת את עמוד השדרה של Swin Transformer ואת R-CNN המהיר יותר. באופן ספציפי, תמונת אולטרסאונד מוקרנת תחילה לתוך רצף 1D של הטבעות, אשר מוזנות לאחר מכן לתוך שנאי Swin היררכי. 
עמוד השדרה של Swin Transformer מחלץ תכונות בחמישה קני מידה שונים על ידי שימוש בחלונות מוסטים לחישוב תשומת לב עצמית. לאחר מכן, רשת פירמידת תכונות (FPN) משמשת להתיך את התכונות מקשקשים שונים. לבסוף, ראש זיהוי משמש לחיזוי תיבות תוחמות ואת ציוני הביטחון המתאימים. נתונים שנאספו מ -2,680 חולים שימשו לביצוע הניסויים, והתוצאות הראו כי שיטה זו השיגה את ציון mAP הטוב ביותר של 44.8%, יותר מאשר קווי בסיס מבוססי CNN. בנוסף, צברנו רגישות טובה יותר (90.5%) מהמתחרים. זה מצביע על כך שמידול הקשר במודל זה יעיל לזיהוי קשריות בלוטת התריס.

תמונות בלוטת התריס בארה"ב נאספו משני בתי חולים בסין מספטמבר 2008 עד פברואר 2018. קריטריוני הזכאות להכללת התמונות האמריקאיות במחקר זה היו בדיקה אמריקאית קונבנציונלית לפני ביופסיה וטיפול כירורגי, אבחון בביופסיה או פתולוגיה לאחר ניתוח, וגיל ≥ 18 שנים. קריטריוני ההחרגה היו תמונות ללא רקמות בלוטת התריס.
3,000 תמונות האולטרסאונד כללו 1,384 גושים ממאירים ו-1,616 גושים שפירים. רוב הגושים הממאירים (90%) היו קרצינומה פפילרית, ו-66% מהגושים השפירים היו זפקת נודולרית. כאן, 25% מהגושים היו קטנים מ -5 מ"מ, ...

כאן מוצע מודל חדש לזיהוי קשריות בלוטת התריס בתמונות אולטרסאונד, המשתמש בשנאי Swin כעמוד השדרה לביצוע מידול הקשר ארוך טווח. ניסויים מוכיחים כי הוא מתפקד היטב במונחים של רגישות ודיוק.

מודל מבוסס Swin Transformer לזיהוי קשריות בבלוטת התריס בתמונות אולטרסאונד

In recent years, the incidence of thyroid cancer has been increasing. Thyroid nodule detection is critical for both the detection and treatment of thyroid ...

תוכנית זו מיישמת אמצעי אוטומטי ויעיל לאיתור גושים בבלוטת התריס, אשר עשוי להפחית את עומס העבודה של הרופאים בעתיד. טכניקה זו מיישמת שנאי Swin לרשת זיהוי גושים. Swin רובוטריקים יעילים בלכידת מידע תוכן לטווח ארוך, מה שעוזר מאוד בשיפור הרגישות של מעצר גושים.כדי להתחיל, פתח מסוף במחשב והתקן את Python 3.8 על ידי הקלדת sudo apt-get install python3.8 בשורת הפקודה. כדי להתקין PyTorch 1.7, עבור אל האתר הרשמי של Miniconda ולהתקין אותו. לאחר מכן צור סביבת Conda על ידי הקלדת הפקודה המוצגת על המסך בשורת הפקודה, והפעל אותה על ידי הקלדת conda activate SwinFasterRCNN.התקן את PyTorch על ידי כתיבת הפקודה המוצגת בשורת הפקודה. עבור התקנת זיהוי MM, שכפל מהמאגר הרשמי של GitHub ולאחר מכן התקן את MM Detection על-ידי כתיבת הפקודה pip install v e בשורת הפקודה. פתח את schedule_1x.קובץ py בעורך הטקסט Vim וערוך את הקובץ כדי להגדיר את הפרמטרים הקשורים לאימון כברירת מחדל, כולל הממטב, קצב הלמידה והאפוס. התחל את האימון על-ידי הקלדת הפקודה המוצגת על המסך. המתן עד שהרשת תתחיל את האימון במשך 48 אפיקים, וכדי שהמשקולות המאומנות המתקבלות של רשת SwinFasterRCNN ייווצרו בתיקיית הפלט.שמור את משקלי הדגם בדיוק הגבוה ביותר בערכת האימות. לאחר האימון, בחרו את הדגם עם הביצועים הטובים ביותר בערכת האימות לזיהוי קשריות בבלוטת התריס בתמונות החדשות. הפעל את סקריפט הבדיקה כדי לשנות את גודל התמונה ל- 512 פיקסלים על 512 פיקסלים ולנרמל אותה.המתן עד שהסקריפט יטען באופן אוטומטי את פרמטרי המודל שאומנו מראש ל- SwinFasterRCNN, והזן את התמונה המעובדת מראש לתוך SwinFasterRCNN לצורך הסקת מסקנות. המתן עד ש- SwinFasterRCNN יפיק את תיבת החיזוי עבור כל תמונה. לבסוף, אפשר לסקריפט לבצע באופן אוטומטי עיבוד NMS לאחר בכל תמונה כדי להסיר את תיבות זיהוי הכפילויות.תוצאות הזיהוי של אותה תמונה מוצגות בשורה נתונה. העמודות הן תוצאות הזיהוי עבור SwinFasterRCNN, FasterRCNN, YOLOv3, SSD, RetinaNet ו- DETR. אמיתות הקרקע של האזורים מסומנות בתיבות מלבניות ירוקות.תוצאות הזיהוי ממוסגרות על-ידי התיבות המלבניות האדומות. חשוב מאוד לבחור את פרמטר היפר המתאים כדי להבטיח אלה מתכנסים, אשר צריך להיקבע על ידי ניסויים רבים.

a-swin-transformer-based-model-for-thyroid-nodule-detection

Research

JoVE Journal

Medicine

רפואה

כאן מוצעת שיטה חדשה להקמת מודל מודפס תלת-ממדי מותאם אישית להערכה טרום ניתוחית של בלוטת התריס. זה תורם לדיון לפני הניתוח, הפחתת הקושי של ניתוח בלוטת התריס.

מודל מותאם אישית המודפס בתלת-ממד להערכה טרום ניתוחית בניתוחי בלוטת התריס

הפרוטוקול הנוכחי מתאר אולטרה-סאונד בתדירות גבוהה להדמיית בלוטת התריס כולה של העכבר ולמעקב אחר צמיחת קרצינומה אנפלסטית של בלוטת התריס.

אולטרה-סאונד ברזולוציה גבוהה לניתוח גידולי ATC אורתוטופיים במודל עכבר מהונדס גנטית

מטרת מחקר זה היא לפתח מודל דיגיטלי תלת-ממדי חדשני של גושים ריאתיים המשמש גשר תקשורת בין רופאים לחולים ומהווה גם כלי חדשני לאבחון מוקדם ולהערכה פרוגנוסטית.

מודל דיגיטלי תלת ממדי לאבחון וטיפול בגושים ריאתיים

הפרוטוקול הנוכחי מתאר שיטת פילוח יעילה מרובת איברים הנקראת Swin-PSAxialNet, שהשיגה דיוק מצוין בהשוואה לשיטות פילוח קודמות. השלבים העיקריים של הליך זה כוללים איסוף מערכי נתונים, תצורת סביבה, עיבוד מקדים של נתונים, אימון והשוואה של מודלים וניסויי אבלציה.

Swin-PSAxialNet: טכניקת פילוח רב-איברים יעילה

כאן אנו מציגים טכניקת אולטרסאונד 5D המשלבת שחזור תלת ממדי רב מישורי ואיחוי דופלר צבע, המאפשר הדמיה סינכרונית של מידע מבני ותפקודי של בלוטת התריס. על ידי מזעור שטחים מתים, שיטה זו מאפשרת לוקליזציה מהירה ומדויקת של נגעים כדי לשפר את דיוק האבחון, במיוחד לטובת מטפלים מתחילים.

שחזור תלת-מישורי סינכרוני משולב עם מיפוי דופלר צבע ללוקליזציה מדויקת ומהירה של נגעי בלוטת התריס

השימוש בCerenkov הארת ההדמיה (CLI) לניטור טיפול בסרטן קליני מתואר כאן. שיטה זו מנצלת Cerenkov הקרינה (CR) ודימות אופטית (OI) כדי להמחיש בדיקות radiolabeled ובכך מספקת אלטרנטיבה לPET במעקב קליני וטיפולי הקרנת סמים.

Cerenkov הארת ההדמיה (CLI) לניטור ריפוי הסרטן

הדור של מודל עכבר orthotopic של קרצינומה של בלוטת התריס אנפלסטית מתואר כאן. טכניקה זו מעסיקה מיקום כירורגית של תאי סרטן בבלוטת התריס anaplastic אדם לבלוטת התריס של עכברי immunodeficient, ובכך ליצור אווירה יותר רלוונטית מבחינה קלינית ללמוד התקדמות מחלה, כמו גם התערבויות טיפוליות חדשניות מסך.

מודל עכבר orthotopic של קרצינומה של בלוטת התריס אנפלסטית

נגעים בבלוטת התריס Substernal נפוצים, וצריכים להיות מובחן מגידול ממאיר. קבלת ביופסית מחט דקה מלעורית לא ניתן בשל מיקומה retrosternal. מאמר זה מציע פרוטוקול לביופסיה של נגעים בבלוטת התריס substernal באמצעות מודרכת אולטראסאונד Endobronchial Transbronchial מחט שאיפה (EBUS-TBNA).

Substernal בלוטת התריס הביופסיה באמצעות מחט Transbronchial איפה מודרכת אולטראסאונד Endobronchial

מחקר זה שואפת לפתח פרוטוקול תקני של ניטור עצבית אינטרה-פעיל של ניתוח בלוטת התריס במודל חזירי. כאן, אנו מציגים פרוטוקול להפגין הרדמה כללית, כדי להשוות בין סוגים שונים של אלקטרודות, וכדי לחקור את מאפייני אלקטרופיזיולוגיות נורמלי ונפצעו העצבים בגרון חוזרים ונשנים.

ניטור עצבית אינטרה-פעיל של ניתוח בלוטת התריס במודל חזירי

הטכניקה myograph החוט משמש כדי לחקור פונקציות השריר החלק בכלי הדם, תרופות חדשות מסך. אנחנו מדווחים על פרוטוקול מפורט עבור מודדים את contractility איזומטרי של עורק מצע המעי העליון העכבר, הקרנת מרפה החדש של השריר החלק בכלי הדם.

Contractility איזומטרי מדידה של עורק מצע המעי העליון העכבר באמצעות חוט Myography

למד זיהוי אוטומטי של קשריות בבלוטת התריס באמצעות מודל Swin Transformer בתמונות אולטרסאונד. שיטה זו משפרת רגישות ודיוק בזיהוי ומפחיתה את עומס העבודה על צוותי רפואה.

מודל מבוסס Swin Transformer לזיהוי קשריות בבלוטת התריס בתמונות אולטרסאונד

גלה סרטונים נוספים