פרוטוקול קוד פתוח לפילוח מבוסס למידה עמוקה של מבנים צינוריים בתמונות מיקרוסקופיה פלואורסצנטית תלת מימדית

Summary

פרוטוקול זה מציג ארגז כלים בקוד פתוח המציע צינור שלם לפילוח מבנים צינוריים בתמונות מיקרוסקופיה פלואורסצנטיות תלת מימדיות (3D). תוך שימוש בלמידה עמוקה עם הגדלת נתונים מבוססת סימולציה, היא מכשירה מודלים של U-Net ו-Attention U-Net, מספקת הערכות איכותיות וכמותיות וכוללת מחברות ידידותיות למשתמש להדרכה, הסקה והדמיה לאורך כל הדרך.

Abstract

פילוח מבנים צינוריים ברקמות ביולוגיות צפופות מתמונות מיקרוסקופיה פלואורסצנטיות תלת מימדיות הוא קריטי לחקר רקמות מורכבות אך נותר מאתגר בשל מורכבות התמונה, השונות ובעיות האיכות. כאן, אנו מציגים ארגז כלים בקוד פתוח וידידותי למשתמש לפילוח מקצה לקצה של מבנים צינוריים בתמונות תלת מימד, הנגיש לחוקרים ללא הכשרה פורמלית בתכנות. ארגז הכלים כולל מחברות Jupyter אינטראקטיביות המיישמות שתי ארכיטקטורות למידה עמוקה פשוטות אך יעילות - 3D U-Net ו-3D U-Net עם מנגנוני קשב - לפילוח תלת מימד מדויק של רשתות צינוריות. חידוש מרכזי הוא אסטרטגיית הגדלת הנתונים מבוססת הסימולציה שלנו, המשפרת את ביצועי המודל גם עם נתוני אימון מינימליים (רק תמונה תלת מימדית אחת). תוך שימוש במסכות המסופקות על ידי המשתמש, הפרוטוקול מייצר תמונות מיקרוסקופיה מלאכותיות עם יחסי אות לרעש משתנים ומדמה חפצי הדמיה מציאותיים, כולל צביעה לא אחידה, קונבולוציה של פונקציית התפשטות נקודתית, וריאציות עוצמה ציריות ורעש פואסון וגאוס. הפרוטוקול מנחה את המשתמשים באופן שיטתי באמצעות הגדלת נתונים, אימון מודלים, הערכה איכותית וכמותית על ערכות בדיקה והסקת מסקנות על תמונות חדשות. אנו מאמתים את ארגז הכלים על ידי ניתוח שתי רשתות צינוריות נפרדות מבחינה מורפולוגית ברקמת הכבד של העכבר - תעלות המרה והרשתות הסינוסואידיות - ומדגימים ששתי הארכיטקטורות מתפקדות היטב, כאשר הקשב U-Net עולה מעט על ה-U-Net הסטנדרטי כאשר הוא מאומן עם נתונים מוגברים. ארגז הכלים המקיף שלנו, הניתן להפעלה ביחידות עיבוד גרפיות מקומיות (GPUs), אשכולות מחשוב בעלי ביצועים גבוהים או פלטפורמות ענן, תורם לדמוקרטיזציה של ניתוח תמונות מתקדם עבור קשת רחבה של חוקרים.

Introduction

ניתוח כמותי של מבנים צינוריים ברקמות ביולוגיות, כגון כלי דם, רשתות עצביות ודרכי מרה בכבד, הוא בסיסי להבנת תהליכים פיזיולוגיים ופתולוגיים, כולל אנגיוגנזה, גרורות גידול והתפתחות איברים ^1,2,3. מיקרוסקופיה פלואורסצנטית תלת מימדית (תלת מימדית) התגלתה ככלי מרכזי להדמיית רשתות מורכבות אלה, המציעה רזולוציה מרחבית גבוהה ומאפשרת הדמיה של ארכיטקטורות רקמות מורכבות בהקשר המקורי שלהן 4,5,6,7. עם זאת, פילוח מדויק של מבנים צינוריים מרקמות ביולוגיות צפופות נותר אתגר אדיר בשל חפצי הדמיה, שונות האותות והמורפולוגיה ההטרוגנית הטבועה בדגימות ביולוגיות. שיטות פילוח מסורתיות, כגון סף, גידול אזור ואלגוריתמים מבוססי מודל, דורשות לעתים קרובות התערבות ידנית נרחבת וכוונון פרמטרים קפדני, שיכול להיות גם זמן וגם סובייקטיבי, במיוחד עבור רקמות תלת מימד מורכבות כגון כבד 8,9,10,11,12 . גישות אלו לרוב אינן חזקות לשונות הטבועה בדגימות ביולוגיות ובתנאי הדמיה, ומגבילות את יכולת ההכללה שלהן על פני מערכי נתונים שונים ומערכי ניסוי. כלי תוכנה כמו ImageJ¹³ ו-TiQuant⁸ פותחו כדי לסייע בניתוח וכימות רקמות; עם זאת, ייתכן שהם חסרים את הגמישות או המדרגיות הדרושות לשחזורים תלת מימדיים מקיפים של רשתות צינוריות מורכבות באופן אוטומטי לחלוטין.

למידה עמוקה חוללה מהפכה בניתוח תמונות ביו-רפואיות על ידי אוטומציה של משימות פילוח עם דיוק ויעילות גבוהים 14,15,16. רשתות עצביות קונבולוציוניות (CNNs), במיוחד ארכיטקטורות מקודד-מפענח כמו U-Net, הפגינו ביצועים יוצאי דופן ביישומי הדמיה ביו-רפואיים שונים 17,18,19. יתרה מכך, הרחבת U-Net לנתוני תלת מימד (3D U-Net) מאפשרת עיבוד יעיל של תמונות נפחיות, לכידת הקשר מרחבי בכל שלושת הממדים ושיפור דיוק הפילוח עבור מבנים מורכבים²⁰. שילוב מנגנוני קשב בארכיטקטורות אלה (Attention U-Net) משפר עוד יותר את הביצועים בכך שהוא מאפשר לרשת להתמקד בתכונות בולטות תוך דיכוי רעשי רקע לא רלוונטיים 18,21,22. למרות הפוטנציאל שלהם, יישום מודלים של למידה עמוקה לפילוח תלת מימד מציב אתגרים משמעותיים. אימון מודלים אלה דורש בדרך כלל מומחיות משמעותית בתכנות, גישה למשאבי חישוב רבי עוצמה ומערכי נתונים גדולים עם הערות, שאולי לא יהיו זמינים לכל החוקרים. הוספת הערות לתמונות תלת מימד היא אינטנסיבית במיוחד, ולעתים קרובות כרוכה בתיוג ידני של מבנים מורכבים על פני פרוסות רבות, מה שיכול להיות מונע עבור מערכי נתונים גדולים. בעוד שטכניקות הגדלת נתונים יכולות להקל על הצורך בנתוני אימון נרחבים על ידי הגדלה מלאכותית של מגוון מערכי הנתונים באמצעות טרנספורמציות כמו סיבוב, קנה מידה והיפוך, שיטות הגדלה מסורתיות עשויות שלא ללכוד באופן מלא את השונות והמורכבות של תמונות ביולוגיות, במיוחד אלה הכוללות מבנים תלת מימדיים מורכבים.

כדי להתמודד עם מגבלות אלה, אנו מציגים ארגז כלים בקוד פתוח וידידותי למשתמש לפילוח מקצה לקצה של מבנים צינוריים בתמונות מיקרוסקופיה תלת מימדיות. ארגז כלים זה משתמש במחברות Jupyter אינטראקטיביות ומיישם שתי שיטות למידה עמוקה חזקות - 3D U-Net^17,20 ו-3D U-Net עם מנגנוני קשב^18,21 - לפילוח מדויק של מבנים צינוריים תלת מימדיים ללא צורך בידע נרחב בתכנות. חידוש מרכזי של הפרוטוקול שלנו הוא אסטרטגיית הגדלת נתונים מבוססת סימולציה המשפרת את ביצועי המודל גם עם נתוני אימון מינימליים - רק תמונה תלת מימדית אחת. על ידי מינוף מסכות המסופקות על ידי המשתמש, הפרוטוקול מייצר תמונות מיקרוסקופיה מלאכותיות עם יחסי אות לרעש משתנים ומדמה חפצי הדמיה מציאותיים, כולל צביעה לא אחידה, קונבולוציה עם פונקציית התפשטות הנקודה (PSF) של מיקרוסקופים קונפוקליים, שינויים בעוצמה צירית עקב חדירת נוגדנים או פיזור, ונוכחות של רעש פואסון וגאוס. הגדלה מבוססת סימולציה זו לא רק מגדילה את כמות נתוני האימון אלא גם מעשירה את מערך הנתונים בווריאציות מציאותיות, ומשפרת את יכולת ההכללה של המודל לנתונים בלתי נראים. הפרוטוקול מנחה באופן שיטתי את המשתמשים באמצעות הגדלת נתונים, אימון מודלים, הערכה איכותית וכמותית של תחזיות מודלים על ערכות בדיקה והסקת מסקנות על תמונות חדשות (איור 1). אנו מאמתים את התועלת של ארגז הכלים שלנו על ידי ניתוח שתי רשתות צינוריות נפרדות מבחינה מורפולוגית ברקמת הכבד של העכבר: תעלות המרה והרשתות הסינוסואידיות. רשתות אלו מציגות מאפיינים מבניים שונים ואתגרי הדמיה, ומספקות מצע בדיקה חזק לשיטות שלנו.

בעוד שרוב המחקרים הקיימים מתמקדים בניתוח תמונות דו-ממדיות, ומגבילים את ההבנה של ארכיטקטורות תלת מימד מורכבות, הגישה שלנו שמה דגש על פילוח תלת מימד כדי ללכוד את המורכבות המלאה של מבני רקמות. על ידי שילוב ארכיטקטורות למידה עמוקה מבוססות וחזקות עם ממשק ידידותי למשתמש, ארגז הכלים שלנו תורם לדמוקרטיזציה של הגישה לכלי ניתוח תמונות מתקדמים. ניתן לבצע את הצינור שלנו על GPUs מקומיים, אשכולות מחשוב בעלי ביצועים גבוהים או פלטפורמות ענן כמו Google Colab, מה שהופך ניתוח תמונות מתקדם לנגיש למגוון רחב יותר של חוקרים ללא קשר למשאבי חישוב. עבודה זו תורמת לתחום על ידי מתן פתרון נגיש ומקיף לפילוח תלת מימדי של מבנים צינוריים, המאפשרת ניתוחים כמותיים החיוניים לקידום ההבנה שלנו של תפקוד הרקמות ומנגנוני המחלה.

Protocol

1. התקנה והגדרה של ארגז הכלים

1. הורדת ארגז הכלים מ- GitHub
   1. פתח דפדפן אינטרנט ונווט אל מאגר GitHub של ארגז הכלים: https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation 
   2. הורד אותו באמצעות שיבוט Git (אפשרות א'). ודא ש-Git מותקן במערכת; אם לא, הורד אותו מ-https://git-scm.com/downloads והתקן אותו. פתח מסוף (Unix/Linux/macOS) או שורת פקודה (Windows) ונווט לספרייה שבה יש לאחסן את ארגז הכלים. שכפל את המאגר על-ידי הקלדה:
      שיבוט git https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation.git
   3. הורד אותו את קובץ ה-ZIP (אפשרות ב'). בדף GitHub, לחץ על לחצן הקוד הירוק ובחר הורד ZIP. שמור את קובץ ה-ZIP בספרייה המועדפת וחלץ את התוכן של קובץ ה-ZIP.
2. הגדרת סביבת Conda
   1. התקן את Anaconda או Miniconda. אם עדיין לא מותקן, הורד את Anaconda מ:
      https://www.anaconda.com/download או מיניקונדה מ-https://docs.anaconda.com/miniconda/. עקוב אחר הוראות ההתקנה של מערכת ההפעלה שבה נעשה שימוש.
   2. פתח מסוף או שורת פקודה. צור סביבת Conda חדשה בשם img_seg_env עם Python 3.10 על ידי הקלדה:
      conda create -n img_seg_env python=3.10
   3. הפעל את סביבת Conda על ידי הקלדה:
      קונדה הפעל img_seg_env
      או הפעל את img_seg_env עבור Windows
3. התקן את יחסי התלות הנדרשים באמצעות requirements.txt. הקפד להיות בספריית השורש של ארגז הכלים. התקן את חבילות Python הנדרשות באמצעות pip על ידי הקלדה:
   pip install -r requirements.txt
   הערה: פקודה זו קוראת את קובץ requirements.txt ומתקינה את כל החבילות הדרושות
   1. ודא שחבילות כגון numpy, scipy, matplotlib, tensorflow ו-jupyter מותקנות. ודא התקנה מוצלחת ורשום את החבילות המותקנות על-ידי הקלדה:
      רשימת פיפס
4. השקת Jupyter Notebook
   1. בעודך בסביבת Conda המופעלת, הפעל את Jupyter Notebook על ידי הקלדה:
      מחברת Jupyter
   2. אם JupyterLab עדיף, המציע ממשק משופר, הפעל:
      מעבדת ג'ופיטר
   3. גישה לממשק Jupyter : המתן עד שדפדפן אינטרנט ייפתח אוטומטית, ויציג את ממשק Jupyter . אם הוא לא נפתח אוטומטית, קח את כתובת האתר שסופקה בטרמינל (למשל, http://localhost:8888/tree) ופתח אותה באופן ידני ב- web דפדפן.
   4. בממשק Jupyter , נווט אל הספרייה המכילה את מחברות Jupyter שסופקו עם ארגז הכלים (למשל, /path/to/3DMicroscopyImageSegmentation-main/).

2. הכנת נתונים (איור 1A)

1. יצירת נתוני תמונה של מבנים צינוריים
   1. השג את תמונות המיקרוסקופיה התלת מימדית
      1. הורד את תמונות התלת מימד הזמינות לציבור של רקמת כבד עכבר מ: https://zenodo.org/records/14029574 מערך הנתונים כולל תמונות קונפוקליות תלת מימדיות של תעלות מרה (BC) ורשתות סינוסואידיות שנחתכו מהתמונות המקוריות^מ-9. לחלופין, השתמש בקבוצה של תמונות שנוצרו.
   2. השג את ה-PSF התלת-ממדי
      1. הורד תמונה של פונקציית התפשטות נקודה אמיתית (PSF) מ-https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation/blob/main/data/raw/PSF.tif לחלופין, צור PSF תיאורטי באמצעות DeconvolutionLab2²³ עם הפרמטרים של המיקרוסקופ.
   3. השתמש בשיטת הפילוח הבאה כדי ליצור מסכות בינאריות של המבנים הצינוריים:
      1. פילוח חצי אוטומטי באמצעות MorpholibJ בפיג'י
         1. פתח את פיג'י. טען את תמונת המיקרוסקופיה.
         2. עבור לתפריט תהליך | בינארי | MakeBinary, בחר Otsu כשיטה ולחץ על OK.
         3. פתח את התוסף MorpholibJ ונווט אל תוספים | מניית MorpholibJ | סינון | מסננים מורפולוגיים (תלת מימד).
         4. בחר את פעולת הסגירה, הגדר את צורת האלמנט לכדור (מתאים ביותר למבנים צינוריים), ובחר רדיוס מתאים בווקסלים. לחץ על הצג רכיב כדי להציג באופן חזותי את רכיב המבנה. עבור מבנים צינוריים, נסה ערכים בין 3 ל- 8 פיקסלים.
            הערה: רדיוס גדול יותר עשוי להציג חפצים.
         5. שמור את התוצאה כ-'image_closing.tif' על ידי לחיצה על קובץ | שמירה בשם... | טיף....
            הערה: ודא שכל מסיכה שנוצרה תואמת לקובץ התמונה המקורי הנכון, עם שמות קבצים תואמים. דוגמאות למסכות מחושבות מראש ניתן להוריד מ: https://doi.org/10.5281/zenodo.14029574
   4. אצור את המסכות באופן ידני.
      1. הורד והתקן את Labkit²⁴ על ידי ביצוע ההוראות בכתובת: https://github.com/juglab/labkit-ui. פתח כל מסכה מקדימה והשתמש בכלי הציור והמחיקה כדי לתקן ידנית שגיאות פילוח על ידי הוספה או הסרה של אזורים כדי לתחום במדויק את המבנים הצינוריים. שמרו את המסיכה שנאספה, תוך שמירה על שם קובץ זהה לזה של התמונה המקורית.
      2. שימוש ב- Napari²⁵
         1. פתח שורת פקודה והפעל את סביבת Napari (אם עדיין לא פעילה):
            קונדה הפעל napari_env
         2. הפעל את napari:
            נפארי
         3. גרור ושחרר גם את תמונת המיקרוסקופיה וגם את המסכה הבינארית המתאימה לה לתוך נאפארי.
         4. המר את המסיכה הבינארית לשכבת תווית על-ידי לחיצה ימנית על שם שכבת המסיכה ובחר המר לתוויות.
         5. הגדר את רוחב קווי המתאר ל-1 והתחל באוצרות. למילוי חורים, השתמשו בכלי בחירה לבחירת ערך המסיכה. הפעילו את הכלי Fill Bucket ולחצו בתוך החור.
            הערה: אם התמונה כולה מלאה, סביר להניח שיש פער במבנה. השתמש במברשת הצבע כדי לסגור את הגבול לפני שתנסה שוב את הכלי דלי מילוי .
         6. לאחר השלמת האוצרות, שמור את המסיכה המתוקנת על-ידי ניווט אל קובץ | שמירת שכבות שנבחרו | טיף. פתח את המסכה המתוקנת בפיג'י והמר אותה לפורמט 8 סיביות על ידי לחיצה על תמונה | סוג | 8 סיביות. שמור את התמונה הסופית של 8 סיביות.
2. ארגון מערך הנתונים
   1. צור את מבנה ספריית מערך הנתונים.
      1. בחר ספרייה שבה יאוחסן מערך הנתונים (למשל, /path/to/your/dataset). צור את מבנה התיקיות הבא:
         מערך נתונים/
         ├── training_data/
         │ ├── תמונות/
         │ │ ├── img1.tif
         │ │ ├── img2.tif
         │   │   └── ...
         │ └── מסכות/
         │ ├── img1.tif
         │ ├── img2.tif
         │       └── ...
         └── test_data/
         ├── תמונות/
         │ ├── imgtest1.tif
         │ ├── imgtest2.tif
         │   └── ...
         └── מסכות/
         ├── imgtest1.tif
         ├── imgtest2.tif
         └── ...
   2. ארגן את התמונות והמסכות.
      1. נתוני אימון
         1. מקם את תמונות המיקרוסקופיה התלת מימדיות המיועדות לאימון במערך נתונים/training_data/תמונות/. ודא ששמות הקבצים עקביים (לדוגמה, img1.tif, img2.tif).
         2. מקם את המסכות הבינאריות המתאימות שנאספו לתוך מערך נתונים/training_data/masks/, וודא ששמות הקבצים תואמים לאלה שבתיקיית התמונות (למשל, img1.tif, img2.tif).
      2. נתוני בדיקה
         1. מקם את תמונות המיקרוסקופיה התלת-ממדיות המיועדות לבדיקה במערך נתונים/test_data/תמונות/. השתמש בשמות קבצים עקביים שאינם חופפים לנתוני האימון.
         2. מקם את המסכות הבינאריות המתאימות שנאספו לתוך מערך נתונים/test_data/masks/. ודא ששמות הקבצים תואמים לשמות הקבצים בתיקיית תמונות הבדיקה.

3. הפעלת הצינור המלא (איור 1B-E)

1. פתח את מחברת Jupyter.
   1. הפעל את סביבת Conda img_seg_env על ידי הקלדה:
      קונדה הפעל img_seg_env
   2. נווט לתיקיית השורש של הפרויקט:
      cd /path/to/ImageSegmentationcode/
   3. הפעל את ממשק Jupyter על ידי הקלדת Jupyter lab או Jupyter notebook.
   4. בדפדפן האינטרנט, פתח את המחברת בשם process_images.ipynb.
2. הגדרת הסביבה
   1. ייבא ספריות והגדר גישה ל-GPU.
      הערה: בתא המחברת הראשון והשני, ספריות מיובאות ו-TensorFlow מוגדר להשתמש ב-GPU עם צמיחת זיכרון מופעלת. זה מבטיח ש-TensorFlow לא מקצה את כל זיכרון ה-GPU בבת אחת ותואם למספר משימות. אל תשנה את התוכן בתא. הפעל את התאים על ידי לחיצה על כפתור ההפעלה .
3. קביעת תצורה של פרמטרי קלט
   1. אתר את תא תצורת הקלט ושנה בהתאם למערך הנתונים:
      source_dir = '/נתיב/אל/נתונים/BC/'
      psf_path = '/נתיב/אל/PSF.tif'
      code_dir = '/נתיב/אל/קוד/'
      out_dir = '/נתיב/אל/פלט/'
      out_name = 'לפני הספירה'
   2. בצע את תא 3 על ידי לחיצה על כפתור ההפעלה .
   3. אל תשנה את התוכן בתא. הפעל את התא על ידי לחיצה על כפתור ההפעלה בתא 4.
4. יצירת תיקונים
   1. הפעל את התא צור מערכי נתונים כדי ליצור תיקוני הדרכה ובדיקה. אל תשנה את התוכן בתאים. הפעל את התאים על ידי לחיצה על כפתור ההפעלה .
5. אימון מודלים
   1. הפעל את תא המודלים של הרכבת כדי לאמן את UNet3D עם שלוש הגדרות הגדלה: NONE, STANDARD ומבוסס סימולציה.
   2. החלף את 'UNet3D' ב-'UNet3D', 'AttentionUNet3D' כדי לאמן את UNet3D בתשומת לב. שנה את הגדרות האימון config.py במידת הצורך (ראה שלב 3.9).
6. יצירת תחזיות
   1. הפעל את התא צור תחזיות כדי לייצר מסכות פילוח על נתוני הבדיקה. אל תשנה את התוכן בתאים. הפעל את התאים על ידי לחיצה על כפתור ההפעלה .
7. הערכה ויצירת מגרשים
   1. הפעל את התא צור עלילות כדי ליצור תרשימים של מדדי הערכה.
8. סקירה ופירוש של תוצאות
   1. בדוק את הפלטים בנתיבים שהוגדרו על-ידי out_images_path ו- out_plots_path.
   2. בחן תרשימי קופסה המשווים מודלים ואסטרטגיות הגדלה במדדים ברמת התיקון ותמונה מלאה.
9. התאמה אישית באמצעות config.py
   1. שנה את הפרמטרים העיקריים הבאים ב- config.py כדי להתאים אישית את קו הצינור:
      PATCH_SIZE = (64, 64, 64)
      PATCH_STEP = 64
      LEARNING_RATE = 1e-4
      BATCH_SIZE = 1
      NUM_EPOCHS = 50
      VALIDATION_SPLIT = 0.2
      EARLY_STOPPING_PATIENCE = 10
      AVAILABLE_MODELS = ["UNet3D", "AttentionUNet3D"]
      INTENSITY_PARAMS = { "background_level": 0.1, "local_variation_scale": 5, "z_decay_rate": 0.999, "noise_std": 0.1, "poisson_scale": 1.0, "intensity_scale": 1000.0, "snr_targets": [15, 10, 5, 4, 3, 2, 1]}
10. פתרון בעיות
    1. עבור שגיאות של חוסר זיכרון, צמצם BATCH_SIZE או PATCH_SIZE ב-config.py.
    2. עבור בעיות GPU, ודא שיש מספיק זיכרון זמין, או הקטן את גודל האצווה.
11. אישור סופי
    1. לאחר השלמת קו הצינור, חפש את ההודעה המודפסת הבאה:
       כל החישובים הסתיימו בהצלחה
    2. אנו ממליצים בחום להפעיל את TensorFlow במערכת לינוקס או Windows המצוידת ב-NVIDIA GPU התומך ב-CUDA. אם יש לך בעיות בהתקנת tensorflow עם CUDA, עקוב אחר תהליך ההתקנה הרשמי: https://www.tensorflow.org/install/pip

Results

רכישת נתונים
כדי לאמת את ארגז הכלים שלנו, ניתחנו שתי רשתות צינוריות נפרדות ברקמת כבד של עכברים בוגרים: תעלות מרה (BC) ורשתות סינוסואידיות. עבור כל מבנה, תמונת מיקרוסקופיה תלת מימדית אחת מבעל חיים בודד שימשה לאימון, בעוד ששתי תמונות עצמאיות מבעלי חיים שונים שימשו אך ורק לבדיקה. כל תמונות הכבד נרכשו ברזולוציית ווקסל איזוטרופית של 0.3 מיקרומטר/ווקסל, מה שמבטיח דגימה עקבית על פני שלושת הממדים המרחביים. מערך הנתונים, שפורסם במקור ב-Morales-Navarrete et ^al.9, נאצר באמצעות Labkit²⁵, ומספק מסכות בינאריות באיכות גבוהה של המבנים הצינוריים המשמשים כאמת קרקעית ללמידה מפוקחת. עבור הרשת הסינוסואידית, יצרנו שני סוגים של מסכות בינאריות: אחת מתארת את גבולות הצינור (ייצוג חלול) ואחרת לוכדת את נפח הצינורית המלא, מה שמאפשר אסטרטגיות אימון שונות בהתאם ליישום.

בנוסף, הערכנו את ארגז הכלים שלנו על מערך נתונים חיצוני של כלי דם במוח שלם משרירי Mus בוגרים, שסופק כחלק מאתגר SELMA3D 2024. מערך נתונים זה מורכב מתמונות מיקרוסקופיה תלת מימדיות של גיליון אור שנרכשו בתנאי דיור סטנדרטיים (12 שעות אור / 12 שעות חושך למשך 3 חודשים) והוא זמין באמצעות תמונות BioStudies (S-BIAD1197)²⁶. חמש תמונות מוח שימשו לאימון ותשע עשרה לבדיקה. הערימות האנזוטרופיות המקוריות נדגמו מחדש לממדי ווקסל איזוטרופיים באמצעות אינטרפולציה ליניארית בפיג'י כדי להבטיח תאימות לצינור הניתוח שלנו.

עיבוד מקדים
כדי לטפל במספר המוגבל של תמונות תלת מימד מקוריות, יישמנו טכניקות הגדלת נתונים שהציגו חפצי הדמיה מציאותיים ודימו יחסי אות לרעש משתנים הנעים בין 15 ל-1. גישה זו הייתה קריטית לשיפור יכולת ההכללה והחוסן של המודלים.

תמונת הבדיקה חולקה לטלאים לא חופפים של 64 x 64 x 64 x 64 voxels כדי להעריך את ביצועי המודל ברמה האזורית ולהעריך חוסן בהקשרים מרחביים שונים באותו נפח תלת מימד.

ארכיטקטורת מודל
יישמנו והשווינו שתי ארכיטקטורות רשת עצבית קונבולוציוניות המותאמות לפילוח תלת מימד:

U-Net¹⁷ תלת-ממדי סטנדרטי, המורכב מבלוקים סימטריים של מקודד-מפענח עם איגום מקסימלי של 2×2×2, שכבות קונבולוציוניות עם הפעלות ReLU וקונבולוציה סופית של 1 x 1 x 1 ואחריה פונקציית סיגמואיד לסיווג בינארי.

Attention U-Net²⁷, המשלב מנגנון קשב המדגיש באופן דינמי מאפיינים בולטים ומדכא רקע לא רלוונטי, ומשפר את הפילוח של מבנים מורכבים ומשתנים כגון רשתות צינוריות בכבד.

פרוטוקול הדרכה
שתי הארכיטקטורות הוכשרו באמצעות ספריות TensorFlow ו-Keras באשכול מחשוב בעל ביצועים גבוהים המצויד ב-32 ליבות מעבד, 128 GB RAM ושני NVIDIA A100 SXM4 40 GB GPUs. ה-Attention U-Net דרש יותר זמן הדרכה בשל המורכבות הארכיטקטונית שלו, במיוחד בעת שימוש במערכי הנתונים המוגברים (ראה טבלה 1).

מדדי הערכה
ביצועי המודל הוערכו כמותית בתמונות המבחן המוחזקות באמצעות מדדי פילוח סטנדרטיים: מקדם קוביות, הצטלבות מעל איחוד (IoU), ציון F1, דמיון נפח ורגישות וספציפיות.

התוצאות עבור BC, מבנים סינוסואידיים וכלי דם מסוכמות באיור 2, איור 3, איור 4 ואיור 5. בנוסף, טבלה 2 מציגה השוואת ביצועים עם שיטות קלאסיות מבוססות לסגמנטציה צינורית, כולל אוטסו וסף אדפטיבי. המודלים שלנו, במיוחד ה-Attention U-Net שהוכשרו על נתונים רבודים, עלו באופן עקבי על השיטות המסורתיות הללו בכל המדדים.

ניתוח סטטיסטי וחוסן
ניתוח התמונות השלמות כמו גם טלאי הווקסל בגודל 64 x 64 x 64 (טבלה 3) בערכת הבדיקה איפשר לנו גם לכמת את השונות המרחבית בתחזיות המודל בין אזורים. כל הדגמים הפגינו דיוק גבוה, כאשר ה-Attention U-Net הראה ביצועים גבוהים יותר באופן עקבי, במיוחד בציון F1 ומקדם הקוביות. תוצאות איכותניות, המוצגות באיור 2A,B, איור 3A,B, איור 4A,B, איור 5A,B, כמו גם וידאו 1, וידאו 2, וידאו 3 ווידאו 4, תומכות בממצאים אלה, וממחישות תיחום מדויק של מבנים צינוריים ברוב האזורים של נתוני הבדיקה.

הסבר על חריגות במדדי ביצועים
הערכים הנמוכים יותר של עלילות הקופסה לניתוח התיקונים (איור משלים S1, איור משלים S2, איור משלים S3, איור משלים S4 ואיור משלים S5), מצביעים על נוכחות של חריגים בביצועים בתת-קבוצה של מדבקות בדיקה. כמו כן, ניתן לייחס את הפילוח הלא אופטימלי במסגרות הסופיות של הסרטונים לשני גורמים מרכזיים:

השפעות גבול: ביצועי הפילוח יורדים לעתים קרובות בגבולות התמונה שבהם מבנים חלקיים אינם מיוצגים או נלכדים באופן חלקי, מה שמוביל לאי ודאות גדולה יותר ולסיווג שגוי פוטנציאלי.

ירידה באיכות התמונה במישורי z עמוקים יותר: למרות גודל הווקסל האיזוטרופי, גורמים ביולוגיים וטכניים כגון הנחתת אותות, פיזור אור וניגודיות מופחתת בכיוון z מובילים לאיכות תמונה מופחתת לכיוון תחתית הנפח. השפלה זו מסבכת את תיחום הגבולות המדויק ותורמת לחוסר עקביות בסגמנטציה.

גורמים אלה הם אתגרים אינהרנטיים בהדמיה ביולוגית תלת מימדית והם משפיעים במיוחד באזורים מרוחקים ממישור ההדמיה או המכילים גבולות מבנה מעורפלים.

לסיכום, התוצאות שלנו מדגימות כי מודלים של פילוח מבוססי למידה עמוקה, במיוחד Attention U-Net שהוכשרו עם נתונים רבודים, מציעים תיחום חזק ומדויק של מבנים צינוריים מורכבים בתמונות מיקרוסקופיה תלת מימדיות של הכבד. על ידי מינוף מערכי נתונים שנאספו, אסטרטגיות הגדלה מציאותיות ומנגנוני קשב, המודלים השיגו ביצועים מעולים בהשוואה לשיטות קלאסיות כגון סף. ההערכה האזורית באמצעות טלאי ווקסל של 64³ אישרה את העקביות ויכולת ההכללה של הגישה על פני אזורי תמונה שונים ומורכבויות מבניות. בעוד שמגבלות מסוימות נמשכות - בעיקר עקב השפעות גבול וירידה בתמונה במישור z - המחקר שלנו מדגיש את היעילות של ארכיטקטורות מבוססות קשב ומספק פתרון קוד פתוח מאומת לפילוח צינורי תלת מימד ברמת דיוק גבוהה בהדמיה ביו-רפואית.

איור 1: זרימת עבודה עבור פילוח תלת-ממדי של מבנים צינוריים בתמונות מיקרוסקופיה פלואורסצנטית באמצעות מודלים U-Net ו-Attention U-Net. (A) הכנת נתונים: חתכים דו-ממדיים סכמטיים של תמונות מיקרוסקופיה פלואורסצנטית תלת מימדית של רקמת כבד עכבר, המציגים את התמונות המקוריות והמסכות הבינאריות המתאימות. (B) הגדלת נתונים: הגדלה מבוססת סימולציה של הנתונים המוכנים, יצירת תמונות עם יחסי אות לרעש משתנים (למשל, SNR = 15 ו- SNR = 1). (C) אימון מודל: אימון מבוסס תיקון של מודלים U-Net ו-Attention U-Net תוך שימוש בנתונים מקוריים ורבודים כאחד. טלאי תמונה ומסכה בגודל 64 x 64 x 64 נוצרים לאימון. (ד) הערכת מודל: מדדי ביצועים כמותיים, כולל זיכרון וציון F1, מחושבים עבור כל מודל כדי להעריך את דיוק הפילוח במערכי נתוני הבדיקה. (ה) הסקת מודל: יישום המודל המאומן על תמונות בלתי נראות ליצירת מסכות פילוח חזויות. קיצור: SNR = יחס אות לרעש. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

איור 2: הערכה של מודלים של U-Net ו-Attention U-Net לפילוח של רשת תעלת המרה מתמונות מיקרוסקופיה פלואורסצנטית תלת מימדית של רקמת כבד של עכבר. (A) קטעים דו-ממדיים מייצגים (החלק האמצעי) של תמונות מיקרוסקופיה פלואורסצנטית תלת-ממדית, המציגים את התמונה המקורית ואת מסכת האמת הקרקעית המתאימה ל-BC ברקמת כבד של עכבר. התמונות בפינה הימנית העליונה מספקות תצוגה מוגדלת של הכניסות המודגשות בכל מקטע. (B) מסכות סגמנטציה חזויות שנוצרו על ידי U-Net, Attention U-Net והגרסאות המורחבות שלהן. השורה העליונה מדגישה תוצאות חיוביות אמיתיות (מבנים מפולחים כהלכה), התחתונה מציגה תוצאות חיוביות שגויות (מבנים שזוהו באופן שגוי) ושליליות שגויות (מבנים שהוחמצו) עבור כל מודל. (ג) מדדי הערכה כמותיים עבור כל מודל, כולל דיוק, ציון F1, דיוק, זיכרון, דמיון נפח ומקדם קוביות. ההערכה בוצעה במדבקות שחולצו מהתמונה התלת מימדית. פסי שגיאה מציינים סטיות תקן על פני תמונות בדיקה. סרגל קנה מידה: 60 מיקרומטר; סרגל קנה מידה משובץ: 30 מיקרומטר. קיצור: BC = תעלות מרה. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

איור 3: הערכה של מודלים של U-Net ו-Attention U-Net לפילוח של הרשת הסינוסואידית מתמונות מיקרוסקופיה פלואורסצנטית תלת מימדית של רקמת כבד של עכבר. (A) חלקים דו-ממדיים מייצגים (חלק אמצעי) של תמונות מיקרוסקופיה פלואורסצנטית תלת-ממדית, המציגים את התמונה המקורית ואת מסכת האמת הקרקעית המתאימה לסינוסואידים ברקמת כבד של עכבר. התמונות בפינה הימנית העליונה מספקות תצוגה מוגדלת של הכניסות המודגשות בכל מקטע. (B) מסכות סגמנטציה חזויות שנוצרו על ידי U-Net, Attention U-Net והגרסאות המורחבות שלהן. השורה העליונה מדגישה תוצאות חיוביות אמיתיות (מבנים מפולחים כהלכה), התחתונה מציגה תוצאות חיוביות שגויות (מבנים שזוהו באופן שגוי) ושליליות שגויות (מבנים שהוחמצו) עבור כל מודל. (ג) מדדי הערכה כמותיים עבור כל מודל, כולל דיוק, ציון F1, דיוק, זיכרון, דמיון נפח ומקדם קוביות. ההערכה בוצעה במדבקות שחולצו מהתמונה התלת מימדית. פסי שגיאה מציינים סטיות תקן על פני תמונות בדיקה. סרגל קנה מידה: 60 מיקרומטר; סרגל קנה מידה משובץ: 30 מיקרומטר. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

איור 4: הערכה של מודלים של U-Net ו-Attention U-Net לפילוח של הרשת הסינוסואידית מתמונות מיקרוסקופיה פלואורסצנטית תלת מימדית של רקמת כבד עכבר, בהתחשב במסכה כצינורות מלאים. (A) חלקים אמצעיים דו-ממדיים מייצגים של תמונות מיקרוסקופיה פלואורסצנטית תלת-ממדית, שמציגים את התמונה המקורית ואת מסכת האמת הקרקעית המתאימה לסינוסואידים ברקמת כבד של עכבר. התמונות בפינה הימנית העליונה מספקות תצוגה מוגדלת של הכניסות המודגשות בכל מקטע. (B) מסכות סגמנטציה חזויות שנוצרו על ידי U-Net, Attention U-Net והגרסאות המורחבות שלהן. בעוד שהשורה העליונה מדגישה חיוביים אמיתיים (מבנים מפולחים כהלכה), התחתונה מציגה תוצאות חיוביות שגויות (מבנים שזוהו באופן שגוי) ושליליות שגויות (מבנים שהוחמצו) עבור כל מודל. (ג) מדדי הערכה כמותיים עבור כל מודל, כולל דיוק, ציון F1, דיוק, זיכרון, דמיון נפח ומקדם קוביות. ההערכה בוצעה במדבקות שחולצו מהתמונה התלת מימדית. פסי שגיאה מציינים סטיות תקן על פני תמונות בדיקה. סרגל קנה מידה: 60 מיקרומטר; סרגל קנה מידה משובץ: 30 מיקרומטר. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

איור 5: הערכה של מודלים של U-Net ו-Attention U-Net לפילוח של רשת כלי הדם במוח העכבר מתמונות מיקרוסקופיה תלת מימדיות של גיליון אור באמצעות מסכות צינור מלאות. (A) חלקים אמצעיים דו-ממדיים מייצגים שחולצו מתמונות מיקרוסקופ תלת-ממדיות של מוח עכבר, שמראים את התמונה המקורית ואת מסכת האמת הקרקעית המתאימה לכלי הדם. תצוגות מוגדלות של כניסות נבחרות מוצגות בפינה הימנית העליונה של כל חלונית. מסכות פילוח חזויות שנוצרו על ידי U-Net, Attention U-Net והגרסאות המורחבות שלהן. השורה העליונה מדגישה תוצאות חיוביות אמיתיות (מבני כלי שיט מפולחים כהלכה), בעוד שהשורה התחתונה מדגימה תוצאות חיוביות שגויות (אזורים מפולחים באופן שגוי) ושליליות שגויות (מבני כלי שיט שהוחמצו) עבור כל דגם. (ג) הערכה כמותית של ביצועי המודל באמצעות מדדים הכוללים דיוק, ציון F1, דיוק, זיכרון, דמיון נפח ומקדם קוביות. ההערכות בוצעו על טלאים תלת מימדיים שחולצו מכרכי הבדיקה. קווי שגיאה מייצגים סטיות תקן על פני 19 תמונות הבדיקה. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

סרטון 1: אנימציית Z-Stack של מסיכות חזויות עבור רשת BC. הסרטון מציג רצף מונפש דרך מחסנית ה-z של מסכות פילוח חזויות עבור תעלות מרה ברקמת כבד עכבר, שנוצרו על ידי U-Net, Attention U-Net והגרסאות המוגדלות שלהן. כל מקטע דו-ממדי מדגיש תוצאות חיוביות אמיתיות (לבן), תוצאות חיוביות מוטעות (ירוק) ושליליות מוטעות (מגנטה) עבור כל מודל, תוך מעבר לאורך כל הערימה. קיצור: BC = תעלות מרה. אנא לחץ כאן להורדת סרטון זה.

סרטון 2: אנימציית Z-Stack של מסכות חזויות עבור הרשת הסינוסואידית. הסרטון מציג רצף מונפש דרך מחסנית ה-z של מסכות פילוח חזויות לסינוסואידים ברקמת הכבד של העכבר, שנוצרו על ידי U-Net, Attention U-Net והגרסאות המוגדלות שלהם. כל מקטע דו-ממדי מדגיש תוצאות חיוביות אמיתיות (לבן), תוצאות חיוביות מוטעות (ירוק) ושליליות מוטעות (מגנטה) עבור כל מודל, תוך מעבר לאורך כל הערימה. אנא לחץ כאן להורדת סרטון זה.

סרטון 3: אנימציית Z-Stack של מסכות חזויות עבור הרשת הסינוסואידית כצינורות מלאים. הסרטון מציג רצף מונפש דרך מחסנית ה-z של מסכות סגמנטציה חזויות עבור הרשת הסינוסואידית כצינורות מלאים ברקמת כבד של עכבר, שנוצרו על ידי U-Net, Attention U-Net והגרסאות המוגדלות שלהם. כל מקטע דו-ממדי מדגיש תוצאות חיוביות אמיתיות (לבן), תוצאות חיוביות מוטעות (ירוק) ושליליות מוטעות (מגנטה) עבור כל מודל, תוך מעבר לאורך כל הערימה. אנא לחץ כאן להורדת סרטון זה.

סרטון 4: אנימציית Z-Stack של מסכות חזויות לכלי המוח. הסרטון מציג רצף מונפש דרך מחסנית ה-z של מסכות סגמנטציה חזויות לכלי שיט, שנוצרו על ידי U-Net, Attention U-Net והגרסאות המוגדלות שלהן. כל מקטע דו-ממדי מדגיש תוצאות חיוביות אמיתיות (לבן), תוצאות חיוביות מוטעות (ירוק) ושליליות מוטעות (מגנטה) עבור כל מודל, תוך מעבר לאורך כל הערימה. אנא לחץ כאן להורדת סרטון זה.

טבלה 1: זמן אימון עבור מודלים תלת מימדיים של U-Net ו-Attention U-Net על מערכי נתונים של תעלות מרה וסינוסואידים עם ובלי הגדלת נתונים. זמן אימון למודלים תלת-ממדיים של U-Net ו-Attention U-Net 3D על מערכי נתונים של תעלות מרה וסינוסואידים עם ובלי הגדלת נתונים. הטבלה מפרטת את מספר התיקונים עבור כל ערכת נתונים ואת זמן האימון המתאים בדקות. הגדלת נתונים מגדילה את מספר התיקונים מ-1353 ל-10824, מה שמוביל לעלייה משמעותית בזמן האימון. מודל Attention U-Net דורש באופן עקבי יותר זמן אימון ממודל U-Net, במיוחד עם מערכי נתונים רבודים, בשל המורכבות הנוספת שלו בהתמקדות בתכונות רלוונטיות בתוך הנתונים. קיצור: BC = תעלות מרה. אנא לחץ כאן להורדת טבלה זו.

טבלה 2: הערכה כמותית של מודלים תלת-ממדיים של U-Net ו-Attention U-Net 3D על פני ארבעה מערכי נתונים באמצעות פילוח תמונה שלמה. טבלה זו מדווחת על הביצועים של כל מודל כמו גם שיטות קלאסיות כמו אוטסו וסף אדפטיבי, על ארבעה מערכי נתונים שונים: תעלות מרה, רשתות סינוסואידיות (ייצוגים חלולים וממולאות), וכלי דם של כל המוח, תוך שימוש בתמונות תלת מימד שלמות להערכה. עבור כל שילוב של מודל ומערך נתונים, מופיע מספר תמונות הבדיקה, יחד עם מדדי ביצועים: דיוק, דיוק, זיכרון (רגישות), ספציפיות, ציון F1, מקדם קוביות, IoU ודמיון נפח. מדדים אלה מספקים הערכה מקיפה של איכות הפילוח הן מבחינת נכונות ווקסל והן מבחינת התאמה נפחית בין תחזיות לאמת הקרקע. קיצורים: BC = תעלות מרה; IoU = הצטלבות מעל האיחוד. אנא לחץ כאן להורדת טבלה זו.

טבלה 3: הערכה כמותית של מודלים תלת-ממדיים של U-Net ו-Attention U-Net 3D על פני ארבעה מערכי נתונים באמצעות תיקונים בגודל 64 x 64 x 64 . טבלה זו מסכמת את הביצועים של מודלים תלת-ממדיים של U-Net ו-Attention U-Net 3D על ארבעה מערכי נתונים - תעלות מרה, רשתות סינוסואידיות (מסכות חלולות וממולאות), וכלי דם של המוח כולו - בהתבסס על הערכה בתיקוני תמונה תלת מימדיים בגודל 64×64×64 ווקסלים. עבור כל שילוב של מודל-מערך נתונים, מספר תיקוני הבדיקה מופיע לצד מדדי ביצועים מרכזיים: דיוק, דיוק, זיכרון (רגישות), ספציפיות, ציון F1, מקדם קוביות, הצטלבות מעל איחוד ודמיון נפח. מדדים אלה ברמת התיקון מציעים תובנה מקומית לגבי ביצועי המודל והם שימושיים במיוחד לזיהוי דיוק פילוח הטרוגני מרחבית על פני נפחים. קיצורים: BC = תעלות מרה; IoU = הצטלבות מעל האיחוד. אנא לחץ כאן להורדת טבלה זו.

איור משלים S1: ביצועי פילוח ברמת התיקון של מודלים תלת-ממדיים של U-Net ו-Attention U-Net לפילוח תעלות מרה. גרפים ממחישים את הביצועים הכמותיים של מודלים תלת-ממדיים U-Net ו-Attention U-Net על מערכי נתונים של תעלות מרה, המוערכים באמצעות טלאי תמונה תלת מימדיים בגודל 64 x 64 x 64 ווקסלים. המדדים המוצגים כוללים דיוק, דיוק, זיכרון (רגישות), ספציפיות, ציון F1, מקדם קוביות, הצטלבות מעל איחוד ודמיון נפח. התוצאות משקפות שונות בין מדבקות, מציעות תובנה מקומית לגבי ביצועי המודל ומדגישות הטרוגניות מרחבית בתוך נפחי רקמת כבד תלת מימדיים. קיצורים: BC = תעלות מרה; IoU = הצטלבות מעל האיחוד. אנא לחץ כאן להורדת קובץ זה.

איור משלים S2: ביצועי פילוח ברמת התיקון של מודלים תלת מימדיים U-Net ו-Attention U-Net לפילוח סינוסואידים. גרפים ממחישים את הביצועים הכמותיים של המודלים התלת-ממדיים U-Net ו-Attention U-Net על מערכי נתונים סינוסואידים, המוערכים באמצעות טלאי תמונה תלת מימדיים בגודל 64 x 64 x 64 ווקסלים. המדדים המוצגים כוללים דיוק, דיוק, זיכרון (רגישות), ספציפיות, ציון F1, מקדם קוביות, הצטלבות מעל איחוד ודמיון נפח. התוצאות משקפות שונות בין מדבקות, מציעות תובנה מקומית לגבי ביצועי המודל ומדגישות הטרוגניות מרחבית בתוך נפחי רקמת כבד תלת מימדיים. קיצור: IoU = הצטלבות מעל איחוד. אנא לחץ כאן להורדת קובץ זה.

איור משלים S3: ביצועי פילוח ברמת התיקון של דגמי U-Net תלת מימדיים ו-Attention U-Net עבור סינוסואידים כפילוח צינורות מלאים. גרפים ממחישים את הביצועים הכמותיים של דגמי 3D U-Net ו-Attention U-Net על סינוסואידים כמערכי נתונים של צינורות מלאים, המוערכים באמצעות טלאי תמונה תלת מימדיים בגודל 64 x 64 x 64 ווקסלים. המדדים המוצגים כוללים דיוק, דיוק, זיכרון (רגישות), ספציפיות, ציון F1, מקדם קוביות, הצטלבות מעל איחוד ודמיון נפח. התוצאות משקפות שונות בין מדבקות, מציעות תובנה מקומית לגבי ביצועי המודל ומדגישות הטרוגניות מרחבית בתוך נפחי רקמת כבד תלת מימדיים. קיצור: IoU = הצטלבות מעל איחוד. אנא לחץ כאן להורדת קובץ זה.

איור משלים S4: ביצועי פילוח ברמת התיקון של מודלים תלת-ממדיים של U-Net ו-Attention U-Net עבור כלי דם במוח מתמונות מיקרוסקופיה של גיליון אור. גרפים ממחישים את הביצועים הכמותיים של המודלים התלת-ממדיים U-Net ו-Attention U-Net על מערכי נתונים של כלי דם במוח שלם, המוערכים באמצעות טלאי תמונה תלת מימדיים בגודל 64 x 64 x 64 ווקסלים. המדדים המוצגים כוללים דיוק, דיוק, זיכרון (רגישות), ספציפיות, ציון F1, מקדם קוביות, הצטלבות מעל איחוד ודמיון נפח. התוצאות משקפות שונות בין מדבקות, מציעות תובנה מקומית לגבי ביצועי המודל ומדגישות הטרוגניות מרחבית בתוך נפחי רקמת כבד תלת מימדיים. קיצור: IoU = הצטלבות מעל איחוד. אנא לחץ כאן להורדת קובץ זה.

איור משלים S5: שכבת-על של תוצאות פילוח על תמונות מיקרוסקופיה פלואורסצנטיות תלת מימדיות מקוריות של תעלות מרה. פרוסות תמונה מייצגות ממערכי נתונים של מיקרוסקופיה פלואורסצנטית תלת מימדית של תעלות מרה בכבד עכבר מוצגות עם מסכות פילוח באדום. מסכות חזויות מדגמי 3D U-Net ו-Attention U-Net מונחות על גבי תמונות המיקרוסקופיה המקוריות בגווני אפור כדי להעריך חזותית את דיוק הפילוח. עשר תמונות לדוגמה מוצגות כדי להמחיש את יכולתם של המודלים ללכוד מאפיינים מורפולוגיים מגוונים ולטפל בשונות האותות על פני אזורי רקמה שונים. אנא לחץ כאן להורדת קובץ זה.

Discussion

פרוטוקול זה מציע גישה פשוטה אך עוצמתית ונגישה לפילוח מבוסס למידה עמוקה של מבנים צינוריים בתמונות מיקרוסקופיה פלואורסצנטיות תלת מימדיות, המגשר על הפער בין מורכבות טכנית לשימושיות בניתוח ביו-דימוי. על ידי שילוב הגדלת נתונים מבוססת סימולציה, מחברות Jupyter אינטראקטיביות וארכיטקטורות U-Net יעילות, אנו מספקים כלי קוד פתוח המסוגל לבצע פילוח ברמת דיוק גבוהה על מבני רקמה מורכבים, כגון תעלות מרה ורשתות סינוסואידיות. ארגז כלים זה מתמודד עם אתגרים מרכזיים במשימות פילוח תלת מימדיות, במיוחד בטיפול במחסור בנתונים ובשונות בתנאי הדמיה, מה שהופך אותו לתוספת רב-תכליתית לנוף ניתוח התמונות הביולוגיות.

מרכיב מכריע בפרוטוקול שלנו הוא הגדלת נתונים מבוססת סימולציה, המשפרת את ביצועי המודל גם עם מספר מוגבל של תמונות מבוארות - מגבלה נפוצה במחקרים ביולוגיים. על ידי יצירת נתונים מוגברים המחקים חפצי הדמיה מציאותיים, כגון קונבולוציה של פונקציית התפשטות נקודתית, דעיכת עוצמה צירית ורעש פואסון וגאוס, ארגז הכלים מייצר מודלים חזקים במגוון תנאי הדמיה. גישה זו מגדילה ביעילות את מגוון הנתונים, משפרת את יכולת ההכללה של המודלים ומספקת יתרון מרכזי על פני טכניקות הגדלת נתונים מסורתיות, שעשויות שלא ללכוד באופן מלא את ההטרוגניות הקיימת בדגימות ביולוגיות. עם זאת, זה מוגבל על ידי התכונות המורפולוגיות המקודדות באופן מהותי במסכה שסופקה בתחילה. ההסתמכות על מסכות מפולחות מראש להפקת נתוני אימון ראשוניים מציגה הטיות פוטנציאליות אם מסכות אינן מייצגות באופן מלא את המבנים הביולוגיים המדוברים. לכן, עדיין קיימת שאלה פתוחה כיצד לייצר הגדלת נתונים מציאותית במרחב המורפולוגי, שיכולה להיות בעלת חשיבות פוטנציאלית לחקר רקמות עם שינויים כגון התקדמות המחלה.

השיטה שלנו משתמשת בשני דגמי מקודד-מפענח, 3D U-Net ו-Attention U-Net, שנבחרו בשל הביצועים הגבוהים שלהם במשימות הדמיה ביו-רפואיות. בעוד שה-3D U-Net מספק ארכיטקטורת פילוח פשוטה אך עוצמתית, ה-Attention U-Net משפר את הדיוק על ידי התמקדות סלקטיבית בתכונות רלוונטיות ודיכוי רעש. שני המודלים כלולים בארגז הכלים, ומאפשרים למשתמשים לבחור על סמך דרישות מערך הנתונים הספציפיות שלהם. התוצאות שלנו מראות שמודל Attention U-Net משיג מדדי ביצועים גבוהים יותר על פני מערכי נתונים, במיוחד עבור מבנים מאתגרים כמו הרשת הסינוסואידית, שבה המורכבות הנוספת של מנגנוני הקשב עוזרת להפחית את ההשפעות של יחסי אות לרעש נמוכים ושונות מבנית. עם זאת, חשוב לציין שהדרישות החישוביות של ה-Attention U-Net גבוהות יותר, מה שעלול להשפיע על הנגישות שלו למשתמשים עם משאבי GPU מוגבלים. יתרה מכך, בהתחשב באופי הקוד הפתוח של הצינור, ניתן להוסיף בקלות ארכיטקטורות מורכבות יותר למחקרים עתידיים במידת הצורך.

הפרוטוקול שלנו מציע צינור הכל-באחד וידידותי למשתמש המשלב שלבים חיוניים לפילוח תלת מימד בהתקנה אחת. עיצוב יעיל זה הוא יתרון מרכזי, מכיוון שהוא מפשט את הגישה לכלי פילוח מתקדמים מבלי לדרוש מומחיות בתכנות או התאמות פרמטרים. בנוסף, אסטרטגיית הגדלת הנתונים מבוססת הסימולציה שלנו משפרת את חוסן המודל, מפחיתה את התלות בהערות ידניות נרחבות ומשפרת את יכולת הכללת המודל בתנאי הדמיה מגוונים. בניגוד לשיטות פילוח קלאסיות, המסתמכות לעתים קרובות על אלגוריתמים של סף או גידול אזור הדורשים כוונון עדין זהיר^28,29, גישת הלמידה העמוקה שלנו דורשת התערבות ידנית מינימלית. זה תורם לדמוקרטיזציה של פילוח איכותי וניתן לשחזור של מבנים תלת מימדיים מורכבים, מה שהופך אותו לנגיש למגוון רחב יותר של חוקרים, כולל אלה ללא ניסיון חישובי נרחב.

מעבר לרשתות צינוריות, הגמישות של הפרוטוקול מאפשרת הסתגלות קלה לפילוח מבנים ביולוגיים אחרים. שיפורים עתידיים יכולים לכלול שילוב של למידה בפיקוח עצמי³⁰ או העברת למידה³¹, מה שמפחית עוד יותר את הצורך בנתונים מבוארים תוך שמירה על דיוק פילוח גבוה. אסטרטגיות אלו יכולות גם להרחיב את הישימות לשיטות הדמיה מגוונות, כגון מיקרוסקופ מולטיפוטון או גיליון אור.

למרות חוזקותיו, לפרוטוקול יש מספר מגבלות שיש להכיר בהן. ראשית, גודל מערך הנתונים נותר קטן יחסית, וכולל רק כמה כרכים מבוארים לכל מבנה. בעוד שהגדלת נתונים מקלה חלקית על בעיה זו, הסיכון להתאמת יתר עדיין קיים, במיוחד בעת החלת מודלים מכווננים עדינים על מערכי נתונים עם וריאציות בלתי נראות בהכנת הדגימה או בתנאי ההדמיה. שנית, למרות שהתוצאות שלנו מצביעות על הכללה טובה על פני טלאים ובעלי חיים שונים, עדיין לא בדקנו את ארגז הכלים על מערכי נתונים מאיברים אחרים או שיטות מיקרוסקופיה, שעשויים להציג מאפיינים מבניים ורעש מובהקים. זה מגביל את יכולת ההכללה המיידית של הגישה שלנו. לבסוף, אסטרטגיית ההערכה שלנו, למרות שהיא חזקה ברמת התיקון, יכולה להפיק תועלת ממדדים נוספים לעקביות טופולוגית, הרלוונטיים למבנים דמויי רשת. עבודה עתידית תתייחס למגבלות אלה על ידי הרחבת מערך הנתונים, שילוב טכניקות התאמת תחום³² והערכת הצינור בהקשרים ביולוגיים רחבים יותר.

לסיכום, פרוטוקול זה מייצג פתרון נגיש ומקיף לפילוח תלת מימד איכותי של מבנים צינוריים בהדמיה ביולוגית. על ידי שילוב של ארכיטקטורות מודלים יעילות, אסטרטגיות הגדלת נתונים וממשק אינטראקטיבי וידידותי למשתמש, לארגז הכלים שלנו יש פוטנציאל להרחיב את טווח ההגעה וההשפעה של למידה עמוקה בניתוח ביו-דימויים, ולאפשר לחוקרים ברחבי העולם למנף את הטכניקות הללו במרדף אחר הבנה עמוקה יותר של המבנה והתפקוד הביולוגיים.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
פיג׳י			https://imagej.net/software/fiji/downloads
מאגר GitHub			https://github.com/hernanmorales-navarrete/3DMicroscopyImage סגמנטציה/עץ/ראשי
Labkit			https://imagej.net/plugins/labkit/
מאגר זנודו			10.5281/zenodo.14029574