Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Biology
Click here for the English version

Biology

פילוח מבוסס למידה עמוקה של טומוגרפיות קריו-אלקטרונים

Published: November 11, 2022 doi: 10.3791/64435
Automatic Translation
1, 1, 1, 2, 1, 1
1Pennsylvania State University-College of Medicine, 2Object Research Systems

Summary

זוהי שיטה לאימון U-Net רב-פרוסות עבור פילוח רב-כיתתי של טומוגרפיות קריו-אלקטרונים באמצעות חלק מטומוגרפיה אחת כקלט אימון. אנו מתארים כיצד להסיק רשת זו לטומוגרפיות אחרות וכיצד לחלץ פילוחים לצורך ניתוחים נוספים, כגון ממוצע תת-טומוגרפיה ומעקב אחר חוטים.

Abstract

טומוגרפיית קריו-אלקטרונים (cryo-ET) מאפשרת לחוקרים לדמיין תאים במצבם הטבעי, רווי לחות ברזולוציה הגבוהה ביותר האפשרית כיום. עם זאת, לטכניקה מספר מגבלות שהופכות את ניתוח הנתונים שהיא מייצרת לגוזל זמן רב וקשה. פילוח ידני של טומוגרפיה בודדת יכול לקחת בין שעות לימים, אך מיקרוסקופ יכול בקלות לייצר 50 טומוגרפיות או יותר ביום. קיימות כיום תוכניות פילוח למידה עמוקה עבור cryo-ET, אך הן מוגבלות לפילוח מבנה אחד בכל פעם. כאן, רשתות עצביות קונבולוציוניות מרובות פרוסות U-Net מאומנות ומיושמות לפלח באופן אוטומטי מבנים מרובים בו זמנית בתוך טומוגרפיה קריו. עם עיבוד מקדים נכון, ניתן להסיק רשתות אלה בצורה חזקה על טומוגרפיות רבות ללא צורך באימון רשתות בודדות עבור כל טומוגרפיה. זרימת עבודה זו משפרת באופן דרמטי את המהירות שבה ניתן לנתח טומוגרפיות קריו-אלקטרונים על ידי קיצור זמן הסגמנטציה לפחות מ-30 דקות ברוב המקרים. יתר על כן, ניתן להשתמש בסגמנטציות כדי לשפר את הדיוק של מעקב אחר חוטי להט בהקשר תאי ולחלץ במהירות קואורדינטות לממוצע תת-טומוגרפיה.

Introduction

התפתחויות חומרה ותוכנה בעשור האחרון הביאו ל"מהפכת רזולוציה" עבור מיקרוסקופ קריו-אלקטרונים (cryo-EM)1,2. עם גלאים טובים ומהירים יותר3, תוכנה לאוטומציה של איסוף נתונים4,5, והתקדמות להגברת אותות כגון לוחות פאזה6, איסוף כמויות גדולות של נתוני cryo-EM ברזולוציה גבוהה הוא פשוט יחסית.

Cryo-ET מספק תובנה חסרת תקדים לגבי מבנה אולטרה תאי במצב ילידי ורווי לחות 7,8,9,10. המגבלה העיקרית היא עובי הדגימה, אך עם אימוץ שיטות כגון כרסום קרן יונים ממוקדת (FIB), שבו דגימות תאים ורקמות עבות מדוללות לטומוגרפיה11, האופק למה שניתן לצלם עם cryo-ET מתרחב ללא הרף. המיקרוסקופים החדשים ביותר מסוגלים לייצר מעל 50 טומוגרפיה ביום, וקצב זה צפוי רק לגדול עקב פיתוח תוכניות איסוף נתונים מהירות12,13. ניתוח כמויות הנתונים העצומות המופקות על ידי cryo-ET נותר צוואר בקבוק עבור שיטת הדמיה זו.

ניתוח כמותי של מידע טומוגרפי מחייב תחילה ביאור שלו. באופן מסורתי, זה דורש פילוח ידיים על ידי מומחה, אשר גוזל זמן; בהתאם למורכבות המולקולרית הכלולה בקריו-טומוגרפיה, זה יכול לקחת שעות עד ימים של תשומת לב ייעודית. רשתות עצביות מלאכותיות הן פתרון מושך לבעיה זו מכיוון שניתן לאמן אותן לבצע את רוב עבודת הסגמנטציה בשבריר מהזמן. רשתות עצביות קונבולוציוניות (CNNs) מתאימות במיוחד למשימות ראייה ממוחשבת14 והותאמו לאחרונה לניתוח טומוגרפיות קריו-אלקטרונים15,16,17.

CNN מסורתיים דורשים אלפים רבים של דגימות אימון מבוארות, דבר שאינו אפשרי לעתים קרובות עבור משימות ניתוח תמונה ביולוגית. לפיכך, ארכיטקטורת U-Net הצטיינה בתחום זה18 מכיוון שהיא מסתמכת על הגדלת נתונים כדי לאמן בהצלחה את הרשת, תוך מזעור התלות במערכי אימון גדולים. לדוגמה, ארכיטקטורת U-Net יכולה להיות מאומנת עם פרוסות בודדות בלבד של טומוגרפיה אחת (ארבע או חמש פרוסות) ולהסיק אותה בצורה חזקה על טומוגרפיות אחרות ללא הסבה מקצועית. פרוטוקול זה מספק מדריך שלב אחר שלב לאימון ארכיטקטורות רשת עצבית של U-Net לפלח טומוגרפיות קריו-טומוגרפיה אלקטרונים בתוך Dragonfly 2022.119.

Dragonfly היא תוכנה שפותחה מסחרית ומשמשת לסגמנטציה וניתוח תמונות תלת-ממדיות על ידי מודלים של למידה עמוקה, והיא זמינה לשימוש אקדמי באופן חופשי (חלות מגבלות גיאוגרפיות מסוימות). יש לו ממשק גרפי מתקדם המאפשר למי שאינו מומחה לנצל את מלוא היתרונות של למידה עמוקה הן עבור סגמנטציה סמנטית והן עבור הכחשת תמונה. פרוטוקול זה מדגים כיצד לעבד מראש ולבאר טומוגרפיות קריו-אלקטרונים בתוך Dragonfly לאימון רשתות עצביות מלאכותיות, אשר לאחר מכן ניתן להסיק לפלח במהירות מערכי נתונים גדולים. הוא גם דן ומדגים בקצרה כיצד להשתמש בנתונים מפולחים לניתוח נוסף כגון מעקב אחר חוטים וחילוץ קואורדינטות לממוצע תת-טומוגרפיה.

Protocol

הערה: Dragonfly 2022.1 דורש תחנת עבודה בעלת ביצועים גבוהים. המלצות המערכת כלולות בטבלת החומרים יחד עם החומרה של תחנת העבודה המשמשת לפרוטוקול זה. כל הטומוגרפיות המשמשות בפרוטוקול זה מאוגדות פי 4 מגודל פיקסל של 3.3 עד 13.2 אנג/פיקס. הדגימות ששימשו בתוצאות המייצגות התקבלו מחברה (ראו טבלת חומרים) העוקבת אחר הנחיות לטיפול בבעלי חיים התואמות את הסטנדרטים האתיים של מוסד זה. הטומוגרפיה המשמשת בפרוטוקול זה וההחזר על ההשקעה המרובה שנוצר כקלט אימון נכללו כערכת נתונים כלולה בקובץ משלים 1 (שניתן למצוא https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct) כך שהמשתמש יכול לעקוב אחר אותם נתונים אם ירצה. Dragonfly מארחת גם מסד נתונים בגישה פתוחה שנקרא ארגז הכלים האינסופי שבו משתמשים יכולים לשתף רשתות מיומנות.

1. הגדרה

  1. שינוי סביבת העבודה המוגדרת כברירת מחדל:
    1. כדי לשנות את סביבת העבודה כך שתשקף את סביבת העבודה המשמשת בפרוטוקול זה, בצד שמאל בחלונית הראשית, גלול מטה לאזור מאפייני התצוגה של הסצנה ובטל את הבחירה באפשרות Show Legends. גלול מטה אל המקטע פריסה ובחר את הסצינה היחידה ואת התצוגה ארבע תצוגות שוות .
    2. כדי לעדכן את יחידת ברירת המחדל, עבור אל קובץ | העדפות. בחלון שנפתח, שנה את יחידת ברירת המחדל ממילימטרים לננומטרים.
  2. איגודי מקשים שימושיים המוגדרים כברירת מחדל:
    1. הקש Esc כדי להציג את הכוונת בתצוגות הדו-ממדיות ולאפשר סיבוב של עוצמת קול תלת-ממדית בתצוגת תלת-ממד. הקש X כדי להסתיר את הכוונת בתצוגות הדו-ממדיות ולאפשר תרגום דו-ממדי ותרגום בנפח תלת-ממדי בתצוגת תלת-ממד.
    2. רחף מעל הכוונת כדי לראות חצים קטנים שניתן ללחוץ עליהם ולגרור אותם כדי לשנות את זווית מישור הצפייה בתצוגות הדו-ממדיות האחרות.
    3. הקש Z כדי להיכנס למצב גודל התצוגה בשתי התצוגות, המאפשר למשתמשים ללחוץ ולגרור לכל מקום כדי להגדיל ולהקטין את התצוגה.
    4. לחץ פעמיים על תצוגה בסצינת ארבע התצוגות כדי להתמקד רק בתצוגה זו; לחץ פעמיים שוב כדי לחזור לכל ארבע התצוגות.
  3. שמור מעת לעת את ההתקדמות על-ידי ייצוא כל הפריטים בכרטיסיה מאפיינים כאובייקט ORS לייבוא קל. בחר את כל האובייקטים ברשימה ולחץ באמצעות לחצן העכבר הימני על ייצוא | כאובייקט ORS. תן שם לקובץ ושמור. לחלופין, עבור אל קובץ | שמור הפעלה. כדי להשתמש בתכונת השמירה האוטומטית בתוכנה, הפעל אותה באמצעות קובץ | העדפות | שמירה אוטומטית.

2. ייבוא תמונות

  1. לייבוא תמונות, עבור אל קובץ | ייבוא קובצי תמונה. לחץ על הוסף, נווט אל קובץ התמונה ולחץ על פתח | הבא | לסיים.
    הערה: התוכנה אינה מזהה קבצי rec. כל הטומוגרפיות חייבות להיות בעלות הסיומת .mrc. אם אתה משתמש בנתונים שסופקו, עבור במקום זאת אל קובץ | ייבוא אובייקט(ים). נווט אל הקובץ Training.ORSObject ולחץ על פתח ולאחר מכן לחץ על אישור.

3. עיבוד מקדים (איור 1.1)

  1. צור סולם עוצמה מותאם אישית (המשמש לכיול עוצמות תמונה בין ערכות נתונים). עבור אל כלי עזר | מנהל יחידת ממדים. בפינה הימנית התחתונה, לחץ על + כדי ליצור יחידת ממד חדשה.
  2. בחר תכונה בעוצמה גבוהה (בהירה) ובעוצמה נמוכה (כהה) שנמצאת בכל הטומוגרפיות המעניינות. תן ליחידה שם וקיצור (לדוגמה, עבור סולם זה, הגדר חרוזים פידוקיאליים לעוצמה סטנדרטית 0.0 ואת הרקע ל- 100.0). שמור את יחידת הממדים המותאמת אישית.
    הערה: סולם עוצמה מותאם אישית הוא סולם שרירותי שנוצר ומוחל על הנתונים כדי להבטיח שכל הנתונים נמצאים באותו סולם עוצמה למרות שהם נאספים בזמנים שונים או בציוד שונה. בחר תכונות בהירות וכהות המייצגות בצורה הטובה ביותר את הטווח שבתוכו נמצא האות. אם אין פידוקיאלים בנתונים, פשוט בחרו את התכונה הכהה ביותר שהולכת להיות מפולחת (האזור הכהה ביותר של חלבון, למשל).
  3. לכיול תמונות לסולם העוצמה המותאם אישית, לחצו לחיצה ימנית על ערכת הנתונים בעמודה 'מאפיינים' בצד ימין של המסך ובחרו 'כיול קנה מידה של עוצמה'. בכרטיסיה ראשי בצד שמאל של המסך, גלול מטה אל המקטע בדיקה. בעזרת כלי הבדיקה המעגלי בקוטר מתאים, לחץ על כמה מקומות באזור הרקע של הטומוגרפיה ורשום את המספר הממוצע בעמודה Raw Intensity; חזור על הפעולה עבור סמני פידוקיאל ולאחר מכן לחץ על כיול. במקרה הצורך, התאימו את הניגוד כדי שמבנים יוצגו שוב בעזרת הכלי אזור באזור 'פילוס חלון' בכרטיסייה 'ראשי'.
  4. סינון תמונות:
    הערה: סינון תמונות יכול להפחית רעש ולהגביר את האות. פרוטוקול זה משתמש בשלושה מסננים המובנים בתוכנה מכיוון שהם פועלים בצורה הטובה ביותר עבור נתונים אלה, אך ישנם מסננים רבים זמינים. לאחר שהוחלט על פרוטוקול סינון תמונות עבור הנתונים המעניינים, יהיה צורך להחיל בדיוק את אותו פרוטוקול על כל הטומוגרפיות לפני הפילוח.
    1. בכרטיסייה הראשית בצד שמאל, גללו מטה אל החלונית Image Processing Panel. לחץ על מתקדם והמתן לפתיחת חלון חדש. בחלונית Properties , בחר בערכת הנתונים לסינון והפוך אותה לגלויה בלחיצה על סמל העין משמאל לערכת הנתונים.
    2. בחלונית Operations, השתמש בתפריט הנפתח כדי לבחור Histogram Equalization (תחת המקטע Contrast) עבור הפעולה הראשונה. בחר הוסף פעולה | גאוסיאן (תחת סעיף החלקה). שנה את ממד הליבה לתלת-ממד.
    3. הוסף פעולה שלישית; לאחר מכן, בחר בטל חידוד (תחת המקטע חידוד ). השאר את הפלט עבור זה. החל על כל הפרוסות ותן לסינון לפעול, ולאחר מכן סגור את החלון עיבוד תמונה כדי לחזור לממשק הראשי.

4. צרו נתוני אימון (איור 1.2)

  1. זהו את אזור האימון על-ידי הסתרת ערכת הנתונים הלא מסוננת בלחיצה על סמל העין משמאלו בחלונית 'מאפייני נתונים '. לאחר מכן, הצג את ערכת הנתונים המסוננת החדשה (שתיקרא באופן אוטומטי DataSet-HistEq-Gauss-Unsharp). באמצעות ערכת הנתונים המסוננת, זהה אזור משנה של הטומוגרפיה המכיל את כל התכונות המעניינות.
  2. כדי ליצור תיבה מסביב לאזור העניין, בצד ימין, בכרטיסיה הראשית , גלול מטה אל הקטגוריה צורות ובחר צור תיבה. בחלונית 'ארבע תצוגות ', השתמשו במישורים הדו-ממדיים השונים כדי להדריך/לגרור את קצות התיבה כך שתקיף רק את אזור העניין בכל המימדים. ברשימת הנתונים, בחר באזור התיבה ושנה את צבע הגבול לצפייה קלה יותר על-ידי לחיצה על הריבוע האפור לצד סמל העין.
    הערה: גודל התיקון הקטן ביותר עבור U-Net דו-ממדי הוא 32 x 32 פיקסלים; 400 x 400 x 50 פיקסלים הוא גודל תיבה סביר להתחיל.
  3. כדי ליצור החזר השקעה מרובה, בצד שמאל, בחר בכרטיסיה סגמנטציה | חדש וסמן את האפשרות צור כהחזר השקעה מרובה (ROI). ודא שמספר השיעורים תואם את מספר התכונות המעניינות + שיעור רקע. תן שם לנתוני אימון מרובי ROI וודא שהגיאומטריה תואמת לערכת הנתונים לפני שתלחץ על אישור.
  4. פילוח נתוני האימונים
    1. גלול בין הנתונים עד לגבולות האזור הארוז. בחר את Multi-ROI בתפריט המאפיינים מימין. לחץ פעמיים על שם המחלקה הריק הראשון בהחזר ההשקעה המרובה כדי לתת לו שם.
    2. צבעו באמצעות המברשת הדו-ממדית. בכרטיסיית הפילוח משמאל, גללו מטה אל כלים דו-ממדיים ובחרו מברשת עגולה. לאחר מכן, בחר Adaptive Gaussian או Local OTSU מהתפריט הנפתח. לצביעה, החזק את מקש ctrl השמאלי לחוץ ולחצה. כדי למחוק, החזק את מקש Shift שמאלה ולחץ עליו.
      הערה: המברשת תשקף את הצבע של המחלקה הנוכחית שנבחרה.
    3. חזור על השלב הקודם עבור כל מחלקת אובייקטים ב- ROI מרובה. ודא שכל המבנים באזור הקופסה מפולחים במלואם, אחרת הם ייחשבו כרקע על-ידי הרשת.
    4. לאחר שכל המבנים מסומנים בתוויות, לחץ באמצעות לחצן העכבר הימני על המחלקה רקע בהחזר השקעה מרובה ובחר הוסף את כל הווקסלים ללא תווית למחלקה.
  5. צור החזר השקעה חדש מסוג יחיד בשם Mask. ודאו שהגיאומטריה מוגדרת לערכת הנתונים המסוננת ולאחר מכן לחצו על 'החל'. בכרטיסיה מאפיינים משמאל, לחץ באמצעות לחצן העכבר הימני על התיבה ובחר הוסף ל- ROI. הוסיפו אותו ל-ROI של המסכה.
  6. כדי לחתוך את נתוני האימון באמצעות המסיכה, בכרטיסיה מאפיינים, בחר הן את נתוני האימון מרובי ה-ROI והן את החזר ההשקעה של המסכה על-ידי החזקת מקש Ctrl לחוץ ולחיצה על כל אחד מהם. לאחר מכן, לחץ על הצטלבות מתחת לרשימת מאפייני הנתונים במקטע שכותרתו פעולות בוליאניות. תן שם לערכת הנתונים החדשה Trimmed Training Input, וודא שהגיאומטריה תואמת לערכת הנתונים המסוננת לפני שתלחץ על OK.

5. שימוש באשף הפילוח לאימון איטרטיבי (איור 1.3)

  1. יבא את נתוני האימון לאשף הפילוח על-ידי לחיצה באמצעות לחצן העכבר הימני תחילה על ערכת הנתונים המסוננים בכרטיסיה מאפיינים ולאחר מכן בחירה באפשרות אשף הפילוח . כאשר חלון חדש נפתח, חפש את כרטיסיית הקלט בצד שמאל. לחץ על ייבוא מסגרות מהחזר השקעה מרובה ובחר את קלט האימון החתוך.
  2. (אופציונלי) צור מסגרת משוב חזותי כדי לעקוב אחר התקדמות ההדרכה בזמן אמת.
    1. בחר מסגרת מהנתונים שאינה מקוטעת ולחץ על + כדי להוסיף אותה כמסגרת חדשה. לחץ פעמיים על התווית המעורבת מימין למסגרת ושנה אותה לניטור.
  3. כדי ליצור מודל רשת עצבית חדש, בצד ימין בכרטיסיה מודלים , לחץ על לחצן + כדי ליצור מודל חדש. בחר/י U-Net מהרשימה, ולאחר מכן, עבור מידות הקלט, בחר/י 2.5D ו-5 פרוסות ולאחר מכן לחץ/י על ״ צור״.
  4. כדי לאמן את הרשת, לחץ על רכבת בפינה השמאלית התחתונה של חלון SegWiz .
    הערה: ניתן להפסיק את האימונים מוקדם מבלי לאבד את ההתקדמות.
  5. כדי להשתמש ברשת המאומנת כדי לפלח פריימים חדשים, לאחר השלמת אימון U-Net, צור מסגרת חדשה ולחץ על תחזית (בפינה השמאלית התחתונה). לאחר מכן, לחץ על החץ למעלה בפינה השמאלית העליונה של המסגרת החזויה כדי להעביר את הפילוח למסגרת האמיתית.
  6. כדי לתקן את החיזוי, הקש Ctrl ולחץ על שתי מחלקות כדי לשנות את הפיקסלים המפוצלים של מחלקה אחת לשנייה. בחרו בשתי המחלקות וצבעו בעזרת המברשת כדי לצבוע רק פיקסלים השייכים לאחת מהמחלקות. תקן את הפילוח בחמש מסגרות חדשות לפחות.
    הערה: צביעה בעזרת הכלי מברשת בזמן ששתי המחלקות נבחרות פירושה שבמקום מחיקה בלחיצת Shift, כפי שקורה בדרך כלל, הוא ימיר פיקסלים מהמחלקה הראשונה לשנייה. Ctrl לחיצה תשיג את ההפך.
  7. לאימון איטרטיבי, לחצו שוב על כפתור האימון ואפשרו לרשת להמשיך להתאמן במשך 30-40 תקופות נוספות, ואז הפסיקו את האימון וחזרו על שלבים 4.5 ו-4.6 לסבב אימונים נוסף.
    הערה: בדרך זו, ניתן לאמן ולשפר מודל באופן איטרטיבי באמצעות ערכת נתונים יחידה.
  8. כדי לפרסם את הרשת, כאשר אתה מרוצה מביצועיה, צא מאשף הסגמנטציה. בתיבת הדו-שיח המוקפצת באופן אוטומטי השואלת אילו דגמים לפרסם (לשמור), בחר את הרשת המצליחה, תן לה שם ולאחר מכן פרסם אותה כדי להפוך את הרשת לזמינה לשימוש מחוץ לאשף הסגמנטציה.

6. החל את הרשת (איור 1.4)

  1. כדי להחיל תחילה על טומוגרפיית האימון, בחר בערכת הנתונים המסוננת בחלונית Properties . בחלונית Segmentation משמאל, גלול מטה למקטע Segment with AI . ודא שערכת הנתונים הנכונה נבחרה, בחר את המודל שזה עתה פורסם בתפריט הנפתח ולאחר מכן לחץ על פלח | כל הפרוסות. לחלופין, בחרו 'תצוגה מקדימה ' להצגת תצוגה מקדימה של הפרוסה האחת של הסגמנטציה.
  2. כדי להחיל על ערכת נתונים של היסק, יבא את הטומוגרפיה החדשה. תהליך מקדים לפי שלב 3 (איור 1.1). בחלונית Segmentation, עבור אל המקטע Segment with AI. ודא שהטומוגרפיה המסוננת החדשה היא ערכת הנתונים שנבחרה, בחר את המודל שאומן בעבר ולחץ על פלח | כל הפרוסות.

7. מניפולציה וניקוי סגמנטציה

  1. נקה רעש במהירות על ידי בחירה תחילה באחת הכיתות שיש בהן רעש מקוטע ותכונת העניין. לחץ באמצעות לחצן העכבר הימני | איי תהליך | הסרה על ידי ספירת ווקסל | בחר גודל ווקסל. התחל בקטן (~ 200) והגדל בהדרגה את הספירה כדי להסיר את רוב הרעש.
  2. לתיקון סגמנטציה, הקישו Ctrl תוך כדי לחיצה על שתי מחלקות כדי לצבוע רק פיקסלים השייכים למחלקות אלה. Ctrl תוך כדי לחיצה + גרירה בעזרת כלי הפילוח כדי לשנות פיקסלים מהמחלקה השנייה למחלקה הראשונה ו- Shift תוך כדי לחיצה + גרירה כדי להשיג את ההפך. המשך לעשות זאת כדי לתקן במהירות פיקסלים בעלי תווית שגויה.
  3. הפרד רכיבים מחוברים.
    1. בחר כיתה. לחץ באמצעות לחצן העכבר הימני על כיתה ב- Multi-ROI | הפרד רכיבים מחוברים כדי ליצור מחלקה חדשה עבור כל רכיב שאינו מחובר לרכיב אחר של אותה מחלקה. השתמש בלחצנים מתחת ל- Multi-ROI כדי למזג בקלות את המחלקות.
  4. יצא את החזר ההשקעה כבינארי/TIFF.
    1. בחר מחלקה ב- Multi-ROI ולאחר מכן לחץ באמצעות לחצן העכבר הימני וחלץ מחלקה כהחזר השקעה. בחלונית המאפיינים לעיל, בחר את החזר ההשקעה החדש, לחץ באמצעות לחצן העכבר הימני | ייצוא | החזר השקעה כבינארי (ודא שהאפשרות לייצא את כל התמונות לקובץ אחד נבחרה).
      הערה: משתמשים יכולים להמיר בקלות מפורמט tiff ל- mrc באמצעות תוכנית IMOD tif2mrc20. אפשרות זו שימושית למעקב אחר חוטי להט.

8. יצירת קואורדינטות לממוצע תת-טומוגרפיה מההחזר על ההשקעה

  1. חלץ שיעור.
    1. לחץ באמצעות לחצן העכבר הימני על מחלקה שתשמש לממוצע | חלץ מחלקה כהחזר השקעה. החזר השקעה בכיתה בלחיצה ימנית | רכיבים מחוברים | Multi-ROI חדש (26 מחוברים).
  2. צור קואורדינטות.
    1. לחץ באמצעות לחצן העכבר הימני על Multi-ROI החדש | מחולל סקלרי. הרחב מדידות בסיסיות עם ערכת נתונים | בדוק מרכז משוקלל של מסה X, Y ו- Z. בחר את ערכת הנתונים ומחשב. לחץ לחיצה ימנית על Multi-ROI | ייצוא ערכים סקלריים. סמן את האפשרות בחר את כל חריצי Scalar ולאחר מכן אישור כדי ליצור קואורדינטות עולם צנטרואידיות עבור כל מחלקה בהחזר ההשקעה המרובה כקובץ CSV.
      הערה: אם החלקיקים קרובים זה לזה והסגמנטים נוגעים זה בזה, ייתכן שיהיה צורך לבצע טרנספורמציה של קו פרשת המים כדי להפריד את הרכיבים למולטי-רוי.

9. שינוי קו פרשת המים

  1. חלץ את הכיתה על-ידי לחיצה ימנית על מחלקה ב- Multi-ROI כדי להשתמש בה בממוצע | חלץ מחלקה כהחזר השקעה. תן שם למסכת קו פרשת המים ROI זו.
  2. (אופציונלי) סגור חורים.
    1. אם לחלקיקים המקוטעים יש חורים או פתחים, סגור אותם לקו פרשת המים. לחץ על החזר ההשקעה במאפייני נתונים. בכרטיסייה Segmentation (משמאל), עבור אל פעולות מורפולוגיות והשתמש בכל שילוב של Dilate, Erode ו- Close הדרוש כדי להשיג סגמנטציות מוצקות ללא חורים.
  3. הפוך את החזר ההשקעה על-ידי לחיצה על החזר ההשקעה | העתקת האובייקט שנבחר (מתחת למאפייני נתונים). בחר את החזר ההשקעה שהועתק, ובצד שמאל בכרטיסיה סגמנטציה לחץ על היפוך.
  4. צור מפת מרחקים על-ידי לחיצה באמצעות לחצן העכבר הימני על החזר ההשקעה ההפוך | יצירת מיפוי של | מפת מרחק. לשימוש מאוחר יותר, צור עותק של מפת המרחק והפוך אותה (לחץ באמצעות לחצן העכבר הימני | שינוי ושינוי צורה | היפוך ערכים | החל). תן למפה הפוכה זו את השם נוף.
  5. צור נקודות זרע.
    1. הסתר את החזר ההשקעה והצג את מפת המרחק. בכרטיסייה Segmentation , לחץ על Define Range והקטנת הטווח עד שרק פיקסלים ספורים במרכז כל נקודה יסומנו ואף אחד מהם לא יחובר לנקודה אחרת. בחלק התחתון של המקטע טווח , לחץ על הוסף לחדש. תן שם לנקודות הזרע החדשות של החזר ההשקעה.
  6. בצע טרנספורמציה של קו פרשת המים.
    1. לחץ לחיצה ימנית על נקודות Seedpoints החזר השקעה | רכיבים מחוברים | Multi-ROI חדש (26 מחוברים). לחץ באמצעות לחצן העכבר הימני על החזר ההשקעה החדש שנוצר | שינוי קו פרשת המים. בחרו במפת המרחק בשם ' לרוחב ' ולחצו על הלחצן 'אשר'; בחר את החזר ההשקעה בשם Watershed Mask ולחץ על אישור כדי לחשב התמרת קו פרשת מים מכל נקודת זרע והפרד חלקיקים בודדים למחלקות נפרדות ב- multi-ROI. צור קואורדינטות כמו בשלב 8.2.

Figure 1
איור 1: זרימת עבודה. 1) עבד מראש את טומוגרפיית האימון על-ידי כיול סולם העצימות וסינון מערך הנתונים. 2) צור את נתוני האימון על ידי פילוח ידני של חלק קטן מטומוגרפיה עם כל התוויות המתאימות שהמשתמש מעוניין לזהות. 3) באמצעות טומוגרפיה מסוננת כקלט ופילוח היד כפלט האימון, U-Net רב שכבתי ורב-פרוסות מאומן באשף הסגמנטציה. 4) ניתן להחיל את הרשת המאומנת על הטומוגרפיה המלאה כדי להוסיף לה ביאורים וניתן ליצור עיבוד תלת ממדי מכל מחלקה מקוטעת. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

Representative Results

בעקבות הפרוטוקול, U-Net בן חמש פרוסות אומן על טומוגרפיה אחת (איור 2A) כדי לזהות חמש קבוצות: ממברנה, מיקרוטובולים, אקטין (Actin), סמנים פידוקיאליים (Fiducial) ורקע. הרשת אומנה באופן איטרטיבי בסך הכל שלוש פעמים, ולאחר מכן יושמה על הטומוגרפיה כדי לפלח אותה במלואה ולבאר אותה (איור 2B,C). ניקוי מינימלי בוצע באמצעות שלבים 7.1 ו-7.2. שלוש הטומוגרפיות המעניינות הבאות (איור 2D,G,J) הועמסו לתוך התוכנה לצורך עיבוד מקדים. לפני ייבוא התמונה, אחת הטומוגרפיות (איור 2J) דרשה התאמת גודל פיקסלים מ-17.22 Å/px ל-13.3 Å/px מכיוון שהיא נאספה במיקרוסקופ שונה בהגדלה מעט שונה. תוכנית IMOD squeezevol שימש לשינוי גודל עם הפקודה הבאה:

'Squeezevol -f 0.772 inputfile.mrc outputfile.mrc'

בפקודה זו, -f מתייחס לגורם שבאמצעותו יש לשנות את גודל הפיקסלים (במקרה זה: 13.3/17.22). לאחר הייבוא, כל שלושת יעדי ההיסק עובדו מראש לפי שלבים 3.2 ו-3.3, ולאחר מכן יושמה U-Net בת חמש פרוסות. ניקוי מינימלי בוצע שוב. הפילוחים הסופיים מוצגים באיור 2.

מקטעי מיקרוטובולים מכל טומוגרפיה יוצאו כקבצי TIF בינאריים (שלב 7.4), הומרו ל-MRC (תוכנית IMOD tif2mrc ), ולאחר מכן שימשו למתאם צילינדרים ומעקב אחר חוטי להט. סגמנטציות בינאריות של חוטים גורמות למעקב נימה חזק הרבה יותר מאשר מעקב על טומוגרפיה. מפות קואורדינטות ממעקב אחר חוטים (איור 3) ישמשו לניתוח נוסף, כגון מדידות השכנים הקרובים ביותר (אריזת חוטים) וממוצע תת-טומוגרפיה סלילית לאורך חוטים בודדים כדי לקבוע את כיוון המיקרוטובול.

קל לקבוע רשתות לא מוצלחות או לא מאומנות כראוי. רשת כושלת לא תוכל לפלח מבנים כלל, בעוד שרשת שאינה מאומנת כראוי בדרך כלל תפלח מבנים מסוימים בצורה נכונה ויהיו בה מספר משמעותי של תוצאות חיוביות שגויות ושליליות שגויות. רשתות אלה ניתן לתקן ולאמן באופן איטרטיבי כדי לשפר את הביצועים שלהם. אשף הפילוח מחשב באופן אוטומטי את מקדם הדמיון לקוביות של מודל (הנקרא ניקוד ב-SegWiz) לאחר אימוןו. נתון זה נותן אומדן לדמיון בין נתוני האימונים לבין פילוח U-Net. ל- Dragonfly 2022.1 יש גם כלי מובנה להערכת ביצועי מודל שניתן לגשת אליו בכרטיסייה בינה מלאכותית בחלק העליון של הממשק (ראה תיעוד לשימוש).

Figure 2
איור 2: הסקה. (A-C) טומוגרפיית אימון מקורית של נוירון חולדה בהיפוקמפוס DIV 5, שנאספה בשנת 2019 על טיטאן קריוס. זהו שחזור מוקרן לאחור עם תיקון CTF ב- IMOD. (A) הקופסה הצהובה מייצגת את האזור שבו בוצע פילוח ידיים לצורך קלט אימון. (B) סגמנטציה דו-ממדית מה-U-Net לאחר סיום האימון. (C) עיבוד תלת-ממדי של האזורים המקוטעים המציג קרום (כחול), מיקרוטובולים (ירוק) ואקטין (אדום). (ד-ו) DIV 5 נוירון חולדה בהיפוקמפוס מאותו מפגש כמו טומוגרפיית האימון. (ה) סגמנטציה דו-ממדית מה-U-Net ללא הכשרה נוספת וניקוי מהיר. ממברנה (כחול), microtubules (ירוק), actin (אדום), fiducials (ורוד). (F) עיבוד תלת-ממדי של האזורים המפולחים. (ז-י) DIV 5 נוירון חולדה בהיפוקמפוס ממפגש 2019. (H) סגמנטציה דו-ממדית מה-U-Net עם ניקוי מהיר ו-(I) עיבוד תלת-ממדי. (י-ל) DIV 5 נוירון חולדה בהיפוקמפוס, נאסף בשנת 2021 על טיטאן קריוס אחר בהגדלה שונה. גודל הפיקסלים השתנה עם תוכנית IMOD squeezevol כדי להתאים את טומוגרפיית האימון. (K) סגמנטציה דו-ממדית מה-U-Net עם ניקוי מהיר, הדגמת הסקה חזקה על פני מערכי נתונים עם עיבוד מקדים נכון ו-(L) עיבוד תלת-ממדי של סגמנטציה. פסי קנה מידה = 100 ננומטר. קיצורים: DIV = ימים במבחנה; CTF = פונקציית העברת ניגודיות. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

Figure 3
איור 3: שיפור במעקב אחר נימה . (A) טומוגרמה של תא עצב בהיפוקמפוס של חולדה DIV 4, שנאספה על טיטאן קריוס. (B) מפת מתאם הנוצרת ממתאם גליל על גבי חוטי אקטין (actin filaments). (C) מעקב אחר נימה של אקטין באמצעות העוצמות של חוטי האקטין במפת המתאם להגדרת פרמטרים. מעקב לוכד את הממברנה ואת microtubules, כמו גם רעש, תוך ניסיון לעקוב רק actin. (D) פילוח U-Net של טומוגרפיה. ממברנה מודגשת בכחול, מיקרוטובולים באדום, ריבוזומים בכתום, טריC בסגול ואקטין בירוק. (E) פילוח אקטין שחולץ כמסכה בינארית למעקב אחר חוטי להט. (F) מפת מתאם הנוצרת ממתאם גליל עם אותם פרמטרים מ-(B). (G) שיפור משמעותי במעקב אחר חוטי האקטין בלבד מהטומוגרפיה. קיצור: DIV = ימים במבחנה. לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

קובץ משלים 1: הטומוגרפיה המשמשת בפרוטוקול זה וההחזר על ההשקעה המרובה שנוצר כקלט אימון כלולים כערכת נתונים כלולה (Training.ORSObject). ראה https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct.

Discussion

פרוטוקול זה מפרט נוהל לשימוש בתוכנת Dragonfly 2022.1 כדי לאמן U-Net רב מחלקות מטומוגרמה יחידה, וכיצד להסיק רשת זו לטומוגרפיות אחרות שאינן צריכות להיות מאותו מערך נתונים. האימון מהיר יחסית (יכול להיות מהיר כמו 3-5 דקות לכל תקופה או איטי כמו כמה שעות, תלוי לחלוטין ברשת כי הוא מאומן ואת החומרה בשימוש), ואימון מחדש של רשת כדי לשפר את הלמידה שלה הוא אינטואיטיבי. כל עוד שלבי העיבוד המוקדם מתבצעים עבור כל טומוגרפיה, ההסקה היא בדרך כלל חזקה.

עיבוד מקדים עקבי הוא השלב הקריטי ביותר להסקת מסקנות של למידה עמוקה. ישנם מסנני הדמיה רבים בתוכנה והמשתמש יכול להתנסות כדי לקבוע אילו מסננים פועלים בצורה הטובה ביותר עבור מערכי נתונים מסוימים; שים לב שכל סינון המשמש בטומוגרפיית האימון חייב להיות מיושם באותו אופן על טומוגרפיות ההיסק. כמו כן, יש להקפיד לספק לרשת מידע הדרכה מדויק ומספק. חשוב שכל התכונות המחולקות בתוך פרוסות האימון יחולקו בזהירות ובדייקנות רבה ככל האפשר.

פילוח התמונות מתבצע באמצעות ממשק משתמש מתוחכם ברמה מסחרית. הוא מספק את כל הכלים הדרושים לסגמנטציה ידנית ומאפשר העברה פשוטה של ווקסלים מכל כיתה אחת לאחרת לפני אימון והסבה מקצועית. המשתמש רשאי לפלח ידנית ווקסלים בתוך כל ההקשר של הטומוגרפיה, והם מקבלים תצוגות מרובות ואת היכולת לסובב את עוצמת הקול בחופשיות. בנוסף, התוכנה מספקת את היכולת להשתמש ברשתות מרובות מחלקות, אשר נוטות לבצע ביצועים טובים יותר16 והן מהירות יותר מאשר סגמנטציה עם רשתות מרובות מחלקה אחת.

יש, כמובן, מגבלות ליכולות של רשת עצבית. נתוני Cryo-ET הם, מטבעם, רועשים מאוד ומוגבלים בדגימה זוויתית, מה שמוביל לעיוותים ספציפיים לכיוון בעצמים זהים21. הדרכה מסתמכת על מומחה כדי לפלח מבנים בצורה מדויקת, ורשת מוצלחת היא טובה (או רעה) רק כמו נתוני האימון שהיא מקבלת. סינון תמונות להגברת האות מועיל למאמן, אך עדיין ישנם מקרים רבים שבהם קשה לזהות במדויק את כל הפיקסלים של מבנה נתון. לכן, חשוב לנקוט זהירות רבה בעת יצירת פילוח ההדרכה, כך שלרשת יהיה את המידע הטוב ביותר שניתן ללמוד במהלך האימון.

ניתן לשנות זרימת עבודה זו בקלות בהתאם להעדפה של כל משתמש. אמנם זה חיוני כי כל טומוגרפיה להיות מראש באותו אופן בדיוק, אין צורך להשתמש מסננים מדויקים המשמשים בפרוטוקול. התוכנה כוללת אפשרויות סינון תמונות רבות, ומומלץ לייעל אותן עבור הנתונים הספציפיים של המשתמש לפני היציאה לפרויקט פילוח גדול המתפרש על פני טומוגרפיות רבות. יש גם לא מעט ארכיטקטורות רשת זמינות לשימוש: U-Net מרובת פרוסות נמצאה כמתאימה ביותר לנתונים מהמעבדה הזו, אך משתמש אחר עשוי לגלות שארכיטקטורה אחרת (כגון U-Net תלת-ממדית או חיישן תלת-ממדי) עובדת טוב יותר. אשף הפילוח מספק ממשק נוח להשוואת ביצועים של רשתות מרובות באמצעות אותם נתוני אימון.

כלים כמו אלה המוצגים כאן יהפכו את פילוח היד של טומוגרפיה מלאה למשימה של העבר. עם רשתות עצביות מאומנות היטב הניתנות להסקת מסקנות חזקות, זה אפשרי לחלוטין ליצור זרימת עבודה שבה נתונים טומוגרפיים משוחזרים, מעובדים ומפולחים במלואם במהירות שהמיקרוסקופ יכול לאסוף אותם.

Disclosures

רישיון הגישה הפתוחה עבור פרוטוקול זה שולם על ידי Object Research Systems.

Acknowledgments

מחקר זה נתמך על ידי מכללת פן סטייט לרפואה והמחלקה לביוכימיה וביולוגיה מולקולרית, כמו גם מענק קרן הסדר הטבק (TSF) 4100079742-EXT. השירותים והמכשירים של CryoEM ו- CryoET Core (RRID:SCR_021178) המשמשים בפרויקט זה מומנו, בחלקם, על ידי המכללה לרפואה של אוניברסיטת פנסילבניה באמצעות משרד סגן דיקן המחקר וסטודנטים לתארים מתקדמים ומחלקת הבריאות של פנסילבניה באמצעות קרנות הסדר טבק (CURE). התוכן הוא באחריותם הבלעדית של המחברים ואינו מייצג בהכרח את הדעות הרשמיות של האוניברסיטה או המכללה לרפואה. מחלקת הבריאות של פנסילבניה מתנערת במפורש מאחריות לכל ניתוח, פרשנות או מסקנות.

Materials

Name Company Catalog Number Comments
Dragonfly 2022.1 Object Research Systems https://www.theobjects.com/dragonfly/index.html
E18 Rat Dissociated Hippocampus Transnetyx Tissue KTSDEDHP https://tissue.transnetyx.com/faqs
IMOD University of Colorado https://bio3d.colorado.edu/imod/
Intel® Xeon® Gold 6124 CPU 3.2GHz Intel https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html
NVIDIA Quadro P4000 NVIDIA https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf
Windows 10 Enterprise 2016 Microsoft https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise
Workstation Minimum Requirements https://theobjects.com/dragonfly/system-requirements.html

DOWNLOAD MATERIALS LIST

References

  1. Bai, X. -C., Mcmullan, G., Scheres, S. H. W. How cryo-EM is revolutionizing structural biology. Trends in Biochemical Sciences. 40 (1), 49-57 (2015).
  2. de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. Cryo-EM: The resolution revolution and drug discovery. SLAS Discovery. 26 (1), 17-31 (2021).
  3. Danev, R., Yanagisawa, H., Kikkawa, M. Cryo-EM performance testing of hardware and data acquisition strategies. Microscopy. 70 (6), 487-497 (2021).
  4. Mastronarde, D. N. Automated electron microscope tomography using robust prediction of specimen movements. Journal of Structural Biology. 152 (1), 36-51 (2005).
  5. Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet. , Available from: https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf (2022).
  6. Danev, R., Baumeister, W. Expanding the boundaries of cryo-EM with phase plates. Current Opinion in Structural Biology. 46, 87-94 (2017).
  7. Hylton, R. K., Swulius, M. T. Challenges and triumphs in cryo-electron tomography. iScience. 24 (9), (2021).
  8. Turk, M., Baumeister, W. The promise and the challenges of cryo-electron tomography. FEBS Letters. 594 (20), 3243-3261 (2020).
  9. Oikonomou, C. M., Jensen, G. J. Cellular electron cryotomography: Toward structural biology in situ. Annual Review of Biochemistry. 86, 873-896 (2017).
  10. Wagner, J., Schaffer, M., Fernández-Busnadiego, R. Cryo-electron tomography-the cell biology that came in from the cold. FEBS Letters. 591 (17), 2520-2533 (2017).
  11. Lam, V., Villa, E. Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography. Methods in Molecular Biology. 2215, 49-82 (2021).
  12. Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. Rapid tilt-series acquisition for electron cryotomography. Journal of Structural Biology. 205 (2), 163-169 (2019).
  13. Eisenstein, F., Danev, R., Pilhofer, M. Improved applicability and robustness of fast cryo-electron tomography data acquisition. Journal of Structural Biology. 208 (2), 107-114 (2019).
  14. Esteva, A., et al. Deep learning-enabled medical computer vision. npj Digital Medicine. 4 (1), (2021).
  15. Liu, Y. -T., et al. Isotropic reconstruction of electron tomograms with deep learning. bioRxiv. , (2021).
  16. Moebel, E., et al. Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms. Nature Methods. 18 (11), 1386-1394 (2021).
  17. Chen, M., et al. Convolutional neural networks for automated annotation of cellular cryo-electron tomograms. Nature Methods. 14 (10), 983-985 (2017).
  18. Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).
  19. Dragonfly 2021.3 (Computer Software). , Available from: http://www.theobjects.com/dragonfly (2021).
  20. Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. Computer visualization of three-dimensional image data using IMOD. Journal of Structural Biology. 116 (1), 71-76 (1996).
  21. Iancu, C. V., et al. A "flip-flop" rotation stage for routine dual-axis electron cryotomography. Journal of Structural Biology. 151 (3), 288-297 (2005).

Tags

ביולוגיה גיליון 189
פילוח מבוסס למידה עמוקה של טומוגרפיות קריו-אלקטרונים
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Heebner, J. E., Purnell, C., Hylton, … More

Heebner, J. E., Purnell, C., Hylton, R. K., Marsh, M., Grillo, M. A., Swulius, M. T. Deep Learning-Based Segmentation of Cryo-Electron Tomograms. J. Vis. Exp. (189), e64435, doi:10.3791/64435 (2022).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter