Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Biology
Click here for the English version

Biology

التجزئة القائمة على التعلم العميق للتصوير المقطعي الإلكتروني بالتبريد

Published: November 11, 2022 doi: 10.3791/64435
Automatic Translation
1, 1, 1, 2, 1, 1
1Pennsylvania State University-College of Medicine, 2Object Research Systems

Summary

هذه طريقة لتدريب U-Net متعدد الشرائح على تجزئة متعددة الفئات من التصوير المقطعي الإلكتروني بالتبريد باستخدام جزء من صورة مقطعية واحدة كمدخل تدريب. نصف كيفية استنتاج هذه الشبكة إلى الصور المقطعية الأخرى وكيفية استخراج التقسيمات لمزيد من التحليلات ، مثل متوسط التصوير المقطعي الفرعي وتتبع الخيوط.

Abstract

يسمح التصوير المقطعي بالتبريد الإلكتروني (cryo-ET) للباحثين بتصوير الخلايا في حالتها الأصلية المائية بأعلى دقة ممكنة حاليا. ومع ذلك ، فإن هذه التقنية لها العديد من القيود التي تجعل تحليل البيانات التي تولدها يستغرق وقتا طويلا وصعبا. يمكن أن يستغرق تقسيم صورة مقطعية واحدة يدويا من ساعات إلى أيام ، ولكن يمكن للمجهر بسهولة توليد 50 صورة مقطعية أو أكثر يوميا. توجد برامج تجزئة التعلم العميق الحالية ل cryo-ET ، ولكنها تقتصر على تجزئة بنية واحدة في كل مرة. هنا ، يتم تدريب الشبكات العصبية التلافيفية متعددة الشرائح U-Net وتطبيقها لتقسيم هياكل متعددة تلقائيا في وقت واحد داخل التصوير المقطعي بالتبريد. مع المعالجة المسبقة المناسبة ، يمكن الاستدلال على هذه الشبكات بقوة للعديد من الصور المقطعية دون الحاجة إلى تدريب الشبكات الفردية لكل تصوير مقطعي. يعمل سير العمل هذا على تحسين السرعة التي يمكن بها تحليل التصوير المقطعي الإلكتروني بالتبريد بشكل كبير عن طريق تقليل وقت التجزئة إلى أقل من 30 دقيقة في معظم الحالات. علاوة على ذلك ، يمكن استخدام التقسيمات لتحسين دقة تتبع الخيوط في سياق خلوي ولاستخراج الإحداثيات بسرعة لحساب متوسط التصوير المقطعي الفرعي.

Introduction

أدت تطورات الأجهزة والبرامج في العقد الماضي إلى "ثورة في الدقة" للمجهر الإلكتروني بالتبريد (cryo-EM) 1,2. مع أجهزة الكشف الأفضل والأسرع3 ، وبرنامج أتمتة جمع البيانات 4,5 ، والتقدم في تعزيز الإشارة مثل لوحات الطور6 ، فإن جمع كميات كبيرة من بيانات cryo-EM عالية الدقة أمر بسيط نسبيا.

يوفر Cryo-ET رؤية غير مسبوقة للبنية الخلوية في حالة رطبة أصلية7،8،9،10. القيد الأساسي هو سمك العينة ، ولكن مع اعتماد طرق مثل طحن الحزمة الأيونية المركزة (FIB) ، حيث يتم تخفيف العينات الخلوية والأنسجة السميكة للتصوير المقطعي11 ، فإن أفق ما يمكن تصويره باستخدام cryo-ET يتوسع باستمرار. أحدث المجاهر قادرة على إنتاج أكثر من 50 صورة مقطعية في اليوم ، ومن المتوقع أن يزداد هذا المعدل فقط بسبب تطوير مخططات جمع البيانات السريعة12,13. لا يزال تحليل الكميات الهائلة من البيانات التي ينتجها cryo-ET يمثل عنق الزجاجة لطريقة التصوير هذه.

يتطلب التحليل الكمي للمعلومات المقطعية أن يتم شرحها أولا. تقليديا ، يتطلب هذا تجزئة اليد من قبل خبير ، وهو أمر يستغرق وقتا طويلا. اعتمادا على التعقيد الجزيئي الموجود في التصوير المقطعي بالتبريد ، قد يستغرق الأمر ساعات إلى أيام من الاهتمام المخصص. تعد الشبكات العصبية الاصطناعية حلا جذابا لهذه المشكلة حيث يمكن تدريبها على القيام بالجزء الأكبر من أعمال التجزئة في جزء صغير من الوقت. الشبكات العصبية التلافيفية (CNNs) مناسبة بشكل خاص لمهام رؤية الكمبيوتر14 وقد تم تكييفها مؤخرا لتحليل التصوير المقطعي الإلكتروني بالتبريد15،16،17.

تتطلب شبكات CNN التقليدية عدة آلاف من عينات التدريب المشروحة ، وهو أمر غير ممكن في كثير من الأحيان لمهام تحليل الصور البيولوجية. ومن ثم ، فقد تفوقت بنية U-Net في هذا المجال18 لأنها تعتمد على زيادة البيانات لتدريب الشبكة بنجاح ، مما يقلل من الاعتماد على مجموعات التدريب الكبيرة. على سبيل المثال ، يمكن تدريب بنية U-Net باستخدام بضع شرائح فقط من صورة مقطعية واحدة (أربع أو خمس شرائح) والاستدلال بقوة على الصور المقطعية الأخرى دون إعادة التدريب. يوفر هذا البروتوكول دليلا تفصيليا لتدريب معماريات الشبكات العصبية U-Net على تقسيم التصوير المقطعي بالتبريد الإلكتروني داخل Dragonfly 2022.119.

Dragonfly هو برنامج مطور تجاريا يستخدم لتجزئة وتحليل الصور 3D بواسطة نماذج التعلم العميق ، وهو متاح مجانا للاستخدام الأكاديمي (تنطبق بعض القيود الجغرافية). يحتوي على واجهة رسومية متقدمة تسمح لغير الخبراء بالاستفادة الكاملة من قوى التعلم العميق لكل من التجزئة الدلالية وتقليل ضوضاء الصورة. يوضح هذا البروتوكول كيفية المعالجة المسبقة والتعليق على الصور المقطعية الإلكترونية المبردة داخل Dragonfly لتدريب الشبكات العصبية الاصطناعية ، والتي يمكن الاستدلال عليها بعد ذلك لتقسيم مجموعات البيانات الكبيرة بسرعة. كما يناقش ويوضح بإيجاز كيفية استخدام البيانات المجزأة لمزيد من التحليل مثل تتبع الخيوط واستخراج الإحداثيات لحساب متوسط التصوير المقطعي الفرعي.

Protocol

ملاحظة: يتطلب Dragonfly 2022.1 محطة عمل عالية الأداء. يتم تضمين توصيات النظام في جدول المواد جنبا إلى جنب مع أجهزة محطة العمل المستخدمة لهذا البروتوكول. يتم تثبيت جميع الصور المقطعية المستخدمة في هذا البروتوكول 4x من حجم بكسل من 3.3 إلى 13.2 ang / pix. تم الحصول على العينات المستخدمة في النتائج التمثيلية من شركة (انظر جدول المواد) تتبع إرشادات رعاية الحيوان التي تتوافق مع المعايير الأخلاقية لهذه المؤسسة. تم تضمين التصوير المقطعي المستخدم في هذا البروتوكول وعائد الاستثمار المتعدد الذي تم إنشاؤه كمدخلات تدريب كمجموعة بيانات مجمعة في الملف التكميلي 1 (والذي يمكن العثور عليه في https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct) حتى يتمكن المستخدم من المتابعة مع نفس البيانات إذا رغب في ذلك. يستضيف Dragonfly أيضا قاعدة بيانات مفتوحة الوصول تسمى Infinite Toolbox حيث يمكن للمستخدمين مشاركة الشبكات المدربة.

1. الإعداد

  1. تغيير مساحة العمل الافتراضية:
    1. لتغيير مساحة العمل لتعكس المساحة المستخدمة في هذا البروتوكول، على الجانب الأيسر من اللوحة الرئيسية، قم بالتمرير لأسفل إلى قسم خصائص عرض المشهد وقم بإلغاء تحديد إظهار وسائل الإيضاح. قم بالتمرير لأسفل إلى قسم التخطيط وحدد المشهد الفردي وعرض أربع طرق عرض متساوية .
    2. لتحديث الوحدة الافتراضية، انتقل إلى ملف | التفضيلات. في النافذة التي تفتح ، قم بتغيير الوحدة الافتراضية من ملليمترات إلى نانومتر.
  2. روابط المفاتيح الافتراضية المفيدة:
    1. اضغط على Esc لعرض الشعيرات المتصالبة في طرق عرض 2D والسماح بتدوير مستوى الصوت ثلاثي الأبعاد في طريقة العرض ثلاثية الأبعاد. اضغط على X لإخفاء الشعيرات المتصالبة في طرق العرض ثنائية الأبعاد والسماح بالترجمة ثنائية الأبعاد وترجمة وحدة التخزين ثلاثية الأبعاد في طريقة العرض ثلاثية الأبعاد.
    2. مرر مؤشر الماوس فوق الشعيرات المتصالبة لرؤية الأسهم الصغيرة التي يمكن النقر فوقها وسحبها لتغيير زاوية مستوى العرض في طرق عرض 2D الأخرى.
    3. اضغط على Z للدخول إلى حالة التكبير/التصغير في كلا العرضين، مما يسمح للمستخدمين بالنقر والسحب في أي مكان للتكبير والتصغير .
    4. انقر نقرا مزدوجا فوق طريقة عرض في مشهد Four View للتركيز على هذا العرض فقط ؛ انقر نقرا مزدوجا مرة أخرى للعودة إلى طرق العرض الأربعة.
  3. احفظ التقدم بشكل دوري عن طريق تصدير كل شيء في علامة التبويب خصائص ككائن ORS لسهولة الاستيراد. حدد جميع الكائنات في القائمة وانقر بزر الماوس الأيمن تصدير | كما يعترض ORS. قم بتسمية الملف وحفظه. بدلا من ذلك ، انتقل إلى ملف | حفظ الجلسة. لاستخدام ميزة الحفظ التلقائي في البرنامج ، قم بتمكينها من خلال ملف | التفضيلات | الحفظ التلقائي.

2. استيراد الصور

  1. لاستيراد الصور، انتقل إلى ملف | استيراد ملفات الصور. انقر فوق إضافة ، وانتقل إلى ملف الصورة ، وانقر فوق فتح | التالي | إنهاء.
    ملاحظة: لا يتعرف البرنامج على ملفات .rec. يجب أن تحتوي جميع الصور المقطعية على لاحقة .mrc. في حالة استخدام البيانات المقدمة ، انتقل بدلا من ذلك إلى ملف | استيراد كائن (كائنات). انتقل إلى ملف Training.ORSObject وانقر فوق فتح ، ثم انقر فوق موافق.

3. المعالجة المسبقة (الشكل 1.1)

  1. إنشاء مقياس كثافة مخصص (يستخدم لمعايرة كثافة الصورة عبر مجموعات البيانات). الذهاب الى قسم المرافق | مدير وحدة الأبعاد. في أسفل يمين الصفحة، انقر على + لإنشاء وحدة أبعاد جديدة.
  2. اختر ميزة عالية الكثافة (ساطعة) ومنخفضة الكثافة (داكنة) موجودة في جميع الصور المقطعية ذات الأهمية. امنح الوحدة اسما واختصارا (على سبيل المثال ، لهذا المقياس ، اضبط الخرز الائتماني على 0.0 شدة قياسية والخلفية على 100.0). احفظ وحدة الأبعاد المخصصة.
    ملاحظة: مقياس الكثافة المخصص هو مقياس عشوائي يتم إنشاؤه وتطبيقه على البيانات للتأكد من أن جميع البيانات على نفس مقياس الكثافة على الرغم من جمعها في أوقات مختلفة أو على معدات مختلفة. اختر الميزات الفاتحة والداكنة التي تمثل النطاق الذي تقع فيه الإشارة بشكل أفضل. إذا لم تكن هناك معلومات في البيانات ، فما عليك سوى اختيار أحلك ميزة سيتم تقسيمها (أحلك منطقة من البروتين ، على سبيل المثال).
  3. لمعايرة الصور إلى مقياس الكثافة المخصص، انقر بزر الماوس الأيمن فوق مجموعة البيانات في العمود خصائص على الجانب الأيسر من الشاشة وحدد معايرة مقياس الكثافة. في علامة التبويب الرئيسية على الجانب الأيسر من الشاشة ، قم بالتمرير لأسفل إلى قسم الفحص . باستخدام أداة المسبار الدائري بقطر مناسب ، انقر فوق بضعة أماكن في منطقة خلفية التصوير المقطعي وسجل متوسط الرقم في عمود الكثافة الأولية ؛ كرر ذلك للعلامات الإيمانية، ثم انقر على معايرة. إذا كان ضروريا، اضبط التباين لجعل الهياكل مرئية مرة أخرى باستخدام أداة المساحة في قسم تسوية النافذة من صفحة الصفحة الرئيسية.
  4. تصفية الصور:
    ملاحظة: يمكن أن تقلل تصفية الصور من الضوضاء وتعزز الإشارة. يستخدم هذا البروتوكول ثلاثة مرشحات مضمنة في البرنامج لأنها تعمل بشكل أفضل لهذه البيانات ، ولكن هناك العديد من المرشحات المتاحة. بمجرد الاستقرار على بروتوكول تصفية الصور للبيانات ذات الأهمية ، سيكون من الضروري تطبيق نفس البروتوكول بالضبط على جميع الصور المقطعية قبل التجزئة.
    1. في علامة التبويب الرئيسية على الجانب الأيسر ، قم بالتمرير لأسفل إلى لوحة معالجة الصور. انقر فوق خيارات متقدمة وانتظر حتى يتم فتح نافذة جديدة. من لوحة Properties ، حدد مجموعة البيانات المراد تصفيتها واجعلها مرئية بالنقر فوق أيقونة العين على يسار مجموعة البيانات.
    2. من لوحة العمليات ، استخدم القائمة المنسدلة لتحديد معادلة الرسم البياني (ضمن قسم التباين ) للعملية الأولى. حدد إضافة عملية | غاوسيان (تحت قسم التنعيم ). تغيير البعد kernel إلى 3D.
    3. إضافة عملية ثالثة ؛ ثم حدد Unsharp (ضمن قسم التوضيح ). اترك الإخراج لهذا. قم بتطبيقه على جميع الشرائح واترك التصفية تعمل ، ثم أغلق نافذة معالجة الصور للعودة إلى الواجهة الرئيسية.

4. إنشاء بيانات التدريب (الشكل 1.2)

  1. حدد منطقة التدريب عن طريق إخفاء مجموعة البيانات غير المصفاة أولا بالنقر فوق أيقونة العين على يسارها في لوحة خصائص البيانات . بعد ذلك ، اعرض مجموعة البيانات التي تمت تصفيتها حديثا (والتي سيتم تسميتها تلقائيا DataSet-HistEq-Gauss-Unsharp). باستخدام مجموعة البيانات التي تمت تصفيتها ، حدد منطقة فرعية من التصوير المقطعي تحتوي على جميع الميزات ذات الأهمية.
  2. لإنشاء مربع حول منطقة الاهتمام ، على الجانب الأيمن ، في علامة التبويب الرئيسية ، قم بالتمرير لأسفل إلى فئة الأشكال وحدد إنشاء مربع. أثناء وجودك في لوحة Four View ، استخدم مستويات 2D المختلفة للمساعدة في توجيه / سحب حواف المربع لإحاطة منطقة الاهتمام فقط في جميع الأبعاد. في قائمة البيانات، حدد منطقة المربع وقم بتغيير لون الحد لتسهيل العرض بالنقر فوق المربع الرمادي بجوار رمز العين.
    ملاحظة: أصغر حجم التصحيح ل 2D U-Net هو 32 × 32 بكسل ؛ 400 × 400 × 50 بكسل هو حجم مربع معقول للبدء.
  3. لإنشاء عائد استثمار متعدد، في الجانب الأيمن، حدد علامة التبويب تجزئة | جديد وحدد إنشاء كعائد استثمار متعدد. تأكد من أن عدد الفئات يتوافق مع عدد الميزات ذات الاهتمام + فئة الخلفية. قم بتسمية بيانات التدريب متعددة عائد الاستثمار وتأكد من أن الشكل الهندسي يتوافق مع مجموعة البيانات قبل النقر فوق موافق.
  4. تجزئة بيانات التدريب
    1. قم بالتمرير عبر البيانات حتى داخل حدود المنطقة المحاصرة. حدد عائد الاستثمار المتعدد في قائمة الخصائص على اليمين. انقر نقرا مزدوجا فوق اسم الفئة الفارغ الأول في عائد الاستثمار المتعدد لتسميته.
    2. الطلاء مع فرشاة 2D. في علامة تبويب التجزئة على اليسار ، قم بالتمرير لأسفل إلى أدوات 2D وحدد فرشاة دائرية. ثم حدد Gaussian التكيفي أو OTSU المحلي من القائمة المنسدلة. للطلاء ، اضغط مع الاستمرار على ctrl الأيسر وانقر فوق. للمسح ، اضغط مع الاستمرار على مفتاح shift الأيسر وانقر فوق.
      ملاحظة: ستعكس الفرشاة لون الفئة المحددة حاليا.
    3. كرر الخطوة السابقة لكل فئة كائن في عائد الاستثمار المتعدد. تأكد من أن جميع الهياكل داخل المنطقة المحاصرة مجزأة بالكامل أو سيتم اعتبارها خلفية من قبل الشبكة.
    4. عندما يتم تسمية جميع الهياكل ، انقر بزر الماوس الأيمن فوق فئة الخلفية في Multi-ROI وحدد إضافة جميع Voxels غير المسماة إلى الفئة.
  5. أنشئ عائد استثمار جديدا من فئة واحدة باسم Mask. تأكد من تعيين الشكل الهندسي إلى مجموعة البيانات التي تمت تصفيتها، ثم انقر فوق تطبيق. في علامة تبويب الخصائص على اليسار، انقر بزر الماوس الأيمن فوق المربع وحدد إضافة إلى عائد الاستثمار. أضفه إلى عائد استثمار القناع.
  6. لاقتطاع بيانات التدريب باستخدام القناع ، في علامة التبويب خصائص ، حدد كلا من عائد الاستثمار المتعدد لبيانات التدريب وقناع عائد الاستثمار بالضغط باستمرار على Ctrl والنقر فوق كل منهما. بعد ذلك ، انقر فوق تقاطع أسفل قائمة خصائص البيانات في القسم المسمى العمليات المنطقية. قم بتسمية مجموعة البيانات الجديدة مقتطعة إدخال التدريب، وتأكد من أن الشكل الهندسي يتوافق مع مجموعة البيانات التي تمت تصفيتها قبل النقر فوق موافق.

5. استخدام معالج التجزئة للتدريب التكراري (الشكل 1.3)

  1. قم باستيراد بيانات التدريب إلى معالج التجزئة بالنقر بزر الماوس الأيمن أولا فوق مجموعة البيانات التي تمت تصفيتها في علامة التبويب خصائص ، ثم تحديد الخيار معالج التجزئة . عند فتح نافذة جديدة ، ابحث عن علامة تبويب الإدخال على الجانب الأيمن. انقر فوق استيراد إطارات من عائد استثمار متعدد وحدد إدخال التدريب المقتطع.
  2. (اختياري) قم بإنشاء إطار ملاحظات مرئي لمراقبة تقدم التدريب في الوقت الفعلي.
    1. حدد إطارا من البيانات غير المجزأة وانقر فوق + لإضافته كإطار جديد. انقر نقرا مزدوجا فوق التسمية المختلطة الموجودة على يمين الإطار وقم بتغييرها إلى المراقبة.
  3. لإنشاء نموذج شبكة عصبية جديد ، على الجانب الأيمن في علامة التبويب النماذج ، انقر فوق الزر + لإنشاء نموذج جديد. حدد U-Net من القائمة، ثم لبعد الإدخال، حدد 2.5D و5 شرائح، ثم انقر فوق إنشاء.
  4. لتدريب الشبكة ، انقر فوق تدريب في أسفل يمين نافذة SegWiz .
    ملاحظة: يمكن إيقاف التدريب مبكرا دون فقدان التقدم.
  5. لاستخدام الشبكة المدربة لتقسيم إطارات جديدة ، عند اكتمال تدريب U-Net ، قم بإنشاء إطار جديد وانقر فوق توقع (أسفل اليمين). ثم ، انقر فوق السهم لأعلى في الجزء العلوي الأيمن من الإطار المتوقع لنقل التجزئة إلى الإطار الحقيقي.
  6. لتصحيح التنبؤ، انقر مع الضغط على مفتاح Ctrl على فئتين لتغيير وحدات البكسل المجزأة من أحدهما إلى الآخر. حدد كلا الفئتين وقم بالطلاء باستخدام الفرشاة لطلاء وحدات البكسل التي تنتمي إلى أي من الفئتين فقط. قم بتصحيح التجزئة في خمسة إطارات جديدة على الأقل.
    ملاحظة: الطلاء باستخدام أداة الفرشاة أثناء تحديد كلتا الفئتين يعني أنه بدلا من مسح النقر مع الضغط على مفتاح العالي ، كما يحدث عادة ، سيتم تحويل وحدات البكسل من الفئة الأولى إلى الثانية. سيؤدي النقر مع الضغط على مفتاح Ctrl إلى تحقيق العكس.
  7. للتدريب التكراري ، انقر فوق الزر Train مرة أخرى واسمح للشبكة بالتدريب أكثر لمدة 30-40 حقبة أخرى ، وعند هذه النقطة أوقف التدريب وكرر الخطوتين 4.5 و 4.6 لجولة أخرى من التدريب.
    ملاحظة: بهذه الطريقة ، يمكن تدريب النموذج وتحسينه بشكل متكرر باستخدام مجموعة بيانات واحدة.
  8. لنشر الشبكة، عند الرضا عن أدائها، قم بإنهاء "معالج التجزئة". في مربع الحوار الذي ينبثق تلقائيا يسأل عن النماذج التي سيتم نشرها (حفظها)، حدد الشبكة الناجحة، وقم بتسميتها ، ثم انشرها لجعل الشبكة متاحة للاستخدام خارج معالج التجزئة.

6. تطبيق الشبكة (الشكل 1.4)

  1. للتطبيق على التصوير المقطعي للتدريب أولا، حدد مجموعة البيانات المفلترة في لوحة الخصائص . في لوحة التجزئة على اليسار ، قم بالتمرير لأسفل إلى قسم التقسيم مع الذكاء الاصطناعي . تأكد من تحديد مجموعة البيانات الصحيحة، واختر النموذج الذي تم نشره للتو في القائمة المنسدلة، ثم انقر على تقسيم | جميع الشرائح. بدلا من ذلك، حدد معاينة لعرض معاينة شريحة واحدة للتقسيم.
  2. للتطبيق على مجموعة بيانات الاستدلال، قم باستيراد الرسم المقطعي الجديد. المعالجة المسبقة وفقا للخطوة 3 (الشكل 1.1). في لوحة التجزئة ، انتقل إلى قسم التقسيم مع الذكاء الاصطناعي. تأكد من أن التصوير المقطعي المحوسب الذي تمت تصفيته حديثا هو مجموعة البيانات المحددة ، واختر النموذج الذي تم تدريبه مسبقا ، وانقر فوق Segment | جميع الشرائح.

7. التلاعب بالتجزئة والتنظيف

  1. قم بتنظيف الضوضاء بسرعة عن طريق اختيار إحدى الفئات التي تحتوي على ضوضاء مجزأة وميزة الاهتمام. انقر بزر الماوس الأيمن | جزر العمليات | إزالة بواسطة فوكسل العد | حدد حجم فوكسل. ابدأ صغيرا (~ 200) وقم بزيادة العد تدريجيا لإزالة معظم الضوضاء.
  2. لتصحيح التجزئة، انقر مع الضغط على مفتاح Ctrl على فئتين لطلاء وحدات البكسل التي تنتمي إلى تلك الفئات فقط. انقر مع الضغط على مفتاح Ctrl + اسحب باستخدام أدوات التجزئة لتغيير وحدات البكسل من الفئة الثانية إلى الأولى والنقر مع الضغط على مفتاح العالي + السحب لتحقيق العكس. استمر في القيام بذلك لتصحيح وحدات البكسل المسماة بشكل غير صحيح بسرعة.
  3. فصل المكونات المتصلة.
    1. اختر فصلا. انقر بزر الماوس الأيمن فوق فئة في Multi-ROI | فصل المكونات المتصلة لإنشاء فئة جديدة لكل مكون غير متصل بمكون آخر من نفس الفئة. استخدم الأزرار الموجودة أسفل Multi-ROI لدمج الفئات بسهولة.
  4. تصدير عائد الاستثمار كثنائي / TIFF.
    1. اختر فئة في Multi-ROI ، ثم انقر بزر الماوس الأيمن واستخرج الفئة كعائد استثمار. في لوحة الخصائص أعلاه ، حدد عائد الاستثمار الجديد ، وانقر بزر الماوس الأيمن | تصدير | عائد الاستثمار كثنائي (تأكد من تحديد خيار تصدير جميع الصور إلى ملف واحد ).
      ملاحظة: يمكن للمستخدمين التحويل بسهولة من تنسيق tiff إلى تنسيق mrc باستخدام برنامج IMOD tif2mrc20. هذا مفيد لتتبع الخيوط.

8. إنشاء إحداثيات لمتوسط التصوير المقطعي الفرعي من عائد الاستثمار

  1. استخراج فئة.
    1. انقر بزر الماوس الأيمن فوق Class لاستخدامها في المتوسط | استخراج الفئة كعائد استثمار. انقر بزر الماوس الأيمن فوق عائد استثمار الفصل | المكونات المتصلة | عائد استثمار متعدد جديد (26 متصلا).
  2. إنشاء إحداثيات.
    1. انقر بزر الماوس الأيمن فوق عائد الاستثمار المتعدد الجديد | مولد عددي. توسيع القياسات الأساسية باستخدام مجموعة البيانات | تحقق من المركز المرجح للكتلة X و Y و Z. حدد مجموعة البيانات وقم بالحوسبة. انقر بزر الماوس الأيمن فوق عائد استثمار متعدد | تصدير القيم العددية. حدد حدد جميع الفتحات العددية ، ثم موافق لإنشاء إحداثيات عالم centroid لكل فئة في عائد الاستثمار المتعدد كملف CSV.
      ملاحظة: إذا كانت الجسيمات قريبة من بعضها البعض وكانت الأجزاء تلامس ، فقد يكون من الضروري إجراء تحويل مستجمعات المياه لفصل المكونات إلى عائد استثمار متعدد.

9. تحويل مستجمعات المياه

  1. استخراج الفئة بالنقر بزر الماوس الأيمن فوق الفئة في Multi-ROI لاستخدامها في حساب المتوسط | استخراج الفئة كعائد استثمار. قم بتسمية قناع مستجمعات المياه ROI هذا.
  2. (اختياري) إغلاق الثقوب.
    1. إذا كانت الجسيمات المجزأة بها ثقوب أو فتحات ، فأغلقها من أجل مستجمعات المياه. انقر على عائد الاستثمار في خصائص البيانات. في علامة التبويب التجزئة (على اليسار) ، انتقل إلى العمليات المورفولوجية واستخدم أي مجموعة من التمدد والتآكل والإغلاق اللازمة لتحقيق تقسيمات صلبة بدون ثقوب.
  3. عكس عائد الاستثمار بالنقر فوق عائد الاستثمار | نسخ الكائن المحدد (أسفل خصائص البيانات). حدد عائد الاستثمار المنسوخ ، وعلى الجانب الأيسر في علامة التبويب تجزئة ، انقر فوق عكس.
  4. إنشاء خريطة مسافة بالنقر بزر الماوس الأيمن فوق عائد الاستثمار المعكوس | إنشاء رسم خرائط | خريطة المسافة. للاستخدام لاحقا ، قم بعمل نسخة من خريطة المسافة وعكسها (انقر بزر الماوس الأيمن | تعديل وتحويل | عكس القيم | تطبيق). قم بتسمية هذه الخريطة المقلوبة المناظر الطبيعية.
  5. إنشاء نقاط البذور.
    1. إخفاء عائد الاستثمار وعرض خريطة المسافة. في علامة التبويب تجزئة ، انقر فوق تعريف نطاق وقم بتقليل النطاق حتى يتم تمييز بضع بيكسلات فقط في وسط كل نقطة ولا يتم توصيل أي منها بنقطة أخرى. في أسفل قسم النطاق ، انقر على إضافة إلى جديد. قم بتسمية نقاط البذور الجديدة لعائد الاستثمار.
  6. أداء تحويل مستجمعات المياه.
    1. انقر بزر الماوس الأيمن فوق عائد استثمار نقاط البذور | المكونات المتصلة | عائد استثمار متعدد جديد (26 متصلا). انقر بزر الماوس الأيمن فوق عائد الاستثمار المتعدد الذي تم إنشاؤه حديثا | تحويل مستجمعات المياه. حدد خريطة المسافة المسماة أفقي وانقر فوق موافق; حدد عائد الاستثمار المسمى قناع مستجمعات المياه وانقر فوق موافق لحساب تحويل مستجمعات المياه من كل نقطة أولية وفصل الجسيمات الفردية إلى فئات منفصلة في عائد الاستثمار المتعدد. إنشاء إحداثيات كما في الخطوة 8.2.

Figure 1
الشكل 1: سير العمل. 1) المعالجة المسبقة للتصوير المقطعي للتدريب عن طريق معايرة مقياس الشدة وتصفية مجموعة البيانات. 2) قم بإنشاء بيانات التدريب عن طريق تقسيم جزء صغير من التصوير المقطعي يدويا مع جميع الملصقات المناسبة التي يرغب المستخدم في تحديدها. 3) باستخدام التصوير المقطعي المفلتر كمدخل وتجزئة اليد كمخرج تدريب ، يتم تدريب U-Net من خمس طبقات ومتعددة الشرائح في معالج التجزئة. 4) يمكن تطبيق الشبكة المدربة على التصوير المقطعي الكامل للتعليق عليها ويمكن إنشاء عرض 3D من كل فئة مجزأة. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

Representative Results

باتباع البروتوكول ، تم تدريب U-Net المكون من خمس شرائح على تصوير مقطعي واحد (الشكل 2 أ) لتحديد خمس فئات: الغشاء ، الأنابيب الدقيقة ، الأكتين ، العلامات الائتمانية ، والخلفية. تم تدريب الشبكة بشكل متكرر ما مجموعه ثلاث مرات ، ثم تم تطبيقها على التصوير المقطعي لتقطيعها بالكامل والتعليق عليها (الشكل 2B ، C). تم إجراء الحد الأدنى من التنظيف باستخدام الخطوتين 7.1 و 7.2. تم تحميل الصور المقطعية الثلاثة التالية ذات الأهمية (الشكل 2D ، G ، J) في البرنامج للمعالجة المسبقة. قبل استيراد الصورة ، تطلب أحد الصور المقطعية (الشكل 2J) تعديل حجم البكسل من 17.22 Å / px إلى 13.3 Å / px حيث تم جمعها على مجهر مختلف بتكبير مختلف قليلا. تم استخدام ضغط برنامج IMOD لتغيير الحجم باستخدام الأمر التالي:

'squeezevol -f 0.772 inputfile.mrc outputfile.mrc'

في هذا الأمر ، يشير -f إلى العامل الذي يتم من خلاله تغيير حجم البكسل (في هذه الحالة: 13.3 / 17.22). بعد الاستيراد ، تمت معالجة جميع أهداف الاستدلال الثلاثة مسبقا وفقا للخطوتين 3.2 و 3.3 ، ثم تم تطبيق U-Net المكون من خمس شرائح. تم إجراء الحد الأدنى من التنظيف مرة أخرى. يتم عرض الأجزاء النهائية في الشكل 2.

تم تصدير تجزئة الأنابيب الدقيقة من كل تصوير مقطعي كملفات TIF ثنائية (الخطوة 7.4) ، وتحويلها إلى MRC (برنامج IMOD tif2mrc ) ، ثم استخدامها لارتباط الأسطوانة وتتبع الفتيل. تؤدي التقسيمات الثنائية للخيوط إلى تتبع خيوط أكثر قوة من التتبع عبر التصوير المقطعي. سيتم استخدام خرائط الإحداثيات من تتبع الخيوط (الشكل 3) لمزيد من التحليل ، مثل أقرب قياسات الجيران (تعبئة الفتيل) ومتوسط التصوير المقطعي الفرعي الحلزوني على طول خيوط مفردة لتحديد اتجاه الأنابيب الدقيقة.

من السهل تحديد الشبكات غير الناجحة أو غير المدربة بشكل كاف. لن تتمكن الشبكة الفاشلة من تقسيم أي هياكل على الإطلاق ، في حين أن الشبكة غير المدربة بشكل كاف عادة ما تقوم بتقسيم بعض الهياكل بشكل صحيح ولديها عدد كبير من الإيجابيات الخاطئة والسلبيات الخاطئة. يمكن تصحيح هذه الشبكات وتدريبها بشكل متكرر لتحسين أدائها. يقوم معالج التجزئة تلقائيا بحساب معامل تشابه النرد للنموذج (يسمى النتيجة في SegWiz) بعد تدريبه. تعطي هذه الإحصائية تقديرا للتشابه بين بيانات التدريب وتجزئة U-Net. يحتوي Dragonfly 2022.1 أيضا على أداة مضمنة لتقييم أداء النموذج يمكن الوصول إليها في علامة التبويب الذكاء الاصطناعي أعلى الواجهة (انظر وثائق الاستخدام).

Figure 2
الشكل 2: الاستدلال. (A-C) التصوير المقطعي التدريبي الأصلي لخلية عصبية للفئران الحصين DIV 5 ، تم جمعها في عام 2019 على Titan Krios. هذه إعادة بناء متوقعة مع تصحيح CTF في IMOD. (أ) يمثل المربع الأصفر المنطقة التي تم فيها تجزئة اليد لمدخلات التدريب. (ب) تجزئة 2D من U-Net بعد اكتمال التدريب. (ج) عرض 3D للمناطق المجزأة التي تظهر الغشاء (الأزرق) ، الأنابيب الدقيقة (الأخضر) ، والأكتين (الأحمر). (مد-واو) DIV 5 الحصين الفئران العصبية من نفس الجلسة مثل التصوير المقطعي للتدريب. (ه) تجزئة 2D من U-Net بدون تدريب إضافي وتنظيف سريع. غشاء (أزرق) ، أنابيب دقيقة (أخضر) ، أكتين (أحمر) ، إيماني (وردي). (و) تقديم 3D للمناطق المجزأة. (ز-ط) DIV 5 الخلايا العصبية الجرذ الحصين من جلسة 2019. (H) تجزئة 2D من U-Net مع التنظيف السريع و (I) تقديم 3D. (ي-ل) DIV 5 خلية عصبية للفئران الحصين ، تم جمعها في عام 2021 على تيتان كريوس مختلف بتكبير مختلف. تم تغيير حجم البكسل باستخدام ضغط برنامج IMOD لمطابقة التصوير المقطعي للتدريب. (K) تجزئة 2D من U-Net مع التنظيف السريع ، مما يدل على استدلال قوي عبر مجموعات البيانات مع المعالجة المسبقة المناسبة و (L) تقديم 3D للتجزئة. قضبان المقياس = 100 نانومتر. الاختصارات: DIV = أيام في المختبر. CTF = وظيفة نقل التباين. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

Figure 3
الشكل 3: تحسين تتبع الشعيرة . (أ) التصوير المقطعي لخلية عصبية قرنية للفئران DIV 4 ، تم جمعها على تيتان كريوس. (ب) خريطة الارتباط الناتجة عن ارتباط الأسطوانة بخيوط الأكتين. (ج) تتبع خيوط الأكتين باستخدام شدة خيوط الأكتين في خريطة الارتباط لتحديد المعلمات. يلتقط التتبع الغشاء والأنابيب الدقيقة ، وكذلك الضوضاء ، أثناء محاولة تتبع الأكتين فقط. (د) تجزئة U-Net للتصوير المقطعي. غشاء مظلل باللون الأزرق ، والأنابيب الدقيقة باللون الأحمر ، والريبوسومات باللون البرتقالي ، و triC باللون الأرجواني ، والأكتين باللون الأخضر. ه: تجزئة الأكتين المستخرجة كقناع ثنائي لتتبع الخيوط. (F) خريطة الارتباط الناتجة عن ارتباط الأسطوانة بنفس المعلمات من (B). (ز) تحسن كبير في تتبع خيوط خيوط الأكتين فقط من التصوير المقطعي. اختصار: DIV = أيام في المختبر. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

الملف التكميلي 1: يتم تضمين التصوير المقطعي المستخدم في هذا البروتوكول وعائد الاستثمار المتعدد الذي تم إنشاؤه كمدخلات تدريب كمجموعة بيانات مجمعة (Training.ORSObject). انظر https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct.

Discussion

يحدد هذا البروتوكول إجراء لاستخدام برنامج Dragonfly 2022.1 لتدريب U-Net متعدد الفئات من صورة مقطعية واحدة ، وكيفية استنتاج تلك الشبكة إلى صور مقطعية أخرى لا يلزم أن تكون من نفس مجموعة البيانات. التدريب سريع نسبيا (يمكن أن يصل إلى 3-5 دقائق لكل حقبة أو بطيء مثل بضع ساعات ، اعتمادا كليا على الشبكة التي يتم تدريبها والأجهزة المستخدمة) ، وإعادة تدريب الشبكة لتحسين تعلمها أمر بديهي. طالما يتم تنفيذ خطوات المعالجة المسبقة لكل تصوير مقطعي مقطعي ، فإن الاستدلال عادة ما يكون قويا.

المعالجة المسبقة المتسقة هي الخطوة الأكثر أهمية لاستدلال التعلم العميق. هناك العديد من مرشحات التصوير في البرنامج ويمكن للمستخدم تجربة تحديد المرشحات التي تعمل بشكل أفضل لمجموعات بيانات معينة ؛ لاحظ أنه مهما كان الترشيح المستخدم في التصوير المقطعي للتدريب ، يجب تطبيقه بنفس الطريقة على التصوير المقطعي الاستدلالي. يجب أيضا توخي الحذر لتزويد الشبكة بمعلومات تدريب دقيقة وكافية. من الضروري أن يتم تقسيم جميع الميزات المجزأة داخل شرائح التدريب بعناية ودقة قدر الإمكان.

يتم تسهيل تجزئة الصورة من خلال واجهة مستخدم متطورة من الدرجة التجارية. يوفر جميع الأدوات اللازمة لتجزئة اليد ويسمح بإعادة التعيين البسيط للفوكسل من أي فئة إلى أخرى قبل التدريب وإعادة التدريب. يسمح للمستخدم بتقطيع voxels يدويا ضمن السياق الكامل للتصوير المقطعي ، ويتم منحهم وجهات نظر متعددة والقدرة على تدوير مستوى الصوت بحرية. بالإضافة إلى ذلك ، يوفر البرنامج القدرة على استخدام شبكات متعددة الفئات ، والتي تميل إلى أداءأفضل 16 وأسرع من التقسيم مع شبكات متعددة من فئة واحدة.

هناك ، بالطبع ، قيود على قدرات الشبكة العصبية. بيانات Cryo-ET ، بطبيعتها ، صاخبة للغاية ومحدودة في أخذ العينات الزاوية ، مما يؤدي إلى تشوهات خاصة بالاتجاه في كائنات متطابقة21. يعتمد التدريب على خبير لتقسيم الهياكل بدقة ، والشبكة الناجحة جيدة (أو سيئة) فقط مثل بيانات التدريب التي يتم تقديمها. تعد تصفية الصور لتعزيز الإشارة مفيدة للمدرب ، ولكن لا يزال هناك العديد من الحالات التي يصعب فيها تحديد جميع وحدات البكسل بدقة في بنية معينة. لذلك ، من المهم توخي الحذر الشديد عند إنشاء تجزئة التدريب بحيث يكون لدى الشبكة أفضل المعلومات الممكنة للتعلم أثناء التدريب.

يمكن تعديل سير العمل هذا بسهولة حسب تفضيل كل مستخدم. في حين أنه من الضروري أن تتم معالجة جميع الصور المقطعية مسبقا بنفس الطريقة تماما ، فليس من الضروري استخدام المرشحات الدقيقة المستخدمة في البروتوكول. يحتوي البرنامج على العديد من خيارات تصفية الصور ، ويوصى بتحسينها لبيانات المستخدم الخاصة قبل الشروع في مشروع تجزئة كبير يمتد عبر العديد من الصور المقطعية. هناك أيضا عدد غير قليل من معماريات الشبكات المتاحة للاستخدام: تم العثور على U-Net متعدد الشرائح للعمل بشكل أفضل للبيانات من هذا المختبر ، ولكن قد يجد مستخدم آخر أن بنية أخرى (مثل 3D U-Net أو Sensor 3D) تعمل بشكل أفضل. يوفر معالج التجزئة واجهة ملائمة لمقارنة أداء شبكات متعددة باستخدام نفس بيانات التدريب.

أدوات مثل تلك المعروضة هنا ستجعل تجزئة اليد من التصوير المقطعي الكامل مهمة من الماضي. من خلال الشبكات العصبية المدربة جيدا والتي يمكن الاستدلال عليها بقوة ، من الممكن تماما إنشاء سير عمل حيث يتم إعادة بناء بيانات التصوير المقطعي ومعالجتها وتجزئتها بالكامل بأسرع ما يمكن للمجهر جمعها.

Disclosures

تم دفع ثمن ترخيص الوصول المفتوح لهذا البروتوكول من قبل Object Research Systems.

Acknowledgments

تم دعم هذه الدراسة من قبل كلية الطب بولاية بنسلفانيا وقسم الكيمياء الحيوية والبيولوجيا الجزيئية ، بالإضافة إلى منحة صندوق تسوية التبغ (TSF) 4100079742-EXT. تم تمويل خدمات وأدوات CryoEM و CryoET Core (RRID: SCR_021178) المستخدمة في هذا المشروع ، جزئيا ، من قبل كلية الطب بجامعة ولاية بنسلفانيا عبر مكتب نائب عميد البحث وطلاب الدراسات العليا ووزارة الصحة في بنسلفانيا باستخدام صناديق تسوية التبغ (CURE). المحتوى هو مسؤولية المؤلفين فقط ولا يمثل بالضرورة الآراء الرسمية للجامعة أو كلية الطب. تتنصل وزارة الصحة في ولاية بنسلفانيا على وجه التحديد من المسؤولية عن أي تحليلات أو تفسيرات أو استنتاجات.

Materials

Name Company Catalog Number Comments
Dragonfly 2022.1 Object Research Systems https://www.theobjects.com/dragonfly/index.html
E18 Rat Dissociated Hippocampus Transnetyx Tissue KTSDEDHP https://tissue.transnetyx.com/faqs
IMOD University of Colorado https://bio3d.colorado.edu/imod/
Intel® Xeon® Gold 6124 CPU 3.2GHz Intel https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html
NVIDIA Quadro P4000 NVIDIA https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf
Windows 10 Enterprise 2016 Microsoft https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise
Workstation Minimum Requirements https://theobjects.com/dragonfly/system-requirements.html

DOWNLOAD MATERIALS LIST

References

  1. Bai, X. -C., Mcmullan, G., Scheres, S. H. W. How cryo-EM is revolutionizing structural biology. Trends in Biochemical Sciences. 40 (1), 49-57 (2015).
  2. de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. Cryo-EM: The resolution revolution and drug discovery. SLAS Discovery. 26 (1), 17-31 (2021).
  3. Danev, R., Yanagisawa, H., Kikkawa, M. Cryo-EM performance testing of hardware and data acquisition strategies. Microscopy. 70 (6), 487-497 (2021).
  4. Mastronarde, D. N. Automated electron microscope tomography using robust prediction of specimen movements. Journal of Structural Biology. 152 (1), 36-51 (2005).
  5. Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet. , Available from: https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf (2022).
  6. Danev, R., Baumeister, W. Expanding the boundaries of cryo-EM with phase plates. Current Opinion in Structural Biology. 46, 87-94 (2017).
  7. Hylton, R. K., Swulius, M. T. Challenges and triumphs in cryo-electron tomography. iScience. 24 (9), (2021).
  8. Turk, M., Baumeister, W. The promise and the challenges of cryo-electron tomography. FEBS Letters. 594 (20), 3243-3261 (2020).
  9. Oikonomou, C. M., Jensen, G. J. Cellular electron cryotomography: Toward structural biology in situ. Annual Review of Biochemistry. 86, 873-896 (2017).
  10. Wagner, J., Schaffer, M., Fernández-Busnadiego, R. Cryo-electron tomography-the cell biology that came in from the cold. FEBS Letters. 591 (17), 2520-2533 (2017).
  11. Lam, V., Villa, E. Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography. Methods in Molecular Biology. 2215, 49-82 (2021).
  12. Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. Rapid tilt-series acquisition for electron cryotomography. Journal of Structural Biology. 205 (2), 163-169 (2019).
  13. Eisenstein, F., Danev, R., Pilhofer, M. Improved applicability and robustness of fast cryo-electron tomography data acquisition. Journal of Structural Biology. 208 (2), 107-114 (2019).
  14. Esteva, A., et al. Deep learning-enabled medical computer vision. npj Digital Medicine. 4 (1), (2021).
  15. Liu, Y. -T., et al. Isotropic reconstruction of electron tomograms with deep learning. bioRxiv. , (2021).
  16. Moebel, E., et al. Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms. Nature Methods. 18 (11), 1386-1394 (2021).
  17. Chen, M., et al. Convolutional neural networks for automated annotation of cellular cryo-electron tomograms. Nature Methods. 14 (10), 983-985 (2017).
  18. Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).
  19. Dragonfly 2021.3 (Computer Software). , Available from: http://www.theobjects.com/dragonfly (2021).
  20. Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. Computer visualization of three-dimensional image data using IMOD. Journal of Structural Biology. 116 (1), 71-76 (1996).
  21. Iancu, C. V., et al. A "flip-flop" rotation stage for routine dual-axis electron cryotomography. Journal of Structural Biology. 151 (3), 288-297 (2005).

Tags

علم الأحياء، العدد 189،
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Heebner, J. E., Purnell, C., Hylton, … More

Heebner, J. E., Purnell, C., Hylton, R. K., Marsh, M., Grillo, M. A., Swulius, M. T. Deep Learning-Based Segmentation of Cryo-Electron Tomograms. J. Vis. Exp. (189), e64435, doi:10.3791/64435 (2022).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter