التجزئة القائمة على التعلم العميق للتصوير المقطعي الإلكتروني بالتبريد
نوفمبر 11, 2022
هذه طريقة لتدريب U-Net متعدد الشرائح على تجزئة متعددة الفئات من التصوير المقطعي الإلكتروني بالتبريد باستخدام جزء من صورة مقطعية واحدة كمدخل تدريب. نصف كيفية استنتاج هذه الشبكة إلى الصور المقطعية الأخرى وكيفية استخراج التقسيمات لمزيد من التحليلات ، مثل متوسط التصوير المقطعي الفرعي وتتبع الخيوط.
الأمر الأكثر إثارة في بروتوكولنا هو أنه يسمح لأي مختبر بالبدء والتشغيل باستخدام بروتوكولات التعلم العميق هذه لتقسيم كميات كبيرة من بيانات cryo-ET. الميزة الرئيسية لسير العمل لدينا هي أن Dragonfly يوفر بيئة حسابية احترافية لتدريب الشبكات العصبية متعددة الفئات على التجزئة ، وهذا يمكن أن يسرع عملية التجزئة بشكل كبير. يستغرق تقسيم الصور وقتا للتعلم ، لذا تأكد من اختبار الأدوات ومعرفة روابط المفاتيح للمساعدة حقا في تبسيط سير عملك بمرور الوقت.
بعد إعداد البرنامج ، تابع استيراد الصورة بالانتقال إلى ملف ، وتحديد استيراد ملفات الصور. ثم اضغط إضافة، انتقل إلى ملف الصورة، انقر فتح، وحدد التالي، متبوعا بإنهاء. قم بإنشاء مقياس كثافة مخصص بالانتقال إلى الأدوات المساعدة وتحديد مدير وحدة الأبعاد.
انقر فوق علامة الجمع في أسفل اليسار لإنشاء وحدة أبعاد جديدة. اختر ميزة عالية ومنخفضة الكثافة في جميع الصور المقطعية ذات الأهمية. امنح الوحدة اسما واختصارا واحفظ وحدة الأبعاد المخصصة.
لمعايرة الصور إلى مقياس الكثافة المخصص ، انقر بزر الماوس الأيمن فوق مجموعة البيانات في عمود الخصائص على الجانب الأيمن من الشاشة وحدد معايرة مقياس الكثافة. بعد ذلك ، انتقل إلى علامة التبويب الرئيسية على الجانب الأيسر من الشاشة وانتقل لأسفل إلى قسم المسبار. باستخدام أداة المسبار الدائري بقطر مناسب ، انقر فوق بضعة أماكن في منطقة خلفية التصوير المقطعي ، وسجل متوسط الرقم في عمود الكثافة الأولية.
كرر للعلامات الائتمانية وانقر فوق معايرة. إذا لزم الأمر، اضبط التباين لجعل الهياكل مرئية مرة أخرى باستخدام أداة المساحة في قسم تسوية النافذة من علامة التبويب الرئيسية. على الجانب الأيسر من علامة التبويب الرئيسية ، قم بالتمرير لأسفل إلى لوحة معالجة الصور.
انقر فوق خيارات متقدمة وانتظر حتى يتم فتح نافذة جديدة. من لوحة الخصائص، حدد مجموعة البيانات المراد تصفيتها واجعلها مرئية بالنقر فوق أيقونة العين على يسار مجموعة البيانات. بعد ذلك ، استخدم القائمة المنسدلة من لوحة العمليات لتحديد معادلة الرسم البياني للعملية الأولى.
حدد إضافة عملية، وانقر فوق Gaussian، وقم بتغيير بعد kernel إلى 3D. أضف العملية الثالثة ، ثم حدد Unsharp واترك الإخراج لهذه العملية. قم بتطبيق المعادلة على جميع الشرائح واترك التصفية تعمل ، ثم أغلق نافذة معالجة الصور للعودة إلى الواجهة الرئيسية.
لتحديد منطقة التدريب ، انتقل إلى لوحة خصائص البيانات عن طريق إخفاء مجموعة البيانات غير المصفاة أولا بالنقر فوق رمز العين الموجود على يسارها. بعد ذلك ، اعرض مجموعة البيانات التي تمت تصفيتها حديثا. باستخدام مجموعة البيانات التي تمت تصفيتها ، حدد منطقة فرعية من التصوير المقطعي تحتوي على جميع الميزات ذات الأهمية.
الآن قم بإنشاء مربع حول منطقة الاهتمام عن طريق التمرير لأسفل إلى فئة الأشكال وتحديد إنشاء مربع على الجانب الأيسر من علامة التبويب الرئيسية. أثناء وجودك في لوحة العرض الأربعة ، استخدم مستويات 2D المختلفة للمساعدة في توجيه أو سحب حواف المربع لإحاطة منطقة الاهتمام فقط في جميع الأبعاد. في قائمة البيانات، حدد منطقة المربع وقم بتغيير لون الحدود لتسهيل العرض بالنقر فوق المربع الرمادي بجوار رمز العين.
لإنشاء عائد استثمار متعدد، حدد علامة التبويب تقسيم، وانقر فوق جديد على الجانب الأيمن، وحدد إنشاء كعائد استثمار متعدد. تأكد من أن عدد الفئات يتوافق مع عدد الميزات ذات الاهتمام بالإضافة إلى فئة الخلفية. قم بتسمية بيانات التدريب متعدد عائد الاستثمار وتأكد من أن الشكل الهندسي يتوافق مع مجموعة البيانات قبل النقر فوق موافق. بعد ذلك ، قم بالتمرير عبر البيانات حتى داخل حدود المنطقة المحاصرة.
حدد عائد الاستثمار المتعدد في قائمة الخصائص على اليمين. انقر نقرا مزدوجا فوق اسم الفئة الفارغ الأول في عائد الاستثمار المتعدد لتسميته. للطلاء باستخدام فرشاة ثنائية الأبعاد ، قم بالتمرير لأسفل إلى أدوات 2D في علامة تبويب التجزئة على اليسار وحدد فرشاة دائرية.
ثم حدد Adaptive Gaussian أو Local OTSU من القائمة المنسدلة ، وقم بالطلاء بالضغط على مفتاح التحكم الأيسر بالإضافة إلى النقر ، وامسح بالضغط على مفتاح shift الأيسر بالإضافة إلى النقر. بمجرد تسمية جميع الهياكل ، انقر بزر الماوس الأيمن فوق فئة الخلفية في عائد الاستثمار المتعدد وحدد إضافة جميع Voxels غير المسماة إلى الفئة. بعد ذلك ، قم بإنشاء عائد استثمار جديد من فئة واحدة باسم Mask.
تأكد من تعيين الشكل الهندسي إلى مجموعة البيانات التي تمت تصفيتها ثم انقر فوق تطبيق. في علامة التبويب خصائص على اليسار ، انقر بزر الماوس الأيمن فوق المربع ، وحدد إضافة إلى عائد الاستثمار ، وأضفه إلى قناع عائد الاستثمار. لقص بيانات التدريب باستخدام القناع ، انتقل إلى علامة التبويب خصائص وحدد كلا من بيانات التدريب وعائد الاستثمار المتعدد وعائد استثمار القناع عن طريق الضغط باستمرار على Control والنقر فوق كل منها.
بعد ذلك، انقر فوق تقاطع أسفل قائمة خصائص البيانات في قسم العمليات المنطقية. قم بتسمية مجموعة البيانات الجديدة كإدخال تدريب مقطوع وتأكد من توافق الشكل الهندسي مع مجموعة البيانات التي تمت تصفيتها قبل النقر فوق موافق. قم باستيراد بيانات التدريب إلى معالج التجزئة بالنقر بزر الماوس الأيمن فوق مجموعة البيانات التي تمت تصفيتها في علامة التبويب خصائص وتحديد خيار معالج التجزئة. بمجرد فتح نافذة جديدة ، ابحث عن علامة التبويب الإدخال على الجانب الأيمن.
انقر فوق استيراد إطارات من عائد استثمار متعدد وحدد إدخال التدريب المقتطع. لإنشاء نموذج شبكة عصبية جديد ، انقر فوق زر علامة الجمع على الجانب الأيمن في علامة تبويب النموذج. حدد U Net من القائمة، وحدد 2.5 D وخمس شرائح لبعد الإدخال، ثم انقر فوق إنشاء.
لتدريب الشبكة ، انقر فوق تدريب في أسفل يمين نافذة Seg Wiz. بمجرد اكتمال تدريب الوحدة ، استخدم الشبكة المدربة لتقسيم إطارات جديدة ، وإنشاء إطار جديد ، وانقر فوق توقع. ثم انقر فوق السهم لأعلى في الجزء العلوي الأيمن من الإطار المتوقع لنقل التجزئة إلى الإطار الحقيقي.
لتصحيح التنبؤ، انقر مع الضغط على مفتاح التحكم على فئتين لتغيير وحدات البكسل المجزأة لأحدهما إلى الآخر. حدد كلا الفئتين وقم بالطلاء باستخدام الفرشاة لطلاء وحدات البكسل التي تنتمي إلى أي من الفئتين فقط. قم بتصحيح التجزئة في خمسة إطارات جديدة على الأقل.
للتدريب التكراري ، انقر فوق الزر Train مرة أخرى واسمح للشبكة بالتدريب بشكل أكبر لمدة 30 إلى 40 ملحمة أخرى. في هذه المرحلة ، أوقف التدريب وابدأ جولة أخرى من التدريب. عند الرضا عن أداء الشبكة، انشر الشبكة عن طريق الخروج من معالج التجزئة.
ينبثق مربع حوار يسأل عن النماذج التي يجب نشرها. حدد الشبكة الناجحة، وقم بتسميتها، ثم انشرها لجعل الشبكة متوفرة للاستخدام خارج معالج التجزئة. أولا، حدد مجموعة البيانات المصفاة في لوحة الخصائص لتطبيقها على الرسم المقطعي للتدريب.
في لوحة التجزئة على اليسار ، قم بالتمرير لأسفل إلى المقطع الذي يحتوي على الذكاء الاصطناعي القسم. تأكد من تحديد مجموعة البيانات الصحيحة. اختر النموذج الذي تم نشره مؤخرا في القائمة المنسدلة ثم انقر فوق مقطع ، متبوعا بكل الشرائح.
للتطبيق على مجموعة بيانات الاستدلال، قم باستيراد التصوير المقطعي الجديد وقم بمعالجته مسبقا كما هو موضح سابقا. في لوحة التجزئة ، انتقل إلى قسم المقطع الذي يحتوي الذكاء الاصطناعي. تأكد من أن التصوير المقطعي المفلتر حديثا هو مجموعة البيانات المحددة، اختر النموذج الذي تم تدريبه مسبقا، انقر المقطع، وحدد كل الشرائح.
قم بتنظيف الضوضاء بسرعة عن طريق اختيار إحدى الفئات التي تحتوي على ضوضاء مجزأة وميزة الاهتمام. ثم ، انقر بزر الماوس الأيمن فوق جزر العملية ، وحدد تمت الإزالة بواسطة Voxel Count ، ثم انقر فوق تحديد حجم Voxel. ابدأ بأعداد صغيرة وقم بزيادة العد تدريجيا لإزالة معظم الضوضاء.
لتصحيح التجزئة، انقر مع الضغط على مفتاح التحكم على فئتين لطلاء بيكسلات تنتمي إلى تلك الفئات فقط. انقر مع الضغط على مفتاح التحكم بالإضافة إلى السحب باستخدام أدوات التجزئة لتغيير وحدات البكسل من الفئة الثانية إلى الأولى والنقر مع الضغط على مفتاح العالي بالإضافة إلى السحب لتحقيق العكس. تم تدريب وحدة من خمس شرائح على تصوير مقطعي واحد وتم إجراء تجزئة اليد لمدخلات التدريب.
يتم عرض تجزئة 2D من الوحدة بعد التدريب الكامل. يظهر عرض 3D للمناطق المجزأة غشاء، وأنابيب دقيقة، وخيوط الأكتين. يتم عرض الخلايا العصبية للفئران الحصين DIV 5 من نفس الجلسة مثل التصوير المقطعي للتدريب.
تجزئة 2D من الوحدة مع عدم وجود تدريب إضافي في التنظيف السريع عرضت الغشاء ، الأنابيب الدقيقة ، الأكتين ، و fiducials. كما تم تصور عرض 3D للمناطق المجزأة. كما لوحظ DIV 5 الخلايا العصبية للفئران الحصين من جلسة سابقة.
كما تم إجراء تجزئة 2D من الوحدة مع التنظيف السريع وتقديم 3D. كما لوحظت الخلايا العصبية للفئران الحصين DIV 5 على تيتان كريوس مختلف بتكبير مختلف. تم تغيير حجم البكسل باستخدام قبو الضغط على برنامج IMOD لمطابقة التصوير المقطعي للتدريب.
يوضح تجزئة 2D من الوحدة مع التنظيف السريع استدلالا قويا عبر مجموعات البيانات مع المعالجة المسبقة المناسبة ، وتم إجراء عرض 3D للتقسيم. تعد المعالجة المسبقة للبيانات بشكل متطابق ومعايرة الرسوم البيانية بالتأكيد أهم الخطوات للاستدلال الصحيح للشبكة. بمجرد معرفة موقع الجزيئات داخل التصوير المقطعي المقطعي ، يكون من التافه حقا داخل Dragonfly حساب القياسات الكمية أو حساب الإحداثيات وإدخالها في خط أنابيب متوسط التصوير المقطعي الفرعي.
لقد بدأنا فقط في رؤية تأثيرات التعلم العميق على تحليل الصور cryo-ET ، ولكن هذا مجرد مجال آخر يظهر فيه وعدا هائلا حقا.
المراجعة العامة
تقدم هذه الدراسة بروتوكولاً مفصلاً لتدريب شبكة عصبية U-Net متعددة الشرائح لأداء تقسيم متعدد الطبقات من صور مجسمات كريو-الإلكترون. تتضمن الطريقة استخدام جزء من مجسم واحد كإدخال للتدريب وتمكين تقسيم مجسمات جديدة لتحليلات لاحقة مثل متوسطات الشبه-مجسم وتتبع الخيوط.
مكونات الدراسة الرئيسية
منطقة البحث
- منهجيات التعلم العميق في التصوير البيولوجي
- تقسيم بيانات مجسمات كريو-الإلكترون
- تقنيات حسابية للتحليل البيولوجي
الخلفية
- تقنيات تقسيم الصور التقليدية قد تكون مضيعة للوقت.
- الأدوات الحسابية المتقدمة تسهل تحليل البيانات بكفاءة.
- يوفر التعلم العميق قدرات محسنة لمهام التقسيم.
الطرق المستخدمة
- U-Net متعدد الشرائح لتدريب الشبكة العصبية
- صور مجسمات كريو-الإلكترون كنظام بيولوجي
- برنامج Dragonfly لاستيراد الصور ومعالجتها
النتائج الرئيسية
- تقسيم ناجح لبيانات كريو-ET باستخدام الشبكة المدربة
- سير عمل مبسط لمعالجة الصور وتحليلها
- تدريب فعال للشبكات العصبية للتكيف مع بيانات جديدة
الاستنتاجات
- توضح الدراسة نهجًا عمليًا لاستخدام التعلم العميق في تحليل بيانات كريو-ET.
- تعزز هذه الطريقة من كفاءة البحوث البيولوجية التي تتضمن بيانات تصوير معقدة.
الأسئلة الشائعة
Executive Industry Relevance
Automated deep learning-based segmentation of cryo-electron tomograms addresses a critical bottleneck in structural biology and cell imaging, enabling high-throughput, quantitative analysis of complex cellular architectures. This workflow enhances predictive confidence in early discovery by providing robust, reproducible segmentation across multiple structures and datasets. Accelerated segmentation supports rapid hypothesis testing and data-driven decision-making at key inflection points in the discovery pipeline.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables rapid interrogation of cellular ultrastructure for mechanistic de-risking.
- Supports functional target validation by segmenting multiple subcellular features simultaneously.
- Facilitates portfolio triage by providing quantitative, reproducible structural data.
Screening & Assay Development
- Prepares validated, segmented tomograms for downstream image-based screening workflows.
- Standardizes segmentation outputs, improving reproducibility and scalability across projects.
- Enables reliable extraction of coordinates for subtomogram averaging and filament tracing.
Translational & Preclinical Research
- Aligns high-resolution structural data with disease-relevant cellular models when applicable.
- Supports continuity from discovery imaging to preclinical validation by enabling robust data integration.
- Reduces risk in translational research by providing quantitative, multi-structure segmentation outputs.
Pipeline & Workflow Integration
This segmentation workflow integrates from early discovery through lead identification, supporting both hypothesis-driven and data-driven research strategies.
- Discovery Biology: Accelerates hypothesis testing and pathway clarification by enabling rapid, multi-class segmentation of tomograms.
- Screening: Delivers standardized, quantitative segmentation outputs suitable for high-content screening and downstream analytics.
- Analytics: Provides robust measurements and coordinates for comparative analysis and subtomogram averaging.
- Translational Research: Facilitates integration of structural data into disease-relevant models when supported by the dataset.
- Enterprise Reuse: Offers a scalable, reusable segmentation capability adaptable to diverse cryo-ET datasets.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence and reduces mechanistic ambiguity in structural biology workflows.
- Operational Value: Dramatically reduces segmentation time from days to under 30 minutes per tomogram.
- Strategic Value: Enables faster go/no-go decisions and improves capital efficiency by streamlining data analysis.
- Portfolio Impact: Supports risk-adjusted prioritization and advancement of structurally validated targets.
Implementation Considerations
- Requires expertise in cryo-ET imaging and familiarity with deep learning segmentation tools.
- Needs access to computational infrastructure and Dragonfly software for neural network training and inference.
- Demands standardized preprocessing and calibration across datasets for robust model inference.
- Adaptation may be needed for different cell types or imaging conditions.
- Segmentation accuracy depends on quality of training data and preprocessing consistency.
Biopharma FAQs
Chapters in this video
0:05
Introduction
0:45
Image Import and Preprocessing
2:45
Creating Training Data
5:13
Using the Segmentation Wizard for Iterative Training
6:52
Apply the Network
7:36
Segmentation Manipulation and Cleanup
8:16
Results: Analysis of the Tomogram of DIV 5 Hippocampal Rat Neuron
9:40
Conclusion
