Method Article

بروتوكول مفتوح المصدر للتجزئة القائمة على التعلم العميق للهياكل الأنبوبية في صور الفحص المجهري الفلوري ثلاثي الأبعاد

DOI:

10.3791/68004

⸱

November 14th, 2025

 ,  ,  , 
1Bio-Cheminformatics Research Group, Universidad de Las Américas, 2Faculty of Biological Sciences, Department of Cell Biology, Universidad de Concepción, 3Faculty of Biological Sciences, Grupo de Procesos en Biología del Desarrollo (GDeP), Universidad de Concepción

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

يقدم هذا البروتوكول صندوق أدوات مفتوح المصدر يوفر خط أنابيب كامل لتقسيم الهياكل الأنبوبية في صور مجهرية مضانة ثلاثية الأبعاد (3D). من خلال استخدام التعلم العميق مع زيادة البيانات القائمة على المحاكاة ، فإنه يدرب نماذج U-Net و Attention U-Net ، ويوفر تقييمات نوعية وكمية ويتضمن دفاتر ملاحظات سهلة الاستخدام للتدريب والاستدلال والتصور طوال الوقت.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

يعد تجزئة الهياكل الأنبوبية في الأنسجة البيولوجية الكثيفة من صور الفحص المجهري الفلوري ثلاثي الأبعاد أمرا بالغ الأهمية لدراسة الأنسجة المعقدة ولكنه لا يزال يمثل تحديا بسبب تعقيد الصورة وتقلبها ومشكلات الجودة. هنا ، نقدم صندوق أدوات مفتوح المصدر وسهل الاستخدام للتجزئة الشاملة للهياكل الأنبوبية في صور ثلاثية الأبعاد ، ويمكن للباحثين الوصول إليها دون تدريب رسمي على البرمجة. يتميز صندوق الأدوات بأجهزة كمبيوتر محمولة تفاعلية من Jupyter تنفذ بنيتين بسيطتين وفعالتين للتعلم العميق - 3D U-Net و 3D U-Net مع آليات الانتباه - للتجزئة ثلاثية الأبعاد بدقة للشبكات الأنبوبية. يتمثل أحد الابتكارات الرئيسية في استراتيجية زيادة البيانات القائمة على المحاكاة ، والتي تعزز أداء النموذج حتى مع الحد الأدنى من بيانات التدريب (أقل من صورة ثلاثية الأبعاد واحدة). باستخدام الأقنعة التي يوفرها المستخدم ، يولد البروتوكول صورا مجهرية اصطناعية بنسب إشارة إلى ضوضاء متفاوتة ويحاكي عناصر التصوير الواقعية ، بما في ذلك التلوين غير المتكافئ ، والالتفاف الوظيفي لانتشار النقطة ، واختلافات الشدة المحورية ، وضوضاء بواسون وغوس. يوجه البروتوكول المستخدمين بشكل منهجي من خلال زيادة البيانات ، والتدريب على النموذج ، والتقييم النوعي والكمي لمجموعات الاختبار ، والاستدلال على الصور الجديدة. نقوم بالتحقق من صحة صندوق الأدوات من خلال تحليل شبكتين أنبوبيتين متميزتين شكليا في أنسجة كبد الفأر - القنوات الصفراوية والشبكات الجيبية - مما يدل على أن كلتا المعماريين يؤديان بشكل جيد ، مع تفوق اهتمام U-Net بشكل طفيف على U-Net القياسي عند التدريب على البيانات المعززة. يساهم صندوق الأدوات الشامل الخاص بنا ، القابل للتنفيذ على وحدات معالجة الرسومات المحلية (GPUs) أو مجموعات الحوسبة عالية الأداء أو الأنظمة الأساسية السحابية ، في إضفاء الطابع الديمقراطي على تحليل الصور المتقدم لمجموعة واسعة من الباحثين.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

يعد التحليل الكمي للهياكل الأنبوبية في الأنسجة البيولوجية ، مثل الأوعية الدموية والشبكات العصبية والقنوات الصفراوية في الكبد ، أمرا أساسيا لفهم العمليات الفسيولوجية والمرضية ، بما في ذلك تكوين الأوعية الدموية ، ورم خبيث في الورم ، ونمو الأعضاء1،2،3. ظهر الفحص المجهري الفلوري ثلاثي الأبعاد (3D) كأداة محورية لتصوير هذه الشبكات المعقدة ، مما يوفر دقة مكانية عالية ويتيح تصور معماريات الأنسجة المعقدة في سياقها الأصلي4،5،6،7. ومع ذلك ، فإن التجزئة الدقيقة للهياكل الأنبوبية من الأنسجة البيولوجية الكثيفة لا يزال يمثل تحديا هائلا بسبب القطع الأثرية التصويرية ، وتباين الإشارة ، والتشكل غير المتجانس المتأصل في العينات البيولوجية. غالبا ما تتطلب طرق التجزئة التقليدية ، مثل العتبة ، ونمو المنطقة ، والخوارزميات القائمة على النموذج ، تدخلا يدويا مكثفا وضبطا دقيقا للمعلمات ، والتي يمكن أن تستغرق وقتا طويلا وذاتية ، خاصة بالنسبة للأنسجة ثلاثية الأبعاد المعقدة مثل الكبد8،9،10،11،12. غالبا ما تكون هذه الأساليب غير قوية للتباين المتأصل في العينات البيولوجية وظروف التصوير ، مما يحد من قابليتها للتعميم عبر مجموعات البيانات المختلفة والإعدادات التجريبية. تم تطوير أدوات برمجية مثل ImageJ13 و TiQuant8 للمساعدة في تحليل الأنسجة وقياسها كميا. ومع ذلك ، قد تفتقر إلى المرونة أو قابلية التوسع اللازمة لإعادة البناء ثلاثية الأبعاد الشاملة للشبكات الأنبوبية المعقدة بطريقة تلقائية بالكامل.

أحدث التعلم العميق ثورة في تحليل الصور الطبية الحيوية من خلال أتمتة مهام التجزئة بدقة وكفاءة عالية14،15،16. أظهرت الشبكات العصبية التلافيفية (CNNs) ، ولا سيما معماريات وحدة فك التشفير مثل U-Net ، أداء استثنائيا في العديد من تطبيقات التصوير الطبي الحيوي17،18،19. علاوة على ذلك ، فإن توسيع U-Net إلى البيانات ثلاثية الأبعاد (3D U-Net) يسمح بالمعالجة الفعالة للصور الحجمية ، والتقاط السياق المكاني في جميع الأبعاد الثلاثة وتحسين دقة التجزئة للهياكل المعقدة20. يؤدي دمج آليات الانتباه في هذه البنى (Attention U-Net) إلى تحسين الأداء بشكل أكبر من خلال تمكين الشبكة من التركيز على الميزات البارزة مع قمع ضوضاء الخلفية غير ذات الصلة18،21،22. على الرغم من إمكاناتها ، فإن تنفيذ نماذج التعلم العميق للتجزئة ثلاثية الأبعاد يطرح تحديات كبيرة. يتطلب تدريب هذه النماذج عادة خبرة كبيرة في البرمجة ، والوصول إلى موارد حسابية قوية ، ومجموعات بيانات مشروحة كبيرة ، والتي قد لا تكون متاحة بسهولة لجميع الباحثين. إن التعليق على الصور ثلاثية الأبعاد يتطلب عمالة مكثفة بشكل خاص ، وغالبا ما يتضمن وضع العلامات اليدوية على الهياكل المعقدة عبر شرائح عديدة ، والتي يمكن أن تكون باهظة بالنسبة لمجموعات البيانات الكبيرة. في حين أن تقنيات زيادة البيانات يمكن أن تخفف من الحاجة إلى بيانات تدريب مكثفة عن طريق زيادة تنوع مجموعة البيانات بشكل مصطنع من خلال التحولات مثل الدوران والقياس والتقليب ، فإن طرق الزيادة التقليدية قد لا تلتقط بشكل كامل تباين وتعقيد الصور البيولوجية ، خاصة تلك التي تنطوي على هياكل ثلاثية الأبعاد معقدة.

لمعالجة هذه القيود ، نقدم صندوق أدوات مفتوح المصدر وسهل الاستخدام للتجزئة الشاملة للهياكل الأنبوبية في صور الفحص المجهري ثلاثي الأبعاد. يستخدم صندوق الأدوات هذا أجهزة الكمبيوتر المحمولة التفاعلية Jupyter وينفذ طريقتين قويتين للتعلم العميق - 3D U-Net17،20 و 3D U-Net مع آليات الانتباه18،21 - للتجزئة الدقيقة للهياكل الأنبوبية ثلاثية الأبعاد دون الحاجة إلى معرفة برمجية واسعة. أحد الابتكارات الرئيسية لبروتوكولنا هو استراتيجية زيادة البيانات القائمة على المحاكاة والتي تعزز أداء النموذج حتى مع الحد الأدنى من بيانات التدريب - أقل من صورة ثلاثية الأبعاد واحدة. من خلال الاستفادة من الأقنعة التي يوفرها المستخدم ، يولد البروتوكول صورا مجهرية اصطناعية بنسب إشارة إلى ضوضاء متفاوتة ويحاكي قطع التصوير الواقعية ، بما في ذلك التلوين غير المتكافئ ، والالتفاف مع وظيفة انتشار النقطة (PSF) للمجاهر متحد البؤر ، وتغيرات الشدة المحورية بسبب اختراق الأجسام المضادة أو تشتتها ، ووجود ضوضاء بواسون وغوس. لا تزيد هذه الزيادة القائمة على المحاكاة من كمية بيانات التدريب فحسب ، بل تثري أيضا مجموعة البيانات باختلافات واقعية ، مما يحسن قابلية تعميم النموذج على البيانات غير المرئية. يوجه البروتوكول المستخدمين بشكل منهجي من خلال زيادة البيانات ، والتدريب على النموذج ، والتقييم النوعي والكمي لتنبؤات النموذج على مجموعات الاختبار ، والاستدلال على الصور الجديدة (الشكل 1). نتحقق من صحة فائدة صندوق الأدوات الخاص بنا من خلال تحليل شبكتين أنبوبيتين متميزتين شكليا في أنسجة كبد الفأر: القنوات الصفراوية والشبكات الجيبية. تقدم هذه الشبكات خصائص هيكلية مختلفة وتحديات تصوير ، مما يوفر اختبارا قويا لأساليبنا.

بينما تركز معظم الدراسات الحالية على تحليل الصور ثنائية الأبعاد ، مما يحد من فهم البنى ثلاثية الأبعاد المعقدة ، يؤكد نهجنا على التجزئة ثلاثية الأبعاد لالتقاط التعقيد الكامل لهياكل الأنسجة. من خلال دمج بنى التعلم العميق الراسخة والقوية مع واجهة سهلة الاستخدام ، يساهم صندوق الأدوات الخاص بنا في إضفاء الطابع الديمقراطي على الوصول إلى أحدث أدوات تحليل الصور. يمكن تنفيذ خط الأنابيب الخاص بنا على وحدات معالجة الرسومات المحلية أو مجموعات الحوسبة عالية الأداء أو الأنظمة الأساسية السحابية مثل Google Colab ، مما يجعل تحليل الصور المتقدم في متناول مجموعة واسعة من الباحثين بغض النظر عن الموارد الحسابية. يساهم هذا العمل في هذا المجال من خلال توفير حل يمكن الوصول إليه وشامل للتجزئة ثلاثية الأبعاد للهياكل الأنبوبية ، وتسهيل التحليلات الكمية الضرورية لتعزيز فهمنا لوظيفة الأنسجة وآليات المرض.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. تركيب وإعداد صندوق الأدوات

  1. تنزيل صندوق الأدوات من GitHub
    1. افتح مستعرض ويب وانتقل إلى مستودع GitHub الخاص بصندوق الأدوات: https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation 
    2. قم بتنزيله باستخدام استنساخ Git (الخيار أ). تأكد من تثبيت Git على النظام ؛ إذا لم يكن الأمر كذلك ، فقم بتنزيله من https://git-scm.com/downloads وتثبيته. افتح محطة طرفية (Unix / Linux / macOS) أو موجه الأوامر (Windows) وانتقل إلى الدليل حيث سيتم تخزين صندوق الأدوات. استنساخ المستودع عن طريق كتابة:
      استنساخ git https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation.git
    3. قم بتنزيله على ملف ZIP (الخيار ب). في صفحة GitHub ، انقر فوق الزر "الرمز " الأخضر وحدد تنزيل ZIP. احفظ ملف ZIP في الدليل المفضل واستخرج محتويات ملف ZIP.
  2. إعداد بيئة Conda
    1. قم بتثبيت Anaconda أو Miniconda. إذا لم يكن مثبتا بالفعل ، فقم بتنزيل Anaconda من:
      https://www.anaconda.com/download أو مينيكوندا من https://docs.anaconda.com/miniconda/. اتبع تعليمات التثبيت الخاصة بنظام التشغيل المستخدم.
    2. افتح محطة طرفية أو موجه الأوامر. قم بإنشاء بيئة Conda جديدة باسم img_seg_env باستخدام Python 3.10 عن طريق كتابة:
      conda create -n img_seg_env python = 3.10
    3. قم بتنشيط بيئة Conda عن طريق كتابة:
      كوندا تفعيل img_seg_env
      أو تنشيط img_seg_env لنظام التشغيل Windows
  3. قم بتثبيت التبعيات المطلوبة باستخدام requirements.txt. تأكد من وجودك في الدليل الجذر لمربع الأدوات. قم بتثبيت حزم Python المطلوبة باستخدام pip عن طريق كتابة:
    تثبيت النقطة -R requirements.txt
    ملاحظة: يقرأ هذا الأمر ملف requirements.txt ويقوم بتثبيت كافة الحزم الضرورية
    1. تأكد من تثبيت حزم مثل numpy و scipy و matplotlib و tensorflow و jupyter . تحقق من التثبيت الناجح وقم بإدراج الحزم المثبتة عن طريق كتابة:
      قائمة النقاط
  4. إطلاق Jupyter Notebook
    1. أثناء وجودك في بيئة Conda النشطة، قم بتشغيل Jupyter Notebook عن طريق كتابة:
      دفتر Jupyter
    2. إذا كان JupyterLab هو الأفضل، والذي يوفر واجهة محسنة، فقم بتشغيل:
      مختبر جوبيتر
    3. الوصول إلى واجهة Jupyter : انتظر حتى يفتح متصفح الويب تلقائيا ، ويعرض واجهة Jupyter . إذا لم يتم فتحه تلقائيا ، فخذ عنوان URL الموجود في الجهاز (على سبيل المثال ، http://localhost:8888/tree) وافتحه يدويا في متصفح الويب.
    4. في واجهة Jupyter ، انتقل إلى الدليل الذي يحتوي على دفاتر ملاحظات Jupyter المتوفرة مع صندوق الأدوات (على سبيل المثال ، /path/to/3DMicroscopyImageSegmentation-main/).

2. إعداد البيانات (الشكل 1 أ)

  1. توليد بيانات صورة للهياكل الأنبوبية
    1. الحصول على صور الفحص المجهري ثلاثي الأبعاد
      1. قم بتنزيل الصور ثلاثية الأبعاد المتاحة للجمهور لأنسجة كبد الفأر من: https://zenodo.org/records/14029574 تتضمن مجموعة البيانات صورا متحدة البؤر ثلاثية الأبعاد للقنوات الصفراوية (BC) والشبكات الجيبية المقطوعة من الصور الأصلية من9. بدلا من ذلك ، استخدم مجموعة من الصور التي تم إنشاؤها.
    2. الحصول على 3D PSF
      1. قم بتنزيل صورة وظيفة انتشار النقطة الحقيقية (PSF) من https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation/blob/main/data/raw/PSF.tif بدلا من ذلك ، قم بإنشاء PSF نظري باستخدام DeconvolutionLab223 مع معلمات المجهر.
    3. استخدم طريقة التجزئة التالية لإنشاء أقنعة ثنائية للهياكل الأنبوبية:
      1. التجزئة شبه التلقائية باستخدام MorpholibJ في فيجي
        1. افتح فيجي. قم بتحميل صورة الفحص المجهري.
        2. اذهب إلى القائمة عملية | ثنائي | MakeBinary ، اختر Otsu كطريقة ، واضغط على موافق.
        3. افتح المكون الإضافي MorpholibJ وانتقل إلى الإضافات | مورفوليب | التصفية | مرشحات مورفولوجية (3D).
        4. اختر عملية الإغلاق ، واضبط شكل العنصر على الكرة (يعمل بشكل أفضل مع الهياكل الأنبوبية) ، واختر نصف قطر مناسب في الفوكسل. انقر فوق إظهار العنصر لتصور عنصر الهيكلة. بالنسبة إلى الهياكل الأنبوبية ، جرب القيم من 3 إلى 8 بكسل.
          ملاحظة: قد يؤدي نصف قطر أكبر إلى إدخال قطع أثرية.
        5. احفظ النتيجة ك "image_closing.tif" بالنقر فوق ملف | حفظ باسم... | تيف ....
          ملاحظة: تأكد من أن كل قناع تم إنشاؤه يتوافق مع ملف الصورة الأصلي الصحيح، مع أسماء ملفات مطابقة. يمكن تنزيل أمثلة على الأقنعة المحسوبة مسبقا من: https://doi.org/10.5281/zenodo.14029574
    4. تنظيم الأقنعة يدويا.
      1. قم بتنزيل Labkit24 وتثبيته باتباع الإرشادات على: https://github.com/juglab/labkit-ui. افتح كل قناع أولي واستخدم أدوات الرسم والمسح لتصحيح أخطاء التجزئة يدويا عن طريق إضافة مناطق أو إزالتها لتحديد الهياكل الأنبوبية بدقة. احفظ القناع المنسق، مع الاحتفاظ بنفس اسم الملف مثل الصورة الأصلية.
      2. باستخدام Napari25
        1. افتح موجه الأوامر وقم بتنشيط بيئة Napari (إذا لم تكن نشطة بالفعل):
          كوندا تفعيل napari_env
        2. إطلاق napari:
          ناباري
        3. قم بسحب وإسقاط كل من صورة الفحص المجهري والقناع الثنائي المقابل لها في ناباري.
        4. قم بتحويل القناع الثنائي إلى طبقة تسمية بالنقر بزر الماوس الأيمن على اسم طبقة القناع وحدد تحويل إلى تسميات.
        5. اضبط عرض الكفاف على 1 وابدأ التنظيم. لملء الثغرات، استخدم أداة Pick لتحديد قيمة القناع. قم بتنشيط أداة Fill Bucket وانقر داخل الفتحة.
          ملاحظة: إذا تم ملء الصورة بأكملها ، فمن المحتمل أن يكون الهيكل به فجوة. استخدم فرشاة الرسم لإغلاق الحدود قبل محاولة أداة Fill Bucket مرة أخرى.
        6. بمجرد اكتمال التنظيم ، احفظ القناع المصحح بالانتقال إلى ملف | حفظ الطبقات المحددة | تيف. افتح القناع المصحح في فيجي وقم بتحويله إلى تنسيق 8 بت بالنقر فوق صورة | النوع | 8 بت. احفظ الصورة النهائية 8 بت.
  2. تنظيم مجموعة البيانات
    1. قم بإنشاء بنية دليل مجموعة البيانات.
      1. اختر دليلا حيث سيتم تخزين مجموعة البيانات (على سبيل المثال ، /path/to/your/dataset). قم بإنشاء بنية المجلد التالية:
        مجموعة البيانات/
        ├── training_data/
        │ ├── الصور/
        │ │ ├── img1.tif
        │ │ ├── img2.tif
        │   │   └── ...
        │ └── أقنعة /
        │ ├── img1.tif
        │ ├── img2.tif
        │       └── ...
        └── test_data/
        ├── الصور/
        │ ├── imgtest1.tif
        │ ├── imgtest2.tif
        │   └── ...
        └── أقنعة /
        ├── imgtest1.tif
        ├── imgtest2.tif
        └── ...
    2. تنظيم الصور والأقنعة.
      1. بيانات التدريب
        1. ضع صور الفحص المجهري ثلاثي الأبعاد المخصصة للتدريب في مجموعة البيانات / training_data / الصور /. تأكد من اتساق أسماء الملفات (على سبيل المثال، img1.tif و img2.tif).
        2. ضع الأقنعة الثنائية المنسقة المقابلة في مجموعة البيانات/training_data/masks/، مع التأكد من تطابق أسماء الملفات مع تلك الموجودة في مجلد الصور (على سبيل المثال، img1.tif و img2.tif).
      2. بيانات الاختبار
        1. ضع صور الفحص المجهري ثلاثي الأبعاد المخصصة للاختبار في مجموعة البيانات / test_data / الصور /. استخدم أسماء ملفات متناسقة لا تتداخل مع بيانات التدريب.
        2. ضع الأقنعة الثنائية المنسقة المقابلة في مجموعة البيانات/test_data/masks/. تأكد من تطابق أسماء الملفات مع تلك الموجودة في مجلد صور الاختبار.

3. تشغيل خط الأنابيب الكامل (الشكل 1B-E)

  1. افتح دفتر ملاحظات Jupyter.
    1. قم بتنشيط بيئة Conda img_seg_env عن طريق كتابة:
      كوندا تفعيل img_seg_env
    2. انتقل إلى المجلد الجذر للمشروع:
      cd /path/to/ImageSegmentationcode/
    3. ابدأ واجهة Jupyter عن طريق كتابة jupyter lab أو jupyter notebook.
    4. في مستعرض ويب، افتح دفتر الملاحظات المسمى process_images.ipynb.
  2. إعداد البيئة
    1. استيراد المكتبات وتكوين الوصول إلى وحدة معالجة الرسومات.
      ملاحظة: في خلية دفتر الملاحظات الأولى والثانية ، يتم استيراد المكتبات ويتم تكوين TensorFlow لاستخدام وحدة معالجة الرسومات مع تمكين نمو الذاكرة. يضمن ذلك أن TensorFlow لا يخصص كل ذاكرة GPU في وقت واحد ومتوافق مع مهام متعددة. لا تقم بتغيير المحتوى الموجود في الخلية. قم بتنفيذ الخلايا بالضغط على زر التشغيل .
  3. تكوين معلمات الإدخال
    1. حدد موقع خلية تكوين الإدخال وقم بتعديلها وفقا لمجموعة البيانات:
      source_dir = '/path/to/data/BC/'
      psf_path = '/path/to/PSF.tif'
      code_dir = '/path/to/code/'
      out_dir = '/ مسار / إلى / إخراج /'
      out_name = "قبل الميلاد"
    2. قم بتنفيذ الخلية 3 بالضغط على زر التشغيل .
    3. لا تقم بتغيير المحتوى الموجود في الخلية. قم بتنفيذ الخلية بالضغط على زر التشغيل في الخلية 4.
  4. توليد التصحيح
    1. قم بتنفيذ خلية إنشاء مجموعات بيانات لإنشاء تصحيحات التدريب والاختبار. لا تقم بتغيير المحتوى في الخلايا. قم بتنفيذ الخلايا بالضغط على زر التشغيل .
  5. تدريب نموذجي
    1. قم بتنفيذ خلية نماذج التدريب لتدريب UNet3D بثلاثة إعدادات زيادة: NONE وSTANDARD والمستندة إلى المحاكاة.
    2. استبدال "UNet3D" ب "UNet3D" و "AttentionUNet3D" لتدريب UNet3D باهتمام. قم بتعديل إعدادات التدريب في config.py إذا لزم الأمر (انظر الخطوة 3.9).
  6. توليد التنبؤات
    1. قم بتشغيل خلية إنشاء التنبؤات لإنتاج أقنعة تجزئة على بيانات الاختبار. لا تغير المحتوى الموجود في خلاياها. قم بتنفيذ الخلايا بالضغط على زر التشغيل .
  7. التقييم وتوليد المؤامرة
    1. قم بتنفيذ خلية إنشاء المؤاطيات لإنشاء مخططات مربعة لمقاييس التقييم.
  8. مراجعة النتائج وتفسيرها
    1. تحقق من المخرجات في المسارات المحددة بواسطة out_images_path و out_plots_path.
    2. افحص المخططات الصندوقية التي تقارن النماذج واستراتيجيات الزيادة على مقاييس مستوى التصحيح والصورة الكاملة.
  9. التخصيص عبر config.py
    1. قم بتعديل المعلمات الرئيسية التالية في config.py لتخصيص البنية الأساسية لخط الأنابيب:
      PATCH_SIZE = (64 ، 64 ، 64)
      PATCH_STEP = 64
      LEARNING_RATE = 1 [إ-4]
      BATCH_SIZE = 1
      NUM_EPOCHS = 50
      VALIDATION_SPLIT = 0.2
      EARLY_STOPPING_PATIENCE = 10
      AVAILABLE_MODELS = ["UNet3D", "AttentionUNet3D"]
      INTENSITY_PARAMS = { "background_level": 0.1 ، "local_variation_scale": 5 ، "z_decay_rate": 0.999 ، "noise_std": 0.1 ، "poisson_scale": 1.0 ، "intensity_scale": 1000.0 ، "snr_targets": [15 ، 10 ، 5 ، 4 ، 3 ، 2 ، 1]}
  10. استكشاف الاخطاء
    1. بالنسبة لأخطاء نفاد الذاكرة، قلل BATCH_SIZE أو PATCH_SIZE في config.py.
    2. بالنسبة لمشكلات GPU ، تأكد من توفر ذاكرة كافية ، أو تقليل حجم الدفعة.
  11. التأكيد النهائي
    1. عند اكتمال خط الأنابيب، ابحث عن الرسالة المطبوعة التالية:
      تم الانتهاء من جميع العمليات الحسابية بنجاح
    2. نوصي بشدة بتشغيل TensorFlow على نظام Linux أو Windows المزود بوحدة معالجة رسومات NVIDIA التي تدعم CUDA. إذا كنت تواجه مشكلات في تثبيت tensorflow باستخدام CUDA ، فاتبع عملية التثبيت الرسمية: https://www.tensorflow.org/install/pip

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

الحصول على البيانات
للتحقق من صحة صندوق الأدوات الخاص بنا ، قمنا بتحليل شبكتين أنبوبيتين متميزتين في أنسجة كبد الفئران البالغة: القنوات الصفراوية (BC) والشبكات الجيبية. لكل هيكل ، تم استخدام صورة مجهرية ثلاثية الأبعاد واحدة من واحد للتدريب ، بينما تم استخدام صورتين مستقلتين من مختلفة حصريا للاختبار. تم الحصول على جميع صور الكبد بدقة فوكسل متناحي الخواص تبلغ 0.3 ميكرومتر / فوكسل ، مما يضمن أخذ عينات متسقة عبر الأبعاد المكانية الثلاثة. تم تنسيق مجموعة البيانات ، التي نشرت في الأصل في Morales-Navarrete et al.9 ، باستخدام Labkit25 ، مما يوفر أقنعة ثنائية عالية الجودة للهياكل الأنبوبية المستخدمة كحقيقة أرضية للتعلم الخاضع للإشراف. بالنسبة للشبكة الجيبية ، أنشأنا نوعين من الأقنعة الثنائية: أحدهما يحدد حدود الأنبوب (التمثيل المجوف) والآخر يلتقط الحجم الأنبوبي المملوء ، مما يتيح استراتيجيات تدريب مختلفة اعتمادا على التطبيق.

بالإضافة إلى ذلك ، قمنا بتقييم صندوق الأدوات الخاص بنا على مجموعة بيانات خارجية للأوعية الدموية في الدماغ بالكامل من Mus musculus البالغين ، والتي تم توفيرها كجزء من تحدي SELMA3D 2024. تتكون مجموعة البيانات هذه من صور مجهرية ثلاثية الأبعاد للصفائح الضوئية تم الحصول عليها في ظل ظروف السكن القياسية (12 ساعة ضوء / 12 ساعة دورة مظلمة لمدة 3 أشهر) وهي متاحة من خلال صور الدراسات الحيوية (S-BIAD1197)26. تم استخدام خمس صور دماغية للتدريب وتسع عشر صورة للاختبار. تم إعادة تشكيل الأكوام المتباينة الخواص الأصلية إلى أبعاد فوكسل متناحي الخواص باستخدام الاستيفاء الخطي في فيجي لضمان التوافق مع خط أنابيب التحليل الخاص بنا.

تجهيزها
لمعالجة العدد المحدود من الصور ثلاثية الأبعاد الأصلية ، طبقنا تقنيات زيادة البيانات التي قدمت عناصر تصوير واقعية ومحاكاة نسب إشارة إلى ضوضاء متفاوتة تتراوح من 15 إلى 1. كان هذا النهج حاسما لتعزيز قابلية تعميم ومتانة النماذج.

تم تقسيم صورة الاختبار إلى تصحيحات غير متداخلة من 64 × 64 × 64 فوكسل لتقييم أداء النموذج على المستوى الإقليمي وتقييم المتانة عبر سياقات مكانية مختلفة ضمن نفس الحجم ثلاثي الأبعاد.

بنية النموذج
قمنا بتنفيذ ومقارنة بنيتين للشبكة العصبية التلافيفية مصممة للتجزئة ثلاثية الأبعاد:

معيار 3D U-Net17 ، يتكون من كتل متماثلة لوحدة فك التشفير مع تجميع 2×2×2 كحد أقصى ، وطبقات تلافيفية مع تنشيط ReLU ، وملتف نهائي 1 × 1 × 1 متبوعا بدالة سينية للتصنيف الثنائي.

انتباه U-Net27 ، الذي يتضمن آلية انتباه تسلط الضوء ديناميكيا على السمات البارزة وتمنع الخلفية غير ذات الصلة ، مما يحسن تجزئة الهياكل المعقدة والمتغيرة مثل الشبكات الأنبوبية للكبد.

بروتوكول التدريب
تم تدريب كلتا المعماريين باستخدام مكتبات TensorFlow و Keras على مجموعة حوسبة عالية الأداء مزودة ب 32 نواة لوحدة المعالجة المركزية وذاكرة وصول عشوائي (RAM) بسعة 128 جيجابايت ووحدات معالجة رسومات NVIDIA A100 SXM4 سعة 40 جيجابايت. تطلبت شبكة Attention U-Net مزيدا من وقت التدريب نظرا لتعقيدها المعماري ، خاصة عند استخدام مجموعات البيانات المعززة (انظر الجدول 1).

مقاييس التقييم
تم تقييم أداء النموذج كميا على صور الاختبار المعلقة باستخدام مقاييس التجزئة القياسية: معامل النرد ، والتقاطع فوق الاتحاد (IoU) ، ودرجة F1 ، وتشابه الحجم ، والحساسية والخصوصية.

يتم تلخيص نتائج BC والهياكل الجيبية والأوعية في الشكل 2 والشكل 3 والشكل 4 والشكل 5. بالإضافة إلى ذلك ، يقدم الجدول 2 مقارنة أداء مع الطرق الكلاسيكية المعمول بها للتجزئة الأنبوبية ، بما في ذلك Otsu والعتبة التكيفية. تفوقت نماذجنا ، ولا سيما Attention U-Net المدربة على البيانات المعززة ، باستمرار على هذه الأساليب التقليدية عبر جميع المقاييس.

التحليل الإحصائي والمتانة
سمح لنا تحليل الصور الكاملة بالإضافة إلى بقع فوكسل 64 × 64 × 64 (الجدول 3) في مجموعة الاختبار أيضا بتحديد التباين المكاني في تنبؤات النموذج عبر المناطق. أظهرت جميع الموديلات دقة عالية ، حيث أظهرت Attention U-Net أداء أعلى باستمرار ، لا سيما في درجة F1 ومعامل النرد. النتائج النوعية ، الموضحة في الشكل 2 أ ، ب ، الشكل 3 أ ، ب ، الشكل 4 أ ، ب ، الشكل 5 أ ، ب ، بالإضافة إلى الفيديو 1 ، الفيديو 2 ، الفيديو 3 ، والفيديو 4 ، تدعم هذه النتائج ، مما يوضح التحديد الدقيق للهياكل الأنبوبية في معظم مناطق بيانات الاختبار.

شرح الحالات الشاذة في مقاييس الأداء
تشير القيم المنخفضة للمخططات الصندوقية لتحليل التصحيحات (الشكل التكميلي S1 ، الشكل التكميلي S2 ، الشكل التكميلي S3 ، الشكل التكميلي S4 ، والشكل التكميلي S5) ، إلى وجود قيم متطرفة للأداء في مجموعة فرعية من تصحيحات الاختبار. وبالمثل ، يمكن أن يعزى التجزئة دون المستوى الأمثل في الإطارات النهائية لمقاطع الفيديو إلى عاملين رئيسيين:

تأثيرات الحدود: غالبا ما يتدهور أداء التجزئة عند حدود الصورة حيث يتم تمثيل الهياكل الجزئية تمثيلا ناقصا أو تم التقاطها بشكل غير كامل ، مما يؤدي إلى مزيد من عدم اليقين واحتمال التصنيف الخاطئ.

تدهور جودة الصورة في مستويات z الأعمق: على الرغم من حجم الفوكسل المتناحي ، فإن العوامل البيولوجية والتقنية مثل توهين الإشارة وتشتت الضوء وانخفاض التباين في اتجاه z تؤدي إلى انخفاض جودة الصورة في الجزء السفلي من وحدة الصوت. يؤدي هذا التدهور إلى تعقيد الترسيم الدقيق للحدود ويساهم في عدم تناسق التجزئة.

هذه العوامل هي تحديات متأصلة في التصوير البيولوجي ثلاثي الأبعاد وهي مؤثرة بشكل خاص في المناطق البعيدة عن مستوى التصوير أو التي تحتوي على حدود هيكل غامضة.

باختصار ، توضح نتائجنا أن نماذج التجزئة القائمة على التعلم العميق ، ولا سيما Attention U-Net المدربة بالبيانات المعززة ، توفر تحديدا قويا ودقيقا للهياكل الأنبوبية المعقدة في صور الفحص المجهري للكبد ثلاثية الأبعاد. من خلال الاستفادة من مجموعات البيانات المنسقة واستراتيجيات الزيادة الواقعية وآليات الانتباه ، حققت النماذج أداء فائقا مقارنة بالطرق الكلاسيكية مثل العتبة. أكد التقييم الإقليمي باستخدام رقع فوكسل 64 درجة مكعبة اتساق وقابلية تعميم النهج عبر مناطق الصورة المختلفة والتعقيدات الهيكلية. في حين أن بعض القيود لا تزال قائمة - ويرجع ذلك أساسا إلى التأثيرات الحدودية وتدهور الصورة على مستوى z - تسلط دراستنا الضوء على فعالية البنى القائمة على الانتباه وتوفر حلا مفتوح المصدر ومعتمدا للتجزئة الأنبوبية ثلاثية الأبعاد عالية الدقة في التصوير الطبي الحيوي.

figure-results-1
الشكل 1: سير العمل للتجزئة ثلاثية الأبعاد للهياكل الأنبوبية في صور الفحص المجهري الفلوري باستخدام نماذج U-Net و Attention U-Net. (أ) إعداد البيانات: أقسام تخطيطية ثنائية الأبعاد من صور الفحص المجهري الفلوري ثلاثي الأبعاد لأنسجة كبد الفأر ، تعرض الصور الأصلية والأقنعة الثنائية المقابلة. (ب) زيادة البيانات: زيادة البيانات المعدة على أساس المحاكاة، وتوليد صور بنسب إشارة إلى ضوضاء متفاوتة (على سبيل المثال، SNR = 15 و SNR = 1). (ج) التدريب النموذجي: التدريب القائم على التصحيح لنماذج U-Net و Attention U-Net باستخدام البيانات الأصلية والمعززة على حد سواء. يتم إنشاء بقع الصور والقناع بحجم 64 × 64 × 64 للتدريب. (د) تقييم النموذج: يتم حساب مقاييس الأداء الكمي ، بما في ذلك الاستدعاء ودرجة F1 ، لكل نموذج لتقييم دقة التجزئة في مجموعات بيانات الاختبار. (ه) استدلال النموذج: تطبيق النموذج المدرب على الصور غير المرئية لإنشاء أقنعة تجزئة متوقعة. الاختصار: SNR = نسبة الإشارة إلى الضوضاء. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

figure-results-2
الشكل 2: تقييم نماذج U-Net و Attention U-Net لتجزئة شبكة القنوات الصفراوية من صور الفحص المجهري الفلوري ثلاثي الأبعاد لأنسجة كبد الفئران. (أ) أقسام ثنائية الأبعاد تمثيلية (القسم الأوسط) لصور الفحص المجهري الفلوري ثلاثي الأبعاد ، تعرض الصورة الأصلية وقناع الحقيقة الأرضي المقابل ل BC في أنسجة كبد الفأر. توفر الصور العلوية اليمنى عرضا مكبرا للأجزاء الداخلية المميزة في كل قسم. (ب) أقنعة التجزئة المتوقعة التي تم إنشاؤها بواسطة U-Net و Attention U-Net ونسختها المعززة. يسلط الصف العلوي الضوء على الإيجابيات الحقيقية (الهياكل المجزأة بشكل صحيح) ، ويظهر الصف السفلي الإيجابيات الخاطئة (الهياكل المحددة بشكل غير صحيح) ، والسلبيات الخاطئة (الهياكل المفقودة) لكل نموذج. (ج) مقاييس التقييم الكمي لكل نموذج ، بما في ذلك الدقة ، ودرجة F1 ، والدقة ، والاستدعاء ، وتشابه الحجم ، ومعامل النرد. تم إجراء التقييم في التصحيحات المبثوقة من الصورة ثلاثية الأبعاد. تشير أشرطة الخطأ إلى الانحرافات المعيارية عبر صور الاختبار. شريط المقياس: 60 ميكرومتر ؛ شريط المقياس الداخلي: 30 ميكرومتر. الاختصار: BC = قناة الصفراء. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

figure-results-3
الشكل 3: تقييم نماذج U-Net و Attention U-Net لتجزئة الشبكة الجيبية من صور الفحص المجهري الفلوري ثلاثي الأبعاد لأنسجة كبد الفئران. (أ) أقسام تمثيلية ثنائية الأبعاد (القسم الأوسط) لصور الفحص المجهري الفلوري ثلاثي الأبعاد ، وعرض الصورة الأصلية وقناع الحقيقة الأرضي المقابل للجيوب الأنفية في أنسجة كبد الفئران. توفر الصور العلوية اليمنى عرضا مكبرا للأجزاء الداخلية المميزة في كل قسم. (ب) أقنعة التجزئة المتوقعة التي تم إنشاؤها بواسطة U-Net و Attention U-Net ونسختها المعززة. يسلط الصف العلوي الضوء على الإيجابيات الحقيقية (الهياكل المجزأة بشكل صحيح) ، ويظهر الصف السفلي الإيجابيات الخاطئة (الهياكل المحددة بشكل غير صحيح) ، والسلبيات الخاطئة (الهياكل المفقودة) لكل نموذج. (ج) مقاييس التقييم الكمي لكل نموذج ، بما في ذلك الدقة ، ودرجة F1 ، والدقة ، والاستدعاء ، وتشابه الحجم ، ومعامل النرد. تم إجراء التقييم في التصحيحات المبثوقة من الصورة ثلاثية الأبعاد. تشير أشرطة الخطأ إلى الانحرافات المعيارية عبر صور الاختبار. شريط المقياس: 60 ميكرومتر ؛ شريط المقياس الداخلي: 30 ميكرومتر. الرجاء النقر هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-4
الشكل 4: تقييم نماذج U-Net و Attention U-Net لتجزئة الشبكة الجيبية من صور الفحص المجهري الفلوري ثلاثي الأبعاد لأنسجة كبد الفأر ، مع الأخذ في الاعتبار القناع أنابيب مملوءة. (أ) الأقسام الوسطى التمثيلية ثنائية الأبعاد لصور الفحص المجهري الفلوري ثلاثي الأبعاد ، وعرض الصورة الأصلية وقناع الحقيقة الأرضي المقابل للجيوب الأنفية في أنسجة كبد الفئران. توفر الصور العلوية اليمنى عرضا مكبرا للأجزاء الداخلية المميزة في كل قسم. (ب) أقنعة التجزئة المتوقعة التي تم إنشاؤها بواسطة U-Net و Attention U-Net ونسختها المعززة. في حين أن الصف العلوي يسلط الضوء على الإيجابيات الحقيقية (الهياكل المجزأة بشكل صحيح) ، فإن الصف السفلي يظهر الإيجابيات الخاطئة (الهياكل المحددة بشكل غير صحيح) ، والسلبيات الخاطئة (الهياكل المفقودة) لكل نموذج. (ج) مقاييس التقييم الكمي لكل نموذج ، بما في ذلك الدقة ، ودرجة F1 ، والدقة ، والاستدعاء ، وتشابه الحجم ، ومعامل النرد. تم إجراء التقييم في التصحيحات المبثوقة من الصورة ثلاثية الأبعاد. تشير أشرطة الخطأ إلى الانحرافات المعيارية عبر صور الاختبار. شريط المقياس: 60 ميكرومتر ؛ شريط المقياس الداخلي: 30 ميكرومتر. الرجاء النقر هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-5
الشكل 5: تقييم نماذج U-Net و Attention U-Net لتجزئة شبكة الأوعية الدموية في دماغ الفأر من صور الفحص المجهري ثلاثي الأبعاد باستخدام أقنعة الأنبوب المملوء. (أ) الأقسام الوسطى التمثيلية ثنائية الأبعاد المستخرجة من صور الفحص المجهري ثلاثية الأبعاد لدماغ الفأر ، والتي تظهر الصورة الأصلية وقناع الحقيقة الأرضي المقابل للأوعية الدموية. يتم عرض طرق العرض المكبرة للأجزاء الداخلية المحددة في الزاوية العلوية اليمنى من كل لوحة. أقنعة التجزئة المتوقعة التي تم إنشاؤها بواسطة U-Net و Attention U-Net وإصداراتها المعززة. يسلط الصف العلوي الضوء على الإيجابيات الحقيقية (هياكل السفن المجزأة بشكل صحيح) ، بينما يوضح الصف السفلي الإيجابيات الخاطئة (المناطق المجزأة بشكل غير صحيح) والسلبيات الخاطئة (هياكل السفن المفقودة) لكل نموذج. (ج) التقييم الكمي لأداء النموذج باستخدام مقاييس بما في ذلك الدقة ، ودرجة F1 ، والدقة ، والاستدعاء ، وتشابه الحجم ، ومعامل النرد. تم إجراء التقييمات على رقع ثلاثية الأبعاد مستخرجة من أحجام الاختبار. تمثل أشرطة الخطأ الانحرافات المعيارية عبر 19 صورة اختبار. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

فيديو 1: رسوم متحركة Z-Stack للأقنعة المتوقعة لشبكة BC. يظهر الفيديو تسلسلا متحركا من خلال z-stack من أقنعة التجزئة المتوقعة للقنوات الصفراوية في أنسجة كبد الفأر ، والتي تم إنشاؤها بواسطة U-Net و Attention U-Net وإصداراتها المعززة. يسلط كل قسم ثنائي الأبعاد الضوء على الإيجابيات الحقيقية (بيضاء) ، والإيجابيات الخاطئة (باللون الأخضر) ، والسلبيات الكاذبة (أرجواني) لكل نموذج ، وتتحرك عبر المكدس بأكمله. الاختصار: BC = قناة الصفراء. الرجاء النقر هنا لتنزيل هذا الفيديو.

فيديو 2: رسوم متحركة Z-Stack للأقنعة المتوقعة للشبكة الجيبية. يظهر الفيديو تسلسلا متحركا من خلال z-stack من أقنعة التجزئة المتوقعة للجيوب الأنفية في أنسجة كبد الفأر ، والتي تم إنشاؤها بواسطة U-Net و Attention U-Net وإصداراتها المعززة. يسلط كل قسم ثنائي الأبعاد الضوء على الإيجابيات الحقيقية (بيضاء) ، والإيجابيات الخاطئة (باللون الأخضر) ، والسلبيات الكاذبة (أرجواني) لكل نموذج ، وتتحرك عبر المكدس بأكمله. الرجاء النقر هنا لتنزيل هذا الفيديو.

فيديو 3: رسوم متحركة Z-Stack للأقنعة المتوقعة للشبكة الجيبية كأنابيب مملوءة. يظهر الفيديو تسلسلا متحركا من خلال z-stack من أقنعة التجزئة المتوقعة للشبكة الجيبية كأنابيب مملوءة في أنسجة كبد الفأر ، تم إنشاؤها بواسطة U-Net و Attention U-Net وإصداراتها المعززة. يسلط كل قسم ثنائي الأبعاد الضوء على الإيجابيات الحقيقية (بيضاء) ، والإيجابيات الخاطئة (باللون الأخضر) ، والسلبيات الكاذبة (أرجواني) لكل نموذج ، وتتحرك عبر المكدس بأكمله. الرجاء النقر هنا لتنزيل هذا الفيديو.

فيديو 4: رسوم متحركة Z-Stack للأقنعة المتوقعة لأوعية الدماغ. يظهر الفيديو تسلسلا متحركا من خلال z-stack من أقنعة التجزئة المتوقعة للسفن ، والتي تم إنشاؤها بواسطة U-Net و Attention U-Net وإصداراتها المعززة. يسلط كل قسم ثنائي الأبعاد الضوء على الإيجابيات الحقيقية (بيضاء) ، والإيجابيات الخاطئة (باللون الأخضر) ، والسلبيات الكاذبة (أرجواني) لكل نموذج ، وتتحرك عبر المكدس بأكمله. الرجاء النقر هنا لتنزيل هذا الفيديو.

الجدول 1: وقت التدريب على نماذج U-Net 3D و Attention U-Net 3D على مجموعات بيانات القنوات الصفراوية والجيبية مع وبدون زيادة البيانات. وقت التدريب على نماذج U-Net 3D و Attention U-Net 3D على مجموعات بيانات القنوات الصفراوية والجيبية مع وبدون زيادة البيانات. يسرد الجدول عدد التصحيحات لكل مجموعة بيانات ووقت التدريب المقابل بالدقائق. تزيد زيادة البيانات من عدد التصحيحات من 1353 إلى 10824 ، مما يؤدي إلى زيادة كبيرة في وقت التدريب. يتطلب نموذج Attention U-Net باستمرار وقتا تدريبيا أطول من نموذج U-Net ، خاصة مع مجموعات البيانات المعززة ، نظرا لتعقيده الإضافي في التركيز على الميزات ذات الصلة داخل البيانات. الاختصار: BC = قناة الصفراء. الرجاء النقر هنا لتنزيل هذا الجدول.

الجدول 2: التقييم الكمي لنماذج U-Net 3D و Attention U-Net 3D عبر أربع مجموعات بيانات باستخدام تجزئة الصورة الكاملة. يقارن هذا الجدول عن أداء كل نموذج بالإضافة إلى الطرق الكلاسيكية مثل Otsu والعتبة التكيفية ، على أربع مجموعات بيانات مختلفة: القنوات الصفراوية ، والشبكات الجيبية (التمثيلات المجوفة والمملوءة) ، والأوعية الدموية للدماغ بالكامل ، باستخدام صور ثلاثية الأبعاد كاملة للتقييم. لكل مجموعة من النماذج ومجموعة البيانات، يتم سرد عدد صور الاختبار، جنبا إلى جنب مع مقاييس الأداء: الدقة، والدقة، والاستدعاء (الحساسية)، والنوعية، ودرجة F1، ومعامل النرد، وIoU، وتشابه الحجم. توفر هذه المقاييس تقييما شاملا لجودة التجزئة من حيث صحة الفوكسل والاتفاق الحجمي بين التنبؤات والحقيقة الأساسية. الاختصارات: قبل الميلاد = قناة الصفراوي. IoU = تقاطع فوق الاتحاد. الرجاء النقر هنا لتنزيل هذا الجدول.

الجدول 3: التقييم الكمي لنماذج U-Net 3D و Attention U-Net 3D عبر أربع مجموعات بيانات باستخدام تصحيحات 64 × 64 × 64 . يلخص هذا الجدول أداء نماذج U-Net 3D و Attention U-Net 3D على أربع مجموعات بيانات - القنوات الصفراوية ، والشبكات الجيبية (الأقنعة المجوفة والمملوءة) ، والأوعية الدموية للدماغ بالكامل بناء على التقييم في تصحيحات الصور ثلاثية الأبعاد بحجم 64×64×64 فوكسل. لكل مجموعة بيانات نموذجية ، يتم سرد عدد تصحيحات الاختبار جنبا إلى جنب مع مقاييس الأداء الرئيسية: الدقة والدقة والاستدعاء (الحساسية) والخصوصية ودرجة F1 ومعامل النرد والتقاطع فوق الاتحاد وتشابه الحجم. توفر هذه المقاييس على مستوى التصحيح نظرة ثاقبة موضعية لأداء النموذج وهي مفيدة بشكل خاص لتحديد دقة التجزئة غير المتجانسة مكانيا عبر وحدات التخزين. الاختصارات: قبل الميلاد = قناة الصفراوي. IoU = تقاطع فوق الاتحاد. الرجاء النقر هنا لتنزيل هذا الجدول.

الشكل التكميلي S1: أداء التجزئة على مستوى التصحيح لنماذج 3D U-Net و Attention U-Net لتجزئة القنوات الصفراوية. توضح الرسوم البيانية الأداء الكمي لنماذج 3D U-Net و Attention U-Net على مجموعات بيانات القنوات الصفراوية ، والتي تم تقييمها باستخدام بقع صور ثلاثية الأبعاد بحجم 64 × 64 × 64 فوكسل. تتضمن المقاييس المعروضة الدقة والدقة والاستدعاء (الحساسية) والخصوصية ودرجة F1 ومعامل النرد والتقاطع فوق الاتحاد وتشابه الحجم. تعكس النتائج التباين عبر البقع ، مما يوفر نظرة ثاقبة موضعية لأداء النموذج وتسليط الضوء على عدم التجانس المكاني داخل أحجام أنسجة الكبد ثلاثية الأبعاد. الاختصارات: قبل الميلاد = قناة الصفراوي. IoU = تقاطع فوق الاتحاد. الرجاء النقر هنا لتنزيل هذا الملف.

الشكل التكميلي S2: أداء التجزئة على مستوى التصحيح لنماذج 3D U-Net و Attention U-Net لتجزئة الجيوب الأنفية. توضح الرسوم البيانية الأداء الكمي لنماذج 3D U-Net و Attention U-Net على مجموعات بيانات الجيوب الأنفية ، والتي تم تقييمها باستخدام تصحيحات صور ثلاثية الأبعاد بحجم 64 × 64 × 64 فوكسل. تتضمن المقاييس المعروضة الدقة والدقة والاستدعاء (الحساسية) والخصوصية ودرجة F1 ومعامل النرد والتقاطع فوق الاتحاد وتشابه الحجم. تعكس النتائج التباين عبر البقع ، مما يوفر نظرة ثاقبة موضعية لأداء النموذج وتسليط الضوء على عدم التجانس المكاني داخل أحجام أنسجة الكبد ثلاثية الأبعاد. الاختصار: IoU = تقاطع فوق الاتحاد. الرجاء النقر هنا لتنزيل هذا الملف.

الشكل التكميلي S3: أداء التجزئة على مستوى التصحيح لنماذج 3D U-Net و Attention U-Net للجيوب الأنفية كتجزئة للأنابيب المملوءة. توضح الرسوم البيانية الأداء الكمي لنماذج 3D U-Net و Attention U-Net على الجيوب الأنفية كمجموعات بيانات أنابيب مملوءة ، تم تقييمها باستخدام تصحيحات صور ثلاثية الأبعاد بحجم 64 × 64 × 64 فوكسل. تتضمن المقاييس المعروضة الدقة والدقة والاستدعاء (الحساسية) والخصوصية ودرجة F1 ومعامل النرد والتقاطع فوق الاتحاد وتشابه الحجم. تعكس النتائج التباين عبر البقع ، مما يوفر نظرة ثاقبة موضعية لأداء النموذج وتسليط الضوء على عدم التجانس المكاني داخل أحجام أنسجة الكبد ثلاثية الأبعاد. الاختصار: IoU = تقاطع فوق الاتحاد. الرجاء النقر هنا لتنزيل هذا الملف.

الشكل التكميلي S4: أداء التجزئة على مستوى التصحيح لنماذج 3D U-Net و Attention U-Net للأوعية الدموية في الدماغ من صور الفحص المجهري للورقة الضوئية. توضح الرسوم البيانية الأداء الكمي لنماذج 3D U-Net و Attention U-Net على مجموعات بيانات الأوعية الدموية في الدماغ بالكامل ، والتي تم تقييمها باستخدام تصحيحات صور ثلاثية الأبعاد بحجم 64 × 64 × 64 فوكسل. تتضمن المقاييس المعروضة الدقة والدقة والاستدعاء (الحساسية) والخصوصية ودرجة F1 ومعامل النرد والتقاطع فوق الاتحاد وتشابه الحجم. تعكس النتائج التباين عبر البقع ، مما يوفر نظرة ثاقبة موضعية لأداء النموذج وتسليط الضوء على عدم التجانس المكاني داخل أحجام أنسجة الكبد ثلاثية الأبعاد. الاختصار: IoU = تقاطع فوق الاتحاد. الرجاء النقر هنا لتنزيل هذا الملف.

الشكل التكميلي S5: تراكب نتائج التجزئة على صور الفحص المجهري الفلوري ثلاثي الأبعاد الأصلية للقنوات الصفراوية. يتم عرض شرائح الصورة التمثيلية من مجموعات بيانات الفحص المجهري الفلوري ثلاثي الأبعاد للقنوات الصفراوية في كبد الفأر مع أقنعة تجزئة متراكبة باللون الأحمر. يتم تثبيت الأقنعة المتوقعة من نماذج 3D U-Net و Attention U-Net على صور الفحص المجهري الأصلية بتدرج الرمادي لتقييم دقة التجزئة بصريا. يتم تقديم عشر أمثلة على الصور لتوضيح قدرة النماذج على التقاط السمات المورفولوجية المتنوعة والتعامل مع تباين الإشارة عبر مناطق الأنسجة المختلفة. الرجاء النقر هنا لتنزيل هذا الملف.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

يقدم هذا البروتوكول نهجا بسيطا ولكنه قوي ويمكن الوصول إليه للتجزئة القائمة على التعلم العميق للهياكل الأنبوبية في صور الفحص المجهري الفلوري ثلاثي الأبعاد ، مما يسد الفجوة بين التعقيد التقني وسهولة الاستخدام في تحليل الصور الحيوية. من خلال دمج زيادة البيانات القائمة على المحاكاة ، وأجهزة الكمبيوتر المحمولة التفاعلية Jupyter ، وبنى U-Net الفعالة ، فإننا نقدم أداة مفتوحة المصدر قادرة على إجراء تجزئة عالية الدقة على هياكل الأنسجة المعقدة ، مثل القنوات الصفراوية والشبكات الجيبية. يعالج صندوق الأدوات هذا التحديات الرئيسية في مهام التجزئة ثلاثية الأبعاد ، لا سيما في التعامل مع ندرة البيانات والتباين في ظروف التصوير ، مما يجعله إضافة متعددة الاستخدامات إلى مشهد تحليل الصور الحيوية.

أحد المكونات الحاسمة في بروتوكولنا هو زيادة البيانات القائمة على المحاكاة ، والتي تعزز أداء النموذج حتى مع وجود عدد محدود من الصور المشروحة - وهو قيد شائع في الدراسات البيولوجية. من خلال إنشاء بيانات معززة تحاكي القطع الأثرية التصويرية الواقعية ، مثل الالتفاف وظيفة انتشار النقطة ، واضمحلال الكثافة المحورية ، وضوضاء بواسون وغوسي ، ينتج صندوق الأدوات نماذج قوية عبر مجموعة من ظروف التصوير. يزيد هذا النهج بشكل فعال من تنوع البيانات ، ويحسن قابلية تعميم النماذج ويوفر ميزة رئيسية على تقنيات زيادة البيانات التقليدية ، والتي قد لا تلتقط بشكل كامل عدم التجانس الموجود في العينات البيولوجية. ومع ذلك ، فإن هذا محدود بالسمات المورفولوجية المشفرة جوهريا في القناع المقدم في البداية. يؤدي الاعتماد على الأقنعة المجزأة مسبقا لتوليد بيانات التدريب الأولية إلى إدخال تحيزات محتملة إذا كانت الأقنعة لا تمثل بشكل كامل الهياكل البيولوجية المعنية. لذلك ، لا يزال هناك سؤال مفتوح حول كيفية توليد زيادة واقعية للبيانات في الفضاء المورفولوجي ، والتي يمكن أن تكون مهمة لدراسة الأنسجة ذات التغيرات مثل تطور المرض.

تستخدم طريقتنا نموذجين لفك تشفير التشفير ، 3D U-Net و Attention U-Net ، تم اختيارهما لأدائهما العالي في مهام التصوير الطبي الحيوي. بينما توفر 3D U-Net بنية تجزئة مباشرة ولكنها قوية ، فإن Attention U-Net تعمل على تحسين الدقة من خلال التركيز بشكل انتقائي على الميزات ذات الصلة وقمع الضوضاء. يتم تضمين كلا النموذجين في مربع الأدوات ، مما يسمح للمستخدمين بالاختيار بناء على متطلبات مجموعة البيانات المحددة الخاصة بهم. تظهر نتائجنا أن نموذج Attention U-Net يحقق مقاييس أداء أعلى عبر مجموعات البيانات ، لا سيما بالنسبة للهياكل الصعبة مثل الشبكة الجيبية ، حيث يساعد التعقيد الإضافي لآليات الانتباه في التخفيف من آثار نسب الإشارة إلى الضوضاء المنخفضة والتباين الهيكلي. ومع ذلك ، من المهم ملاحظة أن المتطلبات الحسابية ل Attention U-Net أعلى ، مما قد يؤثر على إمكانية الوصول إليها للمستخدمين ذوي موارد GPU المحدودة. علاوة على ذلك ، نظرا لطبيعة المصدر المفتوح لخط الأنابيب ، يمكن إضافة بنى أخرى أكثر تعقيدا بسهولة للدراسات المستقبلية إذا لزم الأمر.

يوفر بروتوكولنا خط أنابيب متعدد الإمكانات وسهل الاستخدام يدمج الخطوات الأساسية للتجزئة ثلاثية الأبعاد في إعداد واحد. يعد هذا التصميم المبسط ميزة رئيسية ، لأنه يبسط الوصول إلى أدوات التجزئة المتقدمة دون الحاجة إلى الخبرة في البرمجة أو تعديلات المعلمات. بالإضافة إلى ذلك ، تعمل إستراتيجيتنا لزيادة البيانات القائمة على المحاكاة على تحسين متانة النموذج ، وتقليل الاعتماد على التعليقات التوضيحية اليدوية الشاملة وتحسين قابلية تعميم النموذج عبر ظروف التصوير المتنوعة. على عكس طرق التجزئة الكلاسيكية ، والتي غالبا ما تعتمد على خوارزميات العتبة أو زراعة المنطقة التي تتطلب ضبطا دقيقادقيقا 28،29 ، يتطلب نهج التعلم العميق لدينا الحد الأدنى من التدخل اليدوي. يساهم هذا في إضفاء الطابع الديمقراطي على التجزئة عالية الجودة والقابلة للتكرار للهياكل ثلاثية الأبعاد المعقدة ، مما يجعلها في متناول مجموعة واسعة من الباحثين ، بما في ذلك أولئك الذين ليس لديهم خبرة حسابية واسعة.

بالإضافة إلى الشبكات الأنبوبية ، تسمح مرونة البروتوكول بسهولة التكيف لتجزئة الهياكل البيولوجية الأخرى. يمكن أن تشمل التحسينات المستقبلية دمج التعلم الخاضع للإشرافالذاتي 30 أو نقل التعلم31 ، مما يقلل من الحاجة إلى البيانات المشروحة مع الحفاظ على دقة تجزئة عالية. يمكن لهذه الاستراتيجيات أيضا توسيع قابلية التطبيق لتشمل طرائق التصوير المتنوعة ، مثل الفحص المجهري متعدد الفوتون أو الصفائح الضوئية.

على الرغم من نقاط قوته ، فإن البروتوكول له العديد من القيود التي يجب الاعتراف بها. أولا ، يظل حجم مجموعة البيانات صغيرا نسبيا ، ولا يشمل سوى عدد قليل من الأحجام المشروحة لكل هيكل. في حين أن زيادة البيانات تخفف جزئيا من هذه المشكلة ، إلا أن خطر الإفراط في التجهيز لا يزال موجودا ، لا سيما عند تطبيق نماذج مضبوطة بدقة على مجموعات البيانات ذات الاختلافات غير المرئية في إعداد العينة أو ظروف التصوير. ثانيا ، على الرغم من أن نتائجنا تشير إلى تعميم جيد عبر بقع مختلفة ، إلا أننا لم نختبر بعد صندوق الأدوات على مجموعات بيانات من أعضاء أخرى أو طرائق الفحص المجهري ، والتي قد تظهر خصائص هيكلية وضوضاء مميزة. هذا يحد من قابلية التعميم الفورية لنهجنا. أخيرا ، يمكن أن تستفيد استراتيجية التقييم الخاصة بنا ، على الرغم من قوتها على مستوى التصحيح ، من مقاييس إضافية للاتساق الطوبولوجي ، والتي تكون ذات صلة بالهياكل الشبيهة بالشبكة. سيعالج العمل المستقبلي هذه القيود من خلال توسيع مجموعة البيانات ، ودمج تقنيات تكييف المجال32 ، وتقييم خط الأنابيب عبر سياقات بيولوجية أوسع.

بإيجاز ، يمثل هذا البروتوكول حلا شاملا ويمكن الوصول إليه للتجزئة ثلاثية الأبعاد عالية الجودة للهياكل الأنبوبية في التصوير الحيوي. من خلال الجمع بين بنى النماذج الفعالة واستراتيجيات زيادة البيانات والواجهة التفاعلية وسهلة الاستخدام ، فإن صندوق الأدوات الخاص بنا لديه القدرة على توسيع نطاق وتأثير التعلم العميق في تحليل الصور الحيوية ، مما يمكن الباحثين في جميع أنحاء العالم من الاستفادة من هذه التقنيات في السعي لتحقيق فهم أعمق للبنية البيولوجية والوظيفة.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

يعلن المؤلفون عدم وجود تضارب في المصالح. تم استخدام ChatGPT 4.0 لإعادة صياغة بعض أقسام المخطوطة وتصحيح الأخطاء النحوية. قام المؤلفون بفحص الاتساق العلمي للنص الذي تم إنشاؤه.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

يقر المؤلفون بالدعم المقدم من ANID و VRID-UdeC وكلية العلوم البيولوجية-UdeC ، بموجب أرقام المنح ANID Fondecyt العادية 1251048 ، 2024001079INV و FCB-I-2024-01 إلى FS-M. نشكر Corporación Ecuatoriana para el Desarrollo de la Researchigación y la Academia (CEDIA) على توفير الوصول إلى موارد الحوسبة عالية الأداء والدعم الفني ، مما مكن من العمل الحسابي لهذه الدراسة. نشكر أيضا المساهمين في الأدوات مفتوحة المصدر المستخدمة في هذا العمل.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
فيجيhttps://imagej.net/software/fiji/downloads
مستودع GitHubhttps://github.com/hernanmorales-navarrete/3DMicroscopyImage
التقسيم/الشجرة/الرئيسي
لاب كيتhttps://imagej.net/plugins/labkit/
مستودع زينودو10.5281/zenodo.14029574

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Tissue biology: In search of a new paradigm. Annu Rev Cell Dev Biol. 39 (1), 67-89 (2023).">Adler, M., Chavan, A. R., Medzhitov, R. Tissue biology: In search of a new paradigm. Annu Rev Cell Dev Biol. 39 (1), 67-89 (2023).
  2. Tubular tissues and organs of human body-challenges in regenerative medicine. J Nanosci Nanotechnol. 16 (1), 19-39 (2016).">Góra, A., Pliszka, D., Mukherjee, S., Ramakrishna, S. Tubular tissues and organs of human body-challenges in regenerative medicine. J Nanosci Nanotechnol. 16 (1), 19-39 (2016).
  3. An analysis modality for vascular structures combining tissue-clearing technology and topological data analysis. Nat Commun. 13 (1), 5239(2022).">Takahashi, K., et al. An analysis modality for vascular structures combining tissue-clearing technology and topological data analysis. Nat Commun. 13 (1), 5239(2022).
  4. Lattice light-sheet microscopy: Imaging molecules to embryos at high spatiotemporal resolution. Science. 346 (6208), 1257998-1257998 (2014).">Chen, B. C., et al. Lattice light-sheet microscopy: Imaging molecules to embryos at high spatiotemporal resolution. Science. 346 (6208), 1257998-1257998 (2014).
  5. Clarifying tissue clearing. Cell. 162 (2), 246-257 (2015).">Richardson, D. S., Lichtman, J. W. Clarifying tissue clearing. Cell. 162 (2), 246-257 (2015).
  6. 3D-imaging of whole neuronal and vascular networks of the human dental pulp via CLARITY and light sheet microscopy. Sci Rep. 9 (1), 10860(2019).">França, C. M., et al. 3D-imaging of whole neuronal and vascular networks of the human dental pulp via CLARITY and light sheet microscopy. Sci Rep. 9 (1), 10860(2019).
  7. 3D imaging and morphometric descriptors of vascular networks on optically cleared organs. iScience. 26 (10), 108007(2023).">Nicolas, N., Dinet, V., Roux, E. 3D imaging and morphometric descriptors of vascular networks on optically cleared organs. iScience. 26 (10), 108007(2023).
  8. TiQuant: Software for tissue analysis, quantification and surface reconstruction. Bioinformatics. 31 (19), 3234-3236 (2015).">Friebel, A., et al. TiQuant: Software for tissue analysis, quantification and surface reconstruction. Bioinformatics. 31 (19), 3234-3236 (2015).
  9. A versatile pipeline for the multi-scale digital reconstruction and quantitative analysis of 3D tissue architecture. eLife. 4, e11214(2015).">Morales-Navarrete, H., et al. A versatile pipeline for the multi-scale digital reconstruction and quantitative analysis of 3D tissue architecture. eLife. 4, e11214(2015).
  10. Three-dimensional spatially resolved geometrical and functional models of human liver tissue reveal new aspects of NAFLD progression. Nat Med. 25 (12), 1885-1893 (2019).">Segovia-Miranda, F., et al. Three-dimensional spatially resolved geometrical and functional models of human liver tissue reveal new aspects of NAFLD progression. Nat Med. 25 (12), 1885-1893 (2019).
  11. Phenotypic characterization of liver tissue heterogeneity through a next-generation 3D single-cell atlas. Sci Rep. 14 (1), 2823(2024).">Martínez-Torres, D., et al. Phenotypic characterization of liver tissue heterogeneity through a next-generation 3D single-cell atlas. Sci Rep. 14 (1), 2823(2024).
  12. Automatic recognition and characterization of different non-parenchymal cells in liver tissue. Morales-Navarrete, H., Nonaka, H., Segovia-Miranda, F., Zerial, M., Kalaidzidis, Y. 2016 IEEE 13th International Symposium on Biomedical Imaging (ISBI), , 536-540 (2016).
  13. NIH Image to ImageJ: 25 years of image analysis. Nat Methods. 9 (7), 671-675 (2012).">Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nat Methods. 9 (7), 671-675 (2012).
  14. Deep learning. Nature. 521 (7553), 436-444 (2015).">LeCun, Y., Bengio, Y., Hinton, G. Deep learning. Nature. 521 (7553), 436-444 (2015).
  15. Imaging in focus: An introduction to denoising bioimages in the era of deep learning. Int J Biochem Cell Biol. 140, 106077(2021).">Laine, R. F., Jacquemet, G., Krull, A. Imaging in focus: An introduction to denoising bioimages in the era of deep learning. Int J Biochem Cell Biol. 140, 106077(2021).
  16. Deep learning for bioimage analysis in developmental biology. Development. 148 (18), dev199616(2021).">Hallou, A., Yevick, H. G., Dumitrascu, B., Uhlmann, V. Deep learning for bioimage analysis in developmental biology. Development. 148 (18), dev199616(2021).
  17. U-Net: Convolutional networks for biomedical image segmentation. arXiv. , (2015).">Ronneberger, O., Fischer, P., Brox, T. U-Net: Convolutional networks for biomedical image segmentation. arXiv. , (2015).
  18. Attention U-Net: Learning where to look for the pancreas. arXiv. , (2018).">Oktay, O., et al. Attention U-Net: Learning where to look for the pancreas. arXiv. , (2018).
  19. Virtual tissue microstructure reconstruction across species using generative deep learning. PLoS One. 19 (7), e0306073(2024).">Bettancourt, N., et al. Virtual tissue microstructure reconstruction across species using generative deep learning. PLoS One. 19 (7), e0306073(2024).
  20. Medical image computing and computer-assisted intervention. Lect Notes Comput Sci. Çiçek, Ö, Abdulkadir, A., Lienkamp, S. S., Brox, T., Ronneberger, O. 19th international conference, Athens, Greece, October 17-21, 2016, proceedings, part II, , 424-432 (2016).
  21. Attention is all you need. arXiv. , (2017).">Vaswani, A., et al. Attention is all you need. arXiv. , (2017).
  22. Attention gated networks: Learning to leverage salient regions in medical images. Med Image Anal. 53, 197-207 (2019).">Schlemper, J., et al. Attention gated networks: Learning to leverage salient regions in medical images. Med Image Anal. 53, 197-207 (2019).
  23. DeconvolutionLab2: An open-source software for deconvolution microscopy. Methods. 115, 28-41 (2017).">Sage, D., et al. DeconvolutionLab2: An open-source software for deconvolution microscopy. Methods. 115, 28-41 (2017).
  24. LABKIT: Labeling and segmentation toolkit for big image data. Front Comput Sci. 4, (2022).">Arzt, M., et al. LABKIT: Labeling and segmentation toolkit for big image data. Front Comput Sci. 4, (2022).
  25. napari: a multi-dimensional image viewer for python. , (2019).">Napari contributors. napari: a multi-dimensional image viewer for python. , (2019).
  26. 3D light-sheet microscopy data for SELMA3D 2024 challenge - Training subset with no annotations - whole brain images. BioStudies. , S-BIAD1197 (2024).">Chen, Y., Paetzold, J. C. 3D light-sheet microscopy data for SELMA3D 2024 challenge - Training subset with no annotations - whole brain images. BioStudies. , S-BIAD1197 (2024).
  27. Brain tumor segmentation and survival prediction using 3D attention UNet. arXiv. , (2021).">Islam, M., Vibashan, V. S., Jose, V. J. M., Wijethilake, N., Utkarsh, U., Ren, H. Brain tumor segmentation and survival prediction using 3D attention UNet. arXiv. , (2021).
  28. Medical image computing and computer-assisted intervention. Lect Notes Comput Sci. Frangi, A. F., Niessen, W. J., Vincken, K. L., Viergever, M. A. MICCAI'98, first international conference, October 11-13, 1998, Cambridge, MA, USA, , 130-137 (1998).
  29. A threshold selection method from gray-level histograms. IEEE Trans Syst Man Cybern. 9 (1), 62-66 (1979).">Otsu, N. A threshold selection method from gray-level histograms. IEEE Trans Syst Man Cybern. 9 (1), 62-66 (1979).
  30. Models genesis. Med Image Anal. 67, 101840(2021).">Zhou, Z., Sodha, V., Pang, J., Gotway, M. B., Liang, J. Models genesis. Med Image Anal. 67, 101840(2021).
  31. Convolutional neural networks for medical image analysis: Full training or fine tuning. arXiv. , (2017).">Tajbakhsh, N., et al. Convolutional neural networks for medical image analysis: Full training or fine tuning. arXiv. , (2017).
  32. Deep visual domain adaptation: A survey. Neurocomputing. 312, 135-153 (2018).">Wang, M., Deng, W. Deep visual domain adaptation: A survey. Neurocomputing. 312, 135-153 (2018).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Deep Learning SegmentationTubular Structure Segmentation3D Fluorescence Microscopy3D U NetAttention U NetData AugmentationImage Analysis ToolboxSimulation Based AugmentationMouse Liver TissueJupyter Notebooks

Related Articles