مقالة بحثية
تقدم هذه الدراسة إطار عمل تعلم عميق خفيف الوزن قائم على الانتباه لتصنيف أورام الدماغ بأربع فئات من صور الرنين المغناطيسي باستخدام التعلم النقلي باستخدام MobileNetV2 وEfficientNetV1 وInception-ResNet-V2. يحقق النموذج دقة تصنيف عالية مع تقليل تعقيد الحسابات، مما يدعم تطبيقات دعم القرار السريري المحدودة من حيث الموارد.
هدف هذا البحث هو تطوير إطار تعلم عميق خفيف الوزن لكنه دقيق لتصنيف أورام الدماغ إلى أربع فئات—الأورام الدبقية، الأورام السحائية، أورام الغدة النخامية، وأنسجة الدماغ السليمة—باستخدام بيانات التصوير بالرنين المغناطيسي (MRI). تجمع المنهجية المقترحة بين التعلم الانتقالي مع ثلاثة نماذج شبكات عصبية الالتفافية مدربة مسبقا—MobileNetV2، EfficientNetV1، وInception-ResNet-V2—مدمجة مع آلية انتباه تحاكي قدرة النظام البصري البشري على التركيز على المناطق ذات الصلة سريريا من الصورة. هذا النهج الموجه بالانتباه يعزز تحديد موقع الورم مع كبح المعلومات الخلفية غير المهمة. يتم تقييم الإطار بناء على مجموعة بيانات كبيرة متاحة للجمهور للرنين المغناطيسي للدماغ، تحتوي على آلاف الصور الموسومة عبر الفئات الأربع. تستخدم بروتوكولات المعالجة المسبقة القياسية، وتعزيز البيانات، والتدريب للسماح بتكرار بسيط للطريقة المقترحة. تظهر النتائج التجريبية أن EfficientNetV1 يحقق أعلى أداء تصنيفي، حيث يصل إلى دقة أعلى مقارنة بكل من MobileNetV2 وInception-ResNet-V2. خلصت الدراسة إلى أن الإطار الخفيف المقترح القائم على الانتباه يوازن بفعالية بين الدقة والتعقيد الحسابي، مما يجعله مناسبا للغاية لتطبيقات الرعاية الصحية في الوقت الحقيقي والمتحرك، خاصة في البيئات التي تعاني من محدودية الموارد.
يلعب التصنيف الدقيق لأورام الدماغ باستخدام التصوير بالرنين المغناطيسي (MRI) دورا حاسما في التشخيص السريري، وتخطيط العلاج، وتقدير التوقعات1. تظهر أورام الدماغ، بما في ذلك الورم الدبقي والورم السحائي وأورام الغدة النخامية، خصائص مرضية واستجابات علاجية مميزة؛ لذلك، فإن التعرف المبكر والموثوق ضروري لتحسين النتائج العلاجية وتقليل تقدم المرض. يفضل الرنين المغناطيسي على نطاق واسع لتقييم أورام الدماغ بسبب تباين الأنسجة الرخوة الفائق، وطبيعته غير الجراحية، وقدرته على تصور شكل الورم عبر عدة مستويات تشريحية. ومع ذلك، فإن التفسير اليدوي لصور الرنين المغناطيسي غالبا ما يستغرق وقتا طويلا ويعتمد بشكل كبير على الخبرة الإشعاعية، خاصة عندما تكون حدود الأورام غير منتظمة أو عندما توجد أوجه تشابه بصرية بين فئات الأورام. وبالتالي، أصبحت أنظمة التشخيص الآلية بمساعدة الحاسوب أكثر أهمية لمساعدة أطباء الأشعة في تصنيف الأورام بدقة وفعالية.
تقنيات تحليل الصور المعتمدة على التعلم العميق (DL) طورت بشكل كبير تصنيف الأمراض الآلي عبر تطبيقات الطب الحيوي ورؤية الحاسوب 2,3. في علم الأورام العصبية، أظهرت تقنيات التعلم الآلي والتعلم الانتقالي أداء واعدا في مهام اكتشاف الأورام وتقسيمها وتصنيفها4. أظهرت الشبكات العصبية الالفافية (CNNs)، على وجه الخصوص، قدرة فائقة في استخراج ميزات الصور الهرمية تلقائيا مباشرة من مسوحات الرنين المغناطيسي دون الاعتماد على هندسة الميزات اليدوية. يمكن لمعماريات CNN تعلم التمثيلات التمييزية المتعلقة بالورم من بيانات التصوير، مما يحسن أداء التصنيف مقارنة بأساليب التعلم الآلي التقليدية. مكنت التطورات الحديثة في التعلم البصري تطوير أنظمة تصنيف صور عالية الأداء قادرة على معالجة مجموعات بيانات التصوير واسعة النطاق بدقة محسنة وتقليل التدخل البشري.
على الرغم من هذه التطورات، غالبا ما تتطلب البنى العميقة التقليدية للشبكات العصبية العصبية موارد حسابية كبيرة، بما في ذلك استهلاك ذاكرة عالي، وتعقيد متزايد في المعاملات، ووقت تدريب مطول5. تقيد هذه المتطلبات الحاسوبية تنفيذها في البيئات السريرية ذات الموارد المحدودة وأنظمة الرعاية الصحية المتنقلة. بالإضافة إلى ذلك، جذبت بنى الشبكات العصبية الالفافية خفيفة الوزن اهتماما متزايدا بسبب تعقيدها الحسابي المنخفض وملاءمتها للنشر في التطبيقات منخفضة الموارد5. استكشفت عدة دراسات حديثة استراتيجيات CNN المحسنة، وآليات استخراج الميزات الفعالة، وأطر نشر خفيفة الوزن لتحسين كفاءة التصنيف دون المساس بشكل كبير بدقة التنبؤ 6,7,8. ومع ذلك، لا يزال تحقيق توازن بين الكفاءة الحاسوبية وأداء تصنيف الأورام متعدد الفئات القوي تحديا كبيرا في تحليل أورام الدماغ المعتمد على الرنين المغناطيسي9.
ظهرت أطر التعلم العميق المعتمدة على الانتباه كحلول فعالة لتحسين تمثيل الميزات في تحليل الصور الطبية10. تمكن آليات الانتباه الشبكات العصبية من التركيز بشكل انتقائي على مناطق الصور ذات الصلة تشخيصيا مع كبح المعلومات الخلفية غير الصلة. مستوحاة من النظام البصري البشري، تحسن البنى الموجهة بالانتباه التعلم التمييزي للميزات من خلال توجيه التركيز الحاسوبي نحو المناطق المكانية الخاصة بالورم والخصائص السياقية. تعد هذه الآليات مفيدة بشكل خاص لتحليل الرنين المغناطيسي لأورام الدماغ لأن أنسجة الورم غالبا ما تظهر أنماط شدة غير متجانسة، وشكل غير منتظم، وخصائص بصرية متداخلة بين فئات الأورام. وبالتالي، يمكن أن يعزز دمج وحدات الانتباه في البنى المعتمدة على CNN دقة التصنيف ويحسن أداء تحديد المواقع للميزات.
أظهرت عدة دراسات حديثة إمكانات أطر DL في التشخيص الآلي لأورام الدماغ وتصنيف الأورام بالرنين المغناطيسي11,12. طور جاو وآخرون وأكدوا نموذج DL لتشخيص أورام الدماغ باستخدام بيانات الرنين المغناطيسي، مما أظهر قدرة تصنيف قوية لتحليل التصوير العصبي الآلي11. وبالمثل، بحث عبد السلاموف وآخرون في طرق الكشف عن أورام الدماغ المعتمدة على DL باستخدام فحوصات الرنين المغناطيسي وأبلغوا عن أداء تشخيصي واعد12. على الرغم من أن هذه الدراسات حققت دقة تصنيف محسنة، إلا أن القيود المتعلقة بتنوع مجموعات البيانات، وتعميم النماذج، والمتطلبات الحسابية لا تزال دون حل. في كثير من الحالات، كانت مجموعات بيانات التدريب محدودة الحجم أو مستمدة من مصادر سريرية محدودة، مما زاد من خطر التوافق الزائد وتقليل المتانة عبر مجموعات المرضى غير المتجانسة.
لتحسين تصور الأورام واستخلاص الميزات، تم أيضا استكشاف تقنيات التحليل والبناء متعدد الوسائط13,14. درس صن وآخرون تقييم الورم الدبقي المعتمد على الرنين المغناطيسي متعدد الوسائط باستخدام إطار إعادة بناء التعلم العميق مع استراتيجيات إزالة الضوضاء13. أظهرت أعمالهم أهمية تحسين جودة الصورة لتحسين دقة اكتشاف الأورام الدبقية. وبالمثل، اقترح سرينيفاس وراو إطار تقسيم قائم على DL لتحليل منطقة الورم الدماغي متعدد الوسائط14. حسن نهجهم تحديد المناطق الفرعية للأورم وساهم في تخطيط العلاج الفردي. ومع ذلك، تتطلب الأطر متعددة الوسائط عادة معالجة مسبقة واسعة، وزيادة الموارد الحاسوبية، وتسجيل دقيق للصور بين أساليب التصوير، مما قد يحد من قابليتها للتطبيق في البيئات السريرية العملية.
كما تم اقتراح طرق دمج متعددة الوسائط موجهة بالانتباه لتحسين دقة التقسيم وتكامل ميزات الرنين المغناطيسي15،16،17،18. قدم تشو وآخرون إطار اندماج قائم على آليات الانتباه لتقسيم أورام الدماغ متعددة الوسائط15. أظهرت الدراسة تحسنا في أداء التقسيم من خلال التعلم السياقي للسمات؛ ومع ذلك، ركز النهج بشكل أساسي على التقسيم بدلا من تصنيف الأورام الخفيفة. وبالمثل، اقترح تشو ودو شبكة متعددة الوسائط ثلاثية الأبعاد لإعادة بناء الرنين المغناطيسي المعجل16، بينما طور هوانغ وآخرون شبكة AMF-Net، وهي شبكة دمج متعددة التسلسلات تكيفية لتشخيص أورام الدماغ متعددة الوسائط17. اقترح تشو وآخرون أيضا MLMFNet لإعادة بناء الرنين المغناطيسي متعدد الوسائطالمعجل 18. على الرغم من أن هذه الطرق حسنت جودة إعادة البناء وقدرة الاندماج على الميزات، إلا أنها اعتمدت بشكل كبير على عدة أنماط تصوير بالرنين المغناطيسي، وبنى معمارية عميقة، وعمليات اندماج مكلفة حسابيا. قد تقلل هذه المتطلبات من جدوى نشرها في أنظمة الرعاية الصحية ذات الموارد المحدودة والمنصات التشخيصية المعتمدة على الحافة.
بحثت دراسات إضافية في أطر DL بشكل خاص لتصنيف الورم الدبقي والسحايا وأورام الغدة النخامية باستخدام صور الرنين المغناطيسي19. طور موكري وآخرون نظام تصنيف قائم على DL لتحديد ثلاثة أنواع رئيسية من أورام الدماغ باستخدام فحوصات الرنين المغناطيسي19. على الرغم من أن الدراسة أظهرت أداء مشجعا، إلا أن النموذج اعتمد على مجموعات بيانات صغيرة نسبيا وافتقر إلى المقارنات مع أطر التعلم التحويلية الخفيفة. كما جذبت البنى المعتمدة على المحولات مؤخرا الانتباه في مجال التصوير الطبي بسبب قدرتها على نمذجة تبعيات الميزات بعيدة المدى والعلاقات السياقية20. اقترح فنغ وآخرون إطار عمل محول متعدد الوسائط لإعادة بناء صور MR المعجلة20. حسن نهجهم أداء إعادة البناء مقارنة بالطرق التقليدية؛ ومع ذلك، تتطلب بنى المحولات عادة موارد حسابية واسعة ومجموعات بيانات تدريبية واسعة النطاق، مما قد يحد من تطبيقها العملي في الأنظمة الطبية ذات الموارد المحدودة.
أظهرت بنى CNN خفيفة الوزن المعتمدة على التعلم التحويلي وعدا كبيرا في تقليل تعقيد الحسابات مع الحفاظ على دقة التصنيف 21,22,23. أظهر رحمن وآخرون تحسنا في الأداء في تصنيف أورام الدماغ باستخدام MobileNetV2، إلى جانب أساليب المعالجة المتقدمة والضبط الدقيق21. يعد MobileNetV2 مناسبا بشكل خاص لتطبيقات التصوير الطبي خفيف الوزن بسبب تداخلاته القابلة للفصل حسب العمق، وتقليل عدد المعلمات، واستخلاص الميزات بكفاءة. وبالمثل، أظهرت أطر العمل القائمة على EfficientNet أداء قويا في التصنيف متعدد الفئات من خلال استراتيجيات التوسع المركب التي تحسن عمق الشبكة وعرضها ودقة الإدخال في نفس الوقت22. تحقق معماريات EfficientNet كفاءة تصنيف محسنة مع الحفاظ على عبء حسابي أقل مقارنة بشبكات CNN التقليدية. بالإضافة إلى ذلك، تدمج معماريات Inception-ResNet التعلم المتبقي مع آليات استخراج الميزات الفعالة لتحسين أداء تصنيف الصور23. تمكن هذه البنى الهجينة من انتشار التدرج الفعال والتعلم العميق لتمثيل الشبكات مع الحفاظ على الكفاءة الحاسوبية.
على الرغم من تحقيق تقدم كبير في تصنيف أورام الدماغ المعتمدة على الرنين المغناطيسي، إلا أن هناك عدة قيود لا تزال دون حل. تعطي العديد من الأساليب الحالية الأولوية لدقة التصنيف مع البنى الحسابية المكثفة، دون معالجة كفاءة النشر أو القيود الحسابية بشكل كاف. تركز دراسات أخرى بشكل أساسي على التقسيم أو إعادة البناء متعدد الوسائط أو دمج السمات بدلا من التصنيف المباشر للأورم من أربع فئات. علاوة على ذلك، هناك عدد قليل نسبيا من الأطر تدمج بنى تعلم النقل الخفيفة الوزن مع التعلم الموجه بالانتباه لتصنيف أورام الدماغ متعددة الفئات بكفاءة. لذلك، لا تزال هناك حاجة إلى إطار عمل فعال حسابيا يوازن بين دقة التصنيف، والنشر الخفيف، واستخراج الميزات التمييزي في البيئات السريرية المحدودة الموارد.
لذلك، تقترح هذه الدراسة إطار عمل خفيف للتعلم الموجه بالانتقال بالانتباه لتصنيف أورام الدماغ بأربع فئات باستخدام صور الرنين المغناطيسي. يدمج الإطار المقترح MobileNetV2 وEfficientNetV1 وInception-ResNet-V2 مع آلية انتباه تركز بشكل انتقائي على مناطق الأورام ذات الصلة التشخيصية مع كبح الميزات الخلفية غير المناسبة. يهدف الإطار إلى تحسين التمييز بين الميزات وأداء التصنيف مع تقليل التعقيد الحسابي. من خلال الجمع بين العمود الفقرية الخفيفة للتعلم الانتقالي مع استخراج الميزات الموجه بالانتباه، يهدف النهج المقترح إلى توفير حل فعال وقابل للتوسع لتصنيف أورام الدماغ المعتمد على الرنين المغناطيسي الآلي في بيئات دعم القرار السريري المحدودة الموارد.
الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.
استخدمت هذه الدراسة مجموعة بيانات متاحة للجمهور ومجهولة الهوية؛ لذلك، لم يكن مطلوبا الموافقة المستنيرة. يتكون النهج المقترح من ستة مكونات: المعالجة المسبقة، وحدة الالتفاف، وحدة الانتباه، دمج وحدات الالتفاف والانتباه، وطبقات متصلة بالكامل (FC). يوضح الشكل 1 سير العمل الكامل لطريقتنا.
جمع مجموعة البيانات
يتم الحصول على صور الرنين المغناطيسي للدماغ الموسومة من مجموعة بيانات كاجل متاحة للجمهور تتكون من أربع فئات أورام وأنسجة طبيعية.
معالجة البيانات المسبقة
يتم إعادة تكبير الصور إلى دقة موحدة ويتم تطبيع شدتها. يتم تطبيق التعزيز الاختياري (الدوران، القلب، التكبير) لتحسين التعميم. تنقسم مجموعة البيانات إلى مجموعات تدريب (70٪) ومجموعات اختبار (30٪).
بنية النماذج
تم استخدام ثلاث شبكات CNN عمودية تم تدريبها مسبقا على ImageNet—MobileNetV2، EfficientNetV1، وInception-ResNet-V2—لتصنيف أورام الدماغ إلى أربع فئات باستخدام صور الرنين المغناطيسي. تم تكوين MobileNetV2 وEfficientNetV1 بأبعاد إدخال 224 × 224 بكسل، بينما كان Inception-ResNet-V2 يتطلب حجم إدخال 299 × 299 بكسل. في عملية تعلم النقل، تم تجميد الطبقات الالتفافية الأولية في البداية للحفاظ على ميزات الصورة العامة، بينما تم ضبط الطبقات العليا بدقة لتكييف النموذج لتصنيف أورام الدماغ. تم إقران كل عمود فقري برأس تصنيف خفيف الوزن يشمل تجميع المتوسط العالمي، وطبقات كثيفة، ونقطة انقطاع للتنظيم، ودالة تفعيل Softmax للتنبؤ بأربع فئات. تم تنفيذ Dropout للحد من الإفراط في التركيب وتعزيز التعميم. دمجت البنية المصممة بفعالية بين استخراج الميزات الفعال ومتطلبات حسابية أقل، مما سهل التصنيف الدقيق مع البقاء مناسبا للنشر في سيناريوهات محدودة الموارد وإثبات المفهوم.
استخراج الميزات المعتمد على الانتباه
تتم معالجة الصور المدخلة عبر طبقة التفافية أولية تليها وحدة انتباه مخصصة. التجميع الأقصى المتوازي والتجميع المتوسط يلتقط السمات البارزة والسياقية، التي يتم دمجها وتحسينها عبر الالتفاف لتسليط الضوء على المناطق ذات الصلة بالورم.
العمود الفقري الالتفاوي والاندماج
يتم توجيه الميزات المرجحة بالانتباه إلى العمود الفقري المدربة مسبقا (MobileNetV2، EfficientNetV1، أو Inception-ResNet-V2). يتم دمج طبقات الالتفاف عالية المستوى منطقيا لتقليل الوصول إلى الذاكرة وتحسين الكفاءة الحسابية.
التصنيف
يتم تمرير الميزات المسطحة عبر طبقات متصلة بالكامل مع تفعيل ReLU6 وإلغاء التشغيل، مما ينتج تمثيلا مدمجا لتصنيف النهائي للأربع فئات softmax.
التقييم
يتم تقييم أداء النموذج على مجموعة الاختبار باستخدام مصفوفات الدقة، والدقة، والاسترجاع، ودرجة F1، والارتباك.
تطوير الإطار
الحل المقترح منفذ بلغة بايثون ويستخدم كيرا للتنفيذ. يوضح الجدول 1 المعاملات الفائقة. تنقسم مجموعة البيانات إلى مجموعة تدريب ومجموعة اختبار تتبع نسبة 70:30. تستخدم خمسة تقسيمات عشوائية مختلفة للقطارات/الاختبارات لعرض الأداء المتوازن النهائي لكل مجموعة بيانات.
المعالجة المسبقة
يجب تحديث الصور المدخلة لأن إطار عمل MobileNetV2 يعد الأساس للحل المقترح. لاستخراج ميزات عالية الدقة من الصور الفوتوغرافية، يستخدم نموذج MobileNetV2 المدرب مسبقا مع بعد الإدخال. يتم بعد ذلك تكبير كل صورة مدخلة إلى 224×224 بكسل ضمن النطاق [-1، 1].
نموذج الالتفاف
يعزز MobileNetV2 التعرف على الصور من خلال الاستفادة من بنية الشبكة العصبية الالتفافية (CNN) الفعالة المصممة لتقليل المتطلبات الحاسوبية. بينما تحقق شبكات CNN التقليدية دقة عالية، إلا أنها غالبا ما تتطلب ذاكرة كبيرة وقوة معالجة كبيرة. قدم MobileNetV1 مفهوم الالتفاف القابل للفصل حسب العمق، والذي يفصل الالتفاف القياسي إلى عمليتين مميزتين: الالتفاف العمق لتصفية المدخلات والالتفاف النقطي لدمج الميزات. يبني MobileNetV2 على هذه الفكرة من خلال دمج كتل عنق الزجاجة المتبقية التي تتكون من طبقات التمدد، والالتفاف العميق، وطبقات الإسقاط، والوصلات المتبقية. طبقة الإسقاط تضغط قنوات الميزات، بينما تسهل الاتصالات المتبقية تدفق المعلومات بشكل أفضل عبر الشبكة. لتحسين الاستقرار وتعزيز أداء التعلم، يتم تطبيق تفعيل ReLU6 وتطبيع الدفعات بعد العمليات الالتفافية.
في هذا البحث، تم استخدام MobileNetV2، المدرب مسبقا على ImageNet، كنموذج أساسي لاستخراج الميزات، مقدما تمثيلات دلالية فعالة عالية المستوى مع الحفاظ على انخفاض التكاليف الحسابية لتصنيف أورام الدماغ. بعد كل طبقة التفاف، هناك طبقة تفعيل ReLU6، وهي تعديل لدالة تفعيل ReLU حيث يتم تعظيم الحجم عند ستة، وطبقة تطبيع دفعات. يتم تطبيق طبقات الالتفاف 1x1 الشائعة، والتجميع المتوسط، والتصنيف على 17 من كتلة عنق الزجاجة المتبقية، مما يشكل البنية الكاملة ل MobileNetV2. استخدمنا MobileNetV2 كشبكة عمود فقري مدربة مسبقا على ImageNet. في مثل هذه الحالة، يتم الحصول على الخريطة الالفافية من آخر كتلة متبقية بعد المرور عبر طبقة الالتفاف MobileNetV2. الكتل المتبقية في المستويات الأدنى تنتج خرائط ميزات أصغر. هذه الحواجز لا تساهم في أبحاثنا لأنها لا تجمع بيانات عالية المستوى لتحديد الصورة بشكل عام. أثناء بناء النماذج والتدريب، تبقى الطبقات التي تسبق الطبقات الالتفافية التي تولد خريطة ميزات ثلاثية الأبعاد بحجم 7 × 7 ثابتة. من الناحية الرياضية، يعبر عن ذلك كما يلي في المعادلة (1):
F1(I) = Conv(I) (1)
هنا، يمثلF1(I) الميزة الالتفافية المستخرجة من الصورة الداخلة، I.
وحدة التركيز
آلية الانتباه في الدماغ البشري، التي تعني أن الناس يركزون بشكل طبيعي أكثر على المدخلات البصرية المهمة بدلا من كل تفصيل في الصورة، تشكل الأساس لتصميم شبكة التحول هذه. تم ابتكار العديد من النماذج القائمة على الانتباه في أبحاث التعلم العميق بسبب هذه الفكرة. يتم تسليط الضوء على الارتباطات المكانية التي تظهر في تمثيلات أورام الدماغ بواسطة آلية الانتباه المقترحة. بينما تلتقط وحدة انتباه القناة أهم المعلومات المتعلقة بالورم عبر قنوات المميزة، تحدد وحدة الانتباه الإقليمية المناطق الأكثر إفادة في صورة الرنين المغناطيسي. باستخدام طريقة الانتباه المنظم، تركز وحدة التركيز المقترحة على المناطق التي تحتوي على معلومات أورام تمييزية.
لتحسين تمثيل الميزات، تستخدم تقنيات مثل تجميع التفعيل الأعلى واستخراج الميزات المتوازن قبل مرحلة اكتشاف الميزات المكانية. تعزز هذه الاستراتيجية قدرة النموذج على التركيز على مناطق الأورام ذات الأهمية السريرية مع تقليل التفاصيل الخلفية غير ذات الصلة، مما يحسن دقة التصنيف وكفاءة تعلم الميزات. الثاني هو دمج الموترات المجمعة بأقصى حد ومتوسطة التجميع. أخيرا، يجب استخدام وظيفة تنشيط السيغما، مع مرشح التفافي 7x7، لتنشيط المنبهات البصرية داخل الرؤية. يتم الإشارة إلى المراحل المختلفة لوحدة التركيز في المعادلتين (2) و(3). حيث يمثل Pool(F) ∈ RHxWx1 متوسط عملية التجميع، بينما يصف MaxPool(F) ∈ RHxWx1 عملية التجميع القصوى.
F2(I) = [AvgPool(F); ماكسبول(أنثى)] (2)
يمكن دمج هاتين الخرائط العنصريتين ثلاثي الأبعاد لإنشاء خريطة عنصرية
F2(I) = ∈ RHxwx1. F3(I) = σ(f7x7(F2(I))) (3)
حيث σ هي دالة التفعيل التي تشير إلى سيغما. خصائص الانتباه، التي تمثل بواسطة موتر مشفر بارتفاع HxWxC (V)، والعرض (W)، والسمك (C)، ممثلة ب F3(I)، بينما يمثل f7x7 عملية الالتفاف بحجم المرشح (7x7).
دمج الانتباه ونموذج الالتفاف
على عكس الشبكة التي تعتمد على مشفر واحد، يمكن لوحدة دمج متعددة الوسائط استخراج معلومات أكثر كفاءة وشمولا لغالبية الوسائط الساحقة. تهدف كتلة الاندماج إلى توجيهها نحو أقصى الميزات متعددة الوسائط الأساسية؛ لذا، سيحدد مناطق الاهتمام لاستخراج منطقة الورم. هذه مجرد تسلسل بسيط للتمثيلات الكامنة الفردية، لكن بعض المعلومات ستضيع. وبذلك تم إنشاء خريطة كائنات مركبة عن طريق دمج خرائط الميزات لوحدات الالتفاف والملاحظة باستخدام طريقة ربط الميزات الأساسية لسيتاولا وآخرين. هاتان الخرائط الميزتان التقطتا الفروقات في خصائص الصور المختلفة، لذا قررنا استخدام طريقة الربط البسيطة بدلا من استراتيجيات تعتمد على الحد الأقصى أو الأدنى أو الجمع. وهذا يجعله أيضا أخف من الناحية الحسابية مقارنة بالطرق البديلة التي تستخدم الطرق ثنائية الخط كشكل من أشكال حساب ضرب الموترات. عندما يتم دمج هذين الميزتين، يسمى الناتج موتر الميزة. التعبير الرياضي لخرج الموتر المجمع للحرف T يعطى بواسطة المعادلة (4).
[F1(I), F3(I)] = T(I) (4)
حيث F1(I) ∈ RHxWx1 و F2(I) ∈ RHxWx1280. هذه موترات ثلاثية الأبعاد بنفس العرض (W) والارتفاع (H). علاوة على ذلك، يمكن دمجها في إنشاء 3D k لموترات ثلاثية الأبعاد، حيث T(I) ∈ LxWx1281.
الطبقات المتصلة بالكامل (FC)
استخدمنا سلسلة من طبقات FC بعد دمج الميزات لتحويل موتر حجمي معاد تشكيله إلى متجه سمة خطي. يتكون رأس التصنيف من طبقة تجميع متوسط عالمي، وطبقات كثيفة متصلة بالكامل، وتنظيم الانقطاع، وطبقة إخراج سوفت ماكس. تستخدم وظيفة تفعيل ReLU6، ب 128 وحدة واحتمال انقطاع 50٪.
الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.
تم تقييم ثلاثة نماذج تعلم عميق مدربة مسبقا، وهي MobileNetV2، EfficientNetV1، وInception-ResNet-V2، لتصنيف أورام الدماغ بأربع فئات باستخدام صور MRI.
مجموعة البيانات المستخدمة
تم تقييم الإطار المقترح باستخدام مجموعة بيانات رنين مغناطيسي لأورام الدماغ متاحة للجمهور تم الحصول عليها من منصة كاجل. تكونت مجموعة البيانات من 835 صورة رنين مغناطيسي طبيعي للدماغ، و826 صورة للورم الدبقي الدماغي، و822 صورة لوم السحايا، و827 صورة لأورام الغدة النخامية. ت...
الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.
يكشف تقييم الأداء، بناء على الدقة، والاستدعاء، ودرجة F1، والدقة، أن كل من MobileNetV2 وInception-ResNet-V2 يحققان نتائج مماثلة في تصنيف أورام الدماغ، حيث حقق كل منهما دقة إجمالية ومتوسطة موزونة تتراوح بين 97–98٪. في المقابل، يتفوق EfficientNet على النماذج الأخرى، محققا دقة 99٪ عبر المقاييس الكلية والمتوسطة المرجحة، بفضل استراتيجيته المعززة في التعميم وتوسيع المستويات المركبة. تتوافق هذه النتائج مع الدراسات السابقة التي أظهرت فعالية بنى EfficientNet في تصنيف الأورام بالرنين المغناطيسي متع...
الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.
المؤلفون لا يفرضون أي تضارب مصالح.
لم يتم تلقي أي تمويل خارجي لهذه الدراسة.
الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.
```html
| الاسم | الشركة | رقم فهرسي | التعليقات |
|---|---|---|---|
| مجموعة بيانات التصوير بالرنين المغناطيسي للدماغ | IEEE | https://dx.doi.org/10.21227/q2vt-tf46 | يتم تنزيل المجموعة مع الوصول إلى المعهد. تحتوي مجموعة التصوير بالرنين المغناطيسي على أربع فئات: الورم الدبقي، الورم السحائي، ورم الغدة النخامية، والدماغ الطبيعي |
| مسرع CNN (دمج الطبقات) | عمل مقترح | — | الدمج المنطقي للطبقات التلافيفية العلوية لتقليل الوصول إلى الذاكرة وتحسين الكفاءة الحسابية |
| وحدة الانتباه المخصصة | عمل مقترح | — | آلية انتباه تدمج أقصى قيمة ومتوسط القيمة لتشديد التركيز على المناطق ذات الصلة بالورم |
| EfficientNetV1 | مدربة مسبقًا (ImageNet) | بنية CNN قابلة للتوسيع توفر أفضل توازن بين الدقة والكفاءة | |
| Google Colaboratory | https://colab.research.google.com/ | بيئة قائمة على السحابة تُستخدم لتدريب النموذج، والتقييم، والتجربة مع دعم GPU | |
| Inception-ResNet-V2 | مدربة مسبقًا (ImageNet) | بنية CNN هجينة عميقة تجمع بين وحدات Inception والوصلات المتبقية | |
| Keras | v2.6.0 | واجهة برمجة الشبكة العصبية عالية المستوى مبنية على TensorFlow لنماذج النماذج السريعة | |
| Matplotlib | مطورو Matplotlib | v3.4.3 | مكتبة التصور المستخدمة لرسم منحنيات التدريب، مصفوفات الخلط، ومؤشرات الأداء |
| MobileNetV2 | مدربة مسبقًا (ImageNet) | بنية CNN الأساسية الخفيفة والمحسّنة للنشر على الأجهزة المحمولة والأجهزة الطرفية | |
| NumPy | مطورو NumPy | v1.21.4 | مكتبة الحوسبة العلمية الأساسية المستخدمة للعمليات الحسابية |
| Pandas | فريق تطوير Pandas | v1.3.4 | مكتبة التعامل مع البيانات والمناورة المستخدمة لتنظيم المجموعة والتعامل مع البيانات الوصفية |
| Python | مؤسسة Python للبرمجيات | v3.8.10 | لغة البرمجة الأساسية المستخدمة لمعالجة البيانات المسبقة، وتطوير النموذج، والتقييم |
| Scikit-learn | مطورو Scikit-learn | الإصدار المستقر الأخير | يُستخدم لمؤشرات تقييم الأداء مثل الدقة، الاسترجاع، درجة F1، ومصفوفات الخلط |
| Seaborn | مطورو Seaborn | الإصدار المستقر الأخير | مكتبة التصور الإحصائي عالية المستوى المستخدمة للتحليل البياني المحسن |
| TensorFlow | v2.6.0 | إطار عمل التعلم العميق الشامل المستخدم لتنفيذ هياكل CNN الأساسية ووحدات الانتباه |
طلب إذن لإعادة استخدام النص أو الأشكال في مقالة JoVE هذه
طلب إذن