يهدف العمل المقترح إلى تطوير وتقييم ترتيب نسيج متعدد الوسائط قابل للتفسير ويحافظ على الخصوصية لتصنيف آفات الجلد بدقة من خلال دمج ميزات التعلم العميق، والبيانات الوصفية السريرية، وتقنيات الذكاء الاصطناعي القابلة للتفسير لتحسين دقة التشخيص، والشفافية، ودعم اتخاذ القرار السريري الموثوق للكشف المبكر عن سرطان الجلد.
Research Article
إطار عمل متعدد الوسائط للحفاظ على الخصوصية قابل للتفسير لتصنيف آفات الجلد
June 12th, 2026
Opens in a new tab
In This Article
Summary
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Abstract
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
من بين الأمراض الجلدية، يعد سرطان الجلد من أكثر الأمراض تهديدا للحياة. التشخيص المبكر والدقيق مهم لتحسين توقعات المريض. ومع ذلك، تواجه الطرق التشخيصية التقليدية المعتمدة على الذكاء الاصطناعي عدة تحديات، منها مخاوف الخصوصية، ومحدودية التفسير، وعدم توازن طبقي حاد في مجموعات بيانات آفات الجلد متعددة الفئات. لتجاوز هذه التحديات، تقترح الورقة المقترحة نموذجا مصنفا متعدد الوسائط وواعا للخصوصية وقابل للتفسير لتصنيف آفات جلدية، يجمع بين نماذج التعلم العميق المعقدة ونهج النمذجة الجماعية مع طرق الذكاء الاصطناعي القابلة للتفسير. يتم إجراء التقييم التجريبي باستخدام بيانات HAM10000 معيارية متاحة للجمهور حول تصنيف آفات الجلد متعددة الفئات يمكن الوصول إليها عبر Kaggle Hub، موزعة على سبع فئات آفات ذات دلالة سريرية (akiec، bcc، bkl، df، mel، NV، VSC). لموازنة البيانات، تستخدم تقنية موازنة الطبقات لتعزيز الطبقات الأقلية. تستخدم EfficientNet B4 وDenseNet201 وMobileNetv2 لاستخراج تمثيلات الميزات العميقة، ثم يتم دمجها مع بيانات وصفية سريرية بارزة لإنشاء فضاء ميزات متعدد الوسائط قوي. تستخدم هذه الميزات متعددة الوسائط لتدريب XGBoost وLightGBM ومصنف الأعصاب العميقة (DNC) التي أدت إلى دقة تصنيف بلغت 92٪، 90٪ و94٪ على التوالي. يتم تطبيق استراتيجية المجموعات المكدسة لدمج مخرجات XGBoost وLightGBM وDeep Neural Classifier (DNC)، مما يؤدي إلى تحسين الدقة بنسبة 96٪. توفر تقنيات تفسير النماذج تفسيرات على مستوى الميزات تزيد من الشفافية. أثبتت النتائج التجريبية عملية الإطار المقترح من حيث الكفاءة مع التصنيف العملي لآفات الجلد ذات الصلة السريرية.
Introduction
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
يمثل سرطان الجلد عبئا صحيا عالميا كبيرا، مع زيادة معدلات الإصابة المبلغ عنها حول العالم1. يعتبر الإشعاع الاصطناعي عاملا مساهما رئيسيا في سرطان الجلد، مما يؤدي إلى طفرات جينية تؤدي إلى تكاثر الخلايا غير المنضبط وتطور الأورام في خلايا الجلد 1,2. تتكون سرطانات الجلد من مجموعة من الأمراض، بما في ذلك الميلانوما، وسرطان الخلايا الحرشفية، وسرطان الخلايا القاعدية (BCC). تختلف الأسباب، والعرض السريري، والعوامل التنبؤية لهذه الحالات جميعها3. أصبحت أمراض الجلد عقبة في التشخيص الطبي بسبب التشابه على مستوى البكسلات4. في عام 2022، كان هناك 331,722 حالة ميلانوما تقديرية (58,667 وفاة) و1.2 مليون حالة NMSC (69,416 وفاة) عالميا. بلغت معدلات الإصابة الموحدة بالعمر (ASR) ذروة معدل الوفاة في أوقيانوسيا (29.78 لكل 100,000)، وأمريكا الشمالية (16.3)، وأوروبا (10.43). ومع ذلك، كانت نسبة الوفيات إلى الإصابة الأعلى في أفريقيا (0.35) وآسيا (0.30) مقارنة بأمريكا الشمالية وأوقيانوسيا (0.02 في كلتيهما)، مما قد يعكس توقعات أسوأ1. في طب الجلدية، اعتمد تشخيص ومراقبة آفات الجلد بشكل أساسي على الفحص البصري والتقييمات غير الجراحية الأخرى. لا تستخدم الطرق الغازية لأنها قد تضر بالآفات وتمنع أداء المتابعة السريرية لنمو الآفة5. يمكن أن تكون الآفات الجلدية من أنواع مختلفة: الميلانوما (MEL)، الورم الجلدي العصبي (DF)، التقرنية الأكتينية وسرطان الظهارة (AKIEC)، سرطان الخلايا القاعدية (BCC)، الكيراتوز الحميد (BKL)، النيفيوز الميلانوسي (NV)، والآفات الوعائية (VASC)، كما هو معرف في مجموعة البيانات HAM100005. التحديات الرئيسية في تصنيف الصور الجلدية هي وجود الشعر، الأحبار، علامات المسطرة، البقع الملونة، الوميزان، القطرات، فقاعات الزيت، الأوعية الدموية، المناطق مفرطة التصبغ، و/أو آفات التهابية6. كانت هناك دراسات سابقة حول اختيار السمات والتعلم العميق للتصوير الطبي وتصنيف آفات الجلد7،8.
تم أيضا دراسة الأساليب القائمة على الرؤية الحاسوبية لتشخيص سرطان الجلد ودمج الميزات اليدوية والعميقة، إلى جانب استراتيجيات دمج الميزاتلتحسين أداء التصنيف. تؤكد التطورات الأخيرة بشكل أكبر على دمج التعلم الآلي في أنظمة الرعاية الصحية وأطر معالجة البيانات الطبية الآمنة11,12. استخدام الذكاء الاصطناعي للرعاية الصحية المدعوم بالخوارزميات الحاسوبية المتقدمة لديه القدرة على تقديم برامج رعاية متكاملة شخصية وفعالة، مفيدة بشكل خاص للمرضى في بيئات الرعاية البعيدة والمنزلية13. من خلال استخدام مجموعات بيانات واسعة من صور المنظار الجلدي، يمكن تدريب نماذج التعلم العميق—وخاصة الشبكات العصبية الالتفاوتية (CNNs)—على تحديد وتصنيف آفات الجلد المختلفة بدقة. تظهر عدة تقنيات نتائج قوية في تقسيم آفات الجلد، بما في ذلك الشبكات الالتفافية الكاملة (FCNs)، وCNNs، وشبكات CNN العميقة (DCNNs)، والشبكات المتبقية الالفافية الكاملة (FCRNs)، وبنى U-Net. الشبكات العصبية العميقة (DNN) ليست سهلة التفسير بسبب تعقيد بنيتها المعقدة، لذا فإن عملية اتخاذ القرار فيها يصعب فهمها14,15. أظهرت التطورات الحديثة في تحليل الصور الطبية أن الشبكات العصبية الالفافية العميقة (CNNs) تحسن بشكل كبير من الكفاءة في مهام تصنيف آفات الجلد. أظهرت عدة دراسات على مجموعات بيانات الديرموسكوب مثل HAM10000 أن البنى المعتمدة على CNN، بما في ذلك ResNet وDenseNet وEfficientNet، تحقق أداء تصنيفا قويا متعدد الفئات من خلال تعلم تمثيلات الميزات الهرمية من صور الآفات. لقد حسنت أساليب دمج الميزات الهجينة، حيث يتم دمج عدة أعمدة فقراء للشبكة النووية النووية، دقة تشخيصية إضافية من خلال دمج التمثيلات العميقة المكملة16. علاوة على ذلك، بحثت الدراسات الحديثة في نماذج محول CNN الهجينة في تحليل الصور الطبية. لقد ثبت أن النماذج التي تحتوي على مستخرجات ميزات محول الرؤية وCNN تحقق نتائج أفضل في مهام تصنيف آفات الجلد لأنها أكثر قدرة على استخراج محتوى الملمس المحلي وكذلك العلاقات السياقية العالمية17. كما تعتبر هذه التصاميم الهجينة متطورة في التصوير الطبي لأنها تمتلك قدرة تعليمية متوازنة على التمثيل.
في مجالات أخرى من الطب، تم استخدام استراتيجيات دمج الميزات على نطاق واسع خارج طب الجلدية. كما تم تطبيق أنظمة هجينة قائمة على CNN في تحليل الصور النسيجة المرضية لتحقيق تصنيف أفضل لسرطان الرئة والقولون مع تمثيلات ميزات محسنة وديناميكيات التعلم المكاني16. وبالمثل، في طب العيون، أظهر استخدام نماذج التعلم العميق المدربة على تمثيلات الميزات المدمجة تطبيقا ناجحا في مراحل تصوير قاع الشبكية السكري، مع متانة ودقة تصنيف أفضل في مهمة تصحيح متعددة الفئات18. تشير طرق الاندماج متعدد الوسائط في هذه المجالات إلى أن تمثيلات الميزات غير المتجانسة تعطي تعميما وتصنيفا أفضل، خاصة في البيانات الطبية غيرالمتوازنة 19.
على الرغم من أن هذه التحسينات قد تم إجراؤها، إلا أن الممارسات الحالية عادة ما تقتصر على كونها متعددة الوسائط، وغير متكاملة، وغير كافية لمعالجة مشكلة عدم التوازن الطبقي، وغير مفيدة في اتخاذ القرار السريري. لتجاوز هذه القضايا، تقدم هذه الورقة نموذجا قابلا للتفسير لتصنيف آفات الجلد يركز على الخصوصية ويدمج طريقتي تفسير النموذجين. يمكن استخدام هذه الطرق لشرح توقعات النموذج، وإظهار الميزات الأكثر أهمية وتسليط الضوء على مجالات مهمة في صور التنظير الجلدي، مما يعزز الوضوح والثقة في الإجراءات السريرية، وبالتالي يحسن الشفافية السريرية، ويبني الثقة، ويدعم التطبيق الآمن لأنظمة الذكاء الاصطناعي في الممارسة السريرية. هناك اختلال كبير في مجموعة البيانات HAM10000، حيث أن بعض الفئات تحتوي على عينات أقل بكثير من غيرها. لتجاوز هذه المشكلة، تستخدم تقنية أخذ العينات الزائدة للأقليات الاصطناعية (المعروفة أيضا بتوازن الفئات) لتوليد عينات تركيبية للفئات الممثلة تمثيلا ناقصا. توازن تقنيات توازن الطبقات بين مجموعة البيانات، مما يمكن النموذج من التعلم بشكل أفضل من أنواع الآفات الأقلية، وزيادة الحساسية، والسماح بتوقع أكثر موثوقية لفئات سرطان الجلد ذات الأهمية السريرية والأقل تكرارا. يتم دمج الميزات العميقة ل EfficientNet-B4 وDenseNet201 وMobileNetV2 مع البيانات الوصفية السريرية لتشكيل تمثيل أكثر إفادة لكل آفة جلدية. تساعدنا هذه الميزة المزدوجة على استخراج الأنماط البصرية لصور التنظير الجلدي ومعلومات المرضى الأخرى لتحليل أكثر تعمقا. ثم يتم تدريب الميزات على مصنفات مختلفة، بما في ذلك XGBoost وLightGBM وشبكة عصبية عميقة، لتعزيز قدرة وقوة نموذج تصنيف آفات الجلد. يستخدم مجموعة النماذج مع تقنية التكديس لتعزيز النموذج. هذا نموذج مركب يستفيد من نقاط قوة نماذج متعددة للتعلم والاستفادة من توقعات جميع النماذج في المجموعة مع التخفيف من حدودها.
Protocol
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
استخدمت هذه الدراسة مجموعات بيانات تنظير الجلد المتاحة للجمهور ومجهولة الهوية بالكامل ولم تتضمن مشاركة بشرية مباشرة؛ لذلك، لم تكن موافقة لجنة الأخلاقيات مطلوبة. يحتوي جدول المواد على تفاصيل جميع المواد أو الأدوات المستخدمة في هذه الدراسة. يتضمن الجدول 1 تفاصيل بيئة الأجهزة والبرمجيات، مثل نوع المعالج، الذاكرة، نظام التشغيل، وأطر البرمجيات. يتضمن الجدول 2 تفاصيل الدقة حسب الفئة، والاستدعاء، ودرجة F1، والدعم لكل فئة من أنواع آفات الجلد.
سير العمل العام لإطار تصنيف آفات الجلد متعدد الوسائط المقترح
الخطة العامة لهذا البحث هي إنشاء مخطط دقيق ومفهوم لتصنيف متعدد الآفات الجلدية. يبدأ سير العمل بجمع البيانات ومعالجتها المسبقة لمجموعة البيانات HAM10000، ثم ينتقل إلى استخراج الميزات باستخدام بنى التعلم العميق وإدراج بيانات وصفية سريرية. بعد ذلك، يتم تدريب وتحسين عدة مصنفات تعلم آلة، وتجمع نتائجها في استراتيجية جماعية. وأخيرا، تفسر تنبؤات النموذج باستخدام تقنيات القابلية للتفسير، ويتم تقييم فعالية النموذج لاستخدامه في دعم اتخاذ القرار السريري في العالم الحقيقي.
لتحسين دقة التنبؤ للنظام المقترح، يستخدم خط أنابيب تعلم آلي متعدد الوسائط، يجمع بين الميزات القائمة على الصور والبيانات الوصفية السريرية (كما هو موضح في الشكل 1). يمكن للنموذج تلخيص المخرجات البصرية لصور التنظير الجلدية مع المعلومات المتعلقة بالمريض لتحديد أنماط أكثر تفصيلا تتعلق بآفات الجلد المختلفة. مع هذا التركيب، يمكن للنظام أن يقدم توقعات أفضل، وهذا سيحدث في النهاية. تحسين جودة وفائدة تصنيف آفات الجلد. يتم استخراج ثلاث ميزات عميقة ملتفة مدربة مسبقا بمساعدة الشبكات العصبية (EfficientNet-B4، DenseNet201، وMobileNetV2): وهي قادرة على التقاط أنماط متكاملة من صور التنظير الجلدي. تتعلم هذه الهياكل أنماطا عالية المستوى في شكل آفات الجلد، مثل التغيرات في اللون والملمس، وطريقة بنائها. ثم تجمع وحدة دمج الميزات الميزات العميقة مع الميزات السريرية والبيانات الديموغرافية لتكوين ميزة متعددة الوسائط غنية. ثم يتم تقسيم البيانات المدمجة إلى بيانات تدريب، وتحقق من الصحة، وبيانات اختبار لضمان اختبار النماذج المناسب. بعد ذلك، يستخدم وحدة دمج الميزات لدمج الميزات العميقة مع الميزات السريرية والديموغرافيا لإنتاج ميزة متعددة الوسائط غنية. ثم يتم تقسيم هذه البيانات إلى بيانات تدريب، اختبار، وبيانات تحقق لاختبار النموذج. تستخدم استراتيجية المجموعات لتعزيز دقة التنبؤ بشكل أكبر. يتم ذلك عن طريق حساب نتائج عدة نماذج والوصول إلى التنبؤ النهائي باستخدام تلك الاحتمالات المتوسطة لتعزيز التعميم وتقليل التباين الذي كان من الممكن أن تسببه النماذج الفردية. بالإضافة إلى ذلك، يتم دمج طرق التفسير، مثل تقنيات تفسير النماذج، لشرح كيفية اتخاذ النموذج قراراته بشكل أوسع. توفر طريقة تفسير النموذج تفسيرات على مستوى الميزات من خلال قياس مساهمة المتغيرات المدخلة، بينما تحدد طريقة قابلية تفسير النموذج المجالات المهمة داخل الصور الجلدية على مستوى البكسل تؤثر على التنبؤ. تقدم تقنيات تفسير النموذج تفسيرات على مستوى الميزة من خلال قياس مساهمة كل متغير إدخال، بينما تبرز تقنيات تفسير النموذج المناطق المهمة على مستوى البكسل داخل صور الديرموسكوب التي تؤثر على التوقع. مجتمعة، تجعل هذه التقنيات النماذج أكثر قابلية للتفسير وتساعد الأطباء على التعرف على طريقة اتخاذ النظام للقرارات. ونتيجة لذلك، يوفر خط الإنتاج المقترح نظاما مفهوما وواعا للخصوصية، مما يزيد من الشفافية والثقة ويتيح تشخيصا أكثر موثوقية لسرطان الجلد في بيئة رعاية صحية واقعية.
وصف مجموعة البيانات مع التحضير
في هذه الورقة، تستخدم مجموعة البيانات HAM10000 (الإنسان ضد الآلة مع 10,000 صورة تدريبية) كمجموعة بيانات رئيسية لتصنيف آفات الجلد متعددة الفئات. تحتوي مجموعة البيانات على أكثر من 10,000 صورة جلدية تم جمعها من مصادر طبية مختلفة. المصادر السريرية والمجموعات السكانية، مما يجعلها واحدة من أكثر مجموعات البيانات المعيارية استخداما في تحليل الصور الجلدية. كل صورة في مجموعة البيانات مصحوبة ببيانات وصفية سريرية مهمة، بما في ذلك معرفات الصور، والملصقات التشخيصية، وعمر المريض، وجنسه، والموقع التشريحي للآفة. تغطي مجموعة البيانات سبع فئات تشخيصية: القرنية القطبية (AKIEC)، سرطان الخلايا القاعدية (BCC)، القرنية الحميدة (BKL)، الديرماتوفيبروما (DF)، النيفيوس الميلانوسي (NV)، الآفات الوعائية (Vasc)، والميلانوما (MEL).
معالجة البيانات الوصفية السريرية
شملت الميزات المساعدة التي أضيفت إلى خط التصنيف بيانات وصفية سريرية، مثل العمر والجنس وموقع الآفة في المريض. كانت هناك قيم مفقودة أو غير معروفة، تم التعامل معها من خلال نهج معالجة مسبقة حتمية. في حالة متغير العمر (العددي)، تم استخدام العمر الوسيط المحسوب على مجموعة التدريب لحساب القيم المفقودة. سبب اختيار التخمين الوسيط هو مقاومته للبيانات الشاذة والبيانات المنحرفة التي تنتشر في البيانات السريرية. بالنسبة للجنس وموقع الآفة (المتغيرات التصنيفية)، لم تستبعد القيم المفقودة أو غير المحددة؛ تم تعيينهم في فئة خاصة تسمى 'مجهول'. تحافظ الطريقة على جميع العينات المتاحة، ويكون النموذج حرا في تحديد ما إذا كان الاختفاء نفسه تنبؤيا. ثم تم تطبيق ترميز الوحدة الساخنة على المتغيرات التصنيفية لتمكينها من التوافق مع نماذج التعلم الآلي. جميع المعالجة المسبقة، مثل التعيين، الترميز، وما إلى ذلك، كانت تجرى فقط على مجموعة التدريب، وتم إجراء نفس التحويلات على مجموعات التحقق والتجارب لتجنب فقدان البيانات. لم يتم استبعاد أي عينات فقط بسبب نقص البيانات الوصفية السريرية، وهذا ضمن الاستفادة القصوى من البيانات، ووجود اتساق منهجي.
الشكل 1: نظام متعدد الوسائط لتصنيف آفات الجلد. يجمع نهج الدراسة بين ميزات صور التنظير الجلدية وبيانات المرضى الوصفية لتصنيف آفات الجلد باستخدام نماذج التعلم العميق الجماعية. يشمل الإطار المعالجة المسبقة، واستخراج الميزات، والدمج متعدد الوسائط، والتصنيف، مما يسمح بتحسين الأداء التشخيصي وقابلية التفسير. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
يعرض سير العمل خط التصنيف المقترح، بناء على صور تنظير الجلد والبيانات الوصفية السريرية لمجموعة بيانات آفات الجلد HAM10000. تستخدم EfficientNet-B4 وDenseNet201 وMobileNetV2 لمعالجة واستخراج الميزات العميقة في الصور. يتم ترميز البيانات الوصفية السريرية، ويستخدم دمج الميزات لدمج ميزات الصورة مع البيانات الوصفية السريرية. لمعالجة مشكلة عدم توازن الطبقات، تستخدم تقنية توازن الفئات في فضاء الميزات متعددة الوسائط المدمجة بدلا من الصور الخام أو تدفقات الميزات الفردية، حيث تحافظ العينات التركيبية على مزيج من الخصائص البصرية والسريرية ولا تنتج عينات غير واقعية. ثم يتم تدريب الميزات المدمجة على مصنفات مثل XGBoost وLightGBM ومصنف عصبي عميق.
الشكل 2: أمثلة على صور الديرموسكوب من سبع مجموعات تشخيصية مختلفة من مجموعة بيانات HAM10000. تظهر الصور الميزات البصرية النموذجية المستخدمة في التصنيف الآلي. (أ) الكيراتوز الأكتينية (akiec)، تظهر أسطحا خشنة مع تصبغ غير منتظم. (ب) سرطان الخلايا القاعدية (BCC)، ذو أشكال غير منتظمة وأوعية دموية غير منتظمة. (ج) آفات شبيهة بالقرنية الحميدة (bkl)، تظهر سمات قرنية ذات أسطح بنية فاتحة. (د) ديرماتوفيبروما (df)، بمظهر مركزي يشبه الندبة وتصبغ. (ه) نيفيات ميلانوسيتية (nv)، والخلمات الحميدة والمتماثلة نسبيا. (و) آفات وعائية (وعائية)، تظهر مظهرا بنفسجيا مائل إلى الأحمر بسبب الأوعية الدموية. (G) الميلانوما (mel)، الذي يظهر كآفة غير منتظمة الشكل، غير متماثلة، ومتعددة الصبغات. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
تكشف هذه الصور الجلدية عن التباين البصري لآفات الجلد، التي لها اختلافات في التصبغ والملمس والشكل الشكلي للبنية. تشكل هذه الاختلافات تحديا كبيرا لأنظمة التصنيف الآلي وتؤكد أهمية أنظمة التعلم العميق. تقنيات استخراج الميزات التي تكون حساسة لكشف أنماط تشخيصية دقيقة. بعد وصف مجموعة البيانات، يوضح الشكل 2 الفئات السبع للآفات الجلدية المدرجة في مجموعة بيانات HAM10000، والتي تدرس عادة في أبحاث التصوير التشخيصي الجلدي. تشمل هذه الفئات السرطانات الأكتينية (akiec)، سرطان الخلايا القاعدية (BCC)، القرنية الحميدة (bkl)، الديرماتوفيبروما (df)، النفث الخلوي الميلانوسي (nv)، الآفات الوعائية (الأوعية الدموية)، والميلانوما (mel)21. جميع هذه الأنواع من الآفات لها خصائص بصرية فريدة، كما هو موضح في الشكل 3، والتي تشمل التفاوت في أنماط التصبغ، وملمس السطح، وتوزيع الألوان، والشذوذات على طول حدود الآفات. تختلف الخصائص البصرية لجميع هذه الآفات، وتتميز بتنوع أنماط التصبغ، وملمس السطح، وتوزيع الألوان، والشذوذات على أطراف الآفات. هذه خصائص مهمة يأخذها أطباء الجلد في الاعتبار عند إجراء الفحص السريري، ولذلك يجب نمذجة نماذج التعلم الآلي بشكل جيد للحصول على التصنيف الصحيح. على الرغم من أن هذه هي الخصائص المميزة، إلا أن العديد من هذه الآفات تبدو متطابقة تقريبا، مما يصعب التمييز بينها عند النظر فقط إلى صور الجلدية. التمييز بين أنواع معينة من الآفات عادة ما يكون دقيقا جدا لكنه ذو صلة سريرية، مما يجعل من الصعب تصنيفها تلقائيا. لهذا السبب من الضروري إنشاء نماذج ذكاء اصطناعي قوية قادرة على التدريب على تعلم صور بصرية دقيقة وفروق دقيقة في الآفات بين فئات الآفات. لن تعزز هذه الخصائص فقط بالوصف المناسب، مما يؤدي إلى تحسين مهارات التمييز لدى النموذج مع أنواع مختلفة من الآفات، بل سيساعد أيضا في تشخيص بعض الحالات الخطرة، مثل الميلانوما، في وقت مبكر. وأخيرا، يمكن أن يعزز دقة التشخيص، ويعلم الأطباء باتخاذ قرارات تؤدي إلى نتائج أفضل للمرضى، ويساعد في اتخاذ قرارات أفضل.
الشكل 3: توزيع آفات الجلد حسب الفئة في مجموعة البيانات HAM10000. يوضح الشكل توزيع الفئات السبع للآفات التي تم تناولها في هذه الدراسة: القرنية الأكتينية (akiec)، سرطان الخلايا القاعدية (BCC)، آفات شبيهة بالقرنية الحميدة (bkl)، الجلدية الدماغية (df)، الآفات الصبغية الوعائية (vasc)، والميلانوما (mel). يوضح هذا الرسم البياني اختلال التوازن الطبقي في فئات الآفات. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
يظهر تحليل مجموعة البيانات وجود خلل في فئات أنواع الآفات المختلفة. النوع الأكثر شيوعا من نيفي الميلانوسي (nv)، مع حوالي 6,705 عينات، هو النوع الأكثر شيوعا، يليه الميلانوما (1,113) والقرنية الحميدة (1,099). على العكس، هناك بعض أشكال الآفات ذات الأهمية السريرية التي تقل تمثيلا بشكل ملحوظ، مثل الجلدية الورمية (115) والآفات الوعائية (142). يشكل هذا التفاوت تهديدا لنماذج التعلم الآلي لأنها قد تكون متحيزة لصالح الفئات الأغلبية ولا تكون قادرة على اكتشاف آفات غير عادية لكنها ذات أهمية سريرية. للتعامل مع هذه المشكلة وتحسين تدريب النموذج على أداء النموذج بالنسبة لجميع الفئات، هناك حاجة إلى معالجة مسبقة متقدمة. هناك حاجة إلى استراتيجيات. تشمل هذه تقنيات مثل تعزيز البيانات المستهدف وموازنة الفئات. يمكن موازنة البيانات باستخدام التقنية (تقنية موازنة الفئات وتعديل وزن الطبقات) التي تشجع النموذج على اكتشاف اتجاهات جوهرية في الفئات الممثلة تمثيلا ناقصا. تم ضبط المعاملات الفائقة المستخدمة في XGBoost وLightGBM بشكل أساسي على تكويناتها الافتراضية، مع تعديلات طفيفة بناء على تجارب أولية. بالنسبة للمصنف العصبي العميق، تم اختيار معلمات معمارية وتدريبية مثل عدد الطبقات، الخلايا العصبية، معدل التعلم، حجم الدفعة، وعدد الفترات تجريبية باستخدام بيانات التحقق. تم توفير المجموعة الكاملة من المعاملات الفائقة في الجدول 3. بشكل عام، عدد الصور الجلدية المستخدمة في هذه الدراسة هو 10,015 صورة إجمالا. وهذا يوفر مجموعة ضخمة من البيانات التي يمكن تدريبها واختبارها، وهو معيار ممل لكنه مجز أيضا. تقييم فعالية نظام تصنيف آفات الجلد المقترح.
معالجة البيانات المسبقة
تجهز خط أنابيب المعالجة المسبقة مجموعة البيانات HAM10000 للتعلم متعدد الوسائط من خلال توحيد الصور، واستخراج الميزات العميقة، ودمج البيانات الوصفية السريرية، ومعالجة اختلال التوازن بين الفئات.
توحيد الصورة: تم تغيير حجم جميع صور التنظير الجلدي إلى 224 × 224 بكسل وتم تطبيعها باستخدام تطبيع درجة z.
(1)
حيث أمثل الصورة الخام، μ يرمز إلى المتوسط بالبكسل، و σ هو الانحراف المعياري.
استخراج الميزات العميقة: تم استخراج الميزات العميقة المكملة باستخدام ثلاث شبكات عصبية الالتفافية مدربة مسبقا: Efficient-Net B4، DenseNet201، بالإضافة إلى MobileNetV2. تقوم كل شبكة بتعيين الصورة المعادرة إلى متجه ميزة.
(2)
تم دمج الميزات المستخرجة لتشكيل تمثيل موحد:
FFusion=FEffB4 ||فكثيف ||FMobV2 (3)
(حيث || تعني التسلسل)
دمج البيانات الوصفية السريرية: تم تنظيف السمات السريرية، بما في ذلك العمر والجنس بالإضافة إلى تحديد مكان الآفات، وترميز المسميات، وتطبيعه باستخدام الحد الأدنى لتحديد المقياس:
(4)
تم دمج متجه البيانات الوصفيةالمعالجة M السريري مع ميزات الصورة لبناء المدخل متعدد الوسائط النهائي:
Fمجتمعة =F دمجMسريري (5)
تقسيم مجموعات البيانات: تم تطبيق تقسيم طبقي للحفاظ على توزيع الفئات
قطار D،اختبار D=انقسام (Fمتوافق، 0.8) (6)
التعامل مع عدم توازن الطبقات: تعاني مجموعة البيانات HAM10000 من اختلال شديد في الفئات، حيث تسود عينات "النيفوس" (NV) كعينات ممثلة تمثيلا ناقصا في مجموعات أقلية أخرى، مثل DF مع VASC. ولتقليل هذه المشكلة، تم استخدام "تقنية أخذ العينات الزائدة للأقليات الاصطناعية" (تقنية توازن الفئات). باستخدام عينات صناعية جديدة تم إنتاجها كالتالي:
xnew=xi + λ(xzi - xi) (7)
حيث xi عينة فئة أقلية، xzi هو أحد أقرب جيرانها، وλ هي قيمة عشوائية مأخوذة من توزيع منتظم بين 0 و1. العينة التركيبية، كما هو موضح في الشكل 4، تولد على طول المقطع الخطي الذي يربط x تحت i.وxent يربط xi وx zi.
الشكل 4: توزيع الفئة في مجموعة البيانات HAM10000 قبل وبعد تطبيق تقنية موازنة الفئات. (أ) قبل موازنة الفئات، مع عدم توازن بين فئات الآفات. (ب) بعد موازنة الفئات في فضاء الميزات المجمعة، حيث يكون تمثيل جميع الفئات متساويا لتجنب التحيز في عملية تدريب المصنفين. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
لمعالجة مشكلة عدم توازن الطبقات في مجموعة البيانات HAM10000، يتم تطبيق تقنية العينة الزائدة للأقلية الاصطناعية (تقنية توازن الفئات). تقنية موازنة الطبقات تولد عينات تركيبية للفئات الأقلية عن طريق الاستيفاء بين نقاط البيانات الموجودة، مما يساعد على زيادة تمثيل فئات الآفات الممثلة تمثيلا ناقصا. النتيجة النهائية لإنتاج المزيد من الأمثلة لهذه الفئات الأقلية هي مجموعة بيانات أكثر توازنا بشكل عام، بالنسبة لجميع أنواع الآفات السبعة. هذا التمثيل المتوازن سيمكن نماذج التصنيف من التعلم بشكل أفضل مع كل فئة وتقليل التحيز مع الفئات الأغلبية. وبالتالي، فإن النموذج أكثر عدلا في التصنيف وحساس، خاصة فيما يتعلق بالآفات الجلدية النادرة ولكن المهمة سريريا.
إطار عمل تعليمي للحفاظ على الخصوصية
يقترح النظام المقترح نظاما متعدد الوسائط لتصنيف الآفات الآلي على الجلد يكون واعيا للخصوصية وقابلا للتفسير. الهدف النهائي للنظام هو تعزيز أداء التشخيص وفي الوقت نفسه، حماية المعلومات الحساسة للمرضى طوال عملية التدريب. خصوصية المرضى ضرورة أساسية في الممارسة الطبية لأن قوانين خصوصية بيانات الرعاية الصحية والاعتبارات الأخلاقية مهمة للغاية في بيئات الرعاية الصحية. لذا، سيشمل النموذج المقترح نموذج تعلم لامركزي يعتمد على أفكار التعلم الفيدرالي. في هذا البيئة اللامركزية، يتم تدريب النماذج على مجموعة من العملاء الموزعين بدلا من تجميع جميع بيانات المرضى في موقع مركزي. يقوم جميع العملاء المشاركين بتدريب النموذج محليا على بياناتهم الخاصة، ولا تغادر بيانات المرضى الخام البيئة المحلية. كبديل لنقل السجلات الطبية الحساسة، يتم إرسال تحديثات النموذج أو المعلمات إلى خادم مركزي ليتم تجميعها. يتيح هذا النهج التعاوني للتعلم المؤسسات أو مصادر البيانات المختلفة المساهمة في تدريب النماذج دون المساس بخصوصية البيانات.
لتكن wt(k) هي معلمات النموذج للعميل kth في التكرار t، ولتكن nk هو حجم العينة في ذلك العميل. يتم حساب تحديث النموذج العالمي كما يلي:
(8)
تضمن هذه الاستراتيجية التجميعية أن يساهم العملاء ذوو مجموعات البيانات الأكبر بشكل متناسب أكثر في النموذج العالمي، مع السماح للعملاء الصغار بالمشاركة في عملية التعلم. من خلال تمكين التدريب التعاوني دون تبادل بيانات المرضى الخام، يحافظ الإطار المقترح على الخصوصية مع الاستفادة من المعرفة الموزعة عبر مجموعات البيانات.
الإعداد التجريبي الموحد
تم تصميم نظام تعلم اتحادي محاكى مع مجموعة بيانات HAM10000 لتأكيد كفاءة الإطار الواعي بالخصوصية المقدم. تم تقسيم البيانات إلى ثلاثة عملاء لمحاكاة بيئة متعددة المؤسسات واقعية مع بيانات غير موزعة (غير IID). كل عميل لديه مزيج مختلف من فئات الآفات، وهذا يمثل تباينا في العالم بين المراكز السريرية. تم تشغيل خط أنابيب استخراج الميزات متعدد الوسائط المماثل (EfficientNet-B4، DenseNet201، MobileNet V2، والبيانات الوصفية السريرية) محليا على كل عميل. في تدريبهم، قام العملاء بتحديث نماذجهم المحلية بأنفسهم، وكانت المعلمات التي تعلمها تتبادل فقط مع الخادم المركزي لتجميعها خوارزمية FedAvg. تمت مقارنة المقايضة بين الدقة التنبؤية والخصوصية بين النموذج الموحد ونهج التدريب المركزي لقياس أداء كل منهما. تظهر نتائج الاختبار المشار إليها في الشكل 5 أن النموذج الموحد يمكنه الأداء التنافسي، مع انخفاض طفيف فقط في الدقة مقارنة بالتعلم المركزي، وتحسن كبير في خصوصية البيانات.
الشكل 5: توزيع مجموعة البيانات HAM10000 على مستوى العميل. يظهر هذا توزيع بيانات آفات الجلد بين العملاء، مما يوضح التنوع في توزيع البيانات. هذا يوضح تباين البيانات بين العملاء، وهو جانب حاسم من جوانب التعلم الفيدرالي. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
تم تقسيم التوزيعات غير المتجانسة (غير IID) للعملاء الذين تشكلوا في HAM10000 إلى ثلاث مجموعات لنمذجة الحالات السريرية الواقعية. توزيع فئات الآفات المختلفة داخل كل عميل مختلف، خاصة فئة النفوس (nv)، التي لا تتوزع بالتساوي بين المرضى. هذا الترتيب يعكس الصعوبات الواقعية للتعلم الفيدرالي، حيث لا توزع البيانات في المؤسسات بشكل متساو.
مقارنة الأداء: التعلم المركزي مقابل التعلم الفيدرالي
لتقييم فعالية إطار التعلم الموحد المقترح، تم إجراء تحليل مقارن بين استراتيجيات التدريب المركزي والاتحادي باستخدام مجموعة بيانات HAM10000، كما هو موضح في الشكل 6. في الإعداد المركزي، تم تجميع جميع عينات البيانات في مجموعة تدريب واحدة. حقق أفضل نموذج مركزي أداء، وهو الفرقة المكدسة، دقة إجمالية بلغت 96٪. على النقيض من ذلك، وزع الإعداد الموحد مجموعة البيانات عبر ثلاثة عملاء مع بيانات غير متطابقة (غير IID)، حيث قام كل عميل بتدريب النموذج محليا ومشاركة معلمات النموذج فقط باستخدام FedAvg. حقق النموذج الموحد دقة إجمالية تقارب 94٪، مما يعادل فارق أداء قدره 2٪ مقارنة بالنهج المركزي، كما هو موضح في الجدول 4. من المتوقع أن يكون هذا الانخفاض الهامشي بسبب التحسين اللامركزي وتوزيع البيانات المتجانس بين العملاء.
على الرغم من حدوث هذا التغيير الصغير، إلا أن النموذج الفيدرالي كان جيدا في التنبؤ. في التدريب المركزي، يظهر السلوك حسب الفئة أن غالبية الفئات، مثل نيفوس (nv) (درجة F1 = 1.00)، تبقى مستقرة، بينما الفئات الأقلية، مثل درماتوفيبروما (df) (درجة F1 ≈ 0.65–0.66)، أكثر حساسية لاختلال التوزيع، مما قد يؤثر على الأداء الفيدرالي أكثر. ومن الجدير بالذكر أن الهيكل الفيدرالي يقلل من فرص كشف معلومات المرضى الحساسة لأنه لا يتطلب مشاركة البيانات الطبية الخام بين العملاء.
الشكل 6: مقارنة التعلم الموحد مع التعلم المركزي. يقارن هذا الشكل نماذج التعلم باستخدام مقاييس الأداء مثل الدقة، والدقة، والاسترجاع، ودرجة F1. هذا يوضح قدرة التعلم الفيدرالي على تحقيق أداء يقارن بنهج التعلم التقليدي مع الحفاظ على الخصوصية. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
تشير نتائج الجدول 4 إلى أن نموذج التعلم الموحد قادر على أن يكون تنافسيا، وأن انخفاض الدقة يكون فقط بمقدار طفيف يقارب 2٪ مقارنة بالنموذج المركزي. يمكن تفسير هذا الانخفاض الطفيف من خلال التحسين اللامركزي وتوزيع البيانات غير الداخلي (IID). ومع ذلك، يتمتع النموذج الفيدرالي بميزة كبيرة فيما يتعلق بحماية الخصوصية، حيث لا يتم مشاركة المعلومات الحساسة للمرضى بين العملاء. لتوفير مقارنة عادلة بين النموذج الموحد ونموذج المجموعات المركزية المكدسة، تم اختبار النموذج الموحد بنفس البنية التحتية والمعاملات الفائقة. الجانب الذي يناقش في هذه الدراسة للحفاظ على الخصوصية هو جانب مفاهيمي ويهدف إلى تسليط الضوء على إمكانية دمج تقنيات مثل التعلم الموحد في الأعمال المستقبلية. لا يتم إجراء أي تحقق تجريبي لآليات حفظ الخصوصية في التنفيذ الحالي.
دمج الميزات متعددة الوسائط
عادة ما يشمل تشخيص الآفات الجلدية مراقبة الجلد والتاريخ الطبي السريري. في معظم الحالات، لا يقتصر أطباء الجلدية على النظر في صور المنظار الجلدية فقط من خلال وضعها في مقارنتها بمعلومات المريض (العمر، الجنس، وموقع الآفات) لاتخاذ أحكامهم التشخيصية. يعتمد النظام المقترح على إلهام هذا العمل السريري ويدمج نهجا متعدد الوسائط لتعلم دمج البيانات القائمة على الصور والبيانات السريرية. يتم تدريب CNNs على ميزات عميقة في صورة التنظير الجلدية الموجودة مسبقا. تتعرف هذه الشبكات على تصاميم بصرية معقدة، بما في ذلك تغيرات الألوان، وأشكال الآفات، والشذوذات الهيكلية، وميزات النسيج. ومع ذلك، قد لا تكون ميزات الصور كافية لالتقاط الوضع السريري للآفة. وبالتالي يتم تضمين البيانات الوصفية السريرية المتعلقة بكل صورة أيضا في التعلم. سيتم إنشاء وحدة دمج ميزات تدمج ميزات الصورة العميقة مع السمات السريرية المعالجة والمعلومات الديموغرافية. يشكل هذا التمثيل المركب تمثيلا متكاملا متعدد الوسائط يتكون من معلومات بصرية وسياقية لكل آفة. يمكن للنموذج دمج عدة مصادر بيانات للحصول على أنماط مكملة تعزز القدرة الشاملة على التصنيف. يتيح التمثيل متعدد الوسائط للنظام التمييز بشكل أكثر فعالية بين الآفات المتشابهة بصريا بالإضافة إلى أخذ المؤشرات السريرية في الاعتبار. النموذج أكثر معنى وفعالية سريريا لأنه تقريب أقرب لكيفية دراسة أطباء الجلد للآفات في الممارسة السريرية.
التعلم الجماعي المكدس
يستخدم الإطار المقترح استراتيجية التعلم الجماعي المكدس لتحسين القدرة التنبؤية للنظام بشكل أكبر. التعلم الجماعي هو طريقة مركبة للتنبؤ تستخدم نموذجين أو أكثر للتنبؤ لتعزيز التعميم وتقليل أخطاء التنبؤ التي قد تحدث مع نماذج واحدة. يتم تدريب المتعلمين الأساسيين المتعدد بشكل مستقل على تمثيل الميزات متعددة الوسائط بدلا من استخدام مصنف واحد. جميع المتعلمين الأساسيين يقدمون تقديرا لمدى احتمال أن تكون عينة معينة من فئة آفة معينة. ثم يتم تجميع هذه التنبؤات الاحتمالية على مستوى فوقي. يتم تعيين وزن لكل متعلم أساسي لإظهار أهميته النسبية للتوقع النهائي. تستخدم دالة تفعيل سوفتماكس لحساب الناتج المجمع لتوليد احتمالات فئة مطبعة. طريقة المجموعات المكدسة لها عدد من الفوائد. أولا، يقلل من تباين التنبؤ الناتج عن دمج نماذج مختلفة وبالتالي يعزز أداء التعميم. ثانيا، يعزز القوة لأن النماذج المختلفة تصف اتجاهات مختلفة في البيانات. ثالثا، يعزز التعلم الجماعي تصنيف فئات الآفات الأقلية، خاصة في البيانات الطبية، حيث لا تكون بعض الحالات ذات الاهتمام السريري شائعة بنفس القدر.
تكامل ذكاء اصطناعي قابل للتفسير
يجب أن تقدم أنظمة الذكاء الاصطناعي الطبي أيضا تفسيرات واضحة لاختياراتها، رغم أن دقة التنبؤ العالية أمر بالغ الأهمية. لوضع الثقة في أنظمة الذكاء الاصطناعي وأن يكونوا فعالين في ممارستها، يجب أن يكون الأطباء قادرين على فهم كيف يتناسب النموذج مع التشخيص الذي ينتجه. ولتلبية هذه الحاجة، يدمج الإطار المقترح طرق الذكاء الاصطناعي القابل للتفسير (XAI)، كما هو موضح في الشكل 7.
الشكل 7: مصفوفات الالتباس لنماذج التصنيف المختلفة لتصنيف آفات الجلد متعددة الفئات. (أ) XGBoost، (ب) LightGBM، (ج) المصنف العصبي العميق، و(د) نموذج المجموعات المكدسة. تظهر كل مصفوفة ارتباك العلاقة بين الفئة الحقيقية (الصفوف) والفئة المتوقعة (الأعمدة) لجميع أنواع آفات الجلد السبعة: akiec، bcc، bkl، df، mel، NV، وvasc. نماذج XGBoost وLightGBM تؤدي أداء جيدا لفئات nv وbkl، رغم وجود بعض الالتباس بين mel و nv. يحسن المصنف العصبي العميق تصنيف bkl و df ويقلل من الارتباك خارج الاتجاه القطري. يظهر نموذج المجموعات المكدسة أكبر قدر من الاتساق في التصنيف، حيث يصبح القطر أكثر هيمنة. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
يشمل النظام نهجين شائعين للتفسير (تقنية قابلية تفسير النموذج (تفسيرات شابلي الإضافية) وتقنية تفسير النموذج (تفسيرات محلية غير معتمدة على النموذج)) لإعطاء نظرة عميقة عما يتنبأ به النموذج. تشرح طريقة قابلية تفسير النموذج الميزات على مستوى الميزات من خلال قياس مدى مساهمة كل ميزة مدخلة في التنبؤ العام. يساعد في تحديد المتغيرات السريرية/الخصائص البصرية التي لها أكبر تأثير على نتيجة التصنيف. وهذا يمكن الباحثين والأطباء من رؤية السلوك العام للنموذج عبر مجموعة البيانات. أما تقنية تفسير النموذج، فهي تتعامل مع التفسيرات المحلية للتنبؤات الفردية. يركز على المناطق في صورة التنظير الجلدية التي لها أكبر تأثير على قرار النموذج. تمكن هذه التفسيرات البصرية على مستوى البكسل الأطباء من فحص مناطق الآفة التي أثرت على التصنيف بصريا. يوفر الإطار المقترح قابلية تفسير عالمية ومحلية؛ يتم تحقيق ذلك من خلال دمج تقنية قابلية تفسير النموذج. تعزز آلية التفسير المزدوج الشفافية وتمكن الأطباء من تقييم ما إذا كان النموذج يستهدف أنماطا طبية ذات دلالة طبية.
إمكانات دعم اتخاذ القرار السريري
التعلم الذي يحافظ على الخصوصية، ودمج الميزات متعددة الوسائط، ونمذجة المجموعات، والذكاء الاصطناعي القابل للتفسير هي مكونات رئيسية لنظام متكامل وقوي لتصنيف آفات الجلد تلقائيا. من الناحية المثالية، يجب ألا يكون النظام فقط يتمتع بقوة تنبؤية عالية، بل أيضا شفافا وآمنا، وهما عاملان رئيسيان في الأنظمة الطبية، كما هو موضح في الشكل 8.
الشكل 8: منحنيات خصائص تشغيل المستقبل (ROC) لنموذج المجموعة المكدسة. (A–C) يظهر هذا منحنيات ROC لأنواع آفات الجلد السبعة، مع معدل الإيجابية الحقيقية (الحساسية) ومعدل الإيجابية الكاذبة (خصوصية 1). تمثل المساحة تحت المنحنى (AUC) أداء نموذج المجموعات المكدسة في التمييز بين الفئات. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
يوفر هذا النظام توقعات قابلة للتفسير وحماية للخصوصية. وبالتالي، فهو نظام مفيد لأنظمة تشخيص الأمراض الجلدية الأخرى. يتيح هذا النظام للممارسين الصحيين/أطباء الجلدية تقييم الشكوك في الآفات وتحسين دقة التشخيص، ونتيجة لذلك، يساعد الممارسين/أطباء الجلدية على تشخيص المرضى في مرحلة مبكرة عندما قد يكون لديهم مرض أكثر خطورة (مثل الميلانوما). في جوهره، كما هو موضح في الشكل 9، يسعى هذا النظام إلى تطبيق تقنيات استخدام أنظمة الذكاء الاصطناعي عالية التقنية وتطبيق التطبيقات الواقعية، لمساعدة أطباء الجلدية على تشخيص المرضى بدقة أكبر وبثقة أكبر مع ضمان خصوصية وأمان المرضى وراحتهم.
الشكل 9: نتائج التفسير باستخدام تقنيات تفسير النموذج لتصنيف آفات الجلد متعددة الفئات. (أ) مخطط SHAP يظهر مساهمات الميزات التي تؤثر على تنبؤات الآفات الحميدة والخبيثة. (ب) شرح LIME لتوقع BCC، يوضح الميزات التي تساهم إيجابيا وسلبيا في نتيجة التصنيف. (ج) شرح LIME لتوقع akiec، مع تسليط الضوء على أكثر الميزات تأثيرا في عملية اتخاذ القرار في النموذج. تظهر هذه التصورات القابلة للتفسير المناطق والميزات المستخرجة التي تؤثر بشكل كبير على توقعات النموذج، مما يحسن الشفافية وفهم عملية التصنيف في تقييم آفات الجلد. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
استراتيجية التقييم
لتجنب تحيز العينة والحفاظ على توزيع الفئة الأصلي عبر جميع فئات آفات الجلد، تم تقسيم مجموعة البيانات إلى تقسيم قطار واختبار بنسبة 80:20. ثم تم تقسيم مجموعة التدريب بنسبة 90:10 train : validate، لضبط المعاملات الفائقة وتحسين النموذج. لم تستخدم مجموعة الاختبار في عملية التدريب في أي مرحلة، وتم تطبيقها فقط في نهاية عملية التدريب كاختبار نهائي لتجنب تسرب البيانات وضمان تقييم أداء غير متحيز. تمت معالجة جميع النماذج مسبقا وتدريبها في بيئات متساوية، وتم تقسيم البيانات وتعزيزها بنفس الطريقة، وطبقت بروتوكولات التقييم واتباعها بنفس الطريقة، مما سمح بمقارنات عادلة وقابلة للتكرار. تم تقييم النماذج بدقة بناء على الدقة، والدقة، والاستدعاء، ودرجة F1، وAUC، مع تحليل مفصل للنتائج حسب الفئة لتحديد مدى قوتها لكل من الفئات الرئيسية والأقلية من الآفات. ستساعد هذه الأداة الموحدة للتحقق في زيادة موثوقية وشفافية وقابلية التعميم للنهج المقترح، وتجاوز التناقضات المحتملة في تقارير الأداء.
Results
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
تم تقييم أربع طرق تصنيف (XGBoost، LightGBM، مصنف عصبي عميق، ونموذج مجموعة مكدسة) لتصنيف آفات الجلد متعددة الفئات. حققت النماذج دقة إجمالية بلغت 92٪، 90٪، 94٪، و96٪ على التوالي، مما يثبت أن c
الأداء حسب الفئة
يتم تقديم تقييم تفصيلي حسب الفئة، يشمل الدقة، والاستدعاء، ودرجة F1 لكل فئة آفة. بالنسبة لفئة أكيك (الدعم = 65)، حققت المجموعة المكدسة دقة بلغت 0.72، واستدعاء 0.73، ودرجة F1 بلغت 0.72، مع تحسن طفيف مقارنة ب XGBoost (F1 = 0.70)، وLightGBM (F1 = 0.68)، والمصنف العصبي العميق (F1 = 0.71). بالنسبة ل bcc (الدعم = 103)، حصلت المجموعة المكدسة على دقة = 0.87، والاستدعاء = 0.84، ودرجة F1 = 0.85، مماثلة ل XGBoost (F1 = 0.83) وLightGBM (F1 = 0.81)، وأعلى قليلا من المصنف العصبي العميق (F1 = 0.84). بالنسبة ل bkl (الدعم = 220)، حقق التشكيل المكدس الدقة = 0.93، والاستدعاء = 0.85، ودرجة F1 = 0.89، متفوقا على XGBoost (F1 = 0.87)، وLightGBM (F1 = 0.86)، والمصنف العصبي العميق (F1 = 0.88). بالنسبة للdf (الدعم = 23)، ظل الأداء أقل نسبيا عبر جميع النماذج. أبلغت المجموعة المكدسة عن دقة = 0.67، والاستدعاء = 0.66، ودرجة F1 = 0.66، مشابهة ل XGBoost (F1 = 0.65)، LightGBM (F1 = 0.63)، والمصنف العصبي العميق (F1 = 0.65).
بالنسبة ل mel (الدعم = 223)، حققت المجموعة المكدسة الدقة = 0.66، والاستدعاء = 0.97، ودرجة F1 = 0.78. كما يظهر المصنف العصبي العميق استدعاء عالي (0.96) للميلانوما ولكن دقة أقل نسبيا (~0.66)، مما يشير إلى عدد أعلى من الإيجابيات الكاذبة. هذا يبرز أنه رغم أن الحساسية لاكتشاف الميلانوما مرتفعة عبر النماذج، إلا أن الدقة تبقى أقل نسبيا. بالنسبة لفئة nv (الدعم = 1341)، أظهرت جميع النماذج أداء تصنيفي بنسبة 100٪، مع دقة واستدعاء ودرجات F1 تعادل 1.00، مما يبرز الأداء العالي المستمر في فئة الأغلبية. بالنسبة لvasc (الدعم = 28)، حقق المجموع المكدس دقة = 1.00، والاستدعاء = 0.93، ودرجة F1 = 0.96، مماثلة لمصنف الأعصاب العميقة (F1 = 0.96) وأعلى قليلا من XGBoost (F1 = 0.95) وLightGBM (F1 = 0.94).
مقارنة النماذج
أدى نموذج المجموعات المكدسة أداء مشابها أو أفضل في جميع المقاييس مقارنة بالنماذج الفردية. ومن المهم أن ارتفاع اكتشاف الميلانوما ينعكس في نسبة استدعاء أعلى (0.97)، مما يشير إلى تحسن في حساسية النموذج للحالات المهمة. يشير انخفاض أداء فئات الأقليات (df، 23 عينة؛ akiec، 65 عينة) إلى تأثير توزيع الفئات على أداء النموذج. والأهم من ذلك، أن الدقة العامة تحسب على جميع العينات وتتأثر بعدم توازن الفئة، مع سيطرة فئة nv (الدعم = 1341). وبالتالي، فإن تقلبات الدقة أو الاستدعاء للفئات الأقلية لا تفسر قيم الدقة المبلغ عنها.
المقارنة مع الطرق الحالية
لمقارنة أداء النظام المقترح، نقدم مقارنة مع الطرق السابقة في الجدول 5 والجدول 6. يعمل إطار العمل المقترح للمجموعات المكدسة على قدم المساواة مع الأساليب السابقة بدقة تبلغ 96٪. علاوة على ذلك، يوفر النموذج المقترح أيضا تكامل الميزات متعددة الوسائط وقابلية الشرح، والتي لا يتم أخذها دائما في الاعتبار في مناهج أخرى. تعتمد قيم الأداء المبلغ عنها على النتائج التي تم الإبلاغ عنها في الأوراق الأصلية وقد تختلف بسبب اختلاف تقسيمات مجموعات البيانات وطرق التقييم.
ملاحظة رئيسية
94٪ هو الأداء العام لجميع الفئات، ويتأثر بفئة الأغلبية (nv، الدعم = 1341). لذلك، فإن أداء الفئات الأقلية (مثل df، دقة ميل) لا يعني أن هذا يتعارض مع الدقة العامة المبلغ عنها. حقق الفريق المكدس أعلى دقة (96٪) مع أداء جيد للفئات. تشير زيادة دقة الفئات المختلفة (مثل استدعاء الميلانوما) إلى أن استخدام أساليب النماذج المتعددة يحسن الأداء التنبؤي لتصنيف آفات الجلد متعددة الفئات.
يتم اختبار ذلك بشكل أكبر من خلال مقارنة النهج المقترح مع أحدث النماذج الموجودة في مجموعة بيانات ISIC 2019. تم إجراء تحليل أداء بنى التعلم العميق المستخدمة على نطاق واسع، مثل ResNet50، EfficientNet-B0، DenseNet121، وطريقة المجموعات المكدسة المقترحة، باستخدام نماذج الأساس. تم اختبار كل نموذج بنفس الظروف التجريبية، مما جعلهما متقاربين مع بعضهما البعض. تظهر النتائج المعروضة في الجدول 6 أن النموذج المقترح يتفوق على النماذج الحالية في جميع مقاييس التقييم. يحقق نموذج المجموعة المكدسة المقترح دقة أعلى تبلغ 96٪ وقيمة AUC تبلغ 0.970 مقارنة بنماذج التعلم الآلي التقليدية ونماذج التعلم العميق الأخرى، كما هو موضح في الجدول 6. أما بالنسبة لالتقاط تمثيلات الميزات المختلفة، فإن نماذج مثل EfficientNet-B0 وDenseNet121 تظهر أداء أساسيا قويا عند إعطائها صورة، لكنها غير كافية في التعامل مع مثل هذه المهام بمفردها. من ناحية أخرى، يتم تطبيق طريقة المجموعات بنجاح لدمج عدة نماذج وتضمن تعميما وقوة أفضل. علاوة على ذلك، فإن الطريقة المقترحة أفضل باستمرار من حيث الدقة والاسترجاع ودرجة F1، مما يشير إلى أنها قوية في فئات مختلفة ولديها قدرة واعدة على الاستخدام في الممارسة السريرية الحقيقية. لتسهيل قابلية التكرار والشفافية والمقارنة الموثوقة لجميع النماذج، أجريت التجارب وفقا لبروتوكول معياري، مع مجموعة من معايير الأداء ونفس شروط التحقق.
توفر البيانات:
مجموعة بيانات HAM10000 الآفات الجلدية المستخدمة في هذه الدراسة متاحة للجمهور عبر Kaggle على https://www.kaggle.com/datasets/kmader/skin-cancer-mnist-ham10000. تم توفير ملفات الشفرة المصدرية وملفات التنفيذ المستخدمة في معالجة البيانات المسبقة، وتدريب النماذج، والتقييم، والتحليل كمواد إضافية إلى جانب تقديم المخطوطة.
| إعداد البيئة لتطوير النماذج | |
| المكون | المواصفات |
| بيئة الحوسبة | Google Colab (المستوى المجاني) |
| وحدة المعالجة المركزية | معالج ثنائي النواة @ 2.20 جيجاهرتز |
| وحدة معالجة الرسوميات | NVIDIA T4 / P100 |
| ذاكرة RAM | 12 جيجابايت |
| نظام التشغيل | أوبونتو 22.04 |
| نسخة بايثون | بايثون 3.10 |
| نماذج التعلم العميق | EfficientNet B4، DenseNet201، MobileNetV2 |
| المصنفات | XGBoost، LightGBM، DNC، Stacked Ensemble |
| المكتبات الأساسية | تينسورفلو 2.12، كيراس 2.12، نوم باي، بانداس |
| أدوات التفسير | شاب، لايم |
| موازنة البيانات | سموت |
الجدول 1: تكوين النظام. يستخدم في تطوير وتقييم النماذج. يتضمن تفاصيل بيئة الأجهزة والبرمجيات، مثل نوع المعالج، الذاكرة، نظام التشغيل، والأطر البرمجية.
| تقارير تصنيف مفصلة لتوقع آفات الجلد متعددة الفئات | ||||
| الفئة | الدقة | الاستدعاء | نتيجة الفورمولا 1 | الدعم |
| XGBoost (الدقة: 92٪) | ||||
| أكيكس | 0.70 | 0.71 | 0.70 | 65 |
| BCC | 0.85 | 0.82 | 0.83 | 103 |
| BKL | 0.91 | 0.83 | 0.87 | 220 |
| دي إف | 0.65 | 0.65 | 0.65 | 23 |
| ميل | 0.63 | 0.95 | 0.76 | 223 |
| NV | 1.00 | 1.00 | 1.00 | 1341 |
| vasc | 1.00 | 0.91 | 0.95 | 28 |
| LightGBM (الدقة: 90٪) | ||||
| أكيكس | 0.68 | 0.69 | 0.68 | 65 |
| BCC | 0.83 | 0.80 | 0.81 | 103 |
| BKL | 0.90 | 0.82 | 0.86 | 220 |
| دي إف | 0.63 | 0.63 | 0.63 | 23 |
| ميل | 0.62 | 0.94 | 0.75 | 223 |
| NV | 1.00 | 1.00 | 1.00 | 1341 |
| vasc | 0.99 | 0.90 | 0.94 | 28 |
| المصنف العصبي العميق (الدقة: 94٪) | ||||
| أكيكس | 0.95 | 0.9 | 0.92 | 65 |
| BCC | 0.9 | 0.94 | 0.92 | 103 |
| BKL | 0.97 | 0.92 | 0.94 | 220 |
| دي إف | 0.99 | 0.96 | 0.97 | 23 |
| ميل | 0.99 | 0.9 | 0.94 | 223 |
| NV | 0.14 | 0.86 | 0.24 | 1341 |
| vasc | 0.10 | 0.86 | 0.18 | 28 |
| مجموعة مكدسة (الدقة: 96٪) | ||||
| أكيكس | 0.72 | 0.73 | 0.72 | 65 |
| BCC | 0.87 | 0.84 | 0.85 | 103 |
| BKL | 0.93 | 0.85 | 0.89 | 220 |
| دي إف | 0.67 | 0.66 | 0.66 | 23 |
| ميل | 0.66 | 0.97 | 0.78 | 223 |
| NV | 1.00 | 1.00 | 1.00 | 1341 |
| vasc | 1.00 | 0.93 | 0.96 | 28 |
الجدول 2: مقاييس أداء التصنيف التفصيلية لتوقع آفات الجلد متعددة الفئات عبر جميع النماذج. يعرض هذا الجدول الدقة حسب الفئة، والاستدعاء، ودرجة F1، والدعم لكل فئة من آفات الجلد.
| النموذج | المعاملة الفائقة | القيمة |
| XGBoost | معدل التعلم | الافتراضي (0.3) |
| عدد الأشجار (n_estimators) | 100 | |
| أقصى عمق | 6 | |
| عينة فرعية | 1 | |
| Colsample_bytree | 1 | |
| الهدف | Multi:Softmax | |
| مقياس التقييم | mlogloss | |
| LightGBM | معدل التعلم | الافتراضي (0.1) |
| عدد الأشجار (n_estimators) | 100 | |
| أقصى عمق | -1 | |
| عدد الأوراق | 31 | |
| نسبة الميزات | 1 | |
| نسبة التعبئة | 1 | |
| الهدف | الفئة المتعددة | |
| القياس | multi_logloss | |
| المصنف العصبي العميق | عدد الطبقات | ثلاث طبقات كثيفة |
| الخلايا العصبية لكل طبقة | 256, 128, 64 | |
| وظيفة التفعيل | ReLU | |
| تفعيل المخرجات | سوفتماكس | |
| المحسن | آدم | |
| معدل التعلم | 0.001 | |
| حجم الدفعة | 32 | |
| عدد العصور | 30 | |
| انسحب | 0.5 | |
| دالة الخسارة | التقاطع التصنيفي |
الجدول 3: إعدادات المعاملات الفائقة. إعدادات المعاملات الفائقة المستخدمة لتدريب النماذج، بما في ذلك معدل التعلم، حجم الدفعة، عدد الفترات الزمنية (epochs)، وتكوينات المحسنين.
| النموذج المركزي مقابل النموذج الموحد | |||
| استراتيجية التدريب | مركزي (مجموعة مكدسة) | النموذج الفيدرالي | الفرق (Δ) |
| الدقة (٪) | 96 | 94 | 2 |
الجدول 4: مقارنة التعلم المركزي مقابل التعلم الفيدرالي. مقارنة بين أساليب التعلم المركزية والمناهج الفيدرالية من حيث الأداء والخصوصية والخصائص الحاسوبية.
| المرجع الورقة | الطريقة | نوع الطراز | السنة | الأداء المبلغ عنه | المساهمة الرئيسية |
| [2] | إطار عمل CNN للكشف عن سرطان الجلد | سي إن إن | 2020 | دقة عالية (~90٪+) | التصنيف المبكر القائم على CNN |
| [4] | تشخيص الميلانوما باستخدام التعلم العميق | سي إن إن | 2021 | تحسين أداء التصنيف | تحليل الصور بالتنظير الجلدي |
| [8] | CNN محسنة مع نقاط التحقق | سي إن إن | 2023 | دقة محسنة (~92–94٪) | استراتيجية تحسين النموذج |
| [9] | إطار التعلم العميق + XAI | CNN + التفسيرية | 2023 | تحسين قابلية التفسير | تكامل XAI |
| [10] | ميزات مشتركة من CNN | سي إن إن | 2023 | الأداء التنافسي (~90٪+) | تركيبة الميزات |
| [18] | سكين سيج XAI | CNN + XAI | 2023 | تحسين الثقة وقابلية التفسير | نظام الذكاء الاصطناعي القابل للتفسير |
| هذا العمل | مجموعة مكدسة + متعددة الوسائط + XAI | الفرقة | — | 96% | الجماعة + التفسير + الوعي بالخصوصية |
الجدول 5: مقارنة مع الطرق الحالية. مقارنة الأداء بين الطريقة المقترحة والطرق الحديثة الحالية باستخدام مقاييس التقييم القياسية.
| نماذج متطورة | ||||||
| النموذج | مجموعة البيانات | الدقة | الدقة | الاستدعاء | نتيجة F1 | AUC |
| ريس نيت 50 | ISIC 2019 | 0.842 | 0.835 | 0.828 | 0.831 | 0.912 |
| EfficientNet-B0 | ISIC 2019 | 0.874 | 0.868 | 0.861 | 0.864 | 0.935 |
| DenseNet121 | ISIC 2019 | 0.861 | 0.854 | 0.848 | 0.851 | 0.926 |
| XGBoost | ISIC 2019 | 0.92 | 0.905 | 0.892 | 0.898 | 0.948 |
| LightGBM | ISIC 2019 | 0.9 | 0.889 | 0.88 | 0.884 | 0.94 |
| المصنف العصبي العميق | ISIC 2019 | 0.94 | 0.905 | 0.89 | 0.892 | 0.95 |
| الفرقة المكدسة المقترحة | ISIC 2019 | 0.96 | 0.94 | 0.93 | 0.935 | 0.97 |
الجدول 6: مقارنة مع النماذج المتطورة. تقييم مقارنة لنموذج المجموعات المكدسة مع بنى متطورة أخرى على مجموعة بيانات ISIC 2019. الدقة، الدقة، الاستدعاء، F1-Score، وAUC تستخدم لقياس الأداء. يتفوق النموذج المقترح على النماذج الأخرى، مما يظهر فعاليته في تصنيف آفات الجلد متعددة الفئات.
Discussion
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
يحدد البروتوكول الحالي خط أنابيب قابل للتكرار لإنشاء إطار عمل متعدد الوسائط وحساس للخصوصية قابل للتفسير لتصنيف آفات الجلد تلقائيا. يتبع البروتوكول نمطا منهجيا لتعزيز الأداء التشخيصي من خلال شفافية النماذج، ويجمع بين تحليل الصور بالمنظار الجلدي مع البيانات الوصفية السريرية وطرق التعلم الآلي القابلة للتفسير. مجموعة بيانات آفات الجلد HAM10000 متاحة للجمهور وتسمح بالتقييم الموحد وتسهل إمكانية تكرار المزيد من الأبحاث في مجال أبحاث الصور الجلدية16. تعد خطوة معالجة الصور المسبق وتطبيئها واحدة من أهم الخطوات في البروتوكول، حيث تضمن توحيد الصور الجلدية قبل استخراج الميزات وتدريب النموذج. تشمل العيوب الأثرية التي قد تكون موجودة في صور الديرموسكوب إضاءة غير متساوية، أو انسداد الشعر، أو الضوضاء في الخلفية، مما قد يؤثر على أداء النماذج. يمكن لتغيير حجم الصور إلى دقة ثابتة وتطبيع يمكن أن يقلل من هذه الاختلافات، ويمكن بعد ذلك التركيز على الآفات ذات الاهتمام من منظور سريري، مثل أنماط التصبغ، والحواف غير المنتظمة، وعدم التماثل. تتطلب أنظمة الأمراض الجلدية القائمة على التعلم العميق معالجة مسبقة مناسبة لتحقيق أداء موثوق، كما أظهر في أبحاث سابقة في تصنيف سرطان الجلدالآلي 2.
يعد سير عمل استخراج الميزات العميق المبني على عدة بنى شبكات عصبية الالتفافية (CNN) جزءا مهما من هذه العملية. في هذه الإجراءات، يتم استخدام EfficientNet-B4 وDenseNet201 وMobileNetV2 لتعلم الميزات التكميلية في صور التنظير الجلدي. تتمتع هذه البنى بمزايا مختلفة من حيث الميزات والتكاليف الحاسوبية. يمكن للبروتوكول المقترح استخراج السمات باستخدام نماذج متعددة ثم دمجها للحصول على أنماط الآفات العالمية بالإضافة إلى خصائص محددة لأشكال الآفات التي يمكن أن تساعد في تحديد الآفات الحميدة والخبيثة. هناك أيضا مرحلة دمج ميزات متعددة الوسائط. غالبا ما يتضمن التشخيص السريري في الأمراض الجلدية معلومات سريرية بصرية وسياقية (عمر وجنس المريض، وموقع الآفات). تدمج البنية ميزات الصور الديرموسكوبية مع المعلومات السياقية لإضافة سياق تشخيصي للنماذج المعتمدة على الصور فقط. إنه نهج أكثر عملية متعدد الوسائط، ويعزز نظام التصنيف.
يدمج البروتوكول أيضا تقنيات الذكاء الاصطناعي القابل للتفسير (XAI)، وخاصة تقنية قابلية تفسير النموذج، لشرح التنبؤات لنماذج التصنيف. القابلية للتفسير ضرورية لأنظمة الذكاء الاصطناعي الطبي، حيث يحتاج الأطباء إلى معرفة المنطق وراء التنبؤات الآلية لإدراجها في عملياتهم التشخيصية. تنتج تقنيات تفسير النموذج أهمية عالمية للميزات من خلال قياس تأثير كل ميزة على توقعات النموذج، بينما توفر تقنيات تفسير النموذج تفسيرات محلية من خلال عرض مناطق الصورة التي تساهم في توقعات النموذج. تساعد هذه الأدوات في التفسير في التحقق من أن النموذج يركز على البنى ذات الصلة سريريا بدلا من الارتباطات الزائفة، مما يحسن الثقة والشفافية في أنظمة التشخيص المدعومة بالذكاء الاصطناعي20.
هناك عدد من الاختلافات في البروتوكول التي يمكن تطبيقها، اعتمادا على مجموعة البيانات المستخدمة أو البيئة الحاسوبية. مشكلة نموذجية في بيانات الأمراض الجلدية هي اختلال التوازن الفئاتي، حيث يختلف عدد العينات لكل فئة آفة بشكل كبير. تحتوي مجموعة البيانات HAM10000 على نسبة أعلى بكثير من النفيا الحميدة مقارنة بفئات الآفة الأخرى. يمكن التخفيف من هذا الخلل من خلال تقنيات أخذ عينات زائدة مثل تقنية أخذ العينات الزائدة للأقليات الاصطناعية (SMOTE)، التي يمكنها توليد بيانات الأقليات الاصطناعية لفئات آفات نادرة. قد تساعد استراتيجيات أخرى، مثل تعزيز البيانات، وزن الفئة، أو فقدان البؤرة، أيضا في تعزيز دقة النماذج على أنواع الآفات الأقل شيوعا.
بينما يقدم الإطار المقترح فوائد متعددة، إلا أن له بعض القيود. تم تدريب النموذج على مجموعة بيانات HAM10000، والتي قد لا تغطي جميع سيناريوهات التصوير الممكنة، أو الأنماط الظاهرية للجلد، أو المجموعات العرقية التي تواجهها في الأمراض الجلدية. لذلك من المهم التحقق من صحة الإطار باستخدام مجموعات بيانات خارجية لتقييم أداء التعميم. بالإضافة إلى ذلك، فإن دمج نماذج التعلم العميق المتعددة والتعلم الجماعي يزيد من البصمة الحسابية للنموذج وقد يكون تحديا في البيئات السريرية ذات الموارد المحدودة.
يقدم الإطار، كما هو معروض، عدة تطورات مقارنة بطرق التعلم العميق التقليدية التي تستخدم الصور فقط. يوفر تكامل البيانات متعدد الوسائط معلومات أغنى، ويزيد التعلم الجماعي من متانة النموذج من خلال تجميع التوقعات من مصنفات متنوعة. علاوة على ذلك، يوفر تطبيق تقنيات الذكاء الاصطناعي القابلة للتفسير قابلية لتفسير اتخاذ القرار، وهو أمر يشكل قلقا لنماذج التعلم العميق في المجال الطبي. تستفيد من تقنيات الأمراض الجلدية التجريبية في هذا البروتوكول من خلال التركيز على سير عمل التصوير والتحليل القابل لإعادة الإنتاج الضرورية للأبحاث البيولوجية. توفر أساليب التصوير المتقدمة، بما في ذلك نماذج الجلد ثلاثية الأبعاد وإجراءات التصوير الجلدي، فهما أعمق لبنية الجلد وآليات الأمراض، مما يدعم تصميم وتحسين أدوات التشخيص الحاسوبية21,22.
يمكن تطبيق النهج الموضح في هذا البروتوكول بطرق مختلفة في أبحاث الأمراض الجلدية والبيئات السريرية. يمكن أن يساعد هذا النهج في تطوير أنظمة تشخيصية بمساعدة الحاسوب للكشف المبكر عن الميلانوما وأمراض الجلد الأخرى، ويساعد الأطباء على التنقل بين قواعد بيانات كبيرة لصور الجلد، ويستخدم كجزء من أنظمة الأمراض الجلدية عن بعد، مما يسمح للأطباء باستشارة أطباء الجلد عن بعد. علاوة على ذلك، تتيح قابلية التفسير وميزات الحفاظ على الخصوصية للنظام استخدامه في بيئة بحثية متعددة المؤسسات حول الذكاء الاصطناعي الطبي حيث تشارك مؤسسات متعددة البيانات مع ضمان الخصوصية. قد تشمل الأبحاث المستقبلية دمج مجموعات بيانات أكبر متعددة المؤسسات، وإضافة ميزات سريرية إضافية، واستكشاف تقنيات أخرى للحفاظ على الخصوصية، مثل التعلم الفيدرالي، الذي يذكر هنا كامتداد مفاهيمي. أيضا، غياب دراسة استئصال تقارن بين النماذج متعددة الوسائط والنماذج التي تعتمد فقط على الصور والبيانات الوصفية فقط هو قيد وسيتم معالجته في أعمال مستقبلية لتقييم دور كل مصدر بيانات.
Disclosures
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
المؤلفون ليس لديهم ما يكشفون عنه. ليس لدينا تضارب مصالح. يصرح المؤلفون بأن أدوات الذكاء الاصطناعي كانت تستخدم فقط لتحرير وتنسيق اللغة. تم تطوير والتحقق من جميع المحتوى العلمي والتحليلات والتفسيرات من قبل المؤلفين.
Acknowledgements
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
يشكر المؤلفون جامعة MVN في بالوال على تقديم الإرشاد الأكاديمي والدعم البحثي. كما يقر المؤلفون بمجموعة بيانات آفات الجلد HAM10000 المتاحة للجمهور، والتي استخدمت في التقييم التجريبي لهذه الدراسة.
Materials
| Name | Company | Catalog Number | Comments |
|---|---|---|---|
| بنية DenseNet201 CNN | آي بي إم | https://arxiv.org/abs/1608.06993 | نموذج التعلم العميق لتصنيف الصور |
| هندسة CNN EfficientNet-B4 | جوجل | https://arxiv.org/abs/1905.11946 | نموذج التعلم العميق لتصنيف الصور |
| منصة جوجل كولابيرات | جوجل | https://colab.research.google.com | بيئة حسابية قائمة على السحابة |
| HAM10000 مجموعة بيانات آفات الجلد | هارفارد داتافيرس | https://doi.org/10.7910/DVN/DBW86T | مجموعة بيانات صور التنظير الجلدي |
| واجهة برمجة تطبيقات التعلم العميق لكيراس | جوجل | الإصدار 2.x | واجهة برمجة تطبيقات الشبكة العصبية |
| مكتبة التفسير في LIME | مشروع LIME | الإصدار 0.x | تقنية قابلية تفسير النماذج |
| بنية CNN في موبايل نت V2 | جوجل | https://arxiv.org/abs/1801.04381 | نموذج التعلم العميق لتصنيف الصور |
| مكتبة التصور في ماتبلوتليب | فريق تطوير ماتبلوتليب | الإصدار 3.x | يستخدم لإنشاء المخططات وتصور الأداء |
| بطاقة رسومات NVIDIA | NVIDIA | سلسلة RTX | الأجهزة الحاسوبية لتدريب النماذج |
| مكتبة الحوسبة العددية NumPy | مطورو نومبي | الإصدار 1.x | برامج تحليل البيانات |
| مكتبة معالجة الصور في OpenCV | مؤسسة OpenCV | الإصدار 4.x | مكتبة معالجة الصور |
| مكتبة تحليل بيانات بانداس | فريق تطوير الباندا | الإصدار 1.x | برامج تحليل البيانات |
| بيئة برمجة بايثون | مؤسسة بايثون للبرمجيات | الإصدار 3.9+ | برامج تحليل البيانات |
| مكتبة التفسير في SHAP | مشروع SHAP | الإصدار 0.x | تقنية قابلية تفسير النماذج |
| تقنية أخذ عينات SMOTE | مشروع التعلم غير المتوازن | الإصدار 0.x | تقنية موازنة الفئات للتعامل مع مجموعات البيانات غير المتوازنة |
| مكتبة تعلم الآلة Scikit-learn | مشروع scikit-learn | الإصدار 1.x | مكتبة التعلم الآلي |
| إطار عمل التعلم العميق TensorFlow | جوجل | الإصدار 2.x | إطار التعلم العميق |
Reprints and Permissions
Request permission to reuse the text or figures of this JoVE article
Request Permission