يقترح هذا البحث إطار عمل هجين للتعلم المعزز العميق (HDRL) يدمج الشبكات العصبية العميقة (DNNs) لاستخراج الميزات مع التعلم المعزز (RL) لدمج الإشارات متعددة الوسائط الديناميكية. تم تقييمه على مجموعات بيانات طبية حيوية، ويتميز في الدقة والمتانة واكتشاف الأحداث النادرة، مما يوفر تطبيقات رئيسية في الطب الشخصي وتصنيف الأمراض.
يتطلب اشتراك JoVE لعرض هذا المحتوى. تسجيل الدخول أو ابدأ نسخة تجريبية مجانية
مقالة بحثية
التعلم الهجين بالتعزيز العميق لدمج الإشارات الطبية الحيوية متعددة الوسائط
في هذه المقالة
ملخص
الملخص
يتطلب تحسين اتخاذ القرار ودقة التشخيص في الرعاية الصحية دمج إشارات طبية حيوية متعددة الوسائط مثل تخطيط القلب الكهربائي (ECG)، تخطيط الدماغ الكهربائي (EEG)، والتصوير الطبي. تواجه تقنيات اندماج الإشارة التقليدية تحديات كبيرة بسبب تباين الإشارة والتعقيد المتأصل. نقترح نموذج التعلم المعزز العميق الهجين (HDRL) الذي يستخدم الشبكات العصبية العميقة (DNNs) لاستخراج الميزات والتعلم المعزز (RL) لتحسين الدمج الديناميكي. يستخدم هذا النموذج الهجين تغذية راجعة فورية لتحسين تعلم سياسات الاندماج والتكيف مع خصائص البيانات المتغيرة. لتقييم أدائه، تمت مقارنة النموذج المقترح بتقنيات الدمج التقليدية، مثل الطرق المعتمدة على الشبكات العصبية العميقة وتحليل المكونات الرئيسية (PCA). تم اختبار نموذج التعلم العميق الهجين على عدة مجموعات بيانات طبية حيوية واقعية. النموذج المقترح قابل للتطبيق على الطب المخصص وتصنيف الأمراض، حيث تظهر الأدلة التجريبية تحسنا في الأداء من حيث المتانة تحت ظروف الضوضاء، ودقة التصنيف، واكتشاف الأحداث النادرة. المنهجية المقترحة، بالإضافة إلى معالجة المخاوف المتعلقة بتقنيات دمج الإشارات التقليدية، تقدم حلولا واعدة تدفع في معالجة الإشارات الطبية الحيوية متعددة الوسائط. يستخدم النموذج DNN لتعدين الميزات ووكلاء التعلم المعزز (DQN، PPO) لتحسين السياسات.
المقدمة
تعتمد الرعاية الصحية الحديثة بشكل متزايد على دمج مصادر البيانات الطبية الحيوية المتنوعة لتحسين دقة التشخيص واتخاذ القرار السريري. توفر الإشارات الفسيولوجية مثل تخطيط القلب الكهربائي (ECG)، تخطيط تخطيط الدماغ الكهربائي (EEG)، ووسائل التصوير الطبي بما في ذلك التصوير بالرنين المغناطيسي (MRI) والتصوير المقطعي المحوسب (CT) معلومات فسيولوجية مكملة تدعم تشخيص المرض والعلاج الشخصي. ومع ذلك، فإن الإشارات الطبية الحيوية معقدة بطبيعتها وغالبا ما تحتوي على ضوضاء، وقيم مفقودة، وهياكل عالية الأبعاد، مما يجعل تحليلها وتفسيرها أمرا صعبا. لذلك، أصبح دمج الإشارات الطبية الحيوية متعددة الوسائط، الذي يدمج المعلومات من تدفقات بيانات فسيولوجية متعددة، نهجا مهما لتحسين الأداء التشخيصي، وتعزيز متانة التغيرات في جودة البيانات، وتمكين مراقبة المرضى الشاملة في البيئات السريرية مثل وحدات العناية المركزة (ICUs).
اعتمدت طرق دمج الإشارات متعددة الوسائط التقليدية إلى حد كبير على التقنيات الإحصائية والخطية. تحليل المكونات الرئيسية (PCA) يقلل من أبعاد البيانات عن طريق تحويل الإشارات إلى مكونات متعامدة، بينما يحدد تحليل الارتباط الكانوني (CCA) العلاقات الخطية بين الأنماط لمحاذاة مجموعات البيانات متعددة الوسائط2. تم تطبيق هذه التقنيات بنجاح في بيئات الاندماج الطبي الحيوي متعدد الوسائط3. ومع ذلك، فإن اعتمادهم على الافتراضات الخطية يحد من قدرتهم على التقاط العلاقات غير الخطية المعقدة التي غالبا ما توجد بين الإشارات الفسيولوجية. في الواقع، نادرا ما تكون البيانات الطبية الحيوية خطية تماما. غالبا ما تفشل طرق الاندماج متعددة الوسائط التقليدية في التقاط التفاعلات ذات المعنى بين الأنماط بسبب هذه التبعيات غير الخطية 4,5. نتيجة لذلك، قد تفشل طرق الدمج التقليدية في التقاط التفاعلات الهادفة بين الأساليب، مما يحد من فعاليتها في مهام مثل تشخيص المرض واتخاذ القرار السريري في الوقت الحقيقي.
لقد غيرت التطورات الحديثة في التعلم العميق معالجة الإشارات الطبية الحيوية بشكل كبير من خلال تمكين الشبكات العصبية من استخراج التمثيلات الهرمية تلقائيا من البيانات الخام. أظهرت شبكات العصبية الالتفافية (CNNs) أداء قويا في تحليل الأنماط المكانية في الصور الطبية 5,6. تم استخدام بنى CNN متعددة الوسائط لدمج وسائل التصوير مثل الرنين المغناطيسي والتصوير المقطعي لتحسين دقة التشخيص3. وبالمثل، تم تطبيق شبكات العصبية المتكررة (RNNs) وشبكات الذاكرة طويلة المدى قصيرة المدى (LSTM) على الإشارات الطبية الحيوية المتسلسلة، بما في ذلك تخطيط القلب وتخطيط الدماغ الكهربائي، لمهام تصنيف الأمراض7. على الرغم من هذه التطورات، تعتمد العديد من أساليب الدمج القائمة على التعلم العميق على استراتيجيات دمج ثابتة، مثل دمج الميزات أو المتوسط المرجح. هذه الآليات الثابتة للاندماج لا تتكيف بفعالية مع تغيرات جودة الإشارة. في البيئات السريرية الواقعية، قد تتدهور الإشارات بسبب تشوهات الحركة، أو إزاحة الأقطاب، أو التشوه، أو الضوضاء البيئية. يمكن أن تقلل هذه التغيرات من موثوقية الأنماط الفردية وتؤثر سلبا على عملية الاندماج الكلية. يتطلب التعامل مع هذه التحديات استراتيجيات دمج تكيفية قادرة على الاستجابة لظروف البيانات الديناميكية في بيئات سريرية فورية8.
يوفر التعلم المعزز (RL) إطارا قويا لاتخاذ القرارات المتسلسلة في بيئات غير مؤكدة. في التعلم الواقعي، يتعلم الوكيل اختيار الأفعال التي تعظم المكافأة التراكمية من خلال التفاعل مع بيئته. عادة ما تصاغ عملية اتخاذ القرار هذه باستخدام معادلة بيلمان، التي تعرف قيمة الحالة بأنها مجموع المكافأة الفورية والقيمة المخصومة للمكافآت المستقبلية9. طرق مثل شبكات Q العميقة (DQN) توسع التعلم المعزز ليشمل المشكلات عالية الأبعاد من خلال تقريب دالة قيمة الفعل مع الشبكات العصبية العميقة10. وبالمثل، تتيح طرق التعلم العميق المعتمدة على السياسات التعلم السياسي المستقر والفعال من خلال تحديثات متكررة لسياسة الوكيل11. تم استكشاف تقنيات التعلم المعزز بالفعل في عدة تطبيقات صحية، بما في ذلك تحسين العلاج واكتشاف الشذوذات12، لكن تطبيقها على دمج الإشارات متعددة الوسائط التكيفي لا يزال محدودا نسبيا.
يدمج التعلم الهجين العميق المعزز (HDRL) التعلم العميق مع التعلم المعزز للجمع بين استخراج الميزات واتخاذ القرار التكيفي. في هذا الإطار، تحول الشبكات العصبية العميقة الإشارات الطبية الحيوية متعددة الوسائط إلى تمثيلات ميزات عالية المستوى، بينما تختار وكلاء التعلم المعزز استراتيجيات الاندماج ديناميكيا بناء على أداء المهمة4. تمكن هذه الآلية التكيفية النظام من الاستجابة للتغيرات في جودة الإشارة وتوفر الوسائل، مما يسمح بتشغيل أكثر قوة في بيئات سريرية معقدة مثل مراقبة وحدة العناية المركزة وأنظمة التشخيص القابلة للارتداء8.
بالإضافة إلى أساليب التعلم المعزز الكلاسيكية، تم استكشاف عدة تقنيات تعلم هجين تجمع بين المنطق الضبابي والخوارزميات الجينية والتعلم المعزز لمهام التصنيف الطبي الحيوي. على سبيل المثال، تم تطبيق التعلم الضبابي بالتردد مع الخوارزميات الجينية على تصنيف نوبات الصرع باستخدام إشارات تخطيط الدماغ الكهربائي (EEG)، مما أظهر تحسنا في القدرة على التكيف مع الأنماط الزمنية غير المؤكدة13. وبالمثل، تم اقتراح طرق تعلم تطوري قائمة على الشبكة الضبابية لتصنيف أمراض الرئة باستخدام الصور الطبية14. بحثت دراسات أخرى في طرق التعلم المعزز للتعرف على النوبات15 وتعديل مصنفات التعلم الضبابي للكشف عن الالتهاب الرئوي والسل من صور الأشعة السينية للصدر16. بينما تظهر هذه الدراسات إمكانات طرق التعلم الهجين في التحليل الطبي الحيوي، تركز معظم الأساليب الحالية على تصنيف النمط الواحد بدلا من دمج الإشارات متعددة الوسائط.
كما استكشفت التطورات الحديثة في التعلم الآلي متعدد الوسائط البنى المعتمدة على المحولات لتطبيقات طبية متعددة الوسائط. أظهرت هذه النماذج أداء واعدا في مهام مثل توليف الصور في الرعاية الصحية وتحليل مجموعات البيانات الطبية الحيوية غير المتجانسة التي قد تكون فيها إحدى الأنماط أو أكثر غير مكتملةأو مفقودة 17. ومع ذلك، حتى مع هذه التطورات، لا تزال الحاجة إلى آليات اندماج تكيفية تستجيب ديناميكيا للتغيرات في البيانات متعددة الوسائط تحديا بحثيا مهما.
في هذا العمل، يقترح إطار عمل للتعلم العميق الهجين (HDRL) لدمج الإشارات الطبية الحيوية متعددة الوسائط. تستخدم نماذج CNN الخاصة بأنماط التصوير لاستخراج الميزات من بيانات تخطيط القلب والدماغ الكهربائي والرنين المغناطيسي، والتي يتم دمجها لتشكيل تمثيل متعدد الوسائط موحد. يقوم وكيل شبكة Q العميقة (DQN) باختيار استراتيجيات الاندماج ديناميكيا، مثل دمج الميزات أو التركيبة المرجحة، وفقا لحالة الميزة الحالية. يوفر المصنف اللاحق إشارة مكافأة بناء على أداء التصنيف، مما يمكن وكيل التعلم المعزز من تحسين سياسة الاندماج من خلال تغذية راجعة مستمرة. يسمح هذا الإطار التكيفي للنموذج بالتكيف مع التغيرات في جودة الإشارة وتوفر الوسائط. يتم تقييم النهج المقترح باستخدام مجموعات بيانات PhysioNet 2016 وCHB-MIT EEG وOASIS-3، وتمت مقارنته بتقنيات الدمج التقليدية القائمة على PCA والتعلم العميق.
الشكل 1: مخطط الكتل يوضح بنية نظام دمج الإشارات متعدد الوسائط المقترح القائم على HDRL. تمثيل تخطيطي لإطار الاندماج متعدد الوسائط يظهر مدخلات تخطيط القلب والدماغ الكهربائي والصور الطبية التي تمت معالجتها عبر مستخرجات ميزات الشبكة العصبية العميقة، تليها تغذية راجعة تكيفية ودمج مكافأة قائم على التعلم التعزيزي. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
يتم توضيح هيكل إطار اندماج الإشارات متعدد الوسائط المقترح في الشكل 1. في هذه البنية، تستخرج نماذج CNN الخاصة بالنمط الميزات بشكل مستقل من إشارات تخطيط القلب وتخطيط الدماغ والرنين المغناطيسي. ثم تدمج هذه الميزات في تمثيل موحد، يستخدمه عامل التعلم المعزز لتحديد استراتيجية الاندماج المثلى.
تلعب معالجة الإشارات الطبية الحيوية دورا حيويا في الرعاية الصحية الحديثة من خلال تمكين التشخيص الدقيق والمراقبة والتخطيط للعلاج من خلال تحليل الإشارات الفسيولوجية التي تم الحصول عليها من عدة طرق. يتطلب دمج الإشارات مثل تخطيط القلب الكهربائي وتخطيط الدماغ وبيانات التصوير الطبي تقنيات دمج متقدمة تلتقط معلومات مكملة من مصادر مختلفة. يلخص الجدول 1 أساليب دمج الإشارات متعددة الوسائط الشائعة استخداما، بما في ذلك خصائصها الرئيسية ومزاياها وقيودها، ويسلط الضوء على الدوافع وراء الإطار المقترح القائم على HDRL.
| الطريقة | الميزات الرئيسية | المزايا | القيود |
| PCA | تقليل الأبعاد الخطية | سريع، بسيط | محدود بالعلاقات الخطية |
| DNN | تعلم السمات غير الخطي | تلتقط الأنماط المعقدة | استراتيجية الاندماج الثابت |
| DRL | التعلم الديناميكي للسياسات | يتكيف مع البيانات | الحسابات العالية |
| HDRL | هجين DNN + RL | متكيف، قوي، فعال | يتطلب ضبطا دقيقا |
الجدول 1: مقارنة طرق الاندماج متعددة الوسائط. ملخص لطرق دمج الإشارات متعددة الوسائط الشائعة استخداما، موضحا خصائصها الرئيسية ومزاياها وقيودها.
الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.
البروتوكول
يصف هذا البروتوكول التنفيذ خطوة بخطوة لنموذج التعلم العميق الهجين (HDRL) لدمج الإشارات الطبية الحيوية متعددة الوسائط. يدمج الإطار تقنيات التعلم العميق والتعلم المعزز لتحسين دمج بيانات تخطيط القلب الكهربائي وتخطيط الدماغ والتصوير الطبي في الوقت الحقيقي. كما يوضح القسم إجراءات استخراج الميزات، والتدريب، وتحضير البيانات المستخدمة في النموذج المقترح.
المواد
أجريت جميع التجارب على محطة عمل مزودة بمعالج رئيسي متعدد النوى، وذاكرة RAM بسعة ≥32 جيجابايت، وبطاقة رسومات مخصصة (≥8 جيجابايت من ذاكرة VRAM). تكونت بيئة التنفيذ من بايثون (الإصدار 3.9 أو أحدث)، تينسورفلو (الإصدار 2.12)، وكيراس (الإصدار 2.12). تم تثبيت مكتبات التعلم المعزز باستخدام pip install stable-baselines3. توفر حزمة Stable-Baselines3رقم 18 تطبيقات فعالة لخوارزميات التعلم التعزيزي، مثل شبكة Q العميقة (DQN) وتحسين السياسات القريبة (PPO).
مجموعات البيانات
تم تقييم إطار التعلم الهجين العميق المعزز (HDRL) المقترح باستخدام ثلاث مجموعات بيانات طبية حيوية متاحة للجمهور تمثل أنواع الإشارات متعددة الوسائط. (1) تحدي PhysioNet 2016: مجموعة من تسجيلات تخطيط القلب ب 12 رصاصا من مرضى أمراض القلب، بما في ذلك الرجفان الأذيني، واضطراب نظم البطين، وأمراض القلب الإقفاري. تتضمن مجموعة البيانات تسميات مشروحة لحالات القلب19. (2) قاعدة بيانات تخطيط الدماغ لفروة الرأس CHB-MIT: تستخدم مجموعة بيانات لتسجيلات تخطيط الدماغ في فروة الرأس لاكتشاف نوبات الصرع، مع تعليقات تشير إلى أحداث النوبات وغير النوبات20. (3) قاعدة بيانات OASIS-3 للرنين المغناطيسي: تستخدم مجموعة من صور الدماغ بالرنين المغناطيسي والتقييمات السريرية لاكتشاف ومراقبة مرض الزهايمر21. تظهر العينات الممثلة من كل نمط التفاوت الفطري وخصائص الضوضاء الموجودة في البيانات الطبية الحيوية متعددة الوسائط (الشكل 2).
الشكل 2: عينات من الإشارات الطبية الحيوية من تخطيط القلب الكهربائي، تخطيط الدماغ الكهربائي، والتصوير الطبي. أمثلة تمثيلية لشكل موجة تخطيط القلب الكهربائي، وإشارة تخطيط الدماغ، وفحص تصوير طبي يوضح الأساليب المختلفة المستخدمة في الدراسة. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
معالجة البيانات المسبقة
خضع كل وسيلة لإجراءات معالجة مسبقة خاصة بكل طريقة لضمان تمثيل مدخل موحد. تم ترشيح إشارات EEG وECG باستخدام مرشح تمرير النطاق من الدرجة الرابعة Butterworth. تم ضبط نطاق التردد بين 0.5–40 هرتز لتخطيط الدماغ و0.5–45 هرتز للتخطيط الكهربائي الكهربائي. تم تقسيم العينات إلى نوافذ مدتها 5 ثوان مع تداخل بنسبة 50٪. تم تطبيع كل إشارة عن طريق تقسيمها لتحقيق تباين متوسط ووحدة صفرية. تمت معالجة صور الرنين المغناطيسي باستخدام إزالة الجمجمة باستخدام أداة استخراج الدماغ FSL (BET). تم تغيير حجم الصور إلى 224 × 224 بكسل. تم تطبيع شدة البكسل إلى نطاق [0,1] لتوحيد توزيعات الإدخال.
استخراج الميزات
تم استخراج الميزات بشكل مستقل لكل وسيلة باستخدام DNNs، لضمان التقاط الخصائص الفريدة لكل طريقة بشكل فعال.
تتميز أجهزة استخراج تخطيط القلب وتخطيط الدماغ الكهربائية:
تم استخدام بنية شبكة عصبية الالتفافية أحادية البعد (1D-CNN) لمعالجة الإشارات على السلاسل الزمنية. تكونت البنية من (1) طبقة إدخال (window_length، 1)، (2) طبقات Conv1D مع 64 مرشحا وحجم نواة 3، (3) تفعيل ReLU، (4) MaxPooling1D بحجم تجمع=2، (5) طبقات مسطحة وكثيفة (128 وحدة، ReLU). تم استخراج تمثيلات الطبقة الكثيفة قبل الأخيرة كمتجهات ميزات خاصة بالنمط.
مستخرج ميزات الرنين المغناطيسي
تم ضبط نموذج CNN ثنائي الأبعاد مدرب مسبقا (مثل VGG16 أو ResNet50) لاستخراج الميزات المكانية من صور الرنين المغناطيسي. تم تدريب CNN على مجموعة بيانات OASIS-3، مع تعديل الطبقات الأخيرة من النموذج المدرب مسبقا للتكيف مع مهمة التصنيفالمحددة 21. تم استبدال طبقات التصنيف النهائية بطبقات خاصة بالمهمة، وتم استخراج ميزات مكانية عالية المستوى من الطبقة قبل الأخيرة 5,6.
بنية النماذج والتدريب
تم تطوير وتدريب إطار التعلم العميق الهجين المقترح (HDRL) على مرحلتين متسلسلتين: استخراج الميزات حسب الأسلوب الدراسي، تليها تحسين الدمج القائم على التعلم التعزيزي. في المرحلة الأولى، تم تدريب شبكات عصبية الالتفافية منفصلة (CNNs) على بيانات معنونة لأنماط تخطيط القلب الكهربائي وتخطيط الدماغ وتصوير بالرنين المغناطيسي. تم استخدام محسن تقدير العزم التكيفي (آدم) بمعدل تعلم 0.001 وفقدان إنتروبيا متقاطع تصنيفي خلال التدريب تحت الإشراف. بعد التقارب، تم استخراج تمثيلات عالية المستوى من الطبقة قبل الأخيرة لكل CNN، مما أدى إلى استخدام متجهات ميزات خاصة بالنمط F ECG =CNN ECG (X ECG)، FECG = CNN ECG (X ECG) و F MRI = CNNMRI(XMRI). تم دمج هذه المتجهات لتشكيل تمثيل موحد متعدد الوسائط Fconcat = [F ECG,F EEG, FMRI]، والذي يعمل كمدخل لمرحلة التعلم التعزيزي.
تمت صياغة عملية الاندماج كعملية قرار ماركوف (MDP)، حيث كانت الحالة s تتوافق مع متجه الميزات المتسلسلة Fالمتراكم، وتمثل الفعل اختيار استراتيجية الاندماج (إما الجمع الموزون أو الربط المباشر)، وتعرف المكافأة r كدقة تصنيف تم الحصول عليها من مصنف لاحق مدرب على الميزات المندمجة. تم تقريب دالة قيمة الفعل Q(s,a) باستخدام شبكة Q العميقة (DQN)، التي قدرت المكافأة 
التراكمية المتوقعة. تم تحديث معلمات النموذج بشكل تكراري وفقا للقاعدة.
حيث α = 0.0001 هو معدل التعلم، γ = 0.99 هو عامل الخصم وs يرمز إلى الحالة التالية.
خلال تحسين التعلم التعزيزي، تم تدريب النموذج على 1000 حلقة مع حجم دفعة 32. تم اعتماد استراتيجية جشع إبسيلون لتحقيق التوازن بين الاستكشاف والاستغلال، حيث 
تم تهيئة المعدل عند 1.0 وتحلل بنسبة 0.995 لكل حلقة. مع الاحتمالية ، تم اختيار استراتيجية اندماج عشوائي، بينما مع احتمال 1 - ، تم اختيار الاستراتيجية ذات القيمة التقديرية الأعلى Q. تمت مراقبة تقارب المكافأة طوال فترة التدريب، مع أداء مستقر (>0.85 مكافأة تراكمية) يلاحظ عادة في حوالي 500 حلقة.
يتضمن سير عمل HDRL معالجة مسبقة للإشارات متعددة الوسائط، واستخراج ميزات عميقة خاصة بالنمطية، وتشكيل تمثيل حالة موحد، واختيار استراتيجيات الاندماج، وتحسين السياسة باستخدام تغذية راجعة التصنيف من وكيل DQN. يشكل التفاعل بين مستخرجات الميزات المعتمدة على CNN وعامل التعلم المعزز نظام دمج تكيفي مغلق الحلقة (الشكل 3)، مما يمكن من تحديث السياسات بناء على تغذية راجعة المكافآت.
الشكل 3: مخطط التدفق لسير العمل المقترح للتعلم العميق الهجين (HDRL). مخطط سير العمل يوضح استخراج ميزات CNN الخاصة بالنمط، ودمج الميزات، والاختيار القائم على التعلم المعزز لاستراتيجية الاندماج (DQN/PPO)، والتصنيف اللاحق، وتحديث السياسات المعتمدة على المكافآت. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.
النتائج
تشير النتائج التجريبية إلى أن نموذج التعلم العميق الهجين المقترح (HDRL) يحقق أداء محسنا في دمج الإشارات الطبية الحيوية متعددة الوسائط. تم تقييم نموذج HDRL من خلال التحقق منه مقابل عدة مجموعات بيانات طبية حيوية واقعية. تظهر النتائج، من حيث المتانة، وقابلية التكيف، ودقة التصنيف، تفوقه على طرق الاندماج التقليدية الأخرى مثل PCA والاندماج القائم على DNN.
الإعداد التجريبي
تم استخدام ثلاث مجموعات بيانات طبية حيوية متاحة للجمهور لتقييم أداء نموذج HDRL المقترح. قبل استخراج الميزات ب...
الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.
المناقشة
كفاءة الاندماج:
يقدم هذا القسم تحليلا مقارنا لكفاءة الاندماج بين HDRL وPCA وDNN. تم الحصول على مجموعة البيانات متعددة الوسائط، التي تم الحصول عليها من خلال دمج بيانات تخطيط الدماغ الكهربائي وتخطيط القلب والرنين المغناطيسي من تحدي PhysioNet 201619، وقاعدة بيانات تخطيط الدماغ لفروة الرأس CHB-MIT20، وقاعدة بيانات OASIS-3 MRIرقم 21، لحساب كفاءة الاندماج. يعد وقت المعالجة معاملا حيويا في التطبيقات السريرية الفورية مثل مراقبة وحدة العنا...
الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.
الإفصاحات
يعلن المؤلفون أنه لا توجد تضارب مصالح مرتبط بهذا العمل.
شكر وتقدير
تم إجراء البحث جزئيا في مقر قصر العلوم، مؤسسة ميودراغ كوستيتش - مركز الذكاء الاصطناعي التطبيقي. وقد دعم هذا البحث من قبل منحة EUROHPC-JU، رقم 101191697، EuroCC4SEE.
الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.
المواد
| الاسم | الشركة | رقم فهرسي | التعليقات |
|---|---|---|---|
| فلتر باتروورث (من الدرجة الرابعة، تنفيذ SciPy) | مجتمع SciPy | لا يوجد | معالجة مسبقة لإشارات EEG/ECG |
| قاعدة بيانات تخطيط الدماغ لفروة الرأس CHB-MIT | فيزيو نت | DOI: 10.13026/C2K01R | مجموعة بيانات EEG |
| أداة استخراج الدماغ FSL (BET) | مكتبة برمجيات FMRIB (FSL) | لا يوجد | تجريد الجمجمة بالرنين المغناطيسي |
| كيراس (الإصدار 2.12) | جوجل ذ.م.م | لا يوجد | واجهة برمجة التطبيقات عالية المستوى للشبكات العصبية |
| وحدة معالجة رسومات NVIDIA (≥ ذاكرة فيديو 8 جيجابايت) | شركة NVIDIA | الاعتماد على النموذج | مطلوب للتدريب العميق السريع |
| قاعدة بيانات الرنين المغناطيسي OASIS-3 | جامعة واشنطن | DOI: 10.1002/alz.047259 | مجموعة بيانات الرنين المغناطيسي |
| مجموعة بيانات تحدي PhysioNet 2016 | فيزيو نت | DOI: 10.22489/CinC.2016.179-154 | مجموعة بيانات تخطيط القلب |
| بايثون (الإصدار 3.9 أو أحدث) | مؤسسة بايثون للبرمجيات | لا يوجد | بيئة البرمجة |
| خطوط أساس مستقرة3 | DLR-RM (المصدر المفتوح) | لا يوجد | تنفيذ التعلم المعزز (DQN، PPO) |
| TensorFlow (الإصدار 2.12) | جوجل ذ.م.م | لا يوجد | إطار التعلم العميق |
| محطة العمل (معالج متعدد الأنوية، > 32 جيجابايت رام، > بطاقة رسومات 8 جيجابايت) | بائع مخصص / محلي | لا يوجد | يستخدم في تدريب النماذج والتجارب |
المراجع
- Stahlschmidt, S. R., Ulfenborg, B., Synnergren, J. Multimodal deep learning for biomedical data fusion: a review. Brief. Bioinform. 23 (2), bbab569(2022).
- Er, A. G., et al. Multimodal data fusion using sparse canonical correlation analysis and cooperative learning: a COVID-19 cohort study. NPJ Digit. Med. 7 (1), 45(2024).
- Deng, X., Dragotti, P. L. Deep convolutional neural network for multi-modal image restoration and fusion. IEEE Trans. Pattern Anal. Mach. Intell. 43 (10), 3333-3348 (2021).
- Duan, J., Xiong, J., Li, Y., Ding, W. Deep learning based multimodal biomedical data fusion: overview and comparative review. Inf. Fusion. 105, 102536(2024).
- Simonyan, K., Zisserman, A. Very deep convolutional networks for large-scale image recognition. Proc. Int. Conf. Learn. Represent. , (2015).
- He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proc. IEEE Conf. Comput. Vis. Pattern Recognit. , 770-778 (2016).
- Boda, S., Mahadevappa, M., Dutta, P. K. Automated patient-specific ECG beat classification using LSTM-based recurrent neural networks. Biomed. Signal Process. Control. 84, 104756(2023).
- Mulani, J., et al. Deep reinforcement learning based personalized health recommendations. Adv. Healthcare Syst. , 231-255 (2020).
- Sutton, R. S., Barto, A. G. Reinforcement Learning: An Introduction. , 2nd ed, MIT Press. (2018).
- Mnih, V., et al. Human-level control through deep reinforcement learning. Nature. 518 (7540), 529-533 (2015).
- Mnih, V., et al. Asynchronous methods for deep reinforcement learning. arXiv. , (2016).
- Yu, C., Liu, J., Nemati, S., Yin, G. Reinforcement learning in healthcare: a survey. ACM Comput. Surv. 55 (1), 1-36 (2023).
- Gupta, A., et al. Genetic algorithm assisted fuzzy Q-learning epileptic seizure classifier. IEEE Trans. Neural Syst. Rehabil. Eng. 30, 112-123 (2022).
- Sharma, R., et al. Fuzzy lattices assisted EJAYA Q-learning for pulmonary disease classification. Comput. Biol. Med. 145, 105432(2022).
- Kumar, P., et al. Epileptic seizure classification using fuzzy lattices and neural reinforcement learning. J. Biomed. Inform. 135, 104210(2023).
- Singh, V., et al. Modified fuzzy Q-learning classifier for pneumonia and tuberculosis. Med. Image Anal. 85, 102756(2023).
- Zhu, X., Li, Y. Latent multi-scale residual transformer for cross-modal medical image synthesis. IEEE Access. 13, 58745-58758 (2025).
- Raffin, A., et al. Stable-baselines3: reliable reinforcement learning implementations. J. Mach. Learn. Res. 22 (268), 1-8 (2021).
- Clifford, G. D., et al. Classification of normal/abnormal heart sound recordings: PhysioNet/Computing in Cardiology Challenge 2016. Comput. Cardiol. 43, 609-612 (2016).
- Goldberger, A., et al. CHB-MIT Scalp EEG Database. PhysioNet. , (2021).
- Marcus, D., et al. OASIS-3 MRI database for Alzheimer’s disease detection. Alzheimers Dement. 16 (S10), e047259(2020).
- Jain, A., Mehrotra, A., Rewariya, A., Kumar, S. A systematic study of deep Q-networks and their variations. 2nd Int. Conf. Adv. Comput. Innov. Technol. Eng, , 2157-2162 (2022).
الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.