تستخدم المنهجية المقترحة نهجاً قائماً على نظام Cyber-physical human system (CPHS) وفق الثورة الصناعية 5.0، والذي يجمع بين التعلم العميق القابل للتفسير وإطار عمل للتعاون السيبراني الفيزيائي المدعوم بحوسبة الحافة لدعم عمليات التصنيع المستدامة. أولاً، يتم تناول المشكلة من خلال تحديد بعض القيود في حلول CPHS الحالية، مثل الافتقار إلى الذكاء المدعوم بالذكاء الاصطناعي، والقابلية للتفسير، والتعاون الذي يركز على الإنسان. ولمواجهة هذه التحديات، يستفيد الحل المقترح من مجموعة بيانات MIMII لمراقبة حالة الآلات الصناعية باستخدام معالجة الإشارات الصوتية.
يبدأ الإطار المقترح بتغذية المخططات الطيفية (spectrograms) المولدة إلى نموذج شبكة عصبية تلافيفية (CNN) يقوم باستخلاص الميزات المكانية من خلال التعرف على أنماط التردد الهامة المرتبطة بحالات الماكينة المختلفة. ثم يتم تحويل الميزات المكانية المستخلصة إلى تسلسلات وتغذيتها في وحدة ترميز المحول (transformer encoder) لالتقاط التبعيات الزمنية عبر آلية الانتباه الذاتي (self-attention). بعد ذلك، يتم تمرير تمثيل الميزات المحول إلى وحدة تصنيف متصلة بالكامل لتصنيف حالات الماكينة كحالة طبيعية أو غير طبيعية. بالإضافة إلى ذلك، ولضمان الشفافية وتسهيل اتخاذ القرارات المتمحورة حول العنصر البشري، يتم استخدام منهج SHAP القابل للتفسير لشرح التنبؤات من خلال تحديد مناطق الزمن والتردد الهامة في مخرجات النموذج. وسيتم تنفيذ النموذج المصمم في بيئة نظام فيزيائي سيبراني (CPS) مُمكّن من الحوسبة الطرفية (edge-enabled)، مما يسمح بالاستدلال في الوقت الفعلي مع زمن وصول حسابي واستهلاك طاقة منخفضين. علاوة على ذلك، سيتم دمج مخطط "الإنسان في الحلقة" (human-in-the-loop) لتمكين المشغلين البشريين من التحقق باستخدام نتائج القابلية للتفسير. ويتم التحقق من الأداء باستخدام الدقة (accuracy)، والدقة التحديدية (precision)، والاستدعاء (recall)، ومقياس F1-score، بالإضافة إلى مقاييس أخرى على مستوى النظام مثل زمن الوصول وكفاءة الطاقة.
يتمثل الإطار المقترح في آلية لنظام صحة تنبؤية سيبرانية-فيزيائية (CPHS) مدعومة بالذكاء الاصطناعي القابل للتفسير (XAI) للتصنيع المستدام في سياق الثورة الصناعية الخامسة (Industry 5.0)، ويظهر سير العمل الخاص بها كمسار يبدأ من الحصول على البيانات وصولاً إلى اتخاذ القرار الذكي وتنفيذه، كما هو موضح في الشكل 1. في المرحلة الأولية من إجراء الحصول على البيانات، يتم جمع الإشارات الصوتية من الآلات في الصناعات مثل المحركات والمضخات والمحامل باستخدام مجموعات بيانات تشمل MIMII. تُمرر إشارات البيانات التي تم الحصول عليها إلى المرحلة التالية، والتي يُشار إليها بمعالجة البيانات مسبقاً، حيث تخضع لعمليات الترشيح والتطبيع والتقسيم. وفي النهاية، يتم تحويل إشارات البيانات المقسمة إلى مخطط طيفي (spectrogram) باستخدام تحويل فوريه قصير المدى (STFT) في طبقة تمثيل الميزات.
بعد ذلك، تستخدم طبقة نموذج الذكاء الاصطناعي صور المخطط الطيفي لاستخلاص الميزات عبر وحدة CNN، وذلك لتحديد الأنماط المكانية والشذوذ. ثم يتم إعادة تشكيل الميزات المستخلصة وتغذيتها في مشفر transformer، الذي يتعلم التبعيات الزمنية والعلاقات طويلة المدى عبر آليات الانتباه الذاتي. وتُصنف متجهات الميزات الناتجة على أنها طبيعية أو غير طبيعية باستخدام طبقة التصنيف. ولضمان الشفافية في عملية التنبؤ، تستخدم طبقة القابلية للتفسير SHAP لتسليط الضوء على مناطق الزمن والتردد ذات الدلالة في المخطط الطيفي.
بالإضافة إلى ذلك، توجد عملية تدخل بشري (human-in-the-loop) يقوم من خلالها المشغلون بتفسير نتائج النموذج وتقديم ملاحظات حولها. وفي طبقة النشر، يعمل النموذج على بنية تحتية لنظام CPHS قائمة على الحافة (edge-based)، مما يضمن سرعة الاستدلال وانخفاض استهلاك الطاقة، مع إمكانية الربط اختيارياً بأنظمة سحابية لمتطلبات التخزين أو التحليلات المتقدمة. وبشكل عام، يضمن هذا الإطار دقة الكشف عن الأعطال، وقابلية التفسير، وكفاءة التشغيل في الوقت الفعلي بما يتماشى مع متطلبات الثورة الصناعية الخامسة (Industry 5.0).
تحديد المشكلة وتحليل المتطلبات
تعد الأنظمة البشرية السيبرانية الفيزيائية (CPHS) في بيئات الثورة الصناعية الخامسة (Industry 5.0) واعدة من حيث الذكاء والاستدامة والتركيز على الإنسان. ومع ذلك، فإن الأطر المعاصرة لبناء هذه الأنظمة تعاني من نقص في القدرات المتقدمة المدعومة بالذكاء الاصطناعي، والقابلية للتفسير، والدعم الكافي للتعاون بين الإنسان والآلة. وبالفعل، تعتمد الأنظمة البشرية السيبرانية الفيزيائية التقليدية على نماذج قائمة على القواعد أو نماذج غير قابلة للتفسير، مما يعيق التكيف مع الظروف الصناعية المتغيرة ويحد من ثقة المشغلين في الأتمتة. علاوة على ذلك، لا تستطيع هذه الأنظمة التقليدية تحليل البيانات شديدة التعقيد بشكل فعال، مثل الإشارات الصوتية الصناعية التي تحتوي على مكونات مكانية (أي التردد) ومكونات تعتمد على الوقت، والتي تُعد مهمة للصيانة التنبؤية. لذا، من الضروري إنشاء إطار عمل يمكنه اكتشاف أعطال الآلات بدقة عالية، وتقديم تفسيرات، والعمل عند الحافة (at the edge)، مما يعزز الأنظمة السيبرانية الفيزيائية (CPS).
هنا x(t) هي إشارة الإدخال الصوتية، وS(f,t) هو تمثيل المخطط الطيفي للإشارة، و
هو التصنيف و θ هي مجموعة المعاملات الخاصة ببنية CNN-Transformer. يتم تقديم الرموز المستخدمة في المعادلات اللاحقة مباشرة بعد ظهورها الأول من أجل الحفاظ على الدقة الرياضية.
من وجهة نظر رياضية، يمكن صياغة هذه المهمة كمشكلة تعلم خاضع للإشراف. لنفترض أن الإشارة الصوتية الصناعية يُرمز لها بـ x(t). يتم حساب تحويل فوريه قصير المدى (STFT) لـ x(t) وفقاً للصيغة التالية:
(1)
حيث تمثل ω(.) دالة النافذة و f التردد. ويعمل المخطط الطيفي الناتج
كمدخل لخوارزمية التعلم العميق. والهدف هو تدريب دالة الربط
(2)
حيث
هو تسمية الفئة (إما طبيعية أو غير طبيعية)، وحيث S هو مدخل المخطط الطيفي، و y هو تسمية المخرج المتوقعة، و θ هي مجموعة المعاملات القابلة للتعلم لبنية CNN-Transformer. تتم صياغة مشكلة التحسين على أنها تقليل خسارة التصنيف:
(3)
بما يخضع لقيود الحد الأدنى من زمن الاستجابة
، وكفاءة الطاقة
، والقابلية للتفسير، حيث يجسد التفسير ∅(SHAP) أهمية الميزات في عملية التنبؤ،
(4)
حيث
تمثل مساهمة كل ميزة فردية. وتماشيًا مع ما سبق، تشمل متطلبات التصميم ما يلي: (1) كشف موثوق عن الشذوذ بناءً على التعلم العميق الهجين، و(2) مخرجات قابلة للتفسير للتدخل البشري، و(3) التنفيذ في إطار عمل لنظام CPS معزز بالحافة.
جمع مجموعة البيانات ومعالجتها مسبقاً
وفي هذا الصدد، لتقييم إطار عمل CPHS المقترح والقائم على الذكاء الاصطناعي القابل للتفسير، تم اختيار مجموعة بيانات MIMII13. وتعد مجموعة البيانات هذه معياراً مستخدماً على نطاق واسع للكشف عن الشذوذ في الآلات الصناعية باستخدام الإشارات الصوتية. تحتوي هذه القاعدة على تسجيلات صوتية لآلات متنوعة، مثل القضبان المنزلقة والمراوح والمضخات والصمامات، وذلك في ظل ظروف تشغيل طبيعية ومعيبة على حد سواء. وبالنسبة لكل آلة، تختلف التسجيلات باختلاف الإعدادات وبيئات الضوضاء، مما يجعلها مناسبة لتدريب وتقييم النماذج في ظل الظروف الصناعية في الوقت الفعلي.
بينما تُستخدم مجموعة بيانات MIMII على نطاق واسع في دراسات الكشف عن الشذوذ غير الخاضعة للإشراف والتي تعتمد فقط على العينات الطبيعية أثناء التدريب، فإنها تتضمن تعليقات توضيحية صريحة لكل من حالات الآلة الطبيعية والشاذة. وقد تم طرح المشكلة كمهمة تصنيف ثنائي خاضعة للإشراف لاختبار قدرة بنية CNN-Transformer المقترحة والقائمة على الذكاء الاصطناعي القابل للتفسير على الفصل بين حالات الآلة السليمة والمعيبة. وتحديداً، استُخدمت تسميات MIMII الرسمية، حيث تم تعيين تسمية الفئة 0 للعينات الطبيعية وتسمية الفئة 1 للعينات الشاذة.
يوضح الجدول 1 تفاصيل وصف مجموعة البيانات. تم النظر في حوالي 12,000 تسجيل من الإشارات الصوتية في البحث الحالي، بما في ذلك عمليات الآلات الطبيعية والمعيبة على حد سواء. ووفقاً للمتطلبات، تم التقاط جميع التسجيلات في هذه الدراسة بتردد 16 kHz وبطول 10 s. وعلى الرغم من أن مجموعة البيانات تحتوي على حوالي 12,000 تسجيل، فقد تم اختيار مجموعة فرعية متوازنة فئوياً مكونة من 2,000 تسجيل اختباري فقط لتصور مصفوفة الارتباك. وقد تم حساب جميع مقاييس الأداء المبلغ عنها باستخدام مجموعة الاختبار الكاملة (حوالي 2,400 تسجيل). علاوة على ذلك، تم فصل عينات التدريب والاختبار بنسبة 80:20 لتدريب النموذج. وتعد قاعدة البيانات هذه مناسبة جداً لتطبيقات الثورة الصناعية الخامسة (Industry 5.0) لأنها تتضمن ظروف ضوضاء في الوقت الفعلي. ويرد توزيع التسجيلات المستخدم في هذه الدراسة في الجدول 2. ومن مجموعة البيانات هذه، تم اختيار حوالي 12,000 تسجيل تغطي جميع أنواع الآلات وظروف نسبة الإشارة إلى الضوضاء (SNR) لتجارب التصنيف الثنائي الخاضع للإشراف باستخدام تقسيم تدريب/اختبار بنسبة 80:20، وهو ما يوضح أنواع الآلات الصناعية، ومعرفات الآلات المقابلة، والأعداد الإجمالية للتسجيلات الصوتية الطبيعية والشاذة، وظروف SNR، وتقسيم التدريب/الاختبار التجريبي المستخدم للتصنيف الثنائي الخاضع للإشراف.
أُجريت التجربة باستخدام مجموعة بيانات MIMII (التحقيق والفحص في الآلات الصناعية المختلة) الإصدار 1.0، والتي تضم أربعة أنواع من الآلات الصناعية: المراوح، والمضخات، والصمامات، والقضبان المنزلقة. جُمعت البيانات من معرفات آلات مختلفة (ID00-ID06، اعتماداً على نوع الآلة) وظروف متنوعة. وتتكون قاعدة بيانات MIMII من بيانات تم الحصول عليها بنسب إشارة إلى الضجيج (SNRs) تبلغ −6 dB، و0 dB، و+6 dB. تشير البيانات الطبيعية إلى الحالة السليمة للآلة الصناعية، بينما تشير البيانات الشاذة إلى حالة غير طبيعية. وقد تم تصنيف الفئات بناءً على تعليقات قاعدة البيانات، حيث تم تعيين البيانات الطبيعية كالفئة 0 والبيانات الشاذة كالفئة 1.
تطلبت إجراءات التقييم العادلة أن يتم التقسيم بين مجموعتي التدريب والاختبار على مستوى التسجيل الصوتي الأصلي قبل أي خطوات تقسيم أو تعزيز أو إنشاء للمخططات الطيفية (spectrograms). وبناءً على ذلك، تعذر ظهور مقاطع صوتية من نفس التسجيل في كل من مجموعتي التدريب والاختبار. ولأغراض تجربة التقييم، استُخدمت تسجيلات بنسب إشارة إلى ضجيج مختلفة (−6 dB و 0 dB و +6 dB)، مما أتاح فرصة لتقييم الإطار المقترح في ظل ظروف صناعية متنوعة.
لمنع تسرب البيانات، تم إجراء تقسيم مجموعة التدريب والاختبار بالاعتماد على ملف الصوت الأصلي كقاعدة، وذلك قبل أي عملية تقسيم أو توليد للمخططات الطيفية (spectrograms). وقد تم تعيين المقاطع المأخوذة من نفس التسجيل الصوتي الذي تبلغ مدته 10 s حصرياً إما لمجموعة التدريب أو لمجموعة الاختبار، مع ضمان عدم وجود أي مقاطع في كلتا المجموعتين. بعد ذلك، تم توليد المخططات الطيفية وزيادتها بشكل منفصل لكل مجموعة بيانات. وبهذه الطريقة، يتم تجنب مشكلة تسرب البيانات، مما يمنع التقييم المتفائل للغاية للأداء.
المعالجة المسبقة لمجموعة البيانات
يتم بعد ذلك معالجة الإشارات الصوتية غير المعالجة من مجموعة بيانات MIMII لتحسين جودة الإشارة وتمكين الاستخراج الفعال للميزات. يُرمز للإشارة المدخلة بـ x(t)، حيث يمثل t الزمن. تتمثل العملية الأولى في ترشيح الضوضاء، حيث يتم ترشيح ضوضاء الخلفية باستخدام دالة ترشيح بحيث تكون:
(5)
حيث تمثل ∗ عملية الالتفاف (convolution) و h(t) هي استجابة النبضة للمرشح. تعزز هذه العملية وضوح الإشارة الصوتية وتقلل من تأثيرات الضوضاء السائدة غالباً في البيئات الصناعية. ويُستخدم تطبيع الإشارة (Signal normalization) لضمان أن تكون سعات جميع الإشارات الصوتية قابلة للمقارنة قبل تغذيتها في نموذج التعلم العميق. تُحسب الإشارة المطببعة، والتي يُرمز لها بـ xn(t)، كما يلي:
(6)
حيث تمثل μ و σ القيمة المتوسطة والانحراف المعياري لإشارة الإدخال، على التوالي. وبفضل هذا الإجراء، يتم ضمان أن تكون جميع إشارات الإدخال ذات متوسطات صفرية وتباينات وحدة. وأخيراً، ومن أجل المعالجة، يتم تقسيم إشارة الإدخال المُطبعة إلى قطع صغيرة متعددة. وبالنظر إلى أن طول الإشارة الكاملة هو T، فإنه يتم تقسيمها إلى N من الإطارات المتداخلة، بحيث يكون طول كل منها L باستخدام دالة نافذة منزلقة:
(7)
حيث H هو حجم القفزة. يمكن تعريف المخطط الطيفي (spectrogram) من خلال الصيغة الموضحة أدناه:
(8)
يتم إدخال المخططات الطيفية التي تم الحصول عليها بهذه الطريقة في إطار عمل يعتمد على CNN-transformer لاستخلاص الميزات المكانية والزمانية من أجل الكشف الناجح عن الشذوذ. يوضح الشكل 2 مسار المعالجة المسبقة.
الشكل 2 يوضح تسلسلاً عمودياً للمعالجة المسبقة يمكن استخدامه للبيانات الصوتية المكتسبة في الصناعة. أولاً، يتم استخراج الإشارات الصوتية الخام من مجموعة بيانات MIMII وتمريرها إلى مرحلة إزالة الضجيج لتقليل الضوضاء. يلي ذلك تطبيع الإشارة لإزالة التناقضات في السعة، مما يضمن اتساق الإشارة. ثم يتم تقسيم الإشارة لاحقاً إلى مقاطع أصغر متداخلة. وبعد التقسيم، يتم تطبيق تحويلات STFT على البيانات لتحويل إشارات النطاق الزمني إلى إشارات زمنية-ترددية. بعد ذلك، يتم حساب طيف القدرة كجزء من إنشاء المخطط الطيفي للإشارة. وبذلك تكون المخططات الطيفية التي تمت معالجتها مسبقاً هي المخرجات الناتجة عن هذه العملية، والتي ستُستخدم في نموذج CNN-transformer المقترح.
توليد المخطط الطيفي
بعد تسوية البيانات وتقسيمها، يتم تحويل الإشارات الصوتية إلى تمثيل زمني-ترددي باستخدام تحويل فورير قصير المدى (STFT). ويوفر المخطط الطيفي الناتج تمثيلاً صورياً للتغيرات في تكوين الترددات على مدار فترة التحليل. وفي البيئات الصناعية، تظهر أعطال الآلات عادةً على شكل أنماط ترددية، مما يجعل المخططات الطيفية أكثر فائدة في الكشف عن الشذوذ في الآلات.
وبناءً على ذلك، يتم تحويل البيانات المعالجة الناتجة إلى صور مخططات طيفية (spectrogram images) للتمييز بين الحالات الطبيعية وغير الطبيعية داخل الماكينات. كما سيتم تحويل البيانات الصوتية إلى مخططات طيفية متعددة لتمكين نموذج التعلم من تحليل مكونات التردد المحلية والتغيرات الزمنية ضمن عملية الماكينة. وتُستخدم هذه الصور كبيانات إدخال لنموذج CNN-transformer، حيث تتولى الشبكة العصبية التلافيفية (CNN) التعامل مع الأنماط المكانية (الترددية)، بينما تتولى المحولات (Transformers) التعامل مع العلاقات الزمنية.
الخوارزمية 1: توليد المخطط الطيفي من الإشارات الصوتية
المدخلات: إشارة صوتية خام x(t)
المخرجات: المخطط الطيفي S(t, f)
الخطوة 1: تحميل الإشارة الصوتية x(t)
الخطوة 2: تطبيق تصفية الضوضاء
الخطوة 3: تسوية الإشارة xn(t)
الخطوة 4: تقسيم الإشارة إلى إطارات:
لكل k = 1 حتى N قم بما يلي

نهاية الحلقة
الخطوة 5: تطبيق دالة النافذة w(t) على كل جزء
الخطوة 6: حساب تحويل فورير قصير المدى (STFT):
(9)
الخطوة 7: حساب المقدار:
(10)
الخطوة 8: تخزين المخطط الطيفي S(t, f)
الخطوة 9: إرجاع مجموعة بيانات المخطط الطيفي
تبدأ عملية إنشاء المخططات الطيفية (spectrograms) بالحصول على الإشارة الصوتية الأصلية، تليها خطوات المعالجة المسبقة مثل تقليل الضوضاء وتطبيع الإشارة (signal normalization) لضمان سلامة الإشارة وجودتها. بعد ذلك، يتم تقسيم الصوت المُطبع إلى نوافذ متعددة متداخلة لالتقاط الخصائص الزمنية للفترات الطويلة والقصيرة على حد سواء. ولمنع التسرب الطيفي (spectral leakage)، تُضرب كل شريحة في دالة النافذة قبل تمريرها عبر تحويل فوريه قصير المدى (Short-Time Fourier Transform). بعد ذلك، يتم تمثيل الإشارة المحولة كدالة ذات قيمة مركبة في نطاق التردد، ثم تُربع قيم المقادير الخاصة بها. وبذلك، يتم تمثيل طاقة الترددات على مدى زمن معين بواسطة المخططات الطيفية. وأخيراً، يتم تخزينها كبيانات شبيهة بالصور وتغذيتها في الشبكة العصبية لغرض التدريب.
استخراج الميزات المكانية باستخدام الشبكة العصبية التلافيفية (CNN)
بعد عملية إنشاء المخططات الطيفية (spectrograms)، تُؤخذ الصور الناتجة للزمن والتردد كمدخلات وتُمرر إلى شبكة عصبية تلافيفية (CNN). وبفرض أن المخطط الطيفي المدخل هو
، حيث يمثل H مجال التردد ويمثل W مجال الزمن. الغرض من استخدام الشبكة العصبية التلافيفية هنا هو تعلم السمات المكانية التمييزية من المخطط الطيفي المدخل. وستساعد هذه السمات المكانية التمييزية في التفريق بين سلوك الماكينة الطبيعي وغير الطبيعي في البيئة الصناعية.
تُعد عملية الالتفاف (convolution) عملية أساسية يتم تنفيذها بواسطة الشبكة العصبية الالتفافية (CNN). وتتم عملية الالتفاف باستخدام مرشح محدد
كما يلي:
(11)
تمكّن العملية الموصوفة أعلاه الشبكة العصبية من تحديد السمات المكانية المحلية، مثل الحواف والترددات والمحتوى التوافقي، في المخطط الطيفي. ويتم ذلك من خلال عمليات ترشيح متعددة تُنتج تمثيلات متنوعة للسمات، مما يؤدي إلى تكوين عدة خرائط سمات. تلي عملية الالتفاف دالة تنشيط غير خطية، كما هو موضح أدناه:
(12)
تسمح هذه اللاخطية للشبكة بالتقاط وتمثيل العلاقات المعقدة بين المتغيرات. وتتضمن المرحلة التالية في الشبكة العصبية الالتفافية تطبيق عمليات التجميع (pooling). ويتم التعبير عن تقنية التجميع الأقصى (max pooling) الشائعة رياضياً على النحو التالي:
(13)
حيث تشير Ω إلى نافذة التجميع (pooling window). يساعد التجميع في تحقيق الثبات الانتقالي والاحتفاظ بالمعلومات ذات الصلة فقط مع التخلص من البيانات الزائدة. يمكن استخراج الميزات ذات المستوى الأعلى بشكل هرمي باستخدام شبكة عصبية تلافيفية، بدءاً من المتغيرات منخفضة المستوى مثل الترددات وصولاً إلى سلوك الآلة المعقد. وبناءً على ذلك، يمكن استخدام خرائط الميزات لتصوير المخرجات النهائية للشبكة:
(14)
حيث تمثل المعلمات القابلة للتعلم في الشبكة العصبية التلافيفية (CNN). تحتوي خرائط السمات على معلومات مكانية غنية، ويتم تحويلها إلى تسلسلات لتكون بمثابة مدخلات لمشفر المحول (transformer encoder) في المرحلة التالية. وتعد عملية استخراج السمات المكانية الموصوفة أعلاه ضرورية لتمكين النموذج من اكتشاف الشذوذ الدقيق في الإشارات الصوتية الصناعية.
الشكل 3 يوضح كيفية استخراج السمات المكانية أفقيًا من مخطط الطيف المدخل باستخدام نموذج CNN. تبدأ العملية بمخطط الطيف المدخل، الذي يشفر خصائص الوقت والتردد للإشارة الصوتية في شكل صوري. ثم يتم تمرير مخطط الطيف المدخل عبر طبقة تلافيفية، حيث تقوم عدة أنواع من المرشحات باستخراج السمات المكانية مثل نطاقات التردد، والحواف، والأنسجة، مما ينتج عنه خرائط سمات. بعد ذلك، تخضع خرائط السمات المستخرجة لدالة تنشيط غير خطية، وهي الوحدة الخطية التصحيحية (ReLU)، مما يسمح للشبكة العصبية باكتشاف التبعيات في البيانات المدخلة. ثم تمر خرائط السمات عبر طبقة تجميع، حيث يتم تقليل حجم الخريطة مع الاحتفاظ بأهم خصائصها. وتتكرر هذه العملية المكونة من الطبقات التلافيفية والتنشيط والتجميع عدة مرات، مما يخلق تسلسلاً هرمياً لتمثيل السمات يبدأ بسمات بسيطة ويتطور نحو سمات أكثر تعقيداً تتعلق بعمليات الآلات.
النمذجة الزمنية باستخدام مشفر محول (transformer encoder)
بمجرد استخراج الميزات المكانية باستخدام الشبكة العصبية التلافيفية (CNN)، تتمثل الخطوة التالية في اشتقاق خرائط ميزات عالية المستوى تلتقط الأنماط القائمة على التردد والتي تم تعلمها من المخطط الطيفي (spectrogram). بعد ذلك، يتم تسوية خرائط الميزات الناتجة وإعادة تشكيلها إلى تسلسلات لالتقاط المعلومات الزمنية في الإشارة الصوتية. بفرض أن خرائط الميزات ممثلة بواسطة
، حيث يمثل H', W', و C الارتفاع والعرض والقنوات على التوالي، يتم اشتقاق التسلسل التالي:
(15)
حيث يمثل T طول التسلسل، و d بُعد الميزة. ثم يستخدم الـ Transformer التسلسل المذكور أعلاه لنمذجة الاعتمادات طويلة المدى باستخدام آلية الانتباه الذاتي. وبخلاف النماذج المتكررة التقليدية، يقوم نموذج الـ transformer بمعالجة كل عنصر من عناصر التسلسل على التوازي، ويستخدم أوزان الانتباه لتحديد الأهمية النسبية لكل جزء. وتعمل آلية الانتباه عن طريق استخدام متجهات الاستعلام Q، والمفتاح K، والقيمة V التي يتم توليدها لكل مدخل xt وفقاً لما يلي:
(16)
بينما تعتبر WQ, WK, WV أوزانًا قابلة للتدريب. ويتم تحديد التشابهات بين العناصر من خلال:
(17)
dk هو بُعد المتجهات الهامة. يسهّل هذا الإجراء على النموذج تعلم التبعيات من الخطوات الزمنية البعيدة في الإشارة والتركيز فقط على المقاطع الزمنية ذات الصلة. ولزيادة قدرة الشبكة على التعلم، يتم استخدام آلية الانتباه متعدد الرؤوس (multihead attention)، والتي تشير إلى العملية التي تتعلم من خلالها رؤوس انتباه متعددة من المدخلات بشكل متوازٍ:
(18)
تتعامل كل رأس مع سمات متميزة من تسلسل المدخلات الزمنية. ويتبع ذلك شبكات عصبية ذات تغذية أمامية ووصلات متبقية:
(19)
تلتقط التسلسلات المرمزة الناتجة كلاً من الميزات المكانية والزمانية للمدخلات. ويتم إرسال هذا التسلسل إلى طبقة التصنيف للكشف عن الشذوذ.
يوضح الشكل 4 العملية العامة للنمذجة الزمنية باستخدام مشفر transformer على الميزات المستخلصة من شبكة CNN. أولاً، تُستخدم خرائط الميزات المستخلصة من شبكة CNN، والتي تحتوي على معلومات مكانية من المخطط الطيفي (spectrogram). ثم يتم تسطيح خرائط الميزات إلى تسلسل، حيث يتوافق كل عنصر مع طابع زمني. بعد ذلك، يمر التسلسل عبر تحويل خطي يقوم بتمثيل البيانات في متجهات ذات بُعد محدد. ونظراً لأن نماذج transformer تفتقر إلى القدرة على التقاط التبعيات الزمنية، يُضاف ترميز موضعي (positional encoding) إلى متجهات التضمين للحفاظ على البنية الزمنية للتسلسل. وأخيراً، يمر التسلسل عبر مشفر transformer، يتكون من مجموعة من الطبقات المتعددة، حيث يتم توظيف آلية انتباه ذاتي متعدد الرؤوس (multi-head self-attention) لتمكين النموذج من تعلم الروابط بين الطوابع الزمنية في التسلسل. وتعمل الشبكة العصبية ذات التغذية الأمامية على تحسين هذه التضمينات بشكل أكبر، بينما تضمن الوصلات المتبقية (residual connections) انتشار التدرجات بكفاءة. تتكرر هذه العملية عبر طبقات مشفر transformer المتراكمة، والتي تلتقط تفاعلات زمنية أكثر تعقيداً بشكل تدريجي. وفي النهاية، يتم دمج تضمينات التسلسل في تمثيل ثابت الطول عبر التجميع (pooling) (على سبيل المثال، التجميع المتوسط أو رمز التصنيف (CLS))، مما ينتج تمثيلاً زمنياً عالمياً للميزات.
طبقة التصنيف
بعد الترميز الزمني باستخدام مشفر المحول (transformer encoder)، ستكون المخرجات عبارة عن تسلسل من المتجهات المرمزة، حيث يحتوي كل منها على سمات تتعلق بالجانبين المكاني والزمني لإشارة الإدخال. وتتمثل الخطوة الأولى نحو التصنيف من المخرجات المرمزة في تجميع كل هذه السمات في متجه واحد. ويتم تحقيق ذلك إما عن طريق تطبيق تجميع المتوسط (mean pooling) على تسلسل متجهات السمات أو باستخدام ما يسمى بـ "رمز التصنيف" (classification token). افترض أن مخرجات المحول هي
، حيث أن كل
. يتم حساب السمة المجمعة h كما يلي:
(20)
بعد ذلك، يمثل متجه السمات المجمع h المدخلات في شكل مدمج ويعمل كمدخل للمصنف. يتكون جزء التصنيف من طبقة كثيفة واحدة أو أكثر، والتي تعمل على تحويل التمثيل المتعلم إلى فضاء المخرجات. وتنفذ الطبقة الكثيفة تحويلاً يتم تعريفه على النحو التالي:
(21)
حيث تمثل o المخرجات (اللوجيتات - logits)، وتمثل b متجه الانحياز، وتمثل W مصفوفة الأوزان. وهذه الأخيرة هي درجات الفئة في شكل غير طبيعي. ولدمج اللاخطية في النموذج، غالبًا ما تُستخدم دوال التنشيط مثل ReLU. وأخيرًا، يتم تطبيق دالة تنشيط softmax على اللوجيتات للحصول على احتمالية لكل فئة:
(22)
حيث تمثل C عدد الفئات، (C = 2؛ طبيعية وغير طبيعية). وسيعتمد التنبؤ بالفئة على قيمة الاحتمالية القصوى. وأثناء التدريب، يتم الحصول على القيم المثلى لمعاملات النموذج عن طريق تقليل فقدان الإنتروبيا المتقاطعة (cross-entropy loss) بين التسميات الفعلية والمتوقعة، وبذلك يتم تحقيق تصنيف دقيق لحالات الماكينة. وباختصار، تؤدي طبقة التصنيف وظيفة أساسية في تحويل الميزات الزمنية المستخلصة باستخدام بنية Transformer إلى قرارات عملية. ومن خلال التمييز الدقيق بين حالات الماكينة السليمة والمعطلة، يصبح اكتشاف الشذوذ واتخاذ القرارات الذكية أمرًا ممكنًا ضمن نموذج الصناعة 5.0 (Industry 5.0).
الشكل 5 يوضح آلية عمل طبقة التصنيف، والتي تأتي بعد مشفر المحول (transformer Encoder). تبدأ العملية بمخرجات التسلسل المشفّر، حيث يحتوي كل متجه على معلومات زمنية تم تعلمها من المدخلات. تُدمج هذه المتجهات في متجه واحد يُعرف بمتجه السمات العالمي (global feature vector). الخطوة التالية هي تمرير متجه السمات العالمي عبر عدة طبقات من الشبكة العصبية الكثيفة. وفي كل طبقة كثيفة، تُجرى عمليات ضرب المصفوفات لإنشاء تركيبات خطية من المدخلات. بعد ذلك، يمكن تطبيق دالة تنشيط غير خطية، مثل ReLU، لزيادة المرونة في تعلم حدود القرار. وفي نهاية الطبقة الكثيفة الأخيرة، توجد درجات اللوجيت (logit scores) لكل فئة. ويمكن استخدام درجات اللوجيت هذه في دالة Softmax لحساب درجات الاحتمالية لكل فئة. تُستخدم درجات الاحتمالية هذه لتحديد ما إذا كانت المدخلات تنتمي إلى الفئة 0 (طبيعي) أو الفئة 1 (غير طبيعي).
القابلية للتفسير باستخدام SHAP
بعد أن يقوم النموذج بتصنيف إشارات الإدخال، يتم توليد التنبؤات بناءً على ما إذا كانت الماكينة تعمل بشكل طبيعي أو غير طبيعي. ومع ذلك، ففي بيئة الثورة الصناعية الخامسة (Industry 5.0)، لا يكفي مجرد إنتاج التنبؤات؛ بل يجب على النظام أيضًا توفير الشفافية والقابلية للتفسير لدعم اتخاذ القرار البشري. يستخدم الإطار التالي SHAP، وهو نموذج قائم على نظرية الألعاب يقوم بقياس أهمية كل ميزة في تحديد التنبؤ. ومن خلال القيام بذلك، يقوم SHAP بتعيين أوزان للميزات، مما يسمح بتقييم الأهمية النسبية لأجزاء مختلفة من مخطط الطيف (spectrogram) المدخل في التنبؤ العام.
تعتمد الصيغة الرياضية لـ SHAP على تفكيك النموذج f(x):
(23)
أين ∅0 هي القيمة المرجعية (متوسط مخرجات النموذج)، ∅i هو تأثير الميزة رقم i، و مـ يمثل هذا الرقم عدد ميزات الإدخال. ولأغراض هذه الدراسة، تتمثل الميزات في صناديق الزمن والتردد من المخطط الطيفي (spectrogram). وتكون قيم SHAP موجبة إذا كانت تساهم في احتمالية الحالة غير الطبيعية، وسالبة في خلاف ذلك. وتضمن هذه الصياغة تفسيراً فريداً ومتسقاً محلياً لكل تنبؤ. ويمكن تطبيق منهجية SHAP على نموذج CNN-transformer مُدرب لتقديم تفسير يعتمد على أهمية الميزات. وسيوضح التمثيل المرئي أهم صناديق الزمن والتردد في المخطط الطيفي التي تؤثر على عملية اتخاذ القرار. فعلى سبيل المثال، قد يؤدي السلوك غير الطبيعي للمعدات إلى ظهور نطاقات ترددية معينة عالية الطاقة يحددها إطار عمل SHAP كعوامل مساهمة مهمة في عملية اتخاذ القرار.
بالإضافة إلى ذلك، يمكن لـ SHAP تعزيز التعاون بين البشر والآلات في بيئة سيبرانية فيزيائية. ويعود ذلك إلى إمكانية شرح التنبؤات باستخدام مرئيات بديهية، مما يسمح للمشغلين وأنظمة اتخاذ القرار بالتحقق من التنبؤات، وتحليل المشكلة، واتخاذ الخطوات المناسبة. وهذا لا يزيد من الثقة فحسب، بل يجعل عمليات التصنيع القائمة على الذكاء الاصطناعي موثوقة وخاضعة للمساءلة. ومن خلال دمج خوارزميات التعلم العميق التي تلبي معايير الأداء الحالية مع SHAP، الذي يوفر القابلية للتفسير، تلبّي البنية المقترحة متطلبات الثورة الصناعية الخامسة Industry 5.0.
الخوارزمية 2: القابلية للتفسير القائمة على SHAP للتنبؤ بالنموذج
المدخلات: النموذج المدرب f(x)، والمخطط الطيفي للمدخلات S
المخرجات: قيم SHAP
وخريطة التفسير
الخطوة 1: إدخال المخطط الطيفي S في نموذج مدرب
الخطوة 2: حساب التنبؤ: y = f(S)
الخطوة 3: تهيئة مفسر SHAP الموجه للتعلم العميق
الخطوة 4: حساب قيم SHAP:

الخطوة 5: لكل ميزة i in S:
احسب المساهمة 
الخطوة 6: إنشاء خريطة التوضيح:
تحديد المناطق ذات القيم العالية لـ 
الخطوة 7: تصور أهمية الميزات (الخريطة الحرارية)
الخطوة 8: إرجاع قيم SHAP وخريطة التفسير
تبدأ خوارزمية القابلية للتفسير القائمة على SHAP بالحصول على صورة مخطط طيفي معالجة مسبقاً كمدخل، ثم تغذيتها في بنية CNN-transformer المدربة لإجراء التنبؤات (على سبيل المثال، حالة الآلة طبيعية أو غير طبيعية). وبعد إجراء التنبؤات باستخدام البنية المدربة، تُستخدم طريقة SHAP لتفسير النموذج. وبشكل أدق، يتم حساب قيم SHAP (ϕ) لكل ميزة مدخلة لتحديد مكونات الوقت والتردد في المدخلات التي تساهم بشكل أكبر في التنبؤ. ولحساب هذه القيم، يجب مقارنة مخرجات النموذج للمدخلات مع وبدون ميزات معينة.
بعد حساب قيم SHAP لكل ميزة، يمكن تقييم تأثيرها على التنبؤ من خلال إشارة قيمة SHAP ومقدارها. على سبيل المثال، تكون الميزات ذات قيم SHAP الأعلى أكثر عرضة للتأثير على النتيجة، وتشير الإشارة الموجبة أو السالبة إلى أن الميزة تدفع التنبؤ نحو الفئة الطبيعية/غير الطبيعية، على التوالي. وبناءً على النتائج، يمكن إنشاء خريطة تفسيرية في شكل خريطة حرارية.
أخيرًا، يُخرج الخوارزمية كلًا من قيم SHAP والتصورات البيانية، مما يوفر رؤية حول كيفية تحليل البشر لقرار النموذج. تجعل هذه التقنية العملية أكثر شفافية وتسمح للبشر بالمشاركة في صنع القرار، مما يضمن تحقيق كل من تنبؤات الخوارزمية وموثوقيتها في الصناعة القائمة على الذكاء الاصطناعي. وقد تم اختيار عينات اختبار ممثلة من حالات شاذة تم تشخيصها بدقة عبر أنواع مختلفة من الآلات لتحسين موثوقية تحليل القابلية للتفسير. وبينما أُجري تحليل أهمية الميزات العالمي باستخدام SHAP عن طريق تجميع قيم SHAP عبر مجموعة بيانات الاختبار لتحديد مواقع الزمن والتردد المؤثرة باستمرار، تم توليد تفسيرات SHAP محلية لهذه الحالات الممثلة. وبدون الحاجة إلى تعليقات توضيحية من الخبراء، يوفر هذا التحليل المحلي والعالمي المتكامل تفسيرًا موثوقًا لتنبؤات النموذج.
تكامل الأنظمة الفيزيائية السيبرانية (CPS) المدعومة بحوسبة الحافة
يُستخدم هذا الحل المقترح ضمن أنظمة الفيزيائية السيبرانية (CPS) الممكنة تقنيًا بواسطة الحوسبة الطرفية، والتي تهدف إلى تحقيق الكفاءة والاستدامة والعمليات الصناعية في الوقت الفعلي. وبمجرد تدريب النموذج، سيتم نشر نموذج CNN-transformer عبر نهج الحوسبة الطرفية. وتوجد طبقة الحوسبة الطرفية المعنية بالقرب من أجهزة إنترنت الأشياء الصناعية (IIoT)، بما في ذلك المستشعرات والآلات. وبدلًا من نقل جميع البيانات المجمعة إلى السحابة، يقوم الجهاز الطرفي بإجراء الاستدلال على الإشارة الصوتية الواردة دون نقلها إلى هناك أولاً. وبالتالي، يمكن للنظام اكتشاف الأعطال في الآلات بشكل فوري تقريبًا واتخاذ الخطوات اللازمة قبل أن يتفاقم الوضع. وثمة ميزة أخرى لهذا النهج الممكن طرفيًا وهي تحسين زمن الاستجابة والكفاءة نظرًا لتحليل البيانات بالقرب من نقطة إنتاجها. وبعبارة أخرى، وخلافًا لنهج السحابة، حيث يكون وقت الاستدلال Tinf
(24)
بشكل عام، سيتم تقليل زمن الاستجابة بشكل ملحوظ من خلال خفض Tcommunication. وهناك فائدة أخرى تتمثل في تقليل استهلاك عرض النطاق الترددي والطاقة المستنفدة عند نقل البيانات بشكل مستمر. وبناءً على ذلك، فإن هذا النظام قابل للتوسع ومستدام للمنشآت الصناعية الكبيرة التي تضم العديد من الأجهزة المتصلة. بالإضافة إلى ذلك، تتيح CPS التفاعل مع الطبقة الفيزيائية (الآلات)، والذكاء الاصطناعي (الطبقة الحسابية)، والطبقة البشرية.
التعاون البشري في الحلقة
يعد التعاون البشري في الحلقة (human-in-the-loop collaboration) مكوناً رئيسياً في الأنظمة الفيزيائية السيبرانية (CPS) المقترحة للصناعة 5.0، والتي تتضمن مشاركة المشغلين البشريين بنشاط في عملية صنع القرار جنباً إلى جنب مع نماذج الذكاء الاصطناعي. وبشكل أدق، ووفقاً للإطار المصمم، لا يتحول النظام إلى صندوق أسود ذاتي التشغيل، بل يسمح للمشغلين بالتفاعل معه وملاحظة نتائج تنبؤية قابلة للتفسير في شكل تفسيرات SHAP. وتشير التنبؤات المعنية إلى النتائج (طبيعية/غير طبيعية)، مصحوبة بتصورات لأجزاء من المخططات الطيفية (spectrograms) المستخدمة للوصول إلى تلك التنبؤات.
يساعد مثل هذا التفاعل المشغلين على فهم كيفية تكوين التنبؤ بدقة والعوامل التي تساهم فيه بشكل أفضل. ويتضمن التدخل البشري التحقق من نتائج النظام والسماح للمشغلين بتجاوزها عند الضرورة، بناءً على حكمهم المهني. كما أن التعاون مع المشغلين البشريين يجعل النظام أكثر جدارة بالثقة، وكفاءةً، وأماناً، وموثوقية، مما يساعد في منع وقوع الأخطاء.