שיתוף פעולה סייבר-פיזי נתמך בבינה מלאכותית הניתנת להסבר לייצור בר-קיימא בתעשייה 5.0

סיכום

מחקר זה מציג מסגרת לשיתוף פעולה קיברנטי-פיזי בתעשייה 5.0 המבוססת על בינה מלאכותית ניתנת להסבר (Explainable AI), המשתמשת ב-CNN-transformer וב-SHAP לזיהוי חריגות אקוסטיות תעשייתיות על גבי מאגר הנתונים MIMII. שילוב של מחשוב קצה תומך בתחזוקה חזויה, ממוקדת-אדם וניתנת לפירוש.

תקציר

במחקר זה, אנו מציגים גישה חדשנית לייצור בר-קיימא של חלקים תעשייתיים באמצעות מערכת שיתוף פעולה סבּרית-פיזית המבוססת על בינה מלאכותית ניתנת להסבר (XAI) עבור תעשייה 5.0. נמצא כי מערכות אנושיות סבּרית-פיזיות (CPHSs) נוכחיות משלבות בינה מלאכותית במידה מוגבלת בלבד ולעתים קרובות חסרות יכולת הסבר. כתוצאה מכך, קיים צורך לשפר את יכולת ההתרחבות (scalability) והגמישות שלהן, בהתאם לעקרונות של תעשייה 5.0: חסינות, קיימות לטווח ארוך ומיקוד באדם. כדי לטפל בחסרונות אלו, אנו מציגים ארכיטקטורה המשלבת למידה עמוקה ובינה מלאכותית ניתנת להסבר בתוך המערכת הסבּרית-פיזית (CPS) כדי לאפשר קבלת החלטות חכמה וניתנת להסבר. באופן ספציפי, אנו משתמשים במאגר הנתונים Malfunctioning Industrial Machine Investigation and Inspection (MIMII) לזיהוי תקלות במכונות באמצעות אותות אקוסטיים. אותות השמע עוברים טרנספורמציה ספקטרלית ליצירת תמונות ספקטרוגרמה, אשר מעובדות לאחר מכן על ידי רשת עצבית קונבולוציונית (CNN) לחילוץ מאפיינים מרחביים ומקודד Transformer למאפיינים זמניים. כדי לשפר את השקיפות ולהקל על שיתוף פעולה עם אדם במעגל (human-in-the-loop), גישה המבוססת על Shapley additive explanations (SHAP) מסייעת למפעילים להבין את תהליך קבלת ההחלטות של המערכת על ידי הדגשת מאפייני קלט המשפיעים על תחזיות המודל. בנוסף, המסגרת מיושמת במערכת סבּרית-פיזית המבוססת על מחשוב קצה (edge computing) כדי להשיג השהיה נמוכה וצריכת אנרגיה נמוכה תוך מתן תגובות מהירות, ובכך לסייע בהבטחת סביבת ייצור בר-קיימא. ממצאים ניסיוניים מראים כי ארכיטקטורת ה-CNN-Transformer המוצעת משיגה דיוק של 98.5% ועולה בביצועיה על מערכות CPHS קיימות תוך שמירה על השהיה נמוכה. השימוש בבינה מלאכותית ניתנת להסבר במערכת שיתוף פעולה סבּרית-פיזית כזו מגביר משמעותית את אמון המפעיל ומאפשר שיתוף פעולה חלק בין אדם למכונה.

מבוא

המעבר מ-Industry 4.0, שהדגישה טכנולוגיה, מכניזציה ותקשורת, למודל החדש Industry 5.0, המשלב קידמה טכנולוגית עם סתגלנות, פיתוח בר-קיימא ומיקוד בבן אדם, השפיע על האבולוציה הדינמית של מערכות תעשייתיות^1,2. הנציבות האירופית מגדירה את Industry 5.0 כפרדיגמה המתמקדת לא רק בפריון וביעילות, אלא גם בשלושת עמודי התווך של מרכזיות האדם, קיימות וחסינות. חשוב לציין כי מחקרים עדכניים הצביעו על תפקידם של מערכות AI, שיתוף פעולה בין אדם למכונה וייצור בר-קיימא כמניעים העיקריים של סביבות Industry 5.0^3,4. שיטות תחזוקה מסורתיות אינן מספיקות עוד בסביבה תעשייתית מתפתחת זו. כדי לאפשר חסינות בהקשרים מורכבים ולא יציבים, על התחזוקה להתפתח לצורה סתגלתית ומערכתית יותר⁵. מאז שנת 2011, Industry 4.0 היא המודל הדומיננטי לטרנספורמציה תעשייתית באירופה, המעודד טרנספורמציה דיגיטלית של עסקים לשיפור התפעול ומקסום המשאבים הזמינים⁴. לכן, הכרחי להגביר את היעילות מבלי לבטל את עבודת האדם בייצור, תוך הגנה על בריאותם ובטיחותם של העובדים. בשל כך, גופים עסקיים ואקדמיים החלו להגדיר את עקרונות פרדיגמת Industry 5.0^5,6,7, בחלקם מתוך השראה מהמושג היפני Society 5.0^8,9,10,11. למרות הדגש המוגבר על תחזוקה בר-קיימא בספרות האחרונה, מרבית ההערכות הסיסטמטיות הקיימות נותרו מקוטעות או ספציפיות לתחום מסוים, וחסרה מסגרת מקיפה המשלבת חסינות, קיימות ו-AI. לדוגמה, מחברים בוחנים פרקטיקות של תחזוקה בר-קיימא עבור מערכות או אסטרטגיות ספציפיות, כולל תחזוקה כוללת פרודוקטיבית בת-קיימא (STPM), בעוד שחוקרים דנים בשילוב נושאי קיימות בטכניקות תחזוקה^12,13,14. מחבר ביצע הערכה מקיפה של קריטריונים לאימוץ קיימות והדגיש גורמים טכנולוגיים המאפשרים לייצור השפעה בר-קיימא חיובית¹⁵. עם זאת, בתוך פרדיגמת Industry 5.0, קיימות, חסינות וקבלת החלטות מבוססת AI אינן משולבות באופן מלא באף אחת מהעבודות הללו. כתוצאה מכך, שיטות תחזוקה נפרדות עוסקות לעיתים קרובות בקיימות. SHAP בולטת בין טכניקות אחרות של בינה מלאכותית ניתנת להסבר (XAI) בשל שיטת שיוך התכונות המבוססת תיאורטית שלה^16,17,18.

קבלת החלטות מונחית-נתונים מתאפשרת באמצעות בינה מלאכותית (AI), אך מודלים מדויקים דורשים לעיתים קרובות כמויות גדולות של נתונים. טכניקות למידת מכונה (ML) קונבנציונליות, כגון עצי החלטה, רגרסיה לוגיסטית ורגרסיה ליניארית, מציגות לעיתים קרובות ביצועים נמוכים במצבים לא-ליניאריים מובהקים, מכיוון שהן מניחות התפלגויות נתונים פשוטות יחסית¹⁹. רשתות נוירונים עמוקות (DNNs) עוקפות מגבלות אלו על ידי למידה של ייצוגי מאפיינים מורכבים מתוך מערכי נתונים מאסיביים²⁰. לפי מחקרים²¹, רשתות עמוקות יותר מציגות לרוב ביצועים טובים יותר ממבנים רדודים במשימות קבלת החלטות מורכבות, אך העומק הגובר ומורכבות הפרמטרים הופכים את המודל לפחות ניתן לפירוש (less interpretable)²².

מערכת סייבר-פיזית (CPS) היא טכנולוגיה מאפשרת מכרעת עבור ייצור בתקן Industry 5.0, כיוון שהיא משלבת בינה מבוזרת, מחשבים מוטמעים, תהליכים פיזיים ותקשורת. כדי לאפשר תפעול תעשייתי גמיש, אינטליגנטי ובזמן אמת, מערכות CPS מודרניות משלבות במהירות מחשוב קצה (edge computing), בינה מלאכותית בקצה (edge AI) ואינטרנט של הדברים ירוק (G-IoT)^23,24. קיימות וכושר עמידות הודגשו במחקרים אחרונים על תחזוקה 4.0 (Maintenance 4.0) ותחזוקה חכמה. בעוד שעבודות קודמות בחנו את חשיבותה של טכנולוגיית תחזוקה 4.0 בייצור בר-קיימא והציעו מסגרות מידול לתחזוקה בת-קיימא, מחקרים ביבליומטריים וסיסטמטיים העריכו טכנולוגיות של תחזוקה חכמה^25,26,27,28. מחקרים נוספים בחנו את שילוב התחזוקה בת-הקיימא בסביבות של Industry 4.0 ובמערכות ייצור מוכוונות-קיימות^29,30,31,32. קונספט המפעיל 4.0 (Operator 4.0)³³, מסגרות Industry 5.0 ממוקדות-אדם³⁴ ונקודות מבט סוציו-כלכליות³⁵ העניקו כולם תשומת לב משמעותית לתחזוקה ממוקדת-אדם. בנוסף, מחקרים אחרונים הדגישו התקדמות בתחזוקה דיגיטלית³⁶, תחזוקה חזויה ומרשמית (predictive and prescriptive maintenance)^37,38 ואסטרטגיות תחזוקה בת-קיימא^39,40. למרות התקדמויות אלו, המחקר נותר מפוזר, ומעט מחקרים מציעים פרדיגמה קוהרנטית המשלבת בינה מלאכותית ניתנת להסבר (explainable AI), קיימות, כושר עמידות ושיתוף פעולה סייבר-פיזי ממוקד-אדם. מערכות סייבר-פיזיות (CPSs) לא הגיעו לאוטונומיה מלאה למרות פריסתן הגוברת, ופרדיגמת Industry 5.0 אינה מעדיפה זאת. Industry 5.0, לעומת זאת, שמה דגש רב יותר על פיקוח אנושי, שיתוף פעולה וקבלת החלטות. על ידי שילוב החשיבה והשיתוף הפעולה האנושיים בתהליכים סייבר-פיזיים, מערכות סייבר-אנושיות כגון מערכות CPS עם אדם במעגל (HiLCPSs)⁴¹, מערכות CPS ממוקדות-אדם (HCPSs)^42,43 ומערכות סייבר-פיזיות-אנושיות (CPHSs)⁴⁴ מרחיבות את מערכות ה-CPS המסורתיות. שילוב זה משפר את יכולת ההסתגלות, השקיפות, הבטיחות וכושר העמידות על ידי אפשור שיתוף פעולה בזמן אמת בין מערכות חכמות למפעילים אנושיים^45,46.

זיהוי חריגות שמע בתעשייה שופר משמעותית הודות לארכיטקטורות חדשות, הכוללות Vision Transformer (ViT), Audio Spectrogram Transformer (AST), Conformer ולמידה בפיקוח עצמי; עם זאת, שילובן עם מערכות סייבר-פיזיות ניתנות להסבר עבור תעשייה 5.0 נותר מוגבל. ללא שילוב של יכולת הסבר, פריסה בקצה (edge deployment) ותמיכה בקבלת החלטות עם אדם במעגל (human-in-the-loop) בתוך מסגרת אחת, המחקר הנוכחי מתמקד בעיקר בדיוק הסיווג או בפרשנות מבוססת XAI בדיעבד (post hoc). מחקר זה מציע ארכיטקטורה חדשנית לשיתוף פעולה סייבר-פיזי מבוססת CNN-Transformer עם יכולות בינה מלאכותית ניתנת להסבר (Explainable AI), המשלבת מחשוב קצה, מידול תלות זמנית, יכולת הסבר מבוססת SHAP, למידת מאפיינים מרחביים ותמיכה בקבלת החלטות ממוקדת-אדם, כדי לאפשר ייצור בר-קיימא בתעשייה 5.0 ולהתגבר על מגבלות אלה.

לפיכך, נותר גרעון מחקרי משמעותי. טכניקות נוכחיות לזיהוי חריגות אקוסטיות המבוססות על CNN/Transformer מעניזות ביצועי סיווג, אך חסרות שיתוף פעולה סייבר-פיזי ויכולת הסבר. בעוד שמסגרות של Industry 5.0 מציעות מודלים קונספטואליים ממוקדי-אדם שאינם משלבים למידה עמוקה ניתנת להסבר, בינה בקצה (edge intelligence) וקבלת החלטות בסיוע מפעיל למערכת אחת, טכניקות תחזוקה חזויה מבוססות XAI מגבירות את השקיפות אך פועלות באופן בלתי תלוי מארכיטקטורות של CPHS. לפיכך, עדיין חסרה מערכת סייבר-פיזית אנושית אחת של Industry 5.0 המשלבת זיהוי מדויק של חריגות שמיעתיות, יכולת הסבר מבוססת SHAP, פריסה מבוססת edge ושיתוף פעולה בשיטת human-in-the-loop.

מאמר זה מציע פרדיגמה חדשנית של שיתוף פעולה סייבר-פיזי המבוססת על CNN-Transformer עם בינה מלאכותית הניתנת להסבר (Explainable AI) עבור תעשייה 5.0, במטרה להתגבר על מגבלות אלו. הארכיטקטורה המוצעת משלבת פריסת מחשוב קצה, חילוץ תכונות מרחביות מבוסס CNN, למידת תלויות זמניות מבוססת Transformer, יכולת הסבר מבוססת SHAP ותמיכה בקבלת החלטות עם אדם במעגל (human-in-the-loop), וכל זאת בתוך מסגרת CPHS אחת. המסגרת המוצעת מספקת פתרון משולב המשפר בו-זמנית את ביצועי זיהוי האנומליות, את שקיפות המודל, את היעילות התפעולית ואת שיתוף הפעולה הממוקד-אדם לייצור בר-קיימא, בניגוד לשיטות נוכחיות המתייחסות לאלמנטים אלו באופן נפרד.

המטרה העיקרית של מחקר זה היא ליצור מערכת סייבר-פיזית אנושית (CPHS) מבוססת בינה מלאכותית ניתנת להסבר (Explainable AI) לייצור בר-קיימא בתחומי תעשייה 5.0, זאת באמצעות שילוב של יכולת הסבר מבוססת SHAP, מחשוב קצה ותמיכה בקבלת החלטות עם אדם במעגל (human-in-the-loop), יחד עם גישה לזיהוי חריגות אקוסטית מבוססת מודל היברידי של CNN-Transformer. בפרט, המסגרה המוצעת שואפת לשפר את דיוק זיהוי החריגות תוך אספקת תחזיות ברורות ומובנות, הקלה על פריסה יעילה במחשוב קצה ועידוד קבלת החלטות שיתופית בין מערכות חכמות למפעילים אנושיים. על ידי השגת ביצועי זיהוי גבוהים, יכולת הסבר, פעולה בשהיית רשת נמוכה ושיתוף פעולה סייבר-פיזי ממוקד-אדם בו-זמנית, ארכיטקטורה משולבת זו נותנת מענה לחסרונים של מסגרות עבודה קיימות לזיהוי חריגות אקוסטיות, תחזוקה חזויה מבוססת XAI ומערכות CPHS.

הארכיטקטורה המוצעת מציגה מערכת סייבר-פיזית אנושית (CPHS) מאוחדת המבוססת על בינה מלאכותית ניתנת להסבר (Explainable AI) עבור תעשייה 5.0, זאת בניגוד לטכניקות נוכחיות לגילוי חריגות אקוסטיות, המתמקדות בעיקר בדיוק הסיווג. במסגרת ארכיטקטורה אחת, היא משלבת מיצוי מאפיינים מרחביים מבוסס CNN, מידול זמני מבוסס Transformer, יכולת הסבר מבוססת SHAP, מחשוב קצה ותמיכה בקבלת החלטות עם אדם במעגל (human-in-the-loop). הארכיטקטורה המוצעת נותנת מענה לסוגיות מרכזיות של שקיפות, סיוע למפעיל ושיתוף פעולה סייבר-פיזי, על ידי מיזוג של גילוי חריגות מדויק עם קבלת החלטות מובנת ופריסה בזמן אמת במחשוב קצה. התרומה המדעית העיקרית של עבודה זו היא האינטגרציה ברמת המערכת, המבדילה את הגישה המוצעת ממחקרים קודמים שהתמקדו בגילוי חריגות, בבינה מלאכותית ניתנת להסבר או במסגרות של תעשייה 5.0 בלבד.

פרוטוקול

המתודולוגיה המוצעת משתמשת בגישה מבוססת-מערכת של מערכת סייבר-פיזית אנושית (CPHS) בתקן Industry 5.0, השילוב בין למידה עמוקה ניתנת להסבר (explainable deep learning) למסגרת שיתוף פעולה סייבר-פיזית המופעלת על ידי מחשוב קצה (edge computing) כדי לתמוך בתהליכי ייצור בני-קיימא. ראשית, הבעיה מטופלת באמצעות זיהוי מגבלות מסוימות של פתרונות CPHS נוכחיים, כגון חוסר באינטליגנציה מבוססת AI, יכולת הסבר ושיתוף פעולה ממוקד-אדם. כדי להתגבר על אתגרים אלו, הפתרון המוצע רותם את מאגר הנתונים MIMII לניטור מצב של מכונות תעשייתיות באמצעות עיבוד אותות אקוסטיים.

המסגרת המוצעת מתחילה בהזנת הספקטרוגרמות שנוצרו למודל CNN המחלץ תכונות מרחביות על ידי זיהוי תבניות תדר משמעותיות הקשורות למצבי מכונה שונים. התכונות המרחביות שחולצו יומרו לרצפים ויוזנו למודול מקודד transformer כדי ללכוד תלויות זמניות באמצעות self-attention. ייצוג התכונות המשונה מועבר לאחר מכן למודול מסווג עם חיבור מלא כדי לסווג מצבי מכונה כנורמליים או לא נורמליים. בנוסף, כדי להבטיח שקיפות ולהקל על קבלת החלטות הממוקדת בבן אדם, נעשה שימוש בגישת ההסבר SHAP כדי להסביר תחזיות על ידי בחירת אזורי זמן-תדר משמעותיים בפלט המודל. המודל שתוכנן יוטמע בסביבת CPS תומכת-קצה, המאפשרת הסקה בזמן אמת עם השהיה חישובית וצריכת אנרגיה נמוכות. בנוסף, תשלב מערך human-in-the-loop כדי לאפשר למפעילי אנושיים לבצע תיקוף באמצעות תוצאות ההסבירות. הביצועים מתוקפים באמצעות accuracy, precision, recall ו-F1-score, כמו גם מדדים אחרים ברמת המערכת כגון השהיה ויעילות אנרגטית.

המסגרת המוצעת היא מנגנון CPHS מונחה XAI לייצור בר-קיימא בהקשר של תעשייה 5.0, וזרימת העבודה שלה מוצגת כצינור תהליכים החל מרכישת נתונים ועד לקבלת החלטות חכמה וביצוען, כפי שמוצג ב-איור 1. בשלב הראשוני של הליך רכישת הנתונים, נאספים אותות קול ממכונות בתעשייה, כגון מנועים, משאבות ומסבים, תוך שימוש במאגרי נתונים הכוללים את MIMII. אותות הנתונים שהתקבלו מועברים לשלב הבא, המכונה עיבוד מקדים של נתונים, שבו הם עוברים סינון, נורמליזציה ופילוח. לבסוף, אותות הנתונים המפולחים מומרים לספקטרוגרמה באמצעות התמרת פורייה בזמן קצר (STFT) בשכבת ייצוג התכונות.

לאחר מכן, שכבת מודל ה-AI משתמשת בתמונות הספקטרוגרמה כדי לחלץ מאפיינים באמצעות מודול ה-CNN, תוך זיהוי תבניות מרחביות ואנומליות. לאחר מכן, המאפיינים שחולצו עוברים עיצוב מחדש (reshaped) ומוזנים לתוך מקודד ה-transformer, הלומד תלויות זמניות וקשרים ארוכי-טווח באמצעות מנגנוני קשב עצמי (self-attention). וקטורי המאפיינים המתקבלים מסווגים כנורמליים או כחריגים באמצעות שכבת הסיווג. כדי להבטיח שקיפות בתהליך החיזוי, שכבת ההסביריות משתמשת ב-SHAP כדי להדגיש אזורי זמן-תדר משמעותיים בספקטרוגרמה.

בנוסף, קיים תהליך של בקרה אנושית (human-in-the-loop) שבו מפעילים מפרשים את תוצרי המודל ומספקים עליהם משוב. בשכבת הפריסה, המודל פועל על תשתית CPHS מבוססת קצה (edge-based), המבטיחה הסקת מסקנות מהירה וצריכת חשמל נמוכה, תוך ממשק אופציונלי עם מערכות ענן עבור דרישות אחסון או אנליטיקה מתקדמת. יחד, המסגרת מבטיחה זיהוי תקלות מדויק, יכולת הסבר ותפעול יעיל בזמן אמת, בהתאם לדרישות של Industry 5.0.

הגדרת הבעיה וניתוח דרישות

מערכות סייבר-פיזיות אנושיות (CPHS) במסגרת תעשייה 5.0 מבטיחות אינטליגנציה, קיימות ומיקוד באדם. עם זאת, מסגרות עבודה עכשוויות לבניית CPHS מוגבלות בשל מחסור ביכולות מתקדמות מבוססות AI, יכולת הסבר ותמיכה נאותה בשיתוף פעולה בין אדם למכונה. למעשה, מערכות CPHS קונבנציונליות מבוססות על מודלים מבוססי כללים או מודלים שאינם ניתנים לפירוש, דבר המעכב התאמה לתנאי תעשייה משתנים ומגביל את אמון המפעילים באוטומציה. יתרה מכך, מערכות CPHS קונבנציונליות אינן יכולות לנתח ביעילות נתונים מורכבים ביותר, כגון אותות אקוסטים תעשייתיים המכילים רכיבים מרחביים (כלומר, תדר) ורכיבים תלויי זמן, החשובים לתחזוקה חזויה. לפיכך, יש צורך ליצור מסגרת עבודה שתוכל לזהות חריגות במכונות בדיוק גבוה, לספק הסברים ולפעול בקצה (edge), ובכך לאפשר CPS.

כאן x(t) הוא אות הקלט האקוסטי, S(f,t) הוא ייצוג הספקטרוגרמה של האות,  היא התווית ו- θ היא קבוצת הפרמטרים של ארכיטקטורת ה-CNN-Transformer. סמלים המשמשים במשוואות הבאות מוצגים מיד לאחר הופעתם הראשונה על מנת לשמור על דיוק מתמטי.

מנקודת מבט מתמטית, ניתן להגדיר את המשימה כבעיה של למידה מפוקחת. נסמן את האות האקוסטית התעשייתית כ-x(t). ה-STFT של x(t) מחושב לפי הנוסחה:

   (1)

כאשר  ω(.) היא פונקציית החלון ו-f הוא התדר. הספקטרוגרמה שנוצרה  משמשת כקלט לאלגוריתם הלמידה העמוקה. המטרה היא לאמן את פונקציית המיפוי

    (2)

שם  היא תווית המחלקה (נורמלית או לא נורמלית), כאשר S הוא קלט הספקטרוגרמה, y היא תווית הפלט החזויה ו θ היא קבוצת הפרמטרים הניתנים ללמידה של ארכיטקטורת ה-CNN-Transformer. בעיית האופטימיזציה מנוסחת כמינימיזציה של הפסד הסיווג:

  (3)

בכפוף למגבלות של השהיה מינימלית , יעילות אנרגטית , ויכולת פירוש, שבה ההסבר ∅(SHAP) לוכד את חשיבות המאפיינים בתהליך הניבוי,

   (4)

כאשר  הוא התרומה של כל מאפיין בודד. בהתאם לאמור לעיל, דרישות התכנון כוללות את הדברים הבאים: (i) זיהוי חריגות אמין המבוסס על למידה עמוקה היברידית, (ii) פלטים ניתנים לפירוש לצורך התערבות אנושית, ו-(iii) יישום במסגרת CPS משופרת קצה.

רכישת נתונים ועיבוד מקדים

בהקשר זה, כדי להעריך את מסגרת ה-CPHS המוצעת המבוססת על בינה מלאכותית הניתנת להסבר (Explainable AI), נבחר מאגר הנתונים MIMII¹³. מאגר נתונים זה מהווה מדד השוואה (benchmark) נפוץ לזיהוי חריגות במכונות תעשייתיות באמצעות אותות אקוסטים. מאגר זה מכיל הקלטות קול של מכונות שונות, כגון מסילות גלישה, מאווררים, משאבות ושסתומים, הן בתנאי פעולה תקינים והן בתנאי תקלות. עבור כל מכונה, ההקלטות משתנות בהתאם להגדרות שונות ולסביבות רעש שונות. עובדה זו הופכת את המאגר למתאים לאימון ולהערכה של מודלים תחת תנאים תעשייתיים בזמן אמת.

בעוד שמאגר הנתונים MIMII נמצא בשימוש נרחב במחקרי זיהוי חריגות ללא פיקוח המסתמכים אך ורק על דגימות תקינות במהלך האימון, הוא כולל הערות (annotations) מפורשות הן של מצבי מכונה תקינים והן של מצבים חריגים. הבעיה מוצגת כמשימת סיווג בינארית עם פיקוח כדי לבחון את יכולתה של ארכיטקטורת ה-CNN-Transformer המוצעת, המבוססת על בינה מלאכותית ניתנת להסבר (Explainable AI), להפריד בין מצבי מכונה תקינים למצבים פגומים. באופן ספציפי, נעשה שימוש בתוויות הרשמיות של MIMII, כאשר תווית המחלקה 0 מוקצית לדגימות תקינות ותווית המחלקה 1 מוקצית לדגימות חריגות.

טבלה 1 מציגה את פרטי תיאור מערך הנתונים. במחקר הנוכחי נבחנו כ-12,000 הקלטות של אותות אקוסטיים, הכוללות פעולות תקינות ופגומות של המכונות. בהתאם לדרישות, כל ההקלטות במחקר זה נדגמו ב-16 kHz ואורכן 10 s. למרות שמערך הנתונים מכיל כ-12,000 הקלטות, נבחרה תת-קבוצה מאוזנת של 2,000 הקלטות בדיקה אך ורק לצורך ויזואליזציה של מטריצת הבלבול (confusion matrix). כל מדדי הביצועים המדווחים חושבו באמצעות סט הבדיקה המלא (כ-2,400 הקלטות). בנוסף, דגימות האימון והבדיקה הופרדו ביחס של 80:20 לצורך אימון המודל. מסד נתונים זה מתאים ליישומים של Industry 5.0 כיוון שהוא כולל תנאי רעש בזמן אמת. התפלגות ההקלטות ששימשה במחקר זה מופיעה ב-טבלה 2. ממערך נתונים זה, נבחרו כ-12,000 הקלטות המכסות את כל סוגי המכונות ותנאי יחס אות לרעש (SNR) עבור ניסויי הסיווג הבינארי המפוקח תוך שימוש בפיצול אימון/בדיקה של 80:20; הטבלה מציגה את סוגי המכונות התעשייתיות, את מזהי המכונות המתאימים, את המספר הכולל של הקלטות אקוסטיות תקינות ואנומליות, את תנאי ה-SNR, ואת חלוקת האימון/בדיקה הניסויית ששימשה לסיווג בינארי מפוקח.

הניסוי בוצע באמצעות גרסה 1.0 של מערך הנתונים MIMII (Malfunctioning Industrial Machine Investigation and Inspection), הכולל ארבעה סוגים של מכונות תעשייתיות: מאווררים, משאבות, שסתומים ומסילות גלישה. הנתונים נאספו ממספרי זיהוי של מכונות שונות (ID00–ID06, בהתאם לסוג המכונה) ומתנאים שונים. מאגר הנתונים MIMII כולל נתונים שנרכשו ביחסי אות לרעש (SNRs) של −6 dB, 0 dB, ו-+6 dB. נתונים נורמליים תואמים למצב תקין של המכונה התעשייתית, בעוד שנתונים אנומליים תואמים למצב חריג. המחלקות סומנו על בסיס הערות המאגר, כאשר נתונים נורמליים סומנו כמחלקה 0 ונתונים אנומליים סומנו כמחלקה 1.

תהליך הערכה הוגן דרש שהפיצול בין קבוצות האימון והבדיקה יתבצע ברמת הקלטת השמע המקורית, לפני כל שלבי הפיצול, ההרחבה (augmentation) או יצירת הספקטרוגרמות. כתוצאה מכך, מקטעי שמע מאותה הקלטה לא יכלו להופיע הן בקבוצת האימון והן בקבוצת הבדיקה. עבור ניסוי ההערכה, נעשה שימוש בהקלטות עם יחסי אות-רעש שונים (−6 dB, 0 dB, ו-+6 dB), אשר סיפקו הזדמנות להעריך את המסגרת המוצעת תחת תנאים תעשייתיים שונים.

כדי למנוע דליפת נתונים, פיצול נתוני האימון והבדיקה בוצע על בסיס קובץ האודיו המקורי, לפני ביצוע פלוגציה (segmentation) או יצירת ספקטרוגרמות. מקטעים מאותה הקלטת אודיו של 10 s הוקצו באופן בלעדי או למערך האימון או למערך הבדיקה, מבלי שיהיו מקטעים המופיעים בשני המערכים. לאחר מכן, ספקטרוגרמות הופקו ועברו הגברה (augmentation) בנפרד עבור כל מערך נתונים. באופן זה, נמנעת בעיית דליפת הנתונים, ובכך נמנעת הערכת ביצועים אופטימית מדי.

עיבוד מקדים של מערך הנתונים

האותות האקוסטים שלא עברו עיבוד מתוך מאגר הנתונים MIMII מעובדים לאחר מכן כדי לשפר את איכות האות ולאפשר חילוץ מאפיינים יעיל. אות הקלט מסומן על ידי x(t), כאשר t הוא הזמן. התהליך הראשון הוא סינון רעשים, שבו רעשי רקע מסוננים באמצעות פונקציית סינון כך ש:

   (5)

כאשר ∗ מייצג את תהליך הקונבולוציה ו-h(t) הוא תגובת האימפולס של המסנן. תהליך זה משפר את בהירות האות האקוסטי וממזער את השפעות הרעש הנפוצות לרוב בסביבות תעשייתיות. נורמליזציה של האות משמשת להבטחה שהאמפליטודות של כל אותי השמע ניתנות להשוואה לפני הזנתם למודל הלמידה העמוקה. האות הנורמלי, המסומן כ-x_n(t), מחושב כך:

   (6)

כאשר  μ ו- σ הם ערך הממוצע וסטיית התקן של אות הקלט, בהתאמה. כל אותות הקלט מובטחים להיות בעלי ממוצע אפס ושונות יחידה הודות להליך זה. לבסוף, לצורך העיבוד, אות הקלט הנורמל מחולק למספר רב של מקטעים קטנים. בהינתן שאורך האות כולו הוא T, הוא מחולק ל-N מסגרות חופפות, שכל אחת מהן בעלת אורך L, באמצעות פונקציית חלון גלישה:

   (7)

כאשר H הוא גודל הזינוק (hop size). ניתן להגדיר את הספקטרוגרמה באמצעות הנוסחה להלן:

   (8)

הספקטרוגרמות שהתקבלו בדרך זו מוזנות למסגרת המבוססת על CNN-transformer כדי לחלץ מאפיינים מרחביים וזמניים לזיהוי חריגות מוצלח. איור 2 מציג את תהליך העיבוד המקדים.

איור 2 ממחיש צינור עיבוד מקדימ אנכי שניתן להשתמש בו עבור נתונים אקוסטיים שנרכשו בתעשייה. ראשית, אותי השמע הגולמיים מופקים ממאגר הנתונים MIMII ומוזנים לשלב הסרת רעשים להפחתת רעשים. לאחר מכן מבוצע נורמליזציה של האות כדי להסיר חוסר עקביות באמפליטודה, ובכך להבטיח שהאות יהיה עקבי. בהמשך, האות מחולק למקטעים קטנים וחופפים. לאחר הפילוח, יוחלו טרנספורמציות STFT על הנתונים כדי להמיר אותות במישור הזמן לאותות במישור הזמן-תדר. לאחר מכן, ספקטרום ההספק מחושב כחלק מיצירת הספקטרוגרמה של האות. ספקטרוגרמות שעברו עיבוד מקדימ יהו לפיכך הפלט שיוחזר מהתהליך, והן ישמשו במודל ה-CNN-transformer המוצע.

יצירת ספקטרוגרמה

לאחר נורמליזציה וסגמנטציה של הנתונים, אותות אקוסטיים ממירים לייצוג זמן-תדר באמצעות התמרת פורייה לזמן קצר (STFT). הספקטרוגרמה המתקבלת מספקת ייצוג חזותי של שינויים בהרכב התדרים לאורך תקופת הניתוח. בסביבות תעשייתיות, תקלות במכונות מתבטאות בדרך כלל כדפוסי תדרים, מה שהופך ספקטרוגרמות למועילות יותר לזיהוי חריגות במכונות.

הנתונים המעובדים שמתקבלים מומרים לפיכך לתמונות ספקטרוגרמה כדי להבחין בין מקרים תקינים לבלתי תקינים בתוך המכונות. נתוני השמע יומרו למספר ספקטרוגרמות כדי לאפשר למודל הלמידה לנתח רכיבי תדר מקומיים ושינויים זמניים בתהליך העבודה של המכונה. תמונות אלו משמשות כנתוני קלט עבור מודל CNN-transformer, כאשר ה-CNN מטפל בדפוסים מרחביים (תדר) בעוד שה-Transformers מטפלים בקשרים זמניים.

אלגוריתם 1: יצירת ספקטרוגרמה מאותות אקוסטיים

קלט: אות שמע גולמי x(t)

פלט: ספקטרוגרמה S(t, f)

שלב 1: טעינת אות שמע  x(t)

שלב 2: ביצוע סינון רעשים

שלב 3: נרמול האות x_n(t)

שלב 4: פילוח האות לפרייםים:

עבור k = 1 עד N בצע

סוף הלולאה

שלב 5: החלת פונקציית חלון w(t) על כל מקטע

שלב 6: חישוב STFT:

  (9)

שלב 7: חישוב העוצמה:

   (10)

שלב 8: שמירת הספקטרוגרמה S(t, f)

שלב 9: החזרת מערך נתוני הספקטרוגרמה 

תהליך יצירת הספקטרוגרמות מתחיל ברכישת אות השמע המקורי, ולאחריו שלבי עיבוד מקדים כגון הפחתת רעשים ונורמליזציה של האות כדי להבטיח את שלמותו ואיכותו של האות. לאחר מכן, השמע שעבר נורמליזציה מחולק למספר חלונות חופפים כדי ללכוד את המאפיינים הזמניים של תקופות ארוכות וקצרות כאחד. כדי למנוע דליפה ספקטרלית, כל אחד מהפרוסות מוכפל בפונקציית חלון לפני העברתו דרך התמרת פורייה לזמן קצר (Short-Time Fourier Transform). לאחר מכן, האות ההתמרה מיוצג כפונקציה בעלת ערכים מרוכבים במישור התדר, והגודל (magnitude) שלו מועלה בריבוע. כך, האנרגיה של התדרים לאורך הזמן הנתון מיוצגת על ידי הספקטרוגרמות. לבסוף, הן נשמרות כנתונים דמויי-תמונה ומוזנות לרשת העצבית לצורך אימון.

חילוץ מאפיינים מרחביים באמצעות CNN

לאחר תהליך יצירת הספקטרוגרמות, תמונות הזמן-תדר המתקבלות משמשות כקלטים ומוזנות לרשת עצבית קונבולוציונית (CNN). בהנחה שהספקטרוגרמה הקלטית היא , כאשר H הוא מישור התדר ו-W הוא מישור הזמן. מטרת השימוש ב-CNN כאן היא ללמוד מאפיינים מרחביים מבחינים מהספקטרוגרמה הקלטית. מאפיינים מרחביים מבחינים אלה יסייעו להבדיל בין התנהגות תקינה לבלתי תקינה של מכונה בסביבה תעשייתית.

פעולה בסיסית המבוצעת על ידי רשת עצבית קונבולוציונית (CNN) היא קונבולוציה. קונבולוציה עם פילטר נתון  מוגדרת כך:

   (11)

הפעולה המתוארת לעיל מאפשרת לרשת העצבית לזהות תכונות מרחביות מקומיות, כגון קצוות, תדרים ותוכן הרמוני, בספקטרוגרמה. הדבר נעשה באמצעות מספר פעולות סינון המייצרות ייצוגי תכונות שונים, ובכך יוצרות מספר מפות תכונות. לאחר הקונבולוציה מופיעה פונקציית אקטיבציה לא-ליניארית, כפי שמוצג להלן:

  (12)

אי-ליניאריות זו מאפשרת לרשת ללכוד ולייצג קשרים מורכבים בין משתנים. השלב הבא ברשת נוירונים קונבולוציונית כולל יישום של פעולות איחוד (pooling). הטכניקה הנפוצה של max pooling מבוטאת מתמטית באופן הבא:

   (13)

כאשר Ω מתייחס לחלון ה-pooling. תהליך ה-pooling מסייע בהשגת אי-תלות בתרגום (translation invariance) ובשימור המידע הרלוונטי בלבד תוך השמטת כפילויות. ניתן להפיק מאפיינים ברמה גבוהה יותר באופן היררכי באמצעות רשת נוירונים קונבולוציונית, החל ממשתנים ברמה נמוכה כגון תדרים ועד להתנהגות מכונה מורכבת. כתוצאה מכך, ניתן להשתמש במפות מאפיינים כדי לתאר את הפלט הסופי של הרשת:

   (14)

כאשר מייצג את הפרמטרים הניתנים ללמידה של ה-CNN. מפות המאפיינים מכילות מידע מרחבי עשיר ומומרות לרצפים כדי לשמש כקלטים למקודד הטרנספורמר (transformer encoder) בשלב הבא. תהליך חילוץ המאפיינים המרחביים המתואר לעיל הוא קריטי כדי לאפשר למודל לזהות חריגות זעירות באותות אקוסטיים תעשייתיים.

איור 3 מדגים כיצד מאפיינים מרחביים נחליצים באופן אופקי מקלט הספקטרוגרמה באמצעות מודל CNN. התהליך מתחיל בספקטרוגרמה של הקלט, המקודדת תכונות זמן-תדר של אות השמע בצורה חזותית. ספקטרוגרמת הקלט מועברת לאחר מכן דרך שכבה קנוולוציונית (שכבת קונבולוציה), שבה מספרים סוגים של מסננים מחלצים מאפיינים מרחביים כגון פס תדרים, קצוות ומרקמים, ובכך מייצרים מפות מאפיינים. לאחר מכן, מפות המאפיינים שהוחלצו עוברות פונקציית הפעלה לא-ליניארית, יחידה ליניארית ממוצעת (ReLU), המאפשרת לרשת העצבית לזהות תלויות בנתוני הקלט. מפות המאפיינים מועברות אז דרך שכבת דגימה (pooling layer), שבה גודל המפה מופחת תוך שמירה על המאפיינים החשובים ביותר שלה. תהליך זה של שכבות קנוולוציה, הפעלה ודגימה חוזר על עצמו מספר פעמים, ויוצר היררכיה של ייצוג מאפיינים המתחילה במאפיינים פשוטים ומתפתחת לעבר מאפיינים מורכבים יותר הקשורים לפעולות מכונה.

מידול זמני באמצעות מקודד טרנספורמר (transformer encoder)

לאחר שמאפייני המרחב חולצו באמצעות ה-CNN, השלב הבא הוא להפיק מפות מאפיינים ברמה גבוהה הלוכדות תבניות מבוססות תדר שנלמדו מהספקטרוגרמה. מפות המאפיינים המתוצאות עוברות לאחר מכן השטחה ועיצוב מחדש לרצפים כדי ללכוד מידע זמני באות האקוסטי. בהנחה שמפות המאפיינים מיוצגות על ידי , כאשר H', W', ו- C הם הגובה, הרוחב והערוצים, בהתאמה, הרצף הבא נגזר:

    (15)

כאשר T מייצג את אורך הרצף, ו-d הוא ממד המאפיין. ה-Transformer משתמש לאחר מכן ברצף הנ"ל כדי למדל תלויות ארוכות טווח באמצעות מנגנון קשב עצמי (self-attention). מודל ה-transformer, בניגוד למודלים רקורסיביים קונבנציונליים, מעבד כל אלמנט של הרצף במקביל ומשתמש במשקלי קשב כדי לקבוע את הרלוונטיות היחסית של כל חלק. אופן הפעולה של מנגנון הקשב הוא באמצעות וקטורי שאילתה Q, מפתח K וערך V הנוצרים עבור כל קלט x_t בהתאם ל:

   (16)

בעוד ש- W_Q, W_K, W_V הם משקולות הניתנות לאימון. הדמיון בין האיברים נקבע באמצעות:

   (17)

d_k הוא ממד הווקטורים החשוב. הליך זה מקל על המודל ללמוד תלויות מצעדי זמן רחוקים באות ולהתמקד רק במקטעי הזמן הרלוונטיים. כדי להגדיל את יכולת הלמידה של הרשת, נעשה שימוש ב-multihead attention, המתייחס לתהליך שבו מספר ראשי קשב (heads of attention) לומדים מהקלט במקביל:

  (18)

כל ראש קשב מתמקד במאפיינים שונים של רצף הקלט הזמני. לאחר מכן באות רשתות עצביות מסוג feed-forward וחיבורים שאריתיים (residual connections):

   (19)

הרצף המקודד המתקבל לוכד הן את המאפיינים המרחביים והן את המאפיינים הזמניים של הקלט. רצף זה נשלח לשכבת המסווג לצורך זיהוי חריגות.

איור 4 מציג את התהליך הכולל של מידול זמני (Temporal modeling) באמצעות מקודד (Encoder) של טרנספורמר על מאפיינים שהופקו מה-CNN. ראשית, נעשה שימוש במפות המאפיינים שהופקו מה-CNN; אלו מכילות מידע מרחבי מהספקטרוגרמה. מפות המאפיינים מ షోטחות לרצף, כאשר כל פריט תואם לחותמת זמן. לאחר מכן, הרצף עובר טרנספורמציה לינארית הממפה את הנתונים לווקטורים בעל ממד ספציפי. מכיוון שדגמי טרנספורמר חסרים את היכולת ללכוד תלויות זמניות, מתווסף קידוד מיקומי (positional encoding) לווקטורי השקיעה (embedding vectors) כדי לשמר את המבנה הזמני של הרצף. לבסוף, הרצף עובר דרך מקודד טרנספורמר, המורכב מערימה של מספר שכבות, שבהם מופעל מנגנון קשב עצמי רב-ראשי (multi-head self-attention) כדי לאפשר למודל ללמוד קשרים בין חותמות זמן ברצף. רשת נוירונים מסוג feed-forward משפרת עוד יותר שקיעות אלו, בעוד שחיבורים שאריתיים (residual connections) מבטיחים הפצה יעילה של גרדיאנטים. התהליך חוזר על עצמו לאורך שכבות מקודד הטרנספורמר המערמות, אשר לוכדות אינטראקציות זמניות מורכבות יותר באופן פרוגרסיבי. בסופו של דבר, שקיעות הרצף משולבות לייצוג באורך קבוע באמצעות איסוף (pooling) (למשל, average pooling או אסימון סיווג (CLS)), מה שמניב ייצוג מאפיינים זמני גלובלי.

שכבת סיווג

בעקבות קידוד זמני באמצעות מקודד ה-transformer, הפלטים יהיו רצף של וקטורים מקודדים, שכל אחד מהם כולל מאפיינים הקשורים הן להיבטים המרחביים והן להיבטים הזמניים של אות הקלט. השלב הראשון לקראת סיווג מתוך הפלטים המקודדים הוא ביצוע אגרגציה של כל המאפיינים הללו לווקטור יחיד. הדבר מושג על ידי החלת mean pooling על רצף וקטורי המאפיינים או על ידי שימוש במה שנקרא "token סיווג" (classification token). נניח שפלט ה-Transformer הוא , כאשר כל . המאפיין המאוגרג h מחושב כך:

   (20)

לאחר מכן, וקטור המאפיינים המaggregated h מייצג את הקלט בצורה תמציתית ומשמש כקלט של המסווג. חלק הסיווג מורכב משכבה צפופה אחת או יותר, הממירות את הייצוג שנלמד למרחב הפלט. שכבה צפופה מבצעת טרנספורמציה המוגדרת באופן הבא:

   (21)

כאשר o הוא הפלט (logits), b הוא וקטור ההטיה, ו-W היא מטריצת המשקולות. האחרונים הם ציוני המחלקה בצורה לא מנורמלת. כדי לשלב אי-ליניאריות במודל, נעשה שימוש נפוץ בפונקציות הפעלה כגון ReLU. לבסוף, פונקציית הפעלה מסוג softmax מוחלת על ה-logits כדי לקבל הסתברות עבור כל מחלקה:

   (22)

כאשר C מייצג את מספר המחלקות, (C = 2; נורמלי ולא נורמלי). חיזוי המחלקה יתבסס על ערך ההסתברות המקסימלי. במהלך האימון, הערכים האופטימליים של פרמטרי המודל מתקבלים על ידי מזעור הפסד האנטרופיה הצולבת (cross-entropy loss) בין התוויות בפועל לבין התוויות החזויות, ובכך מושג סיווג מדויק של מצבי המכונה. לסיכום, שכבת הסיווג ממלאת תפקיד חיוני בהמרת התכונות הזמניות שהופקו באמצעות ארכיטקטורת ה-Transformer להחלטות מעשיות. באמצעות הבחנה נכונה בין מצבי מכונה תקינים לפגומים, הופכים זיהוי חריגות וקבלת החלטות חכמה לאפשריים במסגרת פרדיגמת Industry 5.0.

איור 5 מראה כיצד פועל שכבת הסיווג, המגיעה לאחר ה-transformer Encoder. התהליך מתחיל עם פלט הרצף המקודד, שבו כל וקטור מכיל מידע זמני שנלמד מהקלט. וקטורים אלו משולבים לווקטור יחיד, המכונה וקטור תכונות גלובלי. השלב הבא הוא העברת וקטור התכונות הגלובלי דרך מספר שכבות של רשת עצבית צפופה (dense neural network layers). בכל שכבה צפופה, מבוצעות פעולות כפל מטריצות כדי ליצור שילובים לינאריים של הקלטים. לאחר מכן, ניתן להחיל פונקציית אקטיבציה לא-לינארית, כגון ReLU, כדי להגביר את הגמישות בלמידת גבולות ההחלטה. בסוף השכבה הצפופה האחרונה, מתקבלים ציוני logit עבור כל מחלקה. ניתן להשתמש בציוני logit אלו בפונקציית Softmax כדי לחשב ציוני הסתברות עבור כל מחלקה. ציוני הסתברות אלו משמשים לקביעה האם הקלט שייך למחלקה 0 (Normal) או למחלקה 1 (Abnormal).

הסבריות באמצעות SHAP

לאחר שהמודל מסווג את אותות הקלט, מופקות תחזיות בהתבסס על השאלה האם המכונה פועלת באופן תקין או לא תקין. עם זאת, בסביבת תעשייה 5.0, לא מספיק להפיק תחזיות; המערכת חייבת לספק גם שקיפות ויכולת הסבר כדי לתמוך בקבלת החלטות אנושית. המסגרת הבאה משתמשת ב-SHAP, מודל המבוסס על תורת המשחקים המכמת את החשיבות של כל תכונה בקביעת התחזית. בדרך זו, SHAP מקצה משקלות לתכונות, מה שמאפשר להעריך את החשיבות היחסית של חלקים שונים של קלט הספקטרוגרמה עבור התחזית הכוללת.

הניסוח המתמטי של SHAP מבוסס על פירוק של המודל f(x):

   (23)

כאשר  ∅₀ הוא ערך הבסיס (ממוצע פלט המודל), ∅_i הוא ההשפעה של המאפיין ה-i, ו- M הוא מספר מאפייני הקלט. לצורך מחקר זה, המאפיינים הם מקטורי הזמן-תדר (time-frequency bins) מהספקטרוגרמה. ערכי SHAP הם חיוביים אם הם תורמים להסתברות למצב לא תקין, ושליליים אחרת. ניסוח זה מבטיח הסבר ייחודי ועקבי מקומית עבור כל תחזית. ניתן להחיל את שיטת SHAP על מודל CNN-transformer מאומן כדי לספק הסבר המבוסס על חשיבות המאפיינים. הייצוג הוויזואלי יראה את מקטורי הזמן-תדר החשובים ביותר בספקטרוגרמה המשפיעים על תהליך קבלת ההחלטות. לדוגמה, התנהגות לא תקינה של הציוד עשויה להוביל לפס תדרי גבוהים מסוימים, אותם מסגרת ה-SHAP תזהה כתורמים חשובים לתהליך קבלת ההחלטות.

בנוסף, SHAP יכול לקדם שיתוף פעולה בין בני אדם ומכונות בסביבה קיברנוטית-פיזיקלית. זאת מכיוון שניתן להסביר את התחזיות באמצעות ויזואליזציות אינטואיטיביות, המאפשרות למפעילים ולמערכות קבלת ההחלטות לאמת תחזיות, לנתח את הבעיה ולנקוט בצעדים המתאימים. דבר זה לא רק מגביר את האמון, אלא גם הופך תהליכי ייצור מבוססי AI למהימנים וניתנים לביקורת. על ידי שילוב אלגוריתמים של למידה עמוקה העומדים בסטנדרטיים הביצועים הנוכחיים יחד עם SHAP, המספק יכולת הסבר, הארכיטקטורה המוצעת עומדת בדרישות של Industry 5.0.

אלגוריתם 2: הסביריות המבוססת SHAP עבור חיזוי המודל

קלט: מודל מאומן f(x), ספקטרוגרמה של קלט S

פלט: ערכי SHAP  ומפת הסבר

שלב 1: הזנת ספקטרוגרמה S למודל מאומן

שלב 2: חישוב התחזית: y = f(S)

שלב 3: אתחול מסביר SHAP המכוון ללמידה עמוקה

שלב 4: חישוב ערכי SHAP:

שלב 5: עבור כל תכונה i ב- S:

חשב את התרומה 

שלב 6: יצירת מפת הסבר:

סמן אזורים בעלי   גבוה

שלב 7: הדמיית חשיבות המאפיינים (מפת חום)

שלב 8: החזרת ערכי SHAP ומפת הסבר

אלגוריתם ההסברות המבוסס על SHAP מתחיל בקבלת תמונת ספקטרוגרמה שעברה עיבוד מקדים כקלט, והזנתה למבנה ה-CNN-transformer המאומן לצורך ביצוע תחזיות (למשל, מצב מכונה תקין או לא תקין). לאחר ביצוע התחזיות באמצעות המבנה המאומן, נעשה שימוש בשיטת SHAP כדי לפרש את המודל. בפרט, ערכי SHAP (ϕ) מחושבים עבור כל תכונת קלט כדי לגלות אילו רכיבי זמן-תדר של הקלט תורמים ביותר לתחזית. כדי לחשב ערכים אלו, יש להשוות את פלטי המודל עבור קלטים עם תכונות מסוימות ומבלי תכונות אלו.

לאחר חישוב ערכי ה-SHAP עבור כל מאפיין, ניתן להעריך את השפעתו על התחזית על פי הסימן והגודל של ערך ה-SHAP. לדוגמה, מאפיינים בעלי ערכי SHAP גבוהים יותר נוטים להשפיע יותר על התוצאה, וסימן חיובי או שלילי מעיד על כך שהמאפיין דוחף את התחזית לעבר מחלקת הנורמלי/בסבירות גבוהה לא נורמלי, בהתאמה. בהתבסס על התוצאות, ניתן ליצור מפת הסבר בצורה של מפת חום (heatmap).

לבסוף, האלגוריתם מפיק הן את ערכי ה-SHAP והן את הוויזואליזציות, ובכך מספק תובנה לגבי האופן שבו בני אדם יכולים לנתח את החלטת המודל. טכניקה זו הופכת את התהליך לשקוף יותר ומאפשרת לבני אדם להיות מעורבים בקבלת ההחלטות, ובכך מבטיחה כי הן התחזיות של האלגוריתם והן המהימנות שלו יושגו בתעשייה מונעת AI. דגימות בדיקה מייצגות נבחרו מתוך מקרים חריגים שאובחנו במדויק במגוון סוגי מכונות, כדי לשפר את מהימנות ניתוח הניתנות להסבר (explainability). בעוד שניתוח גלובלי של חשיבות המאפיינים ב-SHAP בוצע על ידי אגרגציה של ערכי SHAP על פני מערך נתוני הבדיקה כדי לזהות מיקומי זמן-תדר בעלי השפעה עקבית, הסברים מקומיים של SHAP הופקו עבור מקרים מייצגים אלו. ללא צורך באנוטציה של מומחה, ניתוח משולב זה, מקומי וגלובלי, מציע פרשנות מהימנה של תחזיות המודל.

אינטגרציית CPS מבוססת קצה (Edge-enabled)

פתרון מוצע זה משמש בתוך CPS מותאם-קצה (edge-enabled), השואף להשיג יעילות, קיימות ותפעול תעשייתי בזמן אמת. לאחר אימון המודל, ה-CNN-transformer יוטמע באמצעות גישת מחשוב קצה. שכבת מחשוב הקצה המדוברת נמצאת בקרבת התקני האינטרנט התעשייתי (IIoT), כולל החיישנים והמכונות. במקום להעביר את כל הנתונים שנאספו לענן, התקן הקצה מבצע הסקה (inference) על האות האקוסטי הנכנס ללא צורך בהעברתו לשם תחילה. לפיכך, המערכת יכולה לזהות חריגות במכונות כמעט באופן מיידי ולנקוט בצעדים הדרושים לפני שהמצב יחמיר. יתרון נוסף של גישה זו המבוססת על מחשוב קצה הוא שיפור בשיהוי (latency) וביעילות, מכיוון שהנתונים מנותחים בקרבת נקודת הייצור. במילים אחרות, בניגוד לגישת הענן, שבה זמן ההסקה T_inf

   (24)

השיהוי, באופן כללי, יופחת באופן משמעותי באמצעות הפחתה ב-T_{communication}. יתרון נוסף הוא צריכת רוחב פס מופחתת והספק מושקע נמוך יותר בעת העברה רציפה של נתונים. מערכת זו היא, לפיכך, ניתנת להרחבה ובת-קיימא עבור מפעלים תעשייתיים גדולים עם מכשירים מחוברים רבים. בנוסף, ה-CPS מאפשר אינטראקציה עם השכבה הפיזית (מכונות), ה-AI (השכבה החישובית) והשכבה האנושית.

שיתוף פעולה במודל אדם-במעגל (Human-in-the-loop)

מרכיב מרכזי ב-CPS המוצע עבור Industry 5.0, הכולל מפעילים אנושיים המעורבים באופן פעיל בתהליך קבלת ההחלטות לצד מודלים של AI, הוא שיתוף פעולה מסוג human-in-the-loop. כלומר, בהתאם למסגרת שתוכננה, המערכת אינה הופכת לקופסה שחורה אוטונומית, אלא מאפשרת למפעילים לקיים איתה אינטראקציה ולצפות בתוצאות חיזוי הניתנות להסבר בצורת הסברי SHAP. החיזויים המדוברים מתייחסים לתוצאות (נורמלי/חריג), בליווי ויזואליזציות של חלקים מהספקטרוגרמות ששימשו להסקתם.

אינטראקציה כזו מסייעת למפעילים להבין טוב יותר כיצד בדיוק נוצרת התחזית ואילו גורמים תורמים לה. מעורבות אנושית מרמזת על אימות תוצאות המערכת ומאפשרת למפעילים לבטל אותן במידת הצורך, בהסתמך על שיקול דעתם המקצועי. שיתוף פעולה עם מפעילים אנושיים הופך את המערכת למהימנה, יעילה ובטוחה יותר, ומסייע במניעת שגיאות.

תוצאות

מערכת שיתוף הפעולה הסייבר-פיזית המשולבת עם בינה מלאכותית ניתנת להסבר (Explainable AI) שהוצגה, נבחנה באופן ניסיוני על כ-12,000 הקלטות שמע מתוך מאגר הנתונים MIMII, המכיל מצבי מכונה תקינים ובלתי תקינים. מערך הנתונים לאימון כלל כ-9,600 רשומות נתונים, בעוד שמערך הנתונים לבדיקה כלל בערך 2,400 דגימות שמע. בהתבסס על הממצאים, מודל ה-CNN-transformer המוצע השיג דיוק סיווג של 98.5% במערך הנתונים לבדיקה, 0.97–0.98. הדבר מתייחס לממצאים ב-טבלה 3, למטריצת הבלבול (confusion matrix) ולניתוח היציבות הסטטיסטית. שילובו של מקודד ה-transformer משפר את יכולות המידול הזמני של הארכיטקטורה, בעוד שה-CNN מחלץ מאפיינים מרחביים מבדילים מספרטרוגרם הקלט.

בנוסף לביצועי הסיווג, הוערכו מאפיינים נוספים הקשורים למערכת. ראשית, השהיית ההסקה (inference latency) עבור מימוש מבוסס קצה (edge-based) לא עלתה על 20 ms, מה שמאפשר זיהוי חריגות בזמן אמת. שנית, המערכת המוצגת סייעה בשיפור יעילות האנרגיה על ידי הפחתת דרישות התקשורת. לבסוף, מסגרת ה-Explainable AI המוצעת מספקת יכולת פרשנות באמצעות SHAP, מה שהופך את המודל לקל יותר לניתוח מנקודת מבטו של מומחה בתחום. נתוני ה-MIMII הומרו לספקטרוגרמות באמצעות התמרת פורייה בזמן קצר (STFT), תוך שימוש בגודל חלון של 1024, גודל קפיצה (hop size) של 512, וגודל התמרת פורייה מהירה FFT של 1024. ה-log Mel-spectrograms שהתקבלו שונו לגודל של 224 × 224 פיקסלים ולאחר מכן עברו נורמליזציית z-score. שיטות להעשרת נתונים (Data augmentation), כולל מיסוך זמן (time masking), מיסוך תדר (frequency masking) והוספת רעש גאוסי, שימשו להגברת החסון (robustness) של המודל המאומן. ארכיטקטורת ה-CNN כללה ארבע שכבות קונבולוציה עם 32, 64, 128 ו-256 מסננים, בהתאמה, וכללה שכבות batch normalization, ReLU ו-max pooling. מפות המאפיינים שהופקו הומרו לרצפים ושימשו כקליטים עבור מקודד הטרנספורמר (transformer encoder), שהורכב מארבע שכבות מקודד, שמונה ראשי קשב (attention heads), embedding בן 256 ממדים וממד feed-forward בן 1024 ממדים. הוחלה הסתברות dropout של 0.3 כדי למזער התאמת יתר (overfitting). עבור האימון נעשה שימוש באופטימייזר Adam עם קצב למידה של 0.0001 ו-weight decay של 1 x 10⁻⁵. מספר ה-epochs וגודל ה-batch באימון היו 100 ו-32, בהתאמה. ה-random seed נקבע ל-42 כדי לשמור על הדירות (reproducibility) של הניסוי. השיטות הבאות שימשו לאימות התקינות הסטטיסטית של התוצאות: כל הניסויים הורצו באופן עצמאי 10 פעמים עם random seeds שונים וערבוב נתונים (data shuffles). חושבו הערכים הממוצעים וסטיות התקן של Accuracy, Precision, Recall, F1-score, השטח תחת עקומת מאפייני המקלט (ROC-AUC), והשטח תחת עקומת הדיוק-רגישות (PR-AUC). יתרה מכך, חושבו רווחי סמך של 95% כדי להעריך את אי-הוודאות בביצועים. לבסוף, נערך paired t-test להשוואת התוצאות של גישת ה-CNN-transformer שלנו למודל הבסיס (baseline) בעל הביצועים הטובים ביותר. שיטת ה-early stopping הוחלה תוך שימוש ב-10 epochs כפרמטר הסבלנות (patience parameter). טבלה 4 מציגה את הגדרות הסביבה ותצורת ההיפר-פרמטרים, וטבלה 5 מספקת את פרטי סביבת הסימולציה.

ניסוי ההערכה בעבודה הנוכחית נערך באמצעות מערך הנתונים MIMII, הכולל תנאי הפעלה שונים של מכונות ותרחישי תקלות אקוסטיות. למרות שהתוצאות מהמסגרה המוצעת מתקפות את המודל, נדרשת תיקוף נוסף על פני מערכי נתונים תעשייתיים וסביבות ייצור מגוונות.

המסגרת המוצעת הוטמעה על פלטפורמת מחשוב קצה המצוידת במעבד רב-ליבות, זיכרון מערכת של 16 GB ומאיץ קצה מבוסס יחידת עיבוד גרפי (GPU) לתמיכה בהסקה ובבישוליות (explainability) בזמן אמת. חיישנים אקוסטיים תעשייתיים העבירו זרמי שמע לשער הקצה (edge gateway) באמצעות שכבת תקשורת IIoT. צמתי קצה שימשו לביצוע משימות כגון יצירת ספקטרוגרמות, הסקת חריגות ויצירת הסברי SHAP, בעוד שרת הענן שימש לאחסון נתונים לטווח ארוך ולעדכון המודל. הגדרה זו לא רק מפחיתה את כמות התקשורת הנדרשת, אלא גם מאפשרת אינטראקציה בזמן אמת בין התקני חישוש, מודולי AI ומפעילים אנושיים במערכות סייבר-פיזיות.

גישת ה-CNN-transformer שהוצגה לעיל מושווה למספר שיטות קיימות, כולל מודלי ML קונבנציונליים כגון support vector machine (SVM) ו-random forest, מודלי CNN ללא ה-transformer, ושיטות המבוססות על long short-term memory (LSTM). בעוד שמודלי ML מסורתיים אינם משיגים תוצאות מספקות בשל חוסר ביכולת לעבד קורלציות מרחביות וזמניות בנתונים, מודלי CNN יכולים לטפל ביעילות במאפיינים מרחביים, בעוד שמודלי LSTM יכולים לטפל בהיבטים זמניים של אותות אקוסטיים. עם זאת, הראשונים נחותים מהאחרונים מבחינת עלות החישוב ויכולת העיבוד המקבילי.

כדי להבטיח השוואה הוגנת בין מודל ה-CNN-transformer המוצע לבין מודלי הבסיס, הראשון אומן והוערך באמצעות אותה חלוקה של מאגר הנתונים MIMII (80% אימון ו-20% בדיקה), אותם שלבי עיבוד מקדים, תהליך יצירת ספקטרוגרמות ואותם מדדי הערכה. בשיטת ה-SVM, נעשה שימוש בגרעין פונקציית בסיס רדיאלית (RBF), עם C = 10 ו-γ = 0.01. שיטת היער האקראי (random forest) כללה 200 עצים, עם עומק מקסימלי של 20 לכל עץ. באשר ל-CNN, הוא כלל ארבע שכבות קונבולוציה (32, 64, 128 ו-256 פילטרים) ולאחריהן שכבות מחוברות באופן מלא (fully connected) ללא מודול Transformer. לבסוף, עבור שיטת ה-LSTM, נעשה שימוש בשתי שכבות LSTM מוערמות עם 128 יחידות נסתרות ושיעור dropout של 0.3.

להפך, השימוש במסגרת ה-CNN-transformer מאפשר את התוצאות הטובות ביותר על ידי ניצול יעיל של היכולות המרחביות והזמניות של אותות אקוסטיים. בנוסף, שימוש במחשוב קצה מאפשר הפחתה בעלויות המחשוב, שיפור בשיהוי (latency) וחיסכון באנרגיה. כמו כן, ניתן לראות ביכולת ההסבר של התחזיות, שיושמה באמצעות SHAP, יתרון נוסף ההבדיל את השיטה המוצעת מטכניקות קיימות.

למרות הישגים אחרונים בפיתוח מודלים חדשניים לזיהוי חריגות אקוסטיות, כגון Vision Transformer (ViT), Audio Spectrogram Transformer (AST), Conformer ומודלים המבוססים על למידה בפיקוח עצמי, לא נערכה השוואה ניסויית של ארכיטקטורות אלו במחקר הנוכחי. בעתיד, מתוכנן להשתמש במודלים אלו כנקודות ייחוס (benchmarks) להערכת המסגרת המוצעת.

מדדים, הכוללים דיוק (accuracy), רגישות (precision), recall וציון F1, משמשים להערכת ביצועי המודל המוצע. בעוד ש-precision מודד את היחס בין החיוביים האמיתיים למספר הכולל של החיוביים האמיתיים והחיוביים הכוזבים, ה-accuracy מעריך את נכונותן הכללית של התחזיות. ה-recall מספק הערכה של יכולת המודל לחזות אנומליות במערכת מסוימת. דבר זה הוא קריטי, שכן אי-חיזוי של פגם עלול להוביל לקריסות של המערכת. להלן האופן שבו מדדים אלו מחושבים מבחינה מתמטית:

   (25)

   (26)

   (27)

   (28)

בנוסף לאלה, מדדים נוספים הקשורים לביצועי המערכת, כגון שיהוי (latency), ניצול אנרגיה ויכולת גידול (scalability), נלקחים בחשבון בעת הערכת הביצועים בעולם האמיתי של מודל ה-CPS המוצע המבוסס על מחשוב קצה (edge computing).

מלבד טכניקות סטנדרטיות למדידת ביצועים, קיימים מדדים רבים אחרים שעשויים לסייע בהערכת הפתרון המוצע מנקודת מבט הוליסטית יותר, במיוחד בהתחשב ביכולת היישום שלו במקרי בוחן של נתונים זורמים ולא מאוזנים בעולם האמיתי. למשל, יכולתו של האלגוריתם להבחין בין שתי הקבוצות על בסיס ספים שונים נמדדת על ידי השטח תחת עקומת מאפייני תפעול המקלט (ROC-AUC). בהינתן העמידות והיכולת להפרדה שלו, ערך ה-ROC-AUC אמור להיות גבוה. בנוסף, מדד השטח תחת עקומת הדיוק- recalls (PR-AUC) חשוב עבור מקרי בוחן של זיהוי חריגות, מכיוון שהמחלקות החריגות הן נדירות.

מדד חשוב שיש להביאו בחשבון הוא מקדם המתיוס (MCC). הוא מתחשב בכל ארבעת הפריטים של מטריצת הבלבול ומספק הערכה מדויקת, גם בנוכחות חוסר איזון בין המחלקות. מדד זה מחושב באופן הבא:

   (29)

ערכי ה-MCC נעים בין -1 ל-+1, כאשר +1 מעיד על ניבוי מושלם. מדד נוסף שניתן ליישם הוא הספציפיות (Specificity; שיעור השליליים הנכונים), שיהיה שימושי ביישום תעשייתי להערכה אם קיימים ניבויים חיוביים שגויים:

    (30)

כדי להבטיח שאין אי-התאמה בין מטריצת הבלבול למדדי הביצועים, כל קריטריוני ההערכה חושבו על בסיס מערך נתוני הבדיקה הסופי. הסימונים true positive (TP), true negative (TN), false positive (FP), ו-false negative (FN) משמשים לאורך המשוואות הבאות. Accuracy, Precision, Recall, Specificity, F1-score ו-MCC חושבו על בסיס משוואות (25)–(30). בנוסף, ROC-AUC ו-PR-AUC חושבו מתוך פלטי ההסתברות של מודל ה-CNN-transformer באמצעות הערכת סף בלתי תלויה.

המדדים המרכזיים שיש לבחון ברמת המערכת כוללים השהיה (latency), תפוקה (throughput) ועלות חישובית. השהיה היא הזמן הנדרש לביצוע חיזוי. תפוקה היא כמות דגימות הנתונים המעובדות בשנייה. עלות חישובית, המייצגת יעילות אנרגטית, חשובה להבטחת יעילות חישובית. בנוסף, ניתן לשקול מדדי הסביריות (explainability), כגון עקביות SHAP ויציבות של חשיבות תכונות, בעת הערכת המודל.

עולה בבירור מהתוצאות ב-Table 3 עבור מערך הנתונים MIMII כי מודל ה-CNN-transformer המוצע עולה בביצועיו על כל שאר שיטות הלמידה המכונה והלמידה העמוקה. ביצועיהם של מודלי ה-SVM והיער האקראי (random forest) סבירים, אם כי מוגבלים, עם דיוקים של 88.6% ו-91.2%, בהתאמה. ניתן להסביר זאת מחוסר יכולתם של מודלים אלו לחלץ מאפיינים זמניים ומרחביים מורכבים מאותים אקוסטיים. עם זאת, LSTM עולה בביצועיו על SVM ויער אקראי, ומשיג דיוק של 94.5% באמצעות מידול נתוני סדרות זמן. עם זאת, גישת ה-CNN-transformer המוצעת מציגה את הביצועים הטובים ביותר, עם שיפור בדיוק (98.5%), בדיוק החיזוי (precision) (98.06%), ברגישות (recall) (99.02%) ובמדד F1 (98.54%). לפיכך, האלגוריתם המוצע יכול לסווג במדויק מצבי מכונה תקינים ובלתי תקינים. הסגוליות (specificity) המשופרת (97.96%) מדגימה את יעילות הגישה בהפחתת תוצאות חיוביות שגויות, דבר שהוא קריטי עבור התעשייה. יש לציין כי ניתן להסביר את ביצועי ה-CNN-transformer על ידי השילוב של CNN ו-Transformer, כאשר הראשון מחלץ מאפיינים מבחינים והשני לוכד יחסי זמן ברצפים ארוכים.

עקומת ה-ROC ב-איור 6 מציגה את ביצועיהם ההשוואתיים של גישות SVM, random forest, LSTM ו-CNN-transformer המוצעת, ביחס ליכולות הסיווג שלהן עבור מערך הנתונים MIMII. כפי שמוצג ב-איור 6, השטח הגדול ביותר תחת העקומה (AUC) נצפה עבור ה-CNN-transformer המוצע, אשר הגיע ל-0.994. ניכר כי השיטה המוצעת מספקת ביצועי הבחנה טובים יותר להפרדה בין קטגוריות נורמליות לבלתי נורמליות. מנגד, LSTM מניב תוצאות נמוכות מעט מגישת ה-CNN-transformer המוצעת; לפיכך, ה-AUC שלו הוא כ-0.97. לשתי גישות ה-random forest וה-SVM יש ערכי AUC נמוכים יחסית, סביב 0.958 ו-0.913, בהתאמה. תוצאות אלו מיוחסות לחוסר יכולתן של שתי הגישות ללמוד תבניות אקוסטיות מורכבות מנתוני המקור.

בזיהוי חריגות, שבהן דגימות חריגות הן מעטות, עקומת הדיוק-재קריאה (PR) מספקת ניתוח טוב יותר. בעקומת ה-PR, מודל ה-CNN-transformer משיג את הדיוק הממוצע (AP) הגבוה ביותר, כ-0.97–0.98, מה שמעיד על יכולת עדיפה לזהות מקרים חריגים עם פחות התראות שגויות, כפי שמוצג ב-איור 7. לעומת זאת, מסווג ה-LSTM מדורג במקום השני, עם AP שנע בין 0.92 ל-0.94. מאידך, מסווגי ה-random forest וה-SVM מדורגים במקום השלישי והרביעי, בהתאמה, עם ערכי AP של 0.88 ו-0.84. המסווג ההיברידי המוצע משיג דיוק גבוה יותר בכל רמות ה-recall, דבר החשוב ליישומים תעשייתיים מעשיים, שכן הם דורשים הן דיוק גבוה והן מספר נמוך של התראות שגויות.

מודל ה-CNN-transformer הושווה למודלים קיימים על גבי מערך הנתונים MIMII באמצעות מדדי הביצועים המתקדמים המוצגים בטבלה 6. ערך ה-ROC-AUC מעיד על יכולת ההבחנה של המודל בין שתי המחלקות על פני ספים שונים. מסווגי ה-SVM וה-random forest השיגו ערכי ROC-AUC של 0.913 ו-0.958, בהתאמה, בעוד שמודל ה-LSTM הגיע ל-ROC-AUC של 0.970, וה-CNN הגיע ל-0.98. מסגרת ה-CNN-transformer המוצעת השיגה את ה-ROC-AUC הגבוה ביותר, 0.994, המדגים יכולת הבחנה מעולה בין מצבי מכונה נורמליים לאבנורמליים. באופן דומה, ערכי ה-PR-AUC מעידים כי המודל המוצע יכול להתמודד ביעילות עם חוסר איזון בין המחלקות, גורם חיוני בזיהוי אנומליות. ה-CNN-transformer המוצע השיג את ה-PR-AUC (דיוק ממוצע) הגבוה ביותר, 0.982, ואחריו CNN (0.950), LSTM (0.912), random forest (0.891) ו-SVM (0.765), מה שמעיד על ביצועי דיוק-Recall עדיפים לזיהוי אנומליות אקוסטיות תעשייתיות. יתרה מכך, מקדם המתיוס (MCC), המודד את האיזון בביצועי המודל, מצביע על ערך גבוה יחסית של 0.97 עבור המודל המוצע. לעומת זאת, שיטות מוקדמות יותר כגון SVM (0.73) ו-random forest (0.78) הציגו דיוק חיזוי נמוך יותר.

כדי לבחון את יציבות הגישה המוצגת, אותו ניסוי בוצע 10 פעמים עם זרעי אתחול (initialization seeds) וסכימות ערבוב נתונים משתנות. התוצאות בטבלה 7 עבור ארכיטקטורת ה-CNN-transformer היו כדלקמן: accuracy = 98.50% ± 0.19%, precision = 98.06% ± 0.23%, recall = 99.02% ± 0.22%, ו-F1-score = 98.54% ± 0.24%. סטיית התקן הקטנה יחסית מעידה על יציבות המודל. רווחי סמך של 95% חושבו עבור כל מדדי ההערכה. נקבע כי רווח הסמך עבור מדד ה-accuracy היה [98.1%, 98.9%], דבר המעיד על כך שהמודל מציג ביצועים טובים באופן עקבי. רווחי סמך צרים נקבעו גם עבור ROC-AUC, PR-AUC ו-MCC. מבחן t מזווג שהשווה בין מודל ה-CNN-transformer המוצע לבין מודל הבסיס בעל הביצועים הטובים ביותר (LSTM) הניב p value < 0.05, מה שמעיד על כך שהשיפור בביצועים שנצפה הוא מובהק ואינו מקרי.

כדי לבחון את החסינות של ארכיטקטורת ה-CNN-transformer המוצעת, הניסויים חזרו 10 פעמים עם זרעי אתחול אקראיים ותצורות ערבוב שונות, כפי שמוצג ב-איור 8. הדיוק הממוצע (accuracy), הדיוק (precision), הרגישות (recall) ומדד F1-score שהתקבלו במודל היו 98.50% ± 0.19%, 98.06% ± 0.23%, 99.02% ± 0.22%, ו-98.54% ± 0.24%, בהתאמה. מניתוח תרשים הקופסה (box plot), עולה כי קיימות וריאציות מינימליות במדדי הביצועים של המודל, מה שמעיד על יציבותו וחסינותו. לפיכך, הגישה המוצעת מראה יציבות גבוהה לאורך ניסויים מרובים, ללא שונות משמעותית, ובכך מעידה על יכולות הכללה טובות של המודל.

בנוסף, בוצע מבחן סטטיסטי המבוסס על הפלט של הרצות מרובות של הניסוי. סטיות התקן הנמוכות בכל מדדי ההערכה מעידות על רגישות מועטה לשינויים באקראיות או באימון. דבר זה מאשר כי מודל ה-CNN-transformer המוצע יכול לספק ביצועים יציבים ועקביים במערכות ייצור סייבר-פיזיות בעולם האמיתי.

מפת החום של SHAP מעניקה תחושה לגבי חשיבותם של אזורי זמן-תדר בספקטרוגרמה בחיזוי אם מצב המכונה תקין או חריג. ערכי SHAP מצביעים על התרומה של כל פרמטר לחיזוי הסופי.

במפת החום של ערכי ה-SHAP המוצגת ב-איור 9A, ערכי SHAP חיוביים (למשל, בין +0.6 ל-+1.2) מייצגים תרומה לקביעת חריגות, בעוד שערכי SHAP שליליים (כלומר, בין −0.3 ל-−0.8) מייצגים תרומה לקטגוריה הנורמלית. ציון ה-SHAP האינטנסיבי ביותר נמצא בטווח התדרים הבינוני (40–80 bins של תדר) במסגרות זמן 50–100. אזורים אלו הם האזורים המרכזיים שבהם מזוהים אותיות תקלה קריטיים במדידות אקוסטיות. יתרה מכך, פס התדרים הנמוך (פחות מ-20 bins) מראה ציוני SHAP קרובים לאפס (−0.1 עד +0.1), מה שמעיד על השפעה זניחה על קבלת ההחלטות של המודל. הדבר מעיד כי המודל מתעלם מרעשי רקע שאינם רלוונטיים לחיזוי תקלות. עקביות זמנית של ציוני SHAP גבוהים בתוך פסי זמן ספציפיים מדגישה גם את יכולתו של מודול ה-Transformer ללכוד תלויות ארוכות טווח באותות אקוסטיים. לסיכום, מפת החום של SHAP מראה בבירור שהמודל CNN-transformer מתמקד בפסי זמן-תדר ייחודיים בעלי כושר הבחנה גבוה. הדבר משפר את יכולת הפירוש של המודל ומסייע למפעיל האנושי לזהות תקלות באופן חזותי.

הודגם כי שיטת SHAP משמשת אך ורק כטכניקה לפירוש (interpretability) ואינה מהווה חלק מתהליך האימון של מודל ה-CNN-transformer. דיוק הסיווג נקבע אך ורק על ידי הפרמטרים שנלמדו על ידי רכיבי ה-CNN וה-Transformer. נעשה שימוש ב-SHAP לאחר שלב הסקת המסקנות (inference) של המודל כדי לפרש את התחזיות, וזאת על ידי זיהוי חלונות הזמן-תדר המשפיעים ביותר, המניעים את התחזיות לעבר קטגוריות נורמליות או חריגות. לפיכך, SHAP משפרת את השקיפות וההבנה האנושית מבלי להשפיע על דיוק הסיווג. ערכי ה-SHAP המסופקים על ידי המסגרה המוצעת מאפשרים ויזואליזציה ברורה שתסייע למפעילי תחזוקה לאמת את תחזיות המודל על ידי השוואת האזורים שזוהו עם התנהגות המכונה בפועל ועם רשומות התחזוקה. כך, יהיה קל יותר לבני אדם לשתף פעולה עם מכונות במהלך פעילויות תחזוקה חזויה.

כדי להעריך את רמת היכולת להסביר את התוצאות, בוצע ניתוח SHAP גלובלי של חשיבות המאפיינים, כפי שמוצג ב-איור 9B. התוצאות מראות כי רכיבים מסוימים בתדר בינוני ממלאים תפקיד משמעותי בזיהוי חריגות. יתרה מכך, מקרה בוחן המוצג ב-איור 9C מראה כי SHAP מזהה נכונה אזורים רלוונטיים לתקלות בספקטרוגרמות של מכונות חריגות. המחקר כלל מקרה בוחן איכותני המשתמש בדגימות נתונים חריגות עבור משאבות ושסתומים מתוך מאגר הנתונים MIMII. במונחים של משאבות תקולות, SHAP זיהה טווחי תדרים של 2–4 kHz הקשורים לקביטציה ובלאי. במקרה של שסתומים תקולים, הפעלת SHAP הייתה דומיננטית באזורים עם אותות הרמוניים חוזרים המעידים על דליפה. על פני דגימות בדיקה מייצגות, ויזואליזציות ה-SHAP זיהו באופן מהימן אזורי זמן-תדר מבחינים הקשורים למצבי מכונה חריגים. על ידי הדגשת האזורים הספקטרליים התורמים באופן המשמעותי ביותר לכל תחזית, הסברים אלו שופכים אור על האופן שבו המודל מקבל החלטות. ניתוח ה-SHAP מוצע ככלי לפענוח להבנת התנהגות המודל, ולא כאישוש תקלות המאומת על ידי מומחים, כיוון שתיקוף רשמי על ידי אנשי תחזוקה היה מחוץ להיקף מחקר זה.

מטריצת הבלבול מדגישה עד כמה מודל ה-CNN-transformer המוצע מבצע את הסיווג על מערך הנתונים MIMII המוצג ב-איור 10. באופן כללי, 960 דגימות נורמליות זוהו נכון כנורמליות (True Negatives), בעוד ש-20 דגימות נורמליות זוהו בטעות כחריגות (False Positives). יתרה מכך, מתוך כל הדגימות, 1010 דגימות חריגות זוהו ככאלה (True Positives), בעוד ש-10 דגימות חריגות זוהו כנורמליות (False Negatives).

כך הושגה ביצועי זיהוי גבוהים, במיוחד עבור דגימות חריגות, שהן קריטיות לתחזוקה חזוית. כפי שמוצג ב-איור 10, שגיאת False Negative נצפית לעיתים רחוקות מאוד (10 דגימות) – דבר חיוני עבור כל תעשייה כדי להבטיח את בטיחותה ואמינותה. מאידך, שגיאת False Positive (20 דגימות) מתרחשת לעיתים קרובות מעט יותר, אך נותרת ברמה נמוכה יחסית. מטריצת הבלבול המוצגת ב-איור 10 הופקה באמצעות תת-קבוצה מאוזנת של 2,000 הקלטות בדיקה (מספר שווה של דגימות תקינות וחריגות) כדי לספק ויזואליזציה ברורה של ביצועי המסווג. כל מדדי ההערכה שדווחו, כולל accuracy, precision, recall, specificity ו-F1-score, חושבו באמצעות סט הבדיקה המלא (כ-2,400 הקלטות).

בהתחשב במטריצת הבילבול המוצגת ב-איור 10 וב-טבלה 8 (TN = 960, FP = 20, TP = 1010, FN = 10), ניתן לבצע את החישובים הבאים: Accuracy = (TP + TN) / (TP + TN + FP + FN) = 98.50%, Precision = TP/(TP + FP) = 98.06%, Recall = TP/(TP + FN) = 99.02%, Specificity = TN / (TN + FP) = 97.96%, F1-score = 98.54%, ו-MCC = 0.97. יתרה מזאת, ערכי ה-ROC-AUC וה-PR-AUC היו 0.994 ו-0.982, בהתאמה. מטריצת הבילבול המוצגת ב-איור 10 נוצרה באמצעות תת-קבוצה מייצגת ומאוזנת של 2,000 הקלטות מנתוני הבדיקה לצורכי ויזואליזציה בלבד. כל מדדי הביצועים הכמותיים המדווחים במחקר זה חושבו באמצעות סט הבדיקה המלא (כ-2,400 הקלטות). באופן כללי, התוצאות מדגימות כי ארכיטקטורת ה-CNN-transformer המוצעת משיגה דיוק סיווג של 98.5%, בדומה לתוצאות המדווחות ב-טבלה 8 ובניתוח האבלאציה.

כדי לאמת את יעילות ההטמעה מבוססת הקצה, נערכו מדידות נוספות. השהיית ההסקה הממוצעת של המודל המוצע היא 18.7 ms/sample, והוא יכול לעבד כ-53 דגימות לשנייה, כפי שמוצג ב-טבלה 9. צריכת החשמל במהלך ההסקה הייתה 8.9 W, מה שביא לצריכת אנרגיה מוערכת של 0.167 J/prediction. כדי להעריך את השפעת הקיימות של הגישה המוצעת ב-טבלה 10, נלקחו בחשבון תקורה של תקשורת, צריכת אנרגיה ושימוש במשאבים. מכיוון שתהליך ההסקה מתבצע באופן מקומי בצמתי קצה, רק נתוני אבחון מסכמים מועברים לסביבת הענן. הממצאים הניסיוניים הצביעו על ירידה של 73% בתקשורת בהשוואה למערכות CPS מסורתיות מבוססות ענן. בנוסף, הסקה מקומית הפחיתה את צריכת האנרגיה ב-32%, בעוד שזמן התקשורת ירד מ-75 ms ל-20 ms.

ניתוח אבלציה (Ablation study)

מערך הנתונים MIMII הועמד למחקר אבלציה (ablation research) כדי להעריך את ההשפעה של כל רכיב בארכיטקטורת ה-CPHS המבוססת על בינה מלאכותית ניתנת להסבר. מחקר אבלציה זה בוחן את ההשפעות של שימוש ב-CNN ללמידה של תכונות מרחביות, ב-transformer encoder ללמידה של תכונות זמניות, ובאלגוריתם ה-SHAP להסברתיות עצמו. נבחנו מספר שינויים של המודל המוצע, דהיינו: (i) גרסה מבוססת CNN בלבד, (ii) גרסה מבוססת Transformer בלבד, (iii) המודל עם שילוב של CNN ו-Transformer אך ללא אלגוריתם SHAP, ו-(iv) המודל המוצע המלא עם שילוב של CNN ו-Transformer יחד עם SHAP. לצורך ההערכה, נעשה שימוש במדדים נפוצים כגון דיוק (accuracy), דיוק חיובי (precision), רגישות (recall) וציון F1.

תוצאות מחקר הבלע (ablation study) אלו מדגימות את החשיבות של כל מרכיב במסגרת המפורטת בטבלה 11. מודל ה-CNN בלבד משיג דיוק של 93.8%, מה שמעיד על כך שמיצוי מאפיינים מרחביים מספקטרוגרמות הוא יעיל, אך אינו יכול ללכוד תלויות זמניות באותות אקוסטיים. הדבר נכון גם לגבי מודל ה-Transformer בלבד, שמשיג דיוק נמוך מעט יותר (92.6%) מכיוון שהוא ממצה מאפיינים זמניים תוך הזנחת מידע מרחבי. לבסוף, מודל ה-CNN-transformer המוצע השיג דיוק של 98.5%, דיוק חיובי (precision) של 98.06%, רגישות (recall) של 99.02% ומדד F1 של 98.54%, בדומה לתוצאות הניסוי הראשי. מכיוון ש-SHAP משמש רק לצורך פרשנות בדיעבד (post hoc) ולא לאימון המודל, דיוק הסיווג זהה לזה של מודל ה-CNN-transformer המאומן. לאחר מכן, נעשה שימוש ב-SHAP כדי ליצור הסברים של שיוך מאפיינים (feature attribution). הרגישות המשופרת (99.02%) מעידה על כך שהמודל יעיל בזיהוי מצבים חריגים במכונות, ומבטיח שלא יופספו חלקים פגומים, דבר שהוא חיוני להטמעת מערכת תחזוקה חזויה.

זמינות נתונים:

מערך הנתונים Malfunctioning Industrial Machine Investigation and Inspection (MIMII) ששימש במחקר זה זמין לציבור במאגר הרשמי של Zenodo. הניסויים בוצעו באמצעות הקלטות השמע וההערות הזמינות לציבור שסופקו על ידי מחברי מערך הנתונים. ניתן לגשת למערך הנתונים בכתובת https://zenodo.org/records/3384388. קוד המימוש הנלווה למחקר זה זמין לציבור דרך מאגר Zenodo בכתובת https://zenodo.org/records/21405292. המאגר כולל את קוד המימוש עבור המסגרת המוצעת, כולל צינור עיבוד הנתונים המקדים, ארכיטקטורת המודל, תהליך האימון, סקריפטים להערכה, קבצי הגדרה וכלי עזר תומכים כדי להקל על ההבנה והשחזור העצמאי של המתודולוגיה המוצעת. מערך הנתונים MIMII אינו מופץ מחדש יחד עם קוד המימוש ויש להשיגו בנפרד מהמאגר הרשמי שלו.

איור 1: ארכיטקטורת העבודה המוצעת. תכנון ארכיטקטוני של מערכת אדם-סייבר-פיזית מונחית בינה מלאכותית ניתנת להסבר, המשלבת עיבוד מקדמי, למידה מרחבית מבוססת CNN, מידול זמני מבוסס transformer, הסבירות של SHAP ומחשוב קצה לייצור בר-קיימא. אנא לחצו כאן כדי להציג גרסה גדולה יותר של איור זה.

איור 2: תהליך העיבוד המקדים. תהליך עיבוד מקדים של אות אקוסטי המורכב מהסרת רעשים, נורמליזציה, סגמנטציה, טרנספורמציית STFT והפקת ספקטרוגרמה. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.

איור 3: חילוץ מאפיינים מרחביים באמצעות CNN. ארכיטקטורה לחילוץ מאפיינים מרחביים על ידי CNNs תוך שימוש בספקטרוגרמות באמצעות תהליכי קונבולוציה (convolution), אקטיבציה (activation) ודגימה (pooling). אנא לחצו כאן כדי להציג גרסה מוגדלת של איור זה.

איור 4: מידול זמני באמצעות מקודד טרנספורמר (transformer encoder). ארכיטקטורת מקודד טרנספורמר ללכידת תלויות זמניות ותלויות ארוכות-טווח באמצעות ייצוג רצף ספקטרוגרמה. אנא לחצו כאן כדי להציג גרסה גדולה יותר של איור זה.

איור 5: שכבת סיווג. שכבת מסווג הממפה את המאפיינים הזמניים המקודדים לערכי הסתברות לצורך חיזוי מצב המכונה. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

איור 6: תוצאת עקומת ה-ROC. השוואה של עקומות ROC עבור אלגוריתמי SVM, random forest, LSTM, CNN וה-CNN-transformer המוצע על גבי מערך הנתונים MIMII. אנא לחצו כאן להצגת גרסה גדולה יותר של איור זה.

איור 7: תוצאת עקומת הדיוק-recall. השוואת עקומות דיוק-recall המייצגת את יעילות זיהוי האנומליות של שיטות שונות של למידת מכונה ולמידה עמוקה. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

איור 8: ניתוח יציבות ביצועים בריצות מרובות. תרשים קופסה (Box plot) המראה את היציבות בביצועי Accuracy, Precision, Recall ו-F1-score שהתקבלו מעשרה ניסויים עצמאיים שבוצעו עם ארכיטקטורת ה-CNN-transformer המוצעת. הווריאציות הקטנות מעידות על יציבות וחוסן של המודל. נא ללחוץ כאן כדי להציג גרסה גדולה יותר של איור זה.

איור 9: ניתוח הסביריות מבוסס SHAP של מסגרת זיהוי האנומליות המוצעת. (A) ניתוח הסביריות מבוסס SHAP. מפת חום המשתמשת בשיטת SHAP להצגת אזורי הזמן-תדירות הרלוונטיים ביותר שמובילים לזיהוי התנהגות אנומלית. (B) ניתוח חשיבות מאפיינים באמצעות גישת SHAP גלובלית לזיהוי המאפיינים המשפיעים ביותר. (C) ויזואליזציה של הסביריות ב-SHAP עבור מכונה עם התנהגות חריגה. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

איור 10: מטריצת בלבול עבור מערך הנתונים MIMII. מטריצת הבלבול מייצגת את ביצועי הסיווג של אלגוריתם ה-CNN-transformer המוצע. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

פרמטר	תיאור
שם מערך הנתונים	מאגר הנתונים MIMII (בדיקה ובחינה של מכונות תעשייתיות שגויות)
סוגי מכונות	שסתומים, משאבות, מאווררים, מסילות גלישה
סך כל הדגימות שנעשה בהן שימוש	כ-12,000 הקלטות שמע
קורסים	נורמלי, לא נורמלי
קצב דגימה	16 kHz
משך זמן לדגימה	10 שניות
פורמט שמע	WAV
ייצוג מאפיינים	תמונות ספקטרוגרמה מבוססות STFT
שלבי עיבוד מקדימה	סינון רעשים, נורמליזציה, סגמנטציה, טרנספורמציית STFT
הקצאת תוויות	הקלטות נורמליות סווגו כ-Class 0; הקלטות חריגות סווגו כ-Class 1 בהתאם לאנוטציות של MIMII
פיצול לאימון ובדיקה	80% אימון (≈9,600 דגימות), 20% בדיקה (≈2,400 דגימות)
אסטרטגיית חלוקת נתונים	ביצוע פיצול ברמת קובץ האודיו לפני הפילוח כדי למנוע זליגת נתונים
תנאי רעש תעשייתיים	סביבות אקוסטיות תעשייתיות ריאליסטיות שנכללו בהקלטות MIMII
תחום יישום	תחזוקה חזויה וזיהוי חריגות במכונות
יעד מטרת תעשייה 5.0	זיהוי תקלות בר-הסבר, ממוקד-אדם ובר-קיימא

טבלה 1: תיאור מערך הנתונים. תיאור של מערך הנתונים MIMII ביחס לסוג המכונה, התפלגות הדגימה, מאפייני האות, ייצוג התכונות והיבטי היישום.

סוג מכונה	מזהי מכונה	הקלטות נורמליות	הקלטות חריגות	תנאי SNR (dB)	פיצול ניסויי
מאוורר	ID00–ID06	8,400	1,600	−12 to −9	80% אימון / 20% בדיקה
תיבת הילוכים	ID00–ID06	7,124	1,147	−17 to −15	80% אימון / 20% בדיקה
משאבה	ID00–ID06	7,200	1,800	−18 to −9	80% אימון / 20% בדיקה
מסילת החלקה	ID00–ID05	7,000	1,800	−14 to −12	80% אימון / 20% בדיקה
שסתום	ID00–ID05	7,000	1,800	−12 to −9	80% אימון / 20% בדיקה

טבלה 2: תיאור מערך הנתונים MIMII ששימש במחקר זה. סוגי מכונות תעשייתיות, מזהי מכונות, מספר הקלטות תקינות ואנומליות, תנאי SNR, וחלוקת האימון/בדיקה ששימשה לסיווג בינארי מודרך.

מודל	דיוק (%)	דיוק (%)	רגישות (%)	מדד F1 (%)	ספציפיות (%)
מכונת וקטורים תומכים (SVM)	88.6	86.9	85.4	86.1	90.2
יער אקראי (Random Forest - RF)	91.2	89.8	88.5	89.1	92.6
זיכרון לטווח קצר ארוך (LSTM)	94.5	93.2	92.8	93	95.1
רשת נוירונים קונבולוציונית (CNN)	96.3	95.4	94.9	95.1	96.8
CNN–Transformer (מוצע)	98.5	98.06	99.02	98.54	97.96

טבלה 3: תוצאות הסיווג עבור מערך הנתונים MIMII. השוואה של ביצועי מסווגי למידה חישובית ולמידה עמוקה באמצעות דיוק (accuracy), רגישות (precision), recall, מדד F1 וסגוליות (specificity).

פרמטר	ערך
ערכה של נתונים	מאגר הנתונים MIMII
סה"כ דגימות	~12,000
פיצול לאימון ובדיקה	80% / 20%
סוג קלט	תמונות ספקטרוגרמה
שכבות CNN	3–5 שכבות קונבולוציה
שכבות טרנספורמר (Transformer Layers)	2–4 שכבות מקודד (Encoder Layers)
גודל סדרה	32
קצב למידה	0.001
אופטימייזר	אדם
עידנים	100
חומרה	מכשיר קצה + GPU (לאימון)
אורך חלון STFT	1024
גודל קפיצה (Hop Size)	512
גודל FFT	1024
רזולוציית ספקטרוגרמה	224 × 224
נרמול	ציון Z
העשרה של נתונים (Data Augmentation)	מיסוך זמן, מיסוך תדר, רעש גאוסי
שכבות CNN	4
מסנני CNN	32, 64, 128, 256
שכבות טרנספורמר	4
ראשי קשב (Attention Heads)	8
ממד השקיעה	256
מימד הזנה קדימה (Feed-Forward Dimension)	1024
נשירה (Dropout)	0.3
זרע אקראי	42
סבלנות לעצירה מוקדמת (Early Stopping Patience)	10

טבלה 4: הגדרות סביבתיות וקונפיגורציה של היפר-פרמטרים. פרמטרים של האימון והניסויים ששימשו ליישום ארכיטקטורת ה-CNN-transformer המוצעת.

רכיב	מפרט
שפת תכנות	Python
מסגרת	TensorFlow / PyTorch
מעבד	Intel i7 / Ryzen 7
מעבד גרפי (GPU)	NVIDIA GTX 1660 / RTX Series
התקן קצה	Raspberry Pi / NVIDIA Jetson
ויזואליזציה	Matplotlib, SHAP
מכשיר קצה	NVIDIA Jetson Xavier NX
יחידת עיבוד מרכזית (CPU)	ARM v8.2 בעל 6 ליבות
זיכרון גישה אקראית (RAM)	16 GB
מערכת הפעלה	Ubuntu 20.04
מסגרת למידה עמוקה	TensorFlow/PyTorch
גודל מערך הנתונים	12,000 דגימות MIMII
קישוריות	Ethernet/Wi-Fi
פרמטרי מודל	8.4 מיליון
גודל המודל	32.7 MB
מסגרת עבודה	PyTorch + TensorRT
גודל סדרה	1
קוונטיזציה	FP16
גיזום	לא
שהיית ממוצעת	17.8 מילי-שניות (ms)
שCיב חציוני (Median Latency)	17.2 מילי-שניות (ms)
שיהוי באחוזון ה-95	19.6 מילי-שניות
קיבולת עיבוד	56 דגימות/שנייה
שימוש בזיכרון	1.4 GB
צריכת חשמל	11.3 W

טבלה 5: סביבת הסימולציה. חומרה ותוכנה ששימשו לאימון, פריסה והערכה של המודל המוצע.

מודל	ROC-AUC	PR-AUC	MCC
SVM	0.913	0.765	0.73
Random Forest (RF)	0.958	0.891	0.78
LSTM	0.97	0.912	0.86
CNN	0.98	0.95	0.9
CNN–Transformer (המוצע)	0.994	0.982	0.97

טבלה 6: השוואה של תוצאות ניסיוניות עבור ROC-AUC, PR-AUC ו-MCC. השוואה בין מודלים שונים בהתבסס על מדדי ROC-AUC, PR-AUC ומקדם המתאם של מתיוס (MCC).

מדד	ממוצע (%) + סטיית תקן (%)	95% רמת ביטחון
דיוק	98.50 ± 0.19	[98.1, 98.9]
דיוק	98.06 ± 0.23	[98.0, 98.2]
הסמכה (Recall)	99.22 ± 0.22	[98.8, 99.4]
מדד F1	98.54 ± 0.24	[98.1, 98.9]
ROC-AUC	0.984	0.004
PR-AUC	0.982	0.005
MCC	0.97	0.007

טבלה 7: תוצאות של ניתוח סטטיסטי בריבוי הרצות. סטטיסטיקות חוסן עבור ארכיטקטורת ה-CNN-transformer המוצעת לאורך 10 ניסויים, כולל הממוצע, סטיית התקן, רווח סמך של 95%, והמובהקות עבור מדדי ביצועים שונים.

מדד	ערך
דיוק (Accuracy)	98.50%
דיוק (Precision)	98.06%
רגישות (Recall)	99.02%
סגוליות (Specificity)	97.96%
מדד F1	98.54%
MCC	0.97
ROC-AUC	0.994
PR-AUC	0.982

טבלה 8: מערך בדיקה סופי של מטריצת בלבול. מטריצת הבלבול של מערך הבדיקה עבור הארכיטקטורה המוצעת, המציגה את סיווג המצבים התקינים והבלתי תקינים של המכונות, שמהם נגזרו מדדי ההערכה.

מדד	פריסת ענן	פריסת קצה (Edge)
שיהוי הסקה (ms)	85.6	18.7
קצב עיבוד (samples/s)	22	53
שימוש ברשת (MB/min)	120	18
אנרגיה לחיזוי (J)	0.52	0.17
יכולת זמן אמת	בינונית	גבוהה

טבלה 9: תוצאות השהיית ההסקה. ביצועי השהיה של פריסת הקצה של מסגרת ה-CPHS המאפשרת בינה מלאכותית ניתנת להסבר (Explainable AI), כולל זמן עיבוד, תפוקה, צריכת זיכרון ומאפיינים אחרים של זמן אמת.

מדד	CPS מבוסס ענן	CPHS מוצע בעל יכולת Edge	שיפור
העברת נתונים לשעה	100%	35%	הפחתה של 65%
שיהוי תקשורת	75 ms	20 ms	הפחתה של 73.3%
צריכת אנרגיה	100%	68%	הפחתה של 32%
פליטת פחמן מוערכת	100%	70%	הפחתה של 30%

טבלה 10: הערכת קיימות של CPHS מבוסס קצה (edge-enabled). מדידות של תקורה תקשורתית (communication overhead), צריכת אנרגיה, ניצול משאבים והשהיה (latency) משמשות להערכת הקיימות של ה-CPHS מבוסס הקצה.

וריאנט של המודל	דיוק (%)	דיוק (%)	רגישות (Recall) (%)	מדד F1 (%)
רשת עצבית קונבולוציונית בלבד	93.8	92.5	94.2	93.3
טרנספורמר בלבד	92.6	91.2	93.5	92.3
CNN + Transformer	98.5	98.06	99.02	98.54

טבלה 11: תוצאות מחקר אבלציה (ablation study). תוצאות מחקר אבלציה המדגישות את ההשפעה של מודולי ה-CNN, ה-Transformer וה-SHAP על ביצועי המודל המוצע.

דיון

התוצאות הניסיוניות מדגימות כי ארכיטקטורת ה-CNN-transformer המוצעת עולה בביצועיה על אלגוריתמים בודדים על ידי שילוב יעיל של למידת מאפיינים מרחביים וזמניים. על פי מחקר הבלסטיקה (ablation study), למרות שה-CNN מחלץ מאפיינים מבדילים מבוססי תדר מספקטרוגרמות, מקודד ה-transformer משפר את ביצועי המודל על ידי לכידה של תלויות זמניות ארוכות-טווח באותות אקוסטיים. יתרה מכך, מטריצת הבלבול מראה מעט מאוד תוצאות שגויות שליליות (false negatives), מה שמעיד על כך שהמודל המוצע יכול לזהות ביעילות תקלות במכונות. ארכיטקטורה זו הובילה לתוצאות סיווג משופרות, עם דיוק של 98.5% ושיעור recall של 99.02%. תוצאה זו היא קריטית במערכות לגילוי תקלות תעשייתיות, שכן המודל אינו יכול להחמיץ מכונות פגומות. תוצאות ניסיוניות הראו כי מסגרת ה-CNN–Transformer המוצעת, המאפשרת XAI, משלבת בהצלחה דיוק גבוה בזיהוי תקלות, יכולת פרשנות ויישום בזמן אמת בקצה (edge implementation). השילוב של שני המודולים מאפשר חילוץ סימולטני של מאפיינים מרחביים וזמניים מנתונים אקוסטיים, בעוד שהסברי SHAP משפרים את יכולת ההסבר והאמינות. תוצאות אלו עולות בקנה אחד עם עקרונות Industry 5.0, המדגישים קבלת החלטות ממוקדת אדם, קיימות וסינרגיה בין התחומים הסייברים והפיזיים. עם זאת, נדרשת הערכה מעמיקה יותר עם מאגרי נתונים תעשייתיים אחרים ופריסה מעשית כדי להעריך את יכולת ההכללה של הגישה המוצעת.

היישום של SHAP לצורך הסברתיות לא רק משפר את יעילות המערכת, אלא גם מגביר משמעותית את ההבנה של הלוגיקה הבסיסית של המודל. הוא מתמקד במיוחד בפסים של זמן-תדר החשובים לבחירות אלו. דבר זה הוא קריטי בתרחישים של Industry 5.0, שבהם בני אדם ומערכות AI צריכים לבטוח זה בזה. ממפות החום של SHAP עולה בבירור שהמודל זיהה פסי תדר מסוימים הקשורים לתקלות, ובכך הבטיח התאמה למציאות. החידוש במחקר זה אינו מבוסס אך ורק על השימוש ב-CNN-transformer או ב-SHAP לבדם, שניהם הוזכרו בספרות המדעית הקיימת. במקום זאת, הוא נובע מהיישום המשולב שלהם בתוך המבנה של שיתוף פעולה סבֶרי-פיזי ב-Industry 5.0, שבאמצעותו הם פותרים בו-זמנית בעיות של הסברתיות, קיימות, בינה בשולי הרשת (edge intelligence) ותמיכה בקבלת החלטות ממוקדת אדם. למרות שהמסגרה המוצעת נשענת על רעיונות מ-Industry 5.0, כגון שיתוף פעולה ממוקד אדם, הסברתיות, חסינות ומחשוב קצה בר קיימא, המחקר הנוכחי מעריך את ביצועיה הטכניים אך ורק באמצעות דיוק זיהוי חריגות, שיהוי (latency), צריכת אנרגיה ופרשנות. הערכה ישירה של היבטים ממוקדי אדם כגון אמון המפעיל, עומס קוגניטיבי, איכות קבלת החלטות וקבלה הייתה מחוץ למסגרת התכנון של המחקר הנוכחי. מחקרים עתידיים יכללו ניסויים של "אדם במעגל" (human-in-the-loop) כדי למדוד את היעילות של קבלת החלטות שיתופית במסגרת המוצעת. מנקודת מבט תיאורטית, מחקר זה תורם תרומה בעלת ערך להרחבת מודלים היברידיים של למידה עמוקה, על ידי הצגת היעילות של שילוב רשתות עצביות קונבולוציוניות ומבני Transformer לעיבוד נתונים תמריים-מרחביים תעשייתיים. ואכן, המאמר משפר את גישות ה-CPS וה-CPHS על ידי יישום קונספט ה-AI ההסברי לאורך תהליך קבלת ההחלטות. יתרה מכך, יישום טכניקת ה-SHAP ככלי למדידת התרומה של מאפייני זמן-תדר שונים מספק ראיות לבסיס התיאורטי של מערכות המבוססות על AI הסברי. באופן כללי, גישה זו סוללת את הדרך לפרדיגמה חדשה שבה מודלים של למידה עמוקה לא רק הופכים למדויקים יותר, אלא גם ניתנים לפירוש על ידי בני אדם, בהתאם לרעיון של Industry 5.0.

במונחים מעשיים, המערכת המוצעת מהווה פתרון מצוין לזיהוי חריגות תעשייתיות בזמן אמת ולתחזוקה חזויה. באמצעות ארכיטקטורות CPHS בקצה הרשת (edge), המערכת מאפשרת עיבוד מהיר של אותות אקוסטיים והיא מתאימה מאוד להטמעה במפעלי ייצור חכמים. שיעור ה-recall הגבוה (99.02%) מפחית את ההסתברות להחמצת תקלות, ובכך מגביר את הבטיחות התפעולית ומונע קריסות בלתי צפויות של מכונות. יתרה מכך, השימוש בהסברים מבוססי SHAP מאפשר לבני אדם להבין את תוצאות המודל, דבר החשוב במיוחד במצבים קריטיים שבהם נדרשת מעורבות אנושית בלולאת התהליך. הממצאים מהפריסה הניסיונית מדגימים בבירור את היתרונות של מחשוב קצה על פני מחשוב ענן מסורתי. זאת מכיוון שהסקה (inference) המתבצעת בקצה הרשת מצמצמת את זמני השיהוי ומשפרת את היעילות באמצעות קצב עיבוד גבוה יותר. בנוסף, הפחתת צריכת האנרגיה לכל תחזית תסייע בהשגת יעדי ייצור בר-קיימא בהתאם לתקני Industry 5.0. עם זאת, למרות תוצאות מעודדות אלו, לגישה המתוארת מספר מגבלות. ראשית, המסגרת תוקפה בעיקר על מערך הנתונים MIMII; למרות שהוא נרחב למדי, ייתכן שהוא אינו מכסה את כל התרחישים האפשריים שייתכנו בסביבה תעשייתית ממשית ובסוגים שונים של מכונות. המגבלה השנייה היא שהשימוש ב-SHAP לצורך הסבירות (explainability) מעלה את המורכבות החישובית, דבר שעלול להוות בעיה בעת פריסת המסגרת בסביבות קצה עם משאבים מוגבלים מאוד. לבסוף, המודל הקיים מוגבל לאותות אקוסטיים בלבד, בעוד שמערכות תעשייתיות דורשות עיבוד מולטי-מודלי, הכולל, למשל, רעידות וטמפרטורה.

על אף שהשימוש במערך הנתונים MIMII מבטיח תרחישי תקלות מהעולם האמיתי באקוסטיקה תעשייתית, תיקוף על מערכי נתוני ייחוס אחרים, כגון ToyADMOS, נתוני זיהוי אנומליות תעשייתיות של DCASE, נתוני מיסבים של IMS ונתוני תקלות מיסבים של CWRU, עשוי לשפר עוד יותר את יכולת ההכללה של המסגרת המוצעת. בעבודה עתידית, אנו מתכננים לבצע תיקופים חוצי-דומיינים בסוגי מכונות, שיטות חישש ותנאי ייצור כדי להבטיח את ההכללה של מסגרת שיתוף הפעולה הסייבר-פיזי המבוססת על בינה מלאכותית ניתנת להסבר (Explainable AI). מגבלה נוספת של המחקר הנוכחי היא המחסור בניסויי השוואה מול מערכות לזיהוי אנומליות אקוסטיות שפותחו לאחרונה, כגון Vision Transformers, Audio Spectrogram Transformers, Conformers וטכניקות חדשניות של למידה בפיקוח עצמי (self-supervised learning). למרות שדגם ה-CNN-transformer הראה תוצאות חזקות ויכולת פרשנות, ייערך מחקר נוסף כדי להשוות אותו לביצועי טכנולוגיות מתקדמות אלו. חיסרון נוסף של המחקר הנוכחי הוא שהערכת מאפייני תעשייה 5.0, כגון חסינות וקיימות, בוצעה באופן עקיף באמצעות מדדי רמה מערכתית, כולל השהיית הסקה (inference latency) וצריכת אנרגיה. הערכה יסודית יותר של החסינות לכשלים בתקשורת ובחיישנים, ושל הקיימות במונחים של טביעת רגל פחמנית וניצול משאבים, לא בוצעה במחקר הנוכחי. גורמים אלו צריכים להיבדק במחקרים עתידיים.

עם זאת, יש לציין כי פרדיגמת שיתוף הפעולה של "אדם במעגל" (human-in-the-loop) המתוארת במחקר זה היא תיאורטית ומיועדת להדגים את השימוש בפלטי בינה מלאכותית ניתנת להסבר (Explainable AI) לצורך קבלת החלטות במערכות סייבר-פיזיות של תעשייה 5.0 בסיוע המפעיל. תיקוף ניסיוני עם מפעילים אנושיים, ניתוח של שמישות, זמן תגובה והערכה של מומחים חורגים מהיקף מחקר זה. בעבודה זו, מוצג מודל שיתוף פעולה סייבר-פיזי חדש מונהג על ידי בינה מלאכותית ניתנת להסבר עבור ייצור בר-קיימא בסביבות תעשייה 5.0. במערכת שפותחה, נעשה שימוש בארכיטקטורת CNN-transformer היברידית כדי ללמוד ביעילות את התכונות המרחביות והזמניות של ספקטרוגרמות אקוסטיות, ובכך לאפשר זיהוי של חריגות במכונות תעשייתיות. המודל המוצע פועל בארבעה שלבים: עיבוד מקדים של נתונים אקוסטיים לספקטרוגרמות, למידה של תכונות מרחביות באמצעות CNN, למידה של תלויות זמניות באמצעות מקודד transformer, וסיווג. תוצאות שהושגו בשיטה המוצעת על מאגר הנתונים MIMII מדגימות כי המודל המוצע עלה בביצועיו על מודלי הבסיס, והשיג דיוק של 98.5% ושיעורי recall של 99.02%. יתרה מכך, שילוב של יכולת הסבר משפר את בהירות המערכת. על אף שהמסגרה המוצעת לשיתוף פעולה סייבר-פיזי בסיוע בינה מלאכותית ניתנת להסבר הניבה ביצועים טובים במערך הנתונים המקובל MIMII, המחקר מוגבל כעת לתיקוף ניסיוני. המסגרת עדיין זקוקה להערכה באמצעות ייצור רחב-היקף בסביבה תעשייתית שבה המכונות הן הטרוגניות, התנאים משתנים והפריסה היא לטווח ארוך. בנוסף, השוואות עם ארכיטקטורות כגון ViT, AST, Conformer ומודלים של למידה בפיקוח עצמי (self-supervised learning) צריכות להיכלל בעבודות עתידיות. במילים אחרות, בעוד שהמסגרת מדגימה כי שילוב של בינה מלאכותית ניתנת להסבר, שיתוף פעולה סייבר-פיזי ושיתוף פעולה של אדם במעגל הוא ישים, נדרש תיקוף נוסף לפני פריסתו בקנה מידה תעשייתי. עבודות עתידיות יבחנו את המסגרה המוצעת על פני מאגרי נתונים שונים להשוואת אבחון תקלות עבור התעשייה וייצור חוצה-תחומים, כדי להדגים את חוסנה, יכולת ההעברה והישימות שלה בתוך מערכות אקולוגיות של ייצור בר-קיימא. תיקוף עתידי יכסה ניסויים הממוקדים במפעיל, מדדי חוסן תחת תנאים תעשייתיים משבשים והערכת מחזור חיים הקשורה לקיימות.

לצורך שחזור התוצאות, עבודה זו מספקת פרטים על עיבוד מקדמי של נתונים, אסטרטגיית הפיצול, הגדרות ליצירת ספקטרוגרמות, ארכיטקטורת מודל ה-CNN-transformer, האופטימייזר, ההיפר-פרמטרים והמדדים ששימשו למדידת ביצועי המודל. הזרעים האקראיים (random seeds) נקבעו לפני הניסויים. כדי להבטיח יכולת שחזור, הניסויים נערכו על מאגר הנתונים הזמין לציבור MIMII (Malfunctioning Industrial Machine Investigation and Inspection). הקישור למאגר הנתונים הוא כדלקמן: DOI: 10.5281/zenodo.3384388. קוד המימוש הנלווה למחקר זה הועמד לשימוש הציבור דרך מאגר Zenodo: https://zenodo.org/records/21405292. אותות השמע נדגמו ב-16 kHz והומרו לספקטרוגרמות log-Mel באמצעות STFT עם גודל חלון של 1024, אורך קפיצה (hop length) של 512 וגודל FFT של 1024. ארכיטקטורת ה-CNN-transformer המוצעת כללה ארבע שכבות קונבולוציה (עם 32, 64, 128 ו-256 מסננים), ולאחריהן מקודד transformer עם ארבע שכבות, שמונה ראשי קשב (attention heads), מימד שיכון (embedding dimension) של 256 ומימד feed-forward של 1024. תהליך האימון כלל אופטימיזציית Adam עם קצב למידה של 0.0001, גודל batch של 32 ו-100 epochs. אלגוריתמים 1 ו-2 מתארים את שלב העיבוד המקדמי של הנתונים ואת הליך ההסביריות (explainability). האלגוריתם המלא, כולל פרטי המימוש, מוצג להלן.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה

שם	חברה	מספר קטלוג	הערות
סולם תמיכה חברתית	סולם אקדמי מפורסם; פותח במקור על ידי Park ועודכן/הושלם על ידי Kim	גרסה של 25 פריטים; פורמט תגובה של סולם ליקרט בן 5 דרגות; ללא מספר קטלוג מסחרי	מודד תמיכה חברתית נתפסת בקרב סטודנטים להוראה לגיל הרך בארבעה תחומים: תמיכה רגשית, תמיכה מידעית, תמיכה חומרית ותמיכה מעריכה. אלפא של קרונבך כולל’s alpha = 0.96.
סולם מסוגיות עצמי של מורים	סולם אקדמי שפורסם; פותח במקור על ידי Enochs ו-Riggs; גרסה של מחקר שעברה התאמה לסינית	גרסה בעלת 25 פריטים; פורמט תגובה של סולם ליקרט בעל 5 דרגות; ללא מספר קטלוג מסחרי	מעריך את מסירות המורים (Teacher Efficacy) בהקשר של הכשרת מורים לגיל הרך בסין, על פני מסירות כללית של מורים (General Teacher Self-Efficacy) ומסירות אישית של מורים (Personal Teacher Self-Efficacy). מקדם Cronbach כולל’s alpha = 0.96.
סולם אינטראקציה בין מורה לילד	סולם אקדמי מפורסם; פותח על ידי Lee ונבחן על ידי פאנל מומחי המחקר לשימוש בסין	גרסה בת 30 פריטים; פורמט תגובה של סולם ליקרט בן 5 דרגות; ללא מספר קטלוג מסחרי	מעריך את מסוגלות האינטראקציה בין המורה לילד כפי שדווחה על ידי המורה, ולא את איכות האינטראקציה שנצפתה בכיתה. כולל אינטראקציה רגשית, אינטראקציה מילולית ואינטראקציה התנהגותית; מקדם אלפא של קרונבך (Cronbach) כולל.’$\alpha = 0.94$.
טופס מידע דמוגרפי	צוות מחקר, שיתוף פעולה בין אוניברסיטת סיצ'ואן לאמנויות ומדעים לבין אוניברסיטת דגו	סעיף שאלון מחקר מותאם אישית; ללא מספר קטלוג מסחרי	נאספו מאפייני משתתפים, כולל מגדר, רקע השכלתי, קטגוריה מקצועית, מיקום ההתמחות, משך ההתמחות, סוג ההתמחות וסוג הגן.
מידע למשתתפים ותסריט להסכמה מדעת	צוות מחקר; אושר על ידי ועדת אתיקה במחקר של אוניברסיטת Daegu	מספר אישור אתי: XXX; יש לוודא מול רישומי האישור המקומיים	נעשה לפני הפצת השאלון כדי להסביר את מטרת המחקר ואת תוכן הסקר, ולהשיג הסכמה מדעת ממשתתפים שהם סטודנטים להוראה לגיל הגן.
חבילת שאלונים לסקר פיילוט	צוות המחקר ופאנל המומחים	גרסת פיילוט ששימשה ב-1 ביוני–5, 2024; ללא מספר קטלוג מסחרי	בוצע מבחן פיילוט לבדיקת הבהירות וההתאמה של סולם התפיסות המקצועיות, סולם התמיכה החברתית, סולם המסוגלות העצמית של מורים, סולם האינטראקציה בין מורה לילד ושל פריטי דמוגרפיה בקרב 50 סטודנטים להוראה לגיל הרך.
נוהל סקירה של פאנל מומחים	צוות המחקר; פאנל מומחים המורכב משני פרופסורים לחינוך לגיל הרך, מנהל גן ילדים אחד, שלושה מדריכי התמחות וצוות המחקר	סקירת תוכן מבוססת קונסנזוס; ללא מספר דגם מסחרי	שימש לעדכון פריטי הסולם כדי לבחון עמימות, הלימות, בהירות סמנטית, התאמה התפתחותית ורלוונטיות תרבותית לפני הסקר הרשמי.
טפסי שאלונים מודפסים לאיסוף נתונים באתר	צוות מחקר; ציוד סקר ממוסד מקומי	טפסי סקר מנייר; ללא מספר קטלוג מסחרי	שימש להגשת שאלונים במקום. במדגם הסופי, התקבלו 336 שאלונים תקפים שהוגשו במקום, בטרם שולבו עם השאלונים המקוונים.
WeChat	Tencent	אפליקציית WeChat לנייד; יש לאמת את הגרסה מתוך רשומות המכשיר/האפליקציה שנעשה בהן שימוש במהלך חודש יוני–יולי 2024	שימש כערוץ הפצה מקוון להעברת השאלונים; 27 שאלונים מקוונים מלאים נאספו באמצעות הנתיב המקוון/WeChat.
נוהל גיוס טלפוני ופרוסבי (פנים אל פנים)	צוות מחקר	הליך גיוס סטנדרטי; ללא מספר קטלוג מסחרי	משמש ליצירת קשר עם מוסדות/משתתפים, להסבר על מטרת המחקר ותוכן הסקר, ולתמיכה בהסכמה מדעת לפני administration של השאלון.
SPSS Statistics	IBM	גרסה 27.0	משמש לסטטיסטיקה תיאורית, מקדמי מתאם של פירסון, אלפא של קרונבך’ניתוח מהימנות אלפא של קרונבך, בדיקות נורמליות באמצעות התפלגות צדדית וגבנוניות, ובדיקת הרמן’מבחן גורם יחיד להטיה בשיטות מדידה נפוצות.
SPSS Amos	IBM	גרסה 26.0	משמש לניתוח גורמים מאשש (CFA), מידול משוואות מבניות (SEM), בדיקת שהיות מדידה רב-קבוצתית, בדיקת בוטסטראפ (bootstrap) של השפעות עקיפות והשוואת מודלים חלופיים.
Microsoft Excel	Microsoft	Microsoft 365 Excel או גרסת Excel המותקנת מקומית; יש לוודא את מספר הגרסה המקומי המדויק לפני ההגשה	מומלץ/משמש כסביבת עבודה לארגון נתוני סקרים מקודדים, מילון נתונים, טבלאות משלימות וטבלת החומרים של JoVE. על המחברים לוודא את הגרסה המקומית המדויקת.
קריטריונים למדדי התאמה במידול משוואות מבניות	הנחיות מתודולוגיות שפורסמו; המקורות Schreiber et al. ו-Kline שצוטטו בכתב היד	ללא מספר קטלוג מסחרי; קריטריונים שהוחלו בתוכנית הניתוח הסטטיסטי	מגדיר ומדווח על מדדי התאמה של המודל, הכוללים את סטטיסטיקת חי-בריבוע, חי-בריבוע חלקי דרגות חופש, מדד טאקר-לואיס (Tucker-Lewis Index), מדד התאמה השוואתי (Comparative Fit Index), מדד התאמה טובה מתוקנן (Adjusted Goodness-of-Fit Index), מדד התאמה מצטבר (Incremental Fit Index), שורש ממוצע ריבוע של שגיאת קירוב (Root Mean Square Error of Approximation), ושארית שורש ממוצע ריבוע סטנדרטית (Standardized Root Mean Square Residual).
הליך בדיקת תיווך באמצעות בוטסטראפ (Bootstrap)	תוכנית ניתוח סטטיסטי של צוות המחקר / SPSS Amos	5,000 מדגמי bootstrap; רווחי סמך של 95% מתוקננים להטיה (bias-corrected)	שימש לבחינת קשרים עקיפים באמצעות מסירות המורה (teacher efficacy). השפעות עקיפות נחשבו למשמעותיות כאשר רווח הסמך המתוקן להט ברמה של 95% לא כלל את הערך אפס.
נוהל בדיקת ש अपरת מדידה (Measurement Invariance)	תוכנית ניתוח סטטיסטי עבור צוות מחקר / SPSS Amos	ניתוח גורמים מאשש רב-קבוצתי; ΔCFI < .010 ו- ΔRMSEA (שגיאת ריבוע ממוצעת של הערכות) &קריטריונים של < .015	שימש להערכת שוויון קונפיגורציוני, מטרי וסקלרי בין מגדר, סוג תוכנית, משך התמחות ומוסד, לפני שפורשו אומדני SEM מאוחדים.