מטרת הפרוטוקול היא לספק מדריך שלב אחר שלב לפיתוח מודל משופר מבוסס YOLOv11n לזיהוי ציוד מגן אישי. הוא מפרט שינויים אדריכליים ואימוניים שמובילים לגלאי קל משקל בזמן אמת עם דיוק מתקדם של 90.1% mAP ויכולת פרשנות מובנית.
הרשמה ל-JoVE נדרשת לצפייה בתוכן זה. התחברו או התחילו בגרסת ניסיון בחינם.
מאמר מחקר
מטרת הפרוטוקול היא לספק מדריך שלב אחר שלב לפיתוח מודל משופר מבוסס YOLOv11n לזיהוי ציוד מגן אישי. הוא מפרט שינויים אדריכליים ואימוניים שמובילים לגלאי קל משקל בזמן אמת עם דיוק מתקדם של 90.1% mAP ויכולת פרשנות מובנית.
בבדיקת קווי הולכה חכמה, מכשירי מחשוב קצה מתמודדים עם האתגר הקריטי של איזון בין ביצועים בזמן אמת לבין דיוק זיהוי לזיהוי ציוד מגן אישי בתרחישים תפעוליים מורכבים. מחקר זה מציע את WTLS-YOLOv11n, אלגוריתם זיהוי קל משקל וניתן לפרשנות מטבעו. המתודולוגיה משלבת שלושה חידושים סינרגטיים בארכיטקטורת YOLOv11n. מודול C3K2-WTConv המשתמש בטרנספורמציית גל דיסקרטית מפרק תכונות לרכיבי תדר בעלי משמעות פיזיקלית, ומאפשר חילוץ תכונות רב-קנה מידה עמיד עם פרשנות מובנית. ראש זיהוי משולב קל משקל משיג הפחתת פרמטרים משמעותית באמצעות שיתוף משקל אסטרטגי תוך שמירה על יכולות היתוך רב-קניות. פונקציית האובדן MPDIoU משפרת את דיוק המיקום עבור מטרות קטנות ובעלי צורה לא סדירה. אימות ניסויי מראה כי המודל המוצע משיג דיוק זיהוי גבוה יותר עם פרמטרים מופחתים משמעותית ומורכבות חישובית בהשוואה לקו הבסיס, תוך שמירה על ביצועי הסקה בזמן אמת בפלטפורמות חומרה קיצונית. ניתוח פרשנות כמותית מגלה שהחלטות גילוי מונעות בעיקר על ידי תכונות מבניות בתדירות נמוכה ולא על ידי פרטים טקסטורליים בתדירות גבוהה, מה שמספק תובנה שקופה לתהליך ההיגיון של המודל. ניסויים השוואתיים מול מודלים רגילים של גילוי מאמתים את הפשרה העדיפה בין דיוק ליעילות בגישה המוצעת. עבודה זו יוצרת פתרון שקוף, יעיל ואמין לפיקוח בטיחות אוטומטי בתפעול חשמל, עם יישום רחב יותר למשימות זיהוי קריטיות לבטיחות הדורשות פריסת קצה וקבלת החלטות ניתנת לפרשנות.
למידה עמוקה שינתה את נהלי הבטיחות התעשייתיים והכניסה גישות חדשות לניהול סיכונים תעסוקתיים. טרנספורמציה זו בולטת במיוחד במגזרים בעלי סיכון גבוה כמו הנדסת מערכות כוח. מערכות פיקוח חכמות מבוססות ראייה משתמשות כיום בארכיטקטורת YOLO (אתה מסתכל רק פעם אחת)1 כדי לאפשר זיהוי אוטומטי של ציוד מגן אישי (PPE)2,3 בזמן אמת. מערכות אלו הפכו לטכנולוגיה קריטית לניטור בטיחות במקום העבודה, ומציעות שיפורים משמעותיים בדיוק גילוי ומהירות תגובה בהשוואה לשיטות המסורתיות.
מערכות אלו עוקבות באופן רציף אחר עמידה בתקני בטיחות, מפחיתות טעויות אנוש ומשפרות את הפיקוח באתרי הפעלה מורכבים. עם זאת, הרשתות העצביות העמוקות שמאחורי מערכות אלו מציבות אתגר משמעותי: תהליכי קבלת ההחלטות שלהן נותרים אטומים. חוסר הפרשנות הזה מהווה את המכשול העיקרי לאימוץ רחב יותר בתעשייה, במיוחד ביישומים קריטיים לבטיחות שבהם הבנת היגיון מערכתי חיונית לבניית אמון ולהבטחת אחריות.
כאשר מודל מייצר שיקול דעת שגוי, מפספס עובד שאינו עומד בדרישות או גורם להשבתות תפעוליות מיותרות, תהליך קבלת ההחלטות הלא מעורפל אינו מספק מידע מעשי למנהלי בטיחות. ללא היכולת לאבחן טעויות, להבין את ההיגיון של המערכת או לאמת החלטות, מערכות אלו אינן יכולות לעמוד בסטנדרטים הנדרשים באמינות בסביבות שבהן בטיחות האדם מונחת על הפרק. פער זה הוביל לביקוש גובר לגישות בינה מלאכותית להסבר (XAI)4,5,6 שמספקות דיוק ושקיפות כאחד. המטרה היא לפתח מערכות שאנשי הבטיחות יוכלו להבין, לאמת ולאמן בהן בהקשרים מבצעיים קריטיים.
שקיפות נשארת חיונית, אך יש לבנות אותה על מודלים שמבצעים באופן אמין בתנאי תפעול מאתגרים. אתרי הפעלת חשמל מציבים דרישות טכניות מובחנות הדורשות יכולות גילוי חזקות. סביבות אלו חוות שינויים קיצוניים בתאורה הנעים מאור יום עז ועד חושך מוחלט. מכונות מורכבות לעיתים קרובות חוסמות את שדה הראייה, ויוצרות אתגרי הסתרה שמודלים סטנדרטיים לזיהוי מתקשים להתמודד איתם. תנאי מזג האוויר מוסיפים שונות נוספת, המשפיעים על הראות ואיכות התמונה בין תרחישים תפעוליים שונים. התמודדות עם אתגרים אלו דורשת מודלים ששומרים על ביצועים עקביים למרות המורכבות הסביבתית הזו.
חוקרים נקטו בגישות שונות לאופטימיזציה של ביצועי YOLO ליישומי אתרי חשמל. שינויים אדריכליים מייצגים כיוון מחקר משמעותי אחד. מספר מחקרים שיפרו את רשת YOLOv57 על ידי שילוב ראשי גילוי נוספים בתוך מבנה הצוואר. שינוי זה מתמודד עם אתגר מתמשך בזיהוי ציוד מגן אישי: הקושי לזהות עצמים קטנים מרחוק או בשדות ראייה עמוסים. שכבות הגילוי הנוספות מאפשרות למודל ללכוד פרטים מרחביים עדינים יותר שארכיטקטורות סטנדרטיות עלולות לפספס.
כיוון מחקר מרכזי נוסף מתמקד באופטימיזציית מודלים לסביבות פריסה. אתרי הפעלת חשמל דורשים לעיתים קרובות מערכות זיהוי כדי לפעול על מכשירי קצה עם משאבים חישוביים מוגבלים. מגבלה זו הניעה מאמצים לדחיסת מודלים ולשיפור יעילות. החוקרים פיתחו טכניקות להקטנת גודל המודל וזמן הסקה תוך שמירה על דיוק גילוי, המאפשרות ביצועים בזמן אמת על חומרה עם יכולות עיבוד מוגבלות 8,9.
מאמצי אופטימיזציה אחרונים הציגו מספר טכניקות מבטיחות להפחתת מורכבות המודל. חוקרים שילבו רשתות עמוד שדרה יעילות כמו MobileNetv310 בארכיטקטורות כמו YOLO-M11. אחרים יישמו גיזום מודלים וזיקוק ידע לפיתוח וריאנטים קומפקטיים, כולל Light-YOLOv412. גישות אלו הראו שיפורים מדידים ביעילות החישובית ובהיתכנות הפריסה.
עם זאת, שיטות אופטימיזציה אלו מתמודדות עם מגבלה יסודית הטבועה בארכיטקטורות קונבולוציוניות קונבנציונליות. פעולות קונבולוציה סטנדרטיות דורשות שכבות רשת עמוקות יותר או גודל ליבה גדול יותר13 כדי להרחיב את שדה הקליטה, שהוא חיוני ללכידת מידע הקשרי על פני התמונה. דרישה אדריכלית זו יוצרת פשרה בלתי נמנעת. ככל שהמודלים צוברים את היכולת להפיק תכונות עשירות יותר ולהבין הקשר מרחבי רחב יותר, מספר הפרמטרים והדרישות החישוביות שלהם עולים משמעותית. המודלים המתקבלים לעיתים קרובות עולים על יכולות העיבוד של מכשירי קצה, מה שמגביל את הפריסה המעשית שלהם בסביבות תפעול בזמן אמת.
המתח בין יכולת חילוץ תכונות ליעילות חישובית מהווה אתגר מתודולוגי משמעותי שהגישות הנוכחיות עדיין לא פתרו במלואו. התחום דורש גישה שונה מהותית לחילוץ תכונות, שיכולה ללכוד תכונות היררכיות רב-קנה מידה ללא העלייה הפרופורציונלית בפרמטרים שהשיטות המסורתיות מטילות. גישה כזו תאפשר למודלים לשמור הן על ביצועי הגילוי הנדרשים ליישומים קריטיים לבטיחות והן על היעילות הנדרשת לפריסת קצות. תיקון פער זה מהווה עדיפות מחקרית לקידום מערכות זיהוי PPE מעשיות בסביבות תפעול חשמל.
שיטות ההסבר הנוכחיות לזיהוי אובייקטים משתמשות בעיקר בגישות ניתוח פוסט-הוק14 כגון Grad-CAM. למרות ששיטות אלו מספקות ויזואליזציות שימושיות, הן פועלות באופן עצמאי מתהליך הלמידה של המודל. גישה חלופית היא לתכנן רכיבים אדריכליים שמציעים שקיפות דרך מנגנוני התפעול שלהם. חילוץ התכונות המבוסס על גלים מספק דרך פשוטה להבין אילו רכיבי תדר תורמים לגילויים, אם כי נדרש מחקר נוסף כדי לכמת במלואו את היכולת לפרשנות זו.
מחקר זה מתמודד עם שלושה אתגרים מקושרים במערכות זיהוי ציוד מגן אישי: דיוק גילוי, יעילות חישובית ויכולת פרשנות למודל. העבודה משנה את ארכיטקטורת YOLOv11n15 באמצעות שלושה שינויים עיצוביים ממוקדים.
השינוי הראשון מציג את מודול C3K2-WTConv, שמחליף את הקונבולוציה הסטנדרטית בתהליך חילוץ תכונות בהשראת גל. גישה זו מחלקת את המידע החזותי לרכיבי תדר: אותות בתדר נמוך מכילים מידע על צורה וקווי מתאר, בעוד שאותות בתדר גבוה מקודדים פרטי טקסטורה וקצוות. הפרדה זו משפרת את איכות התכונות והופכת את תהליך החילוץ לשקוף יותר מפעולות קונבולוציה קונבנציונליות.
השינוי השני מיישם ראש זיהוי משולב קל משקל (LSCD) כדי להפחית דרישות חישוביות. רכיב זה משתמש בשיתוף פרמטרים בין סולמות גילוי, ומקטין את גודל המודל תוך שמירה על יכולות זיהוי רב-קניות. עיצוב זה מתמקד במגבלות המשאבים האופייניות למכשירי קצה המשמשים באתרי הפעלת חשמל.
השינוי השלישי מחליף את פונקציית האובדן הסטנדרטית באובדן MPDIoU16 כדי לשפר את דיוק תיבת הגבול. שינוי זה מתמודד עם אתגרי לוקליזציה הקשורים לפריטי PPE קטנים ובעלי צורה משתנה, על ידי מתן יציבות גרדיאנט טובה יותר במהלך האימון.
בדיקות מראות שהמודל המותאם משיג ממוצע דיוק ממוצע גבוה ב-3.8% מהבסיס תוך שימוש ב-11.5% פחות פרמטרים. תוצאות אלו מצביעות על כך שהגישה עומדת בדרישות המעשיות לפריסת קצה תוך שיפור ביצועי הזיהוי. העבודה מספקת פתרון פונקציונלי לניטור בטיחות בתפעול החשמל, אם כי יש צורך באישור נוסף בתנאי תפעול מגוונים להערכת אמינות המערכת במלואה.
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
נתוני התמונה של מחקר זה נאספו מסביבות הפעלה של חשמל עם הרשאות נדרשות. כל התמונות היו אנונימיות ללא כל מידע אישי מזהה. מחקר זה מתמקד בזיהוי ציוד מגן אישי במקום בזיהוי יחידים. מכיוון שהמחקר כולל רק פיתוח אלגוריתמים באמצעות נתונים אנונימיים, לא נדרשה אישור אתי.
הפרוטוקול הבא מפרט הליך מקיף לתכנון, הדרכה והערכה של מודל זיהוי עצמים קל, בעל ביצועים גבוהים וניתן לפרשנות מטבעו, בשם WTLS-YOLOv11n, לזיהוי ציוד מגן אישי (PPE). התוכנה שבה השתמשו במחקר זה מופיעה בטבלת החומרים.
מסגרת אדריכלית כוללת
המודל המוצע של WTLS-YOLOv11n מבוסס על קו הבסיס של YOLOv11n. המתודולוגיה המרכזית כוללת החלפה שיטתית או שיפור שיטתי של מודולים מרכזיים בעמוד השדרה ובראש כדי לשפר ביצועים, יעילות ויכולת פרשנות.
המודל המוצע של WTLS-YOLOv11n מבוסס על קו הבסיס של YOLOv11n. המתודולוגיה המרכזית כוללת החלפה שיטתית או שיפור שיטתי של מודולים מרכזיים בעמוד השדרה ובראש כדי לשפר ביצועים, יעילות ויכולת פרשנות. הפרדיגמה האדריכלית הכוללת של YOLOv11n, הכוללת עמוד שדרה, צוואר וראש, נשמרה בדגם המוצע. בעמוד השדרה, מודולים ספציפיים של C3K2 הוחלפו במודולי C3K2-WTConv המוצעים לשיפור חילוץ התכונות. בראש, ראש הגילוי המקורי הוחלף בראש זיהוי משולב קל משקל (LSCD) שהוצע כדי להפחית את מורכבות המודלים. הארכיטקטורה המלאה של מודל WTLS-YOLOv11n המוצע, בהשוואה לקו הבסיס, מוצגת באיור 1.
עיצוב מודול C3K2-WTConv
מודול זה תוכנן להחליף את המודולים הקונבולוציונליים הסטנדרטיים בתוך עמוד השדרה של YOLOv11n. העיצוב שלו מונחה על ידי שני יעדים עיקריים: (א) להרחיב ביעילות את שדה הקליטה של המודל ללכידת מידע הקשרי רב-קנה מידה מבלי להגדיל משמעותית את מספר הפרמטרים או את המורכבות החישובית, ו-(ב) ללמוד ייצוגי תכונות עמידים וניתנים לפרשנות מהותית על ידי פירוק מפורש של מפות תכונות לתחום התדר.
עיצוב שכבת הליבה WTConv
שכבת WTConv הבסיסית (Wavelet Transform Convolution) נועדה לממש את טרנספורמציית גל ההאר הדיסקרטית הדו-ממדית. תהליך זה מתבצע באמצעות סט של גרעיני גל ספציפיים:
גרעיני גלים: הטרנספורמציה מיושמת באמצעות ארבעה גרעיני קונבולוציה קבועים, שאינם ניתנים לאימון, בעומק (F_LL, F_LH, F_HL, F_HH), המתאימות לפונקציות בסיס גל האר. גרעינים אלו אחראים לפירוק מפת תכונות הקלט לרכיבים בתדר נמוך וגבוה.
פירוק ודגימה קטנה: גרעינים אלו מוחלים על מפת תכונות הקלט (X) בצעד של 2. פעולה אחת זו מבצעת ביעילות גם פירוק תכונות וגם דגימה מרחבית קטנה, ומחלקת את הקלט לארבעה תת-תחומים מובחנים.
פירוש פיזיקלי של רכיבי פלט
ארבעת תתי-הרצועות המיוחדות שנוצרות על ידי פירוק הגל מחזיקות בפרשנות פיזיקלית ברורה. כפי שמודגם באיור 2, שכבת WTConv מפרקת את הקלט באופן רקורסיבי לרכיבים הבאים:
רכיב בתדר נמוך (LL): רכיב זה שומר על המבנה הכולל, קווי המתאר ומידע גלובלי אחר של המטרה במחצית הרזולוציה המרחבית. היא משמשת כבסיס למודל להבין את "צורתה" של המטרה.
רכיבים בתדר גבוה (LH, HL, HH): שלושת הרכיבים הללו לוכדים פרטים דקים כמו קצוות ומרקמים אופקיים, אנכיים ואלכסוניים, בהתאמה. הם מאפשרים למודל להתמקד ב"פרטים" של המטרה.
אינטגרציה במבנה מודול C3K2
שכבת WTConv המתוכננת משולבת בצורה חלקה במבנה צוואר הבקבוק C3K2 של YOLOv11n.
אסטרטגיית החלפה: בתוך מודול C3K2 המקורי, שכבת הקונבולוציה הסטנדרטית 3x3 מוחלפת בשכבת WTConv. גישה זו שומרת על מנגנון השימוש החוזר היעיל בתכונות של ארכיטקטורת C3K2 תוך הצגת יתרונות טרנספורמציית הוויפלט, מה שמוביל למודול הסופי C3K2-WTConv (מבנה מפורט מוצג באיור 3).
הרחבת שדה קליטה מדורגת: תהליך WTConv יכול להיות מיושם רקורסיבית על פלט בתדר נמוך (LL) של השלב הקודם. מנגנון פירוק מדורג זה מאפשר למודל לנתח תכונות בשדה קליטה שגדל באופן מעריכי עם עומס חישובי מינימלי, ובכך ליצור מסלול פירוק תדר רב-קנה מידה יעיל.
עיצוב ראש זיהוי משולב משולב קל משקל (LSCD)
מודול זה תוכנן להחליף את ראש הגילוי המקורי YOLOv11n, עם המטרה העיקרית להפחית באופן דרסטי את מורכבות המודל ואת העומס החישובי לפריסה יעילה על מכשירי קצה מוגבלים במשאבים. העיצוב מתייחס לעודף הפרמטרים המשמעותי שנמצא בראשי זיהוי רב-קנה מידה סטנדרטיים (מבנה מפורט המוצג באיור 4).
היגיון ומטרות עיצוב
הסתעפות החיזוי העצמאיות לכל סולם תכונות (P3-P5) בראש YOLOv11 המקורי הובילו למספר פרמטרים גבוה. ה-LSCD מציגה אסטרטגיית שיתוף פרמטרים היברידית להשגת יעילות פרמטרים עליונה תוך שמירה על יכולות היתוך קריטיות של תכונות רב-קניות.
שיתוף פרמטרים ומנגנון מיזוג תכונות
ליבת ה-LSCD טמונה בצינור עיבוד תכונות דו-שלבי:
עיבוד מוקדם ספציפי לסקאלה: עבור כל מפת תכונות קלט מהצוואר (P3, P4, P5), מוחלת קונבולוציה 1x1 לא משותפת ואחריה שכבת נורמליזציה קבוצתית (GN). שלב ראשוני זה מאפשר לרשת ללמוד טרנספורמציות ערוצים ספציפיות בקנה מידה, ולהבטיח שמאפיינים ייחודיים של כל רמת תכונה נשמרים לפני המיזוג.
היתוך יעיל בקנה מידה חוצה קנה מידה: לאחר העיבוד המוקדם, נעשה שימוש בסדרה של מודולי Convolution-GN משותפים 3x3 לביצוע מיזוג תכונות הליבה בקני מידה שונים. על ידי שיתוף משקלים, מודולים אלו לומדים דפוס מיזוג תכונות כללי, שהוא המקור העיקרי להפחתת פרמטרים. עיצוב זה מאלץ את המודל ללמוד ייצוגי היתוך עמידים ואוניברסליים יותר.
התאמה דינמית בקנה מידה ואופטימיזציה של ענפים
כדי לפצות על אובדן מידע אפשרי כתוצאה משיתוף משקל ולשיפור דיוק התחזית, מוצגים שני מנגנונים נוספים:
שכבת קנה מידה ללמידה: מתווספת שכבת קנה מידה ללמידה לכל סולם גילוי. שכבה זו מציגה סקלר ללמידה לפי קנה מידה שמשקלל מחדש דינמית את התכונות הממוזגות, ומאפשר למודל להדגיש או לדכא תכונות באופן אדפטיבי בהתבסס על גודל אובייקטי היעד הנפוצים באותו קנה מידה.
ענף סיווג אופטימלי: ענף הסיווג משודרג באמצעות פונקציית ההפעלה Softmax להתפלגות הסתברותיות ושילוב שכבת נורמליזציה קבוצתית (GN). זה מייצב את אימון משימת הסיווג ומשפר את עמידות תחזיות הביטחון, טכניקה שהוכחה כיעילה בארכיטקטורות כמו FCOS.
עיצוב פונקציית אובדן משופר (MPDIoU)
פונקציית האובדן מתוכננת מחדש כדי להתמודד במיוחד עם אתגרים של רגרסיה מדויקת של תיבת הגבלה עבור מטרות קטנות, עמוסות ובצורה לא סדירה, הנפוצים בתרחישי זיהוי ציוד מגן אישי.
מוטיבציה ומגבלות של אובדן IoU מסורתי
הפסדים מבוססי IoU סטנדרטיים סובלים ממספר חסרונות קריטיים בהקשר זה:
גרדיאנטים נעלמים: כאשר קופסאות האמת החזויה והקרקעית אינן חופפות, ה-IoU הוא אפס, וגרדיאנט האובדן נעלם, מה שמעכב את תהליך הלמידה.
חוסר רגישות ליישור: תצורות קופסאות גבול מרובות יכולות להניב את אותו ציון IoU, מה שהופך את פונקציית ההפסד ללא רגישה לאיכות היישור (למשל, סטיית נקודת מרכז לעומת אי-התאמה בצורה).
ביצועים ירודים באובייקטים קטנים: עבור מטרות קטנות, אפילו סטיות פיקסל קלות יכולות להיות משמעותיות, אך לעיתים קרובות הן גורמות לשינויים זניחים בערך ה-IoU, מה שמוביל ללוקליזציה לא מדויקת.
אימוץ אובדן IoU למרחק מינימלי (MPDIoU)
כדי להתגבר על המגבלות שהוזכרו, הפרוטוקול מחליף את ההפסד הסטנדרטי באובדן IoU של מרחק נקודה מינימלי (MPDIoU). MPDIoU משפר את מדד ה-IoU הסטנדרטי על ידי שילוב תנאי עונש שמעניש ישירות את המרחק בין קופסאות האמת החזויה לקופסת האמת הקרקעית, גם כאשר הן אינן חופפות.
מנגנון ליבה: מונח העונש נגזר מהמרחק האוקלידי בין נקודות הפינה המתאימות של הקופסה החזויה (pred) לתיבת האמת הקרקעית (gt). במיוחד, המרחקים הריבועיים לפינות העליונה-שמאלית
) והפינות התחתונה-ימין (
) מחושבים:
(1)
(2)
כדי להבטיח שהעונש יהיה בלתי משתנה בקנה מידה, מרחק זה מנורמל על ידי מידות הקופסה המקיפה הקטנה ביותר שמכסה הן את קופסת האמת החזויה והן את קופסת האמת הקרקעית. יהי w ו-h הם הרוחב והגובה של הקופסה המקיפה הזו, בהתאמה. מטריקת MPDIoU מנוסחת כך:
(3)
לבסוף, פונקציית האובדן של MPDIoU (LMPDIoU) מוגדרת כך:
LMPDIoU = 1 - MPDIoU (4)
יתרונות מרכזיים: מונח העונש הגיאומטרי הזה מטפל ישירות בבעיות שהוזכרו לעיל על ידי: i) מתן גרדיאנט משמעותי ולא אפס גם כאשר הקופסאות אינן חופפות, ובכך מונע היעלמויות גרדיאנט ומבטיח אופטימיזציה רציפה של המודלים, ii) מתן רגישות מוגברת לסטיות מיקום, גודל ויחס גובה, דבר קריטי למיקום מדויק של פריטי PPE קטנים ומגוונים, iii) העברת אותות גרדיאנט יציבים ועקביים יותר לאורך כל האימון, מה שמקדם התכנסות מהירה יותר ומוביל לדיוק מיקום מעולה.
מערכי נתונים והגדרת ניסוי
מאגר נתונים לזיהוי PPE שנבנה בעצמך
הקמנו מאגר נתונים לזיהוי PPE הכולל 5,000 תמונות ברזולוציה גבוהה מתפעול קווי העברת חשמל, עם הערות ב-LabelImg והומרו לפורמט YOLO TXT. מאגר הנתונים כולל חמש קטגוריות: קסדות בטיחות (1,245 מקרים), רתמות בטיחות (1,128 מופעים), סרטי זרוע (892 מופעים), מצב עבודה בגובה (1,056 מופעים), ומצב ברמת הקרקע (1,124 מופעים). הנתונים מחולקים לקבוצות אימון (4,000 תמונות), אימות (500 תמונות) ובדיקות (500 תמונות). התמונות מציגות תנאים מאתגרים, כולל תאורה קיצונית, חסימה כבדה (23% עם >50% כיסוי), ורקעים תעשייתיים מורכבים. טכניקות הרחבה סטנדרטיות (הפיכה אקראית, סיבוב, רטט צבע, פסיפס) יושמו במהלך האימון.
מאגר נתונים של PASCAL VOC לבדיקות הכללה
כדי להעריך את יכולת ההכללה של המודל מעבר לתרחישי תפעול הספק, השתמשנו במאגר הנתונים של PASCAL VOC, שמשלב VOC2007 ו-VOC2012 לסך של 21,503 תמונות. בהתאם לנוהג הסטנדרטי, השתמשנו ב-11,540 תמונות מ-VOC2012 לאימון ואימות, וב-9,963 תמונות מ-VOC2007 לבדיקות. מאגר הנתונים של VOC מכיל 20 קטגוריות אובייקטים בתרחישים מגוונים בעולם האמיתי. למרות שהאובייקטים הספציפיים שונים מקטגוריות ה-PPE שלנו, אתגרי הגילוי (שונות בקנה מידה, הסתרה, רקעים מורכבים) דומים, מה שהופך אותו למתאים להערכת יכולות הגילוי הכלליות וההעברה של המודל.
פרטי היישום
פרוטוקול זה מפרט את ההליך לאימון והערכת המודל. מניחים שלמשתמש יש גישה לקוד המקור, לסביבת פייתון מתאימה, ולמערכי הנתונים המוכנים.
הכנת מערכת וסביבה
תחנת עבודה המצוידת בכרטיס גרפי של NVIDIA עם לפחות 24GB של VRAM שימשה להבטחת זיכרון מספק לאימון (למשל, NVIDIA GeForce RTX 4090). מסגרת הלמידה העמוקה של PyTorch (גרסה 1.12.0 ומעלה) יחד עם ערכת הכלים CUDA המתאימה הותקנה על תחנת העבודה. ההתקנה אושרה על ידי פתיחת טרמינל וביצוע הפקודה "python -c 'import torch; print(torch.cuda.is_available())'", שציפו להחזיר "True". חבילות פייתון נדרשות הותקנו על ידי ניווט לתיקיית השורש של הפרויקט וביצוע הפקודה "pip install -r requirements.txt". פקודה זו התקינה אוטומטית תלותיות כולל numpy, opencv-python, pyyaml, tensorboard ו-torchvision. הכנת מערכי הנתונים אושרה כדי לוודא שתמונות האימון ממוקמות ב-/data/train/images/ וקבצי ההערות היו ב-/data/train/labels/ בפורמט YOLO (גובה רוחב x_center y_center מחלקה ). אותו תהליך אימות הוחל על מאגרי האימות (/data/val/) והבדיקות (/data/test/).
תצורת אימונים
קובץ הקונפיגורציה config/wtls_yolov11n.yaml נפתח באמצעות עורך טקסט להגדרת פרמטרי האימון. נתיבי הנתונים הוגדרו על ידי איתור פרמטר 'path' והגדרתו לתיקיית השורש של מאגר הנתונים, בעוד שהפרמטרים 'train', 'val' ו-'test' אומתו כדי להצביע על תת-התיקיות הנכונות. פרמטר 'nc' (מספר המחלקות) אושר כמתאים למאגר הנתונים, שהוגדר ל-5 לזיהוי ציוד מגן אישי. ההיפרפרמטרים של האימון הוגדרו כך שמספר האפוקים מוגדר ל-300 לאימון מלא וגודל האצווה מוגדר ל-16, מתוך הבנה שניתן להתאים ערך זה בהתאם לזמינות זיכרון ה-GPU ולהפחית ל-8 אם מתרחשות שגיאות מחוץ לזיכרון. גודל התמונה הנכנס (imgsz) הוגדר ל-640, והאופטימייזר אושר כ-SGD עם קצב למידה התחלתי (lr0) של 0.01. דעיכת המשקל אושרה כ-0.0005 והתנע נקבע ל-0.937. טכניקות הגדלת נתונים הופעלו באמצעות הגדרות ברירת המחדל, שכללו הגברת פסיפס (פסיפס: 1.0), היפוך אופקי אקראי עם הסתברות של 50%, ורעידות צבע עם פרמטרים hsvh: 0.015, hsvs: 0.7, ו-hsvv : 0.4. פרמטרי ניצול החומרה הוגדרו כך שמספר העובדים הוגדר ל-8 עבור תהליכי CPU המשמשים בטעינת נתונים, ופרמטר המכשיר מוגדר ל-0 לשימוש ב-GPU הראשון, עם אפשרות להגדיר אותו ל-"0,1" להדרכה מרובת GPU במידת הצורך.
ביצוע אימון מודלים
אימון מודל הופעל משורת הפקודה על ידי ביצוע הפקודה "python train.py --cfg config/wtls_yolov11n.yaml --weights ''--data data.yaml", כאשר פרמטר --cfg ציין את קובץ תצורת המודל, פרמטר --weights הוגדר למחרוזת ריקה לאימון מאפס (לחלופין, yolov11n.pt יכול לשמש ללמידת העברה), ופרמטר --data ציין את תצורת מערך הנתונים. במהלך ההדרכה, נצפו מדדי התכנסות כדי לעקוב אחר ביצועי המודלים. ב-50 התקופות הראשונות נצפתה ירידה מהירה באובדן עם ירידה box_loss מכ-1.5 לכ-0.8. בין תקופות 50 ל-150, נרשמה שיפור יציב כאשר box_loss ירדה מכ-0.8 ל-0.5. בתקופות 150 עד 300, שלב הכוונון המדויק התרחש כאשר box_loss התייצב סביב 0.4 עד 0.5. מדד האימות mAP@0.5 היה צפוי להגיע ליותר מ-85% עד אפוק 200. שמירה בנקודות ביקורת נבדקה כדי לוודא שהאימון שומר אוטומטית נקודות ביקורת כל 10 אפוקים לתיקיית runs/train/exp/weights/. אושרה נוכחות last.pt (נקודת ביקורת עדכנית) ו-best.pt (נקודת ביקורת עם ה-mAP הגבוה ביותר), כאשר כל קובץ נקודת ביקורת צפוי להיות בגודל של כ-5 עד 6 מגה-בייט. התקדמות האימון יכלה להיות מנוטרת באופן אופציונלי באמצעות TensorBoard על ידי פתיחת טרמינל חדש וביצוע הפקודה "tensorboard --logdir runs/train", ואז ניווט בדפדפן כדי http://localhost:6006 לצפות בגרפים בזמן אמת של עקומות אובדן, לוח זמנים לקצב למידה ומגמות mAP. בעיות נפוצות טופלו באמצעות הליכי פתרון תקלות, שבהם שגיאות חוסר הזיכרון של CUDA נפתרו על ידי הפחתת גודל האצווה ל-8 או 4, ערכי אובדן NaN טופלו על ידי הורדת קצב הלמידה ל-0.005, ורמות mAP מתחת ל-80% נחקרו על ידי אימות נכונות ההערות והגדלת תקופות האימון ל-400.
פרוטוקול הערכת מודלים
בוצע הליך הערכה רב-ממדי כדי לאמת באופן מקיף את היעילות, היעילות והיכולת לפרשנות של המודל המוצע.
הערכת ביצועים כמותית
מדדי ביצועים
העריך את דיוק המודל באמצעות ממוצע דיוק ממוצע (mAP) בסף IoU של 0.5 (mAP@0.5), דיוק ושחזור. הערכת יעילות המודל על ידי מדידת מספר הפרמטרים הכולל (M) ופעולות נקודה צפה (FLOPs, G). מדוד מהירות הסקה בפריימים לשנייה (FPS) הן בכרטיס גרפי ברמת שרת והן במכשיר קצה. לבדיקת מכשירי קצה, הגדר את מצב ההספק לביצועים מקסימליים וחמם את המודל עם 100 הסקות דמה לפני הקלטת FPS מעל 500 תמונות בדיקה.
השוואה למודלים מתקדמים: השווה את מודל WTLS-YOLOv11n המוצע מול קו הבסיס הישיר שלו (YOLOv11n) ומגוון רחב של גלאים, כולל מודלים מיינסטרימיים מבוססי CNN (YOLOv5n, YOLOv8n, YOLOv9s), גלאי דו-שלבי (Faster R-CNN) וגלאי מבוסס טרנספורמר (RT-DETR). אמן את כל המודלים ל-300 אפוקים לפי ההיפרפרמטרים המומלצים כברירת מחדל. רשם את כל המדדים שהוגדרו בסעיף מדדי הביצועים עבור כל מודל הן במערך הנתונים PPE שנבנה בעצמך והן במאגר הנתונים PASCAL VOC. להערכת VOC, יש להתאמן על ערכות VOC2012 משולבות VOC2007 ו-, ואז לבדוק על סט הבדיקה VOC2007 לפי הפרוטוקול הסטנדרטי.
מחקרי אבלציה: ביצוע מחקר אבלציה שיטתי לניתוח התרומה האישית של הרכיבים המוצעים.
ניתוח יעילות רכיבים: החל ממודל YOLOv11n הבסיסי, אינטגר בהדרגה את מודול C3K2-WTConv, ראש LSCD ואובדן MPDIoU. לכל קונפיגורציה, לאמן מחדש את המודל ל-300 אפוקים באמצעות אותם היפרפרמטרים (גודל אצווה 16, קצב למידה 0.01, אופטימייזר SGD). רשמו את השינויים ב-mAP, דיוק, שחזור, פרמטרים, FLOPs ו-FPS כדי לאמת את יעילות כל רכיב. חשב אחוזי שיפורים ביחס לקו הבסיס לכל מדד.
ניתוח מיקום: כדי לקבוע את המיקום האופטימלי של מודול C3K2-WTConv, יש לשלב אותו בחלקים שונים בארכיטקטורת הרשת. בדקו שלוש תצורות: (i) אינטגרציה עם עמוד שדרה בלבד, (ii) אינטגרציה עם צוואר בלבד, ו-(iii) אינטגרציה מלאה הן בעמוד השדרה והן בצוואר. אימנו כל תצורה ל-300 אפוקים והשוו את הציונים של mAP@0.5 כדי לזהות את אסטרטגיית האינטגרציה היעילה ביותר. בחר את התצורה האופטימלית לכל הניסויים הבאים.
הערכת ביצועים איכותית
הדמיית תוצאות גילוי: בחרו 12-15 תמונות מייצגות מתוך ערכת הבדיקה המציגות תרחישים מאתגרים מהעולם האמיתי, כולל תאורה אחורית חזקה, חסימה כבדה של אובייקטים, רקעים מורכבים וזוויות מצלמה לא שגרתיות. לכל מודל השוואה (בסיס, YOLOv5n, YOLOv8n, YOLOv9s ו-WTLS-YOLOv11n), יש להריץ הסקה על תמונות אלו באמצעות סף אמון של 0.25 וסף IoU של 0.45. יצר ורנדר את פלטי הזיהוי (תיבות הגבלה עם תוויות מחלקות וציוני ביטחון) על תמונות אלו. סדר ויזואליזציות בפורמט רשת שבו שורות מייצגות תרחישים שונים ועמודות מייצגות מודלים שונים.
ניתוח עמידות: השווה ויזואלית את פלטי הזיהוי המוצג ממודלים שונים. הערכו את החוסן והעליונות של המודל המוצע על ידי ספירת וסימון מקרים של שליליות שגויה (אובייקטים שהוחמצו), חיוביים שגויים (זיהויים שגויים) וזיהויים כפולים (מספר תיבות לאובייקט יחיד עם IoU > 0.7 בין תחזיות). השתמש בעיגולים אדומים כדי להדגיש גילויים בעייתיים בתמונה הוויזואלית. חשב שיעורי שליליות שגויות וספירות חיוביות שגויות לכל מודל לאורך תמונות הבדיקה הנבחרות. להוציא ולהשוות את ציוני הביטחון הממוצעים לזיהוי חיובי אמיתי בין מודלים.
ניתוח פרשנות
כדי לאמת את הפרשנות הטבועה במודול C3K2-WTConv, בוצעה הליך ויזואליזציה על תמונות קלט נבחרות. דגם WTLS-YOLOv11n המאומן נטען ונרשם וו קדמי נרשם על מודול C3K2-WTConv בשכבה הרביעית של עמוד השדרה. התפשטות קדימה בוצעה על תמונת הקלט, וטנסור תכונת הפלט נלכד. מהמנזר התכונה שנתפס בצורת [אצווה, ערוצים, גובה, רוחב], הופרדו ערוצים התואמים לרכיבי תדר שונים. 25% הראשונים של הערוצים הוגדרו כרכיב בתדר נמוך (LL) ו-75% הנותרים הוגדרו כרכיבים בתדר גבוה (LH, HL, HH). עבור כל סוג רכיב תדר, הממוצע בכל הערוצים בתוך אותו רכיב חושב ליצירת מפות הפעלה חד-ערוציות. נורמת L2 יושמה על ממדים מרחביים כאשר נדרש כדי להדגיש הפעלה חזקה. מפות ההפעלה נורמל לטווח [0, 1] והוחל מפת צבעים (למשל, מפת צבע 'jet'). מפות החום שונו כדי להתאים לרזולוציה המקורית של התמונה באמצעות אינטרפולציה בילינארית. מפת החום בתדר נמוך ומפת חום בתדר גבוה הונחו על התמונה המקורית עם שקיפות של 40% ליצירת ויזואליזציות שניתן לפענח המראות היכן המודל מתמקד בתכונות מבניות לעומת טקסטורליות.
כדי לאמת באופן קפדני שהחלטות הגילוי תלויות בתכונות בתחום התדר, בוצע ניתוח כמותי. נבחרה תת-קבוצה של 200 עד 300 תמונות מתוך קבוצת הבדיקה שכללה זיהויים מוצלחים (ציון ביטחון גבוה מ-0.5). תת-קבוצה זו הובטלה לייצג תרחישים מגוונים כדי למנוע הטיית דגימה. עבור כל תמונה בתת-הקבוצה בוצעה התפשטות קדימה, והפלט של מודול C3K2-WTConv בשכבת עמוד השדרה הרביעית הוצא. טנזור התכונה חולק לרכיבים בתדר נמוך (LL, 25% הראשונים של הערוצים) ובתדר גבוה (HF, 75% הנותרים מהערוצים). עבור כל תמונה, חוזק ההפעלה המוחלט הממוצע חושב על פני ממדים מרחביים (גובה ורוחב) עבור שני רכיבי התדר. חוזק ה-LL חושב כממוצע הערך המוחלט של תכונות LL בכל המיקומים המרחביים, ועוצמת ה-HF חושבה כממוצע הערך המוחלט של תכונות HF בכל המיקומים המרחביים. ערכים אלו נרשמו יחד עם ציון הביטחון המקסימלי בזיהוי עבור אותה תמונה. באמצעות הנתונים שנאספו (LL_strength, HF_strength, confidence_score) בכל התמונות, חושבו מקדמי המתאם של פירסון. חושב המתאם בין חוזק LL לציון הביטחון, כמו גם המתאם בין חוזק ה-HF לציון הביטחון. תוכנה סטטיסטית או פונקציית scipy.stats.pearsonr של פייתון שימשה לקבלת מקדמי קורלציה (r) וערכי p. מובהקות סטטיסטית הוערכה באמצעות סף ערך p של 0.05, כאשר ערך p קטן מ-0.05 הצביע על כך שהמתאם מובהק סטטיסטית. גודל מקדמי המתאם הושוו כדי לקבוע איזה רכיב תדר יש לו קשר חזק יותר לביטחון הגילוי. המדדים הבאים נרשמו בפורמט מובנה: מקדם מתאם LL (rLL) וערך p (pLL), מקדם מתאם HF (rHF) וערך p (pHF), עוצמת הפעלה ממוצעת (meanLL, meanHF), וגודל מדגם (מספר התמונות שנותחו). התוצאות הצפויות היו שתכונות בתדירות נמוכה יראו מתאם חיובי חזק יותר עם ציוני ביטחון (rLL גבוה מ-0.60, p פחות מ-0.001) לעומת תכונות בתדירות גבוהה (rHF כ-0.40 עד 0.50, p פחות מ-0.01), מה שמעיד שהחלטות הגילוי מונעות בעיקר על ידי מידע מבני שנלכד ברכיב ה-LL.
ניתוח כמותי זה קבע פרשנות מעבר למגבלות של ויזואליזציה איכותנית. השילוב בין ניתוח קורלציה (הדגמת אסוציאציה סטטיסטית) והדמיה בתחום התדר (הצגת תשומת לב מרחבית) סיפק ראיות אמפיריות קפדניות לכך שקבלת ההחלטות של המודל באמת התבססה על תכונות מבניות בתדירות נמוכה כפי שהתכוון בעיצוב.
תוצאות צפויות: תכונות בתדירות נמוכה צריכות להראות מתאם חיובי חזק יותר עם ציוני ביטחון (rLL > 0.60, p < 0.001) לעומת תכונות בתדר גבוה (rHF≈ 0.40-0.50, p < 0.01), מה שמעיד שהחלטות הגילוי מונעות בעיקר על ידי מידע מבני שנלכד ברכיב LL.
ניתוח כמותי זה מבסס פרשנות מעבר לויזואליזציה איכותית. השילוב בין ניתוח קורלציה (המדגים אסוציאציה סטטיסטית) והמחשה בתחום התדר (הצגת תשומת לב מרחבית) מספק ראיות אמפיריות קפדניות לכך שקבלת ההחלטות של המודל באמת נשענת על תכונות מבניות בתדירות נמוכה כפי שהתכוון בעיצוב.
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
כדי להעריך את ביצועי מודל WTLS-YOLOv11n המוצע, ערכנו ניסויים על מאגר הנתונים PPE שבנינו בעצמנו ועל מאגר הנתונים PASCAL VOC 2007+2012. כל המדדים מדווחים על מערכות הבדיקה הרלוונטיות אלא אם צוין אחרת.
השוואה לדגמים מתקדמים
השווינו את WTLS-YOLOv11n מול גלאי אובייקטים מרכזיים בשלושה פרדיגמות אדריכליות: מודלים מבוססי CNN YOLO (YOLOv5n, YOLOv8n, YOLOv9t, YOLOv11n), גלאי דו-שלבי (Faster R-CNN), וגלאי מבוסס טרנספורמר (RT-DETR עם עמוד שדרה ResNet-18). התוצאו...
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
תוצאות הניסוי מראות כי WTLS-YOLOv11n משיג 90.1% mAP תוך הפחתת הפרמטרים ב-11.5% לעומת קו הבסיס של YOLOv11n. שיפור זה הן בדיוק והן ביעילות נובע משילוב סינרגטי של שלושה רכיבים: חילוץ תכונות מבוסס גלים, עיצוב ראש זיהוי קל משקל, ושיפור באובדן הלוקליזציה.
מחקר האבלציה מגלה כי מודול C3K2-WTConv מספק את השיפור הגדול ביותר בביצועים אישיים, ומעלה את mAP מ-86.3% ל-89.1%. דבר זה מצביע על כך שפירוק תכונות בתחום התדר מציע יתרונות לזיהוי PPE על ידי הפרדת מידע מבני (תדר נמוך)...
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
המחברים מצהירים שאין ניגוד עניינים.
| שם | חברה | מספר קטלוג | הערות |
|---|---|---|---|
| ערכת כלים של CUDA | תאגיד NVIDIA | CUDA Toolkit גרסה 11.7 | |
| מסגרת למידה עמוקה | קרן פייטורץ' | PyTorch גרסה 1.12.0 | |
| יחידת עיבוד גרפיקה | תאגיד NVIDIA | GeForce RTX 4090 | |
| NumPy | מפתחי NumPy | NumPy | |
| OpenCV | צוות OpenCV | opencv-python | |
| מערכת הפעלה | קנוניקל בע"מ. | אובונטו 22.04 LTS (או ציין את מערכת ההפעלה שלך) | |
| פייתון | קרן התוכנה של פייתון | פייתון גרסה 3.8 ומעלה | |
| TensorBoard | מחברי TensorFlow | TensorBoard | |
| טורצ'וויז'ן | קרן פייטורץ' | טורצ'וויז'ן |
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.