שיטת שיפור להערות תמונה מקוטעת עבור אופניים חשמליים בתרחישי מעלית מורכבים המבוססים על תכונות מקומיות

Summary

שיטת סימון תמונה מקוטעת המבוססת על תכונות מקומיות מוצגת לשיפור זיהוי אופניים חשמליים בתרחישי מעלית מורכבים באמצעות מערך הנתונים EBike-DET ומודלים רגילים לזיהוי עצמים.

Abstract

השימוש הגובר באופניים חשמליים (EBikes) בסביבות סגורות כמו מעליות למגורים העלה חששות בטיחותיים חמורים ויצר אתגרים משמעותיים בזיהוי עצמים אוטומטי, במיוחד בשל סתימות תכופות. גישות גילוי מסורתיות, שמסתמכות בעיקר על הערות הוליסטיות, לעיתים קרובות אינן מזהות במדויק EBikes מוסתרים חלקית בסצנות ויזואליות מורכבות. כדי להתגבר על מגבלות אלו, מחקר זה מציע שיטת אנוטציה מקטנת חדשה המבוססת על תכונות מקומיות, ומציעה אסטרטגיית הערות ניתנת לפרשנות רבה יותר. על ידי פירוק EBike למספר אזורים מרכזיים לתיוג עצמאי, השיטה המוצעת מאפשרת למודלים לזיהוי ללמוד מידע מבני מדויק, ובכך לשפר את החוסן בתנאים עמוסים של חסימה. בנוסף, פותח מערך נתונים ייעודי, EBike-DET, לתמיכה במשימות זיהוי בתרחישי מעלית ריאליסטיים. מערך הנתונים מועשר בגישת הקטעים והועבר בתנאי סביבה מדומים, והוא משפר הן את ביצועי המודל והן את היכולת להסתגל. השיטה המוצעת מקדמת את פיתוח הבינה המלאכותית הניתנת להסבר (XAI) על ידי הפיכת גילוי האובייקטים ליותר שקוף וניתן לפרשנות מבנית, דבר שחשוב במיוחד ביישומים קריטיים לבטיחות. ניסויים נרחבים נערכים באמצעות שלושה מודלים מרכזיים (YOLOv5, YOLOv10 ו-SSD). התוצאות מראות ש-YOLOv5, כאשר מאומן על EBike-DET עם הערות מקוטעות, משיג שיפורים של 3.7% בדיוק, 5.3% בזיכרון, 4.5% בציון F1 ו-4.4% ב-mAP. בהשוואה למערכי נתונים ציבוריים, EBike-DET מראה יציבות ועמידות גבוהה יותר תחת חסימה. מחקר זה לא רק מקדם את דיוק הגילוי אלא גם מהווה צעד לקראת פתרונות בינה מלאכותית ניתנים לפרשנות והסבר לפריסה במערכות ניטור בטיחות אמיתיות.

Introduction

עם ההתפשטות המהירה של אופניים חשמליים (EBikes) ברחבי העולם, במיוחד בסין, שם סך האופניים עבר את 350 מיליון היחידות עד 2022, ה-EBikes הפכו לאמצעי תחבורה דומיננטי למרחקים קצרים. עם זאת, השימוש התכוף בהם במקומות סגורים כמו מעליות למגורים יוצר סיכוני בטיחות חמורים, כולל רעידות חריגות, נזק לציוד, ריחות לא נעימים וסכנות אש. מחקר עדכני מעריך כי אירועי שריפה הקשורים ל-EBike מתרחשים בהסתברות של כ-1.44%¹. סיכונים אלו מדגישים את הצורך הדחוף בשיטות זיהוי יעילות ומדויקות ב-EBike לשיפור הבטיחות בסביבות מעליות.

למרות ההתקדמות בראיית מחשב ולמידה עמוקה, זיהוי EBike במעליות נותר מאתגר. מערכי נתונים ציבוריים נדירים ולעיתים חסרים גיוון במודלים, צבעים ותנאי הסתרה ב-EBike, מה שמגביל הכללת מודל². יתרה מזאת, תרחישי מעליות כוללים לעיתים קרובות חסימות מורכבות, שבהן ה-EBiks מוסתרים חלקית על ידי נוסעים או רכיבים מבניים, מה שמפחית עוד יותר את דיוק הגילוי ^3,4,5. שיטות הערות הוליסטיות קיימות, המתייחסות ל-EBikes כתיבת גבול אחת, לעיתים נכשלות בתנאים כאלה, מה שמדגים את הצורך באסטרטגיות שיפור של הערות וזיהוי. כפי שמוצג בטבלה 1, אנוטציה הוליסטית מובילה לירידה משמעותית בביצועים, עם ירידה של עד 21.5% בממוצע דיוק ממוצע בצומת על סף איחוד (IoU) של 0.5 (mAP@0.5) בהשוואה להערות מקוטעות.

התקדמות בזיהוי מבוסס למידה עמוקה

שיטות למידה עמוקה, במיוחד רשתות עצביות קונבולוציונליות (CNNs), יושמו באופן נרחב בזיהוי עצמים. משפחת You Only Look Once (YOLO) מפגינה ביצועים חזקים בזמן אמת. עם זאת, בעת זיהוי אובייקטים חסומים או חופפים, מודלים של YOLO נוטים לייצר תיבות הגבלה מיותרות. לדוגמה, YOLOv5 משפר חילוץ תכונות רב-קנה מידה באמצעות קונבולוציה עמוקה ורשתות פירמידת תכונות ^6,7, בעוד ש-YOLOv10 מבטל דיכוי לא מקסימלי ומשתמש ברשתות אגרגציה של מסלולים לשיפור המהירות ומיזוג רב-קנה מידה ^8,9. למרות השיפורים הללו, תיבות הגבלה מיותרות והפחתת החוסן בסביבות עם חסימה כבדה נותרות בעיות לא פתורות. ובכל זאת, שניהם סובלים כאשר מבני EBike מרכזיים חסומים חלקית, כי הערות הוליסטיות מספקת רמזים מקומיים מוגבלים. כפי שמוצג באיור 1A-C, מגבלה זו מובילה לתיבות הגבלה מיותרות ולביטחון זיהוי לא יציב תחת חסימה בינונית או כבדה. לעומת זאת, הערות מקוטעות מפחיתה בעיה זו בכך שהיא מאפשרת למודל לזהות אזורים נפרדים – כמו גלגלים או האזור האחורי – ובכך מפחיתה תיבות גבולות מיותרות תחת חסימה. איור 1D-F מראה עוד כי הערות מקוטעות משפרות את מיקום התכונות ושומרת על יציבות גילוי כאשר רק רכיבי EBike חלקיים נשארים נראים.

באופן דומה, דגם^10,11 של Single Shot MultiBox Detector (SSD), המבוסס על עמוד השדרה VGG-16, מספק זיהוי יעיל בקנה מידה ופועל היטב על עצמים קטנים¹². עם זאת, SSD מתקשה גם כאשר רציפות התכונות נשברת על ידי חסימה כבדה, מה שמוביל לזיהוי לא נכון או לרגרסיה לא יציבה של קופסה – גם כאשר מנגנוני קשב מוכנסים¹³. אנוטוציה מקוטעת מספקת כאן יתרון: המודל עדיין יכול להסתמך על חלקים מקומיים גלויים שנותרו, מה שמשפר את יציבות הגילוי בתנאים רב-קנה מידה ומוסתרים.

אסטרטגיות הערות ולמידת תכונות מקומיות

רוב שיטות הגילוי הנוכחיות מאמצות אנוטציה הוליסטית, שמפשטת את האנוטציה אך מסתמכת בעיקר על תכונות גלובליות^14,15. גישה זו מתקשה כאשר אזורים קריטיים ב-EBike – כמו הגלגלים, האזור הקדמי או האחורי – חסרים חלקית. מחקר^{עדכני 16} הראה שלמידת תכונות מקומיות, שמחלקת אובייקטים למספר חלקים עם הערות, יכולה לשפר עמידות ודיוק בתרחישים מאתגרים. בהתאם לכך, התוצאות בטבלה 2 מראות שההערה המקוטעת נשארת יעילה כאשר לפחות 40%-60% מהרכיבים המרכזיים של EBike נשארים גלויים, במיוחד בעת הערות על הגלגלים, האזור הקדמי והאחורי. לעומת זאת, תיבות הגבלה הוליסטיות נשארות מספיקות בתרחישי חסימה נמוכה (למשל, <20% הסתרה) או כאשר רזולוציית התמונה היא ≥1280 x 720, כאשר הצללית המלאה נשמרת. היתרון של חתיכה פוחת כאשר ההסתרה עולה על ≈70%, או כאשר אזורים ברמת תכונה הופכים לקטנים מדי כדי לספק מידע מרחבי מבחין.

הצדקה מתודולוגית לשימוש בגילוי פינת האריס

זיהוי פינת האריס נבחר להפקת תכונות מקומיות בשל התנהגותו הדטרמיניסטית, היעילות החישובית והתכונה ללא אימון, החיוניים להערות אמינות בסביבות מעליות. בניגוד לגלאי נקודות מפתח נלמדים כמו SuperPoint ו-LoFTR, הוא נמנע אימון נוסף ומפחית הזזת תחום תחת נתונים מוגבלים עם הערות והסתרה כבדה. בהשוואה למפעילים מבוססי קצה כמו Canny ו-Sobel, הפינות של האריס מדגישות צמתים בעלי משמעות גיאומטרית במקום קצוות רקע רועשים, ומאפשרים מיקום יציב של מבני EBike, כולל חיתוך גלגלים ומסגרות. יתרה מזאת, זיהוי פינת האריס מספק היפרפרמטרים ניתנים לפרשנות. הקבוע האמפירי k שולט ברגישות וביציבות הפניות. כפי שמוצג בסעיף 2.6.2.4 ובאיור 2, התאמת k תומכת באיזון מבוקר בין עמידות לגילוי יתר, מה שמתאים היטב לאסטרטגיית ההערה המבוססת על חוקים והוספת הערות מקוטעות.

הגדלת נתונים לעמידות

הרחבת נתונים הוכיחה את יעילותה בשיפור הגיוון והגמישות של מודלים לגילוי. טכניקות נפוצות כוללות טרנספורמציות גאומטריות (למשל, סיבוב, קנה מידה, חיתוך) והתאמות צבע (למשל, קנה מידה אפור, שינויים בבהירות), המדמות תנאי עולם אמיתי ושינויים בתאורה 17,18,19. על ידי שילוב אסטרטגיות אלו, מודלי הזיהוי הופכים לעמידים יותר בפני שונות ומתאימים יותר לפריסה בעולם האמיתי.

כדי להתמודד עם המגבלות שהוזכרו, מחקר זה מציע שיטת אנווטציה משופרת המבוססת על תכונות מקומיות. השיטה משפרת את למידת התכונות והחוסן על ידי חלוקת ה-EBikes למספר חלקים עצמאיים עם הערות, ומאפשרת זיהוי יעיל יותר תחת חסימה מורכבת. בנוסף, נבנה מאגר נתונים ייעודי לזיהוי אופניים חשמליים (EBike-DET) המותאם לסביבות מעליות, ומועשר באמצעות שדרוגי נתונים מגוונים לשיפור יכולת ההתאמה של המודלים. לבסוף, השיטה מאומתת על YOLOv5, YOLOv10 ו-SSD, ומדגימה שיפורים עקביים בביצועים של +5.69% עד +39.81% mAP, כפי שמסוכם בטבלה 3. ניתן לסכם את התרומות כך: שיטת אנוטציה משופרת במקטעים שמחזקת את למידת התכונות בתנאי הסתרה, בניית מאגר נתונים מיוחד EBike-DET לתסריטי מעלית, שילוב טכניקות הרחבה מרובות, ואימות ניסיוני על מודלים מרכזיים לגילוי, המראה דיוק ועמידות משופרים בהשוואה להערות הוליסטיות.

Protocol

מאגר הנתונים של EBike-DET ששימש במחקר זה כולל תמונות שנאספו על ידי המחברים באמצעות צילום באתר במעליות, חניונים וסביבות רחוב, וכן תמונות EBike זמינות לציבור שהושגו מפלטפורמות מבוססות רשת. כל איסוף התמונות באתר בוצע בסביבות שאינן פרטיות אך ורק למחקר טכני הקשור לבטיחות בזיהוי EBike. תמונות אינן מכוונות בכוונה ליחידים, וכל אדם שנלכד במקרה אינו ניתן לזיהוי בשל מרחק, הסתרה, תצוגות אחוריות או עיבוד מתאים שמסיר תווי פנים ומזהים אישיים אחרים. תמונות שמקורו באינטרנט התקבלו אך ורק מפלטפורמות שמאפשרות שימוש חוזר למחקר אקדמי או ממשאבים שפורסמו תחת רישיונות פתוחים. כל התמונות משמשות אך ורק למטרות מחקר וחינוך לא מסחריות. מכיוון שלא נאספו נתונים אישיים מזוהים ולא התקיימה אינטראקציה ישירה עם נבדקים אנושיים, מחקר זה לא דרש אישור מוועדת אתיקה מוסדית בהתאם להנחיות המוסדיות של המחבר.

1. בניית מערך נתונים

1. רזולוציית תמונה, מרחב צבעים ופורמטים של קבצים
   1. הגדר את הרזולוציה המקורית של התמונות ל-1280 x 720 פיקסלים כדי ללכוד פרטים איכותיים של EBikes בסצנות שונות.
   2. לאחר התקנון, שינו את גודל התמונות ל-640 על 480 פיקסלים כדי לאזן בין יעילות חישובית לשימור תכונות.
   3. הגדר את מרחב הצבעים ל-RGB כדי לשמור על מידע צבע מלא, ולהבטיח זיהוי מדויק של תכונות בתנאי תאורה שונים.
   4. שמרו את התמונות בפורמט JPEG כדי לאופטם את האחסון מבלי לפגוע משמעותית באיכות התמונה.
2. הגדרה וחלוקה של מאגרי הנתונים של אימון, אימות ובדיקות
   1. חלק את מערך הנתונים לקבוצות אימון, אימות ובדיקות ביחס 7:2:1, כדי להבטיח שמערך הנתונים מחולק כראוי לאימון מודלים, כיוונון היפרפרמטרים והערכת ביצועים.
   2. הגדר את הזרע האקראי ל-42 כדי להבטיח שחזוריות הנתונים המחולקים בין ניסויים שונים.
   3. יישם דגימה שכבתית כדי לשמור על התפלגות עקבית של מודלים של EBike ורמות חסימה בכל מערך נתונים, תוך הבטחת חוסר איזון בין קבוצות.
   4. וודא שאין דליפה בין ערכות אימון, אימות ובדיקות על ידי כך שאין תמונת EBike שמופיעה ביותר מסט אחד.
3. בניית מאגר נתונים ציבורי
   1. בחר את מאגר הנתונים הזמין לציבור לזיהוי EBike מתוך פלטפורמת הקוד הפתוח 20,21,22,23, הכוללת 210 תמונות של EBikes בסצנות פנורמיות וחלקית מוסתרות.
   2. הכירו במגבלות של מאגר הנתונים הציבורי, כולל זווית מצלמה אחת, רזולוציה נמוכה וסצנות רקע פשוטות, שעשויות להגביל את יכולת ההכללה של המודל, במיוחד בתרחישי חסימה מורכבים.
4. בניית מערך נתונים של EBike-DET
   1. בנו את מערך הנתונים EBike-DET כדי לשפר את כיסוי הסצנות ומגוון הדגימות, הכולל 1,680 תמונות איכותיות מפלטפורמות מקוונות וצילום באתר.
   2. ודאו שסביבות מגוונות כלולות, כמו מעליות, חניונים ורחובות, תוך תיעוד תנאים שונים שבהם ה-EBikes עשויים להיות.
   3. שלבו מגוון זוויות מצלמה (קדמי, צדדי וחלק עליון) כדי ללכוד את כל טווח ההופעות של EBike, ולהבטיח אימון יסודי לדגמי גילוי.
   4. העשירו את מערך הנתונים על ידי הכללת מותגים ודגמים רבים של EBike, עם וריאציות בצבע, בגודל ואביזרים, כדי להגדיל את מגוון הדגימות.
   5. ודאו שיהיו תרחישי חסימה, שבהם ה-EBikes מוסתמים חלקית על ידי הולכי רגל וכלי רכב, ומדמים תנאים אמיתיים במקומות סגורים כמו מעליות.
   6. אשר שמאגר הנתונים של EBike-DET כולל דגימות מגוונות ומורכבות, מה שהופך אותו למאגר נתונים אמין לזיהוי מטרות בתנאי הסתרה מורכבים.
5. כללי הכללה והחרגה לתמונות באינטרנט ובאתר
   1. תמונות רשת: כללו רק כאלה הזמינות לציבור, שצולמו בסביבות מגוונות, עם תנאי תאורה ברזולוציה גבוהה ומגוונים. החריגו תמונות עם רקעים ברזולוציה נמוכה או פשוטים.
   2. תמונות באתר: כללו תמונות שצולמו בסביבות אמיתיות, במיוחד במקומות כמו מעליות, חניונים או רחובות. ודא שהתמונות מייצגות תרחישי EBike ריאליסטיים עם שינויים בהסתרה, מורכבות הרקע ותנאי מזג האוויר. החריגו תמונות עם רעש מופרז, עיוות או הגדרות לא מציאותיות.
   3. ודאו שגם תמונות באינטרנט וגם באתר פועלות לפי אותם סטנדרטים של רזולוציה ומרחב צבעים כדי לשמור על עקביות בכל מאגר הנתונים.
6. בניית הגדלת נתונים
   1. הפעילו פעולות הגברה בסיסיות, כמו סקיילינג אפור וסיבוב, כדי להגדיל את מגוון הדגימות ולדמות תנאי תאורה וכיווני מצלמה שונים.
   2. חלק את יעד ה-EBike למספר אזורים מקומיים עצמאיים, כולל אזור הגלגל, אזור הקדמי והאזור האחורי, כדי לשפר את למידת התכונות המקומיות.
   3. יש להוסיף הערות לכל אזור באופן עצמאי כדי לשפר את דיוק הגילוי תחת חסימה ולהבטיח ביצועי מודל עמידים בין חלקי EBike השונים.
   4. ודאו שכל התמונות המורחבות וההערות המקוטעות שומרות על עקביות מבנית עם תכונות EBike כדי למנוע נתוני אימון לא תואמים או לא תקפים.

2. הערות מקוטעות בתכונה מקומית

הערה: כדי לשפר את דיוק הגילוי של EBikes בתרחישי הסתרה מורכבים, מוצעת שיטת סימון חתיכה המבוססת על תכונות מקומיות משופרות. שיטה זו מחלקת את אזור EBike על ידי חילוץ נקודות התכונה המקומיות שלו וקובעת האם יש להוסיף הערות לאזור בהתבסס על דרגת ההסתרה באזור המאפיין המתאים. תהליך הניסוי המפורט מוצג באיור 3.

1. באמצעות מאגרי הנתונים שנבנו קודם לכן בהדרכה, אימות ובדיקה.
2. הערות ידניות: השתמשו בכלי LabelImg בסביבת פייתון להערות ידניות. יש לסמן את כל התמונות באופן בלעדי כ-EBikes, כדי להבטיח הפרעות מינימליות מדגימות שליליות^24,25.
3. עיבוד נתונים והרחבה
   1. יישמו את השיטה שהציעו יונגג'יאנג ^{ואחרים.22} להסרת רעש וסטנדרטיזציה של התמונות, כדי להבטיח גודל אחיד במאגר הנתונים.
   2. לבצע פעולות הגדלת נתונים (למשל, סיבוב, התאמת בהירות, קנה מידה אפור) כדי להגדיל את מגוון הדגימות. ודאו שכל התמונות המורחבות שומרות על איכות התמונה ומגבירות את עמידות הדגם לרקעים שונים.
4. גידול באזור EBike
   1. כדי להבטיח שחזוריות של לוקליזציה ב-ROI, יש ליישם את פרמטרי ההסקה מהטבלה 4 עבור YOLOv10 (באמצעות קובץ המשקל yolov10x.pt המאומן מראש). קואורדינטות תיבות הגבול של הפלט הן כדלקמן:
      ROI = [x₁, y₁, x₂, y₂] (1)
      משוואה (1) מגדירה את קואורדינטות תיבת הגבול ROI²⁶ [x₁, y₁, x₂, y₂] , כאשר: x₁, y₁ =קואורדינטות הפינה העליונה-שמאלית של ROI של EBike; x₂, y₂ =קואורדינטות הפינה הימנית התחתונה של ה-EBike ROI. קואורדינטות אלו נגזרות מהפלט הגולמי של YOLOv10, שחוזה תיבות גבולות בפורמט [c_x,_{c, y}, w, h] עבור כל אובייקט שזוהה. נוסחאות ההמרה הן:
      (2)
      (3)
      (4)
      (5)
      כאשר c_x, c_y היא קואורדינטות מרכז אופקי/אנכיות מנורמלות של תיבת הגבול החזויה (מותאמת לגודל תמונה קלט של 640 על 480).  w, h הוא הרוחב/גובה המנורמל של תיבת הגבול החזויה (מותאם לגודל התמונה הקלט).
   2. סינן את פלט ה-YOLOv10 לפי סף האמון (0.5) כדי לשמור רק על זיהויים הקשורים ל-EBike (מזהה מחלקה המתאים לאופניים חשמליים), ואז לעבד עם NMS (IoU=0.45) כדי להסיר תיבות מיותרות. המר את תיבת הגבול שנותרה ל-[x₁, y₁, x₂, y₂] לחיתוך ROI.
   3. טיפול בגילויים מרובים
      הערה: בתרחישי מעלית (היעד המרכזי של מאגר הנתונים של EBike-DET), EBikes הם בדרך כלל מופע יחיד (עקב מגבלות מקום). במקרים עם מספר זיהוי EBike (למשל, מעליות צפופות עם שני EBiks), חלים הכללים הבאים.
      1. עדיפות הביטחון הגבוהה ביותר: בחר את תיבת הגבול עם ציון הביטחון המקסימלי (ביטחון הפלט של YOLOv10 משקף את הוודאות של המודל שהאובייקט הוא EBike).
      2. בדיקת תוקף מרחבי: אם למספר זיהויים יש ציוני ביטחון >0.7, בדוק את החפיפה המרחבית עם גבולות מבני המעלית (למשל, הימנע מתיבות גבול שמתרחבות מעבר לקירות המעלית). שמרו על הגילוי שמרכז המרכז c_x,_{c y} הוא הקרוב ביותר למרכז התמונה (המעליות בדרך כלל מנוטרות על ידי מצלמות קדמיות, כאשר המטרות ממורכזות).
      3. טיפול במקרה קצה: אם אין זיהויים תקפים שעומדים בסף האמון (למשל, חסימה חמורה), סמן את התמונה לתיקון ROI ידני (<3% ממאגר הנתונים של EBike-DET).
5. המרה ונרמול גווני אפור
   1. בצע המרת גווני אפור על תמונת ה-RGB הגוזרת מה-ROI. השתמשו בשיטת הממוצע המשוקלל להמרה, בהתאם לנוסחה:
      I_gra = 0.299 × R + 0.587 × G + 0.114 × B (6)
      כאשר R, G ו-B מייצגים את ערכי הפיקסלים בערוצים האדום, הירוק והכחול, בהתאמה. שיטה זו מתיישבת עם תפיסת הבהירות האנושית בצבעים שונים.
   2. נרמל את ערכי הפיקסלים של התמונה בגווני אפור לטווח של [0, 1] על ידי קנה מידה ליניארי מ-[0, 255]. נורמליזציה זו משפרת את יציבות החישובים המספריים ומבטיחה שחישובי גרדיאנט והסף הבאים יעבדו בעקביות בתנאי תאורה משתנים.
6. זיהוי פניות האריס
   1. החלו זיהוי פינת Harris על גווני האפור ונרמלו את אזור EBike כדי לחלץ נקודות תכונות מקומיות.
      הערה: העיקרון המרכזי של זיהוי הפינות של האריס כולל חישוב מטריצת האוטוקורלציה כדי לאתר במדויק את הפינות בתמונה, כפי שמוצג ויזואלית באיור 4B. הפניות המזוהות הללו קשורות בדרך כלל לרכיבים מרכזיים של EBike כמו גלגלים, אזור קדמי ואזור אחורי שמציגים לעיתים תכונות פנייה ברורות.
   2. חשב את הגרדיאנט של התמונה כדי לזהות אזורים עם שינויים משמעותיים בעוצמה כפי שמתואר להלן.
      1. החלקת תמונה: מיישמים סינון גאוסיאני על התמונה בגווני אפור כדי לדכא רעש, ומקבלים את התמונה המוחלקקת כדלקמן:
         I_s = G_σ*I (7)
         כאשר * מייצג את פעולת הקונבולוציה, ו-G_σ הוא גרעין גאוסי דו-ממדי עם סטיית תקן של σ, השולט ברמת ההחלקה. ערך טיפוסי עבור הוא 1.0.
      2. חישוב גרדיאנט תמונה: השתמש באופרטור גרדיאנט (כמו אופרטור סובל) כדי לחשב את הגרדיאנטים האופקיים (x) והאנכיים (y) של התמונה המוחלקת:
         I_x = K_{x *} I_s ,I_y=K_{y *} I_y (8)
         כאשר I_x ו-I_y הם מפות הגרדיאנט בכיווני x ו-y, בהתאמה, ו-Gx ו-Gy הם גרעיני הקונבולוציה של אופרטור סובל:
         , (9)
      3. בניית מטריצת אוטוקורלציה M בהתבסס על הגרדיאנטים שחושבו קודם, באמצעות חלון מקומי בגודל 3 x 3 W שממוקם במרכז כל פיקסל (x,y):
         (10)
         בנוסחה, W מתייחס לחלון מקומי במיקום (x,y), והפעולה ∑W מייצגת את סכום כל אלמנטים בתמונה; A = ∑W I_x² מייצג את סכום גרדיאנטי הריבוע בחלון W בכיוון x, המשקף את עוצמת השינויים בכיוון x; B=∑W I_y² מייצג את סכום הגרדיאנטים הריבועיים בחלון W בכיוון y, המשקף את עוצמת השינויים בכיוון y; C = ∑W_{I x}I_y מייצג את סכום מכפלת הגרדיאנטים בכיווני x ו-y בתוך חלון W, ומתאר את הקורלציה של השינויים בין שני הכיוונים.
      4. מחשבים את סכום הגרדיאנטים בריבועים בשני כיווני x ו-y כדי לשקף את עוצמת השינויים בכל כיוון. האיבר הצלב בין הגרדיאנטים I_x I_y לוכד את המתאם בין כיווני x ל-y.
      5. פונקציית תגובת פינה: מחשב את פונקציית התגובה הפינה R בהתבסס על הדטרמיננטה והעקבות של מטריצת האוטוקורלציה כדי לזהות נקודות פינה בתמונה. חשב את ערך התגובה לכל פיקסל ובחר נקודות עם ערכי תגובה גבוהים יותר כפינות הסופיות כפי שמוצג באיור 2. פונקציית תגובת הפינה ניתנת על ידי:
         det(M) = A ⋅ B - C² (11)
         trace(M) = A + B (12)
         R = det(M) - k ⋅ (trace(M)⁾² (13)
         כאשר det(M) הוא הדטרמיננטה של ה-M, המשקף את השינוי הכולל באזור התכונה המקומית, ו-trace(M) הוא העקבה של המטריצה, המשקפת את עוצמת הגרדיאנט הכוללת באזור. הקבוע האמפירי k נקבע בדרך כלל בין 0.04 ל-0.06.
         הערה: בהתבסס על ניסויים, נמצא כי הבחירה ב-k משפיעה משמעותית על התוצאות:
         כאשר k=0.04, ערכי התגובה גבוהים מדי, מה שמוביל לעודף נקודות פינה שזוהו בטעות.
         כאשר k=0.05, ערכי התגובה מאוזנים יותר, ומזהים במדויק פינות אמיתיות.
         כאשר k=0.06, ערכי התגובה נמוכים מדי, מה שמקשה על זיהוי אמין של נקודות פינות.
   3. בצע חלוקה גסה של האזורים המקומיים ב-EBike באמצעות תוצאות גילוי נקודת הפינה Harris. חלק את ה-EBike לאזורים בהתבסס על מבנה גיאומטרי והתפלגות נקודות פינה, כפי שמוצג באיור 4C, כדי לשפר את עמידות המודל וביצועי הגילוי בתרחישי הסתרה מורכבים.
   4. שטח גלגל: יש לשקול את האזור כתקף אם הוא מכיל לפחות 15 נקודות פינה המפוזרות סימטרית לאורך צורה מעגלית, עם ציון סימטריה של לא פחות מ-0.85. ציון הסימטריה מוצג במשוואה 11. יחס הרוחב לגובה באזור הגלגל צריך להיות בערך 1:1, כדי להבטיח שהוא משקף במדויק את המאפיינים הגיאומטריים של הגלגל.
   5. שטח חזיתי: כלול את האזור אם הוא מכיל לפחות 10 נקודות פינה עם ציון סימטריה לא פחות מ-0.80, ויחס הרוחב לגובה נע בין 1.2:1 ל-1.5:1, כדי להבטיח שהשטח הקדמי תואם לתכונות המבניות הצפויות.
   6. אזור אחורי: כלול את האזור אם הוא מכיל לפחות 12 נקודות פנייה, עם ציון סימטריה שלא יפחת מ-0.75, ויחס רוחב-גובה נע בין 1.5:1 ל-2:1, כדי להבטיח שהאזור האחורי שומר על התכונות הגאומטריות הצפויות.
7. ייצוג אזורי EBike קריטיים עם תיבות גבולות
   1. כדי להמיר נקודות פינה לתיבות גבולות מלבניות, השתמש באלגוריתם האשכול DBSCAN. שיטה זו מאגדת נקודות פינה סמוכות לאשכולים, ומבטיחה שנקודות הפינה היוצרות אזור מקובצות יחד. הגדר את המרחק המרבי בין נקודות בתוך אשכול ל-30 פיקסלים.
   2. לכל אשכול נקודות פינה, קבעו את הקואורדינטות המינימליות והמקסימליות x ו-y. קואורדינטות אלו מייצגות את קצוות תיבת הגבול.
   3. הוסף מרווח של 10 פיקסלים סביב תיבת הגבול כדי לוודא שכל התכונות הרלוונטיות כלולות. השוליים האלה מפצים על חוסר יישור פוטנציאלי או אי-דיוקים בפיקסלים בזיהוי נקודות הפינה.
   4. עגלו את קואורדינטות תיבת הגבול למספר השלם הקרוב ביותר כדי להבטיח יישור פיקסלים תקין לעיבוד תמונה.
   5. ייצג את קואורדינטות תיבת הגבול הסופיות עבור הרכיב ה-i (למשל, גלגל, אזור קדמתי, אזור אחורי) כפי שמתואר להלן.
      1. משלבים את האזורים המוגדרים (שטח גלגלים, שטח קדמי ואזור אחורי) וייצג את כל האזורים הקריטיים של ה-EBike באמצעות קופסאות גבולות מלבניות.
      2. הגדר קואורדינטות קואורדינטות קופסת הגבול עבור רכיב i (למשל, גלגל, שטח קדמתי, אזור אחורי) כך:
         (14)
         כאשר B_i מייצג את תיבת הגבול של הרכיב i, ו - ו- הם הקואורדינטות של הפינות העליונות-שמאליות והתחתונה-ימין, בהתאמה.
8. טיפול בסתימה חלקית
   1. העריכו את ציון הסימטריה של הפינות לכל אזור. קבל אזור אם ציון הסימטריה גדול או שווה ל-0.7.
   2. לטיפול בהסתרה, מדדו את נראות נקודות הפינה. קבל אזור אם לפחות 50% מהפינות נראות. אם 30%-50% מהפינות נראות, סמן את האזור לבדיקה נוספת. אם פחות מ-30% מהפינות נראות, דחו את האזור בשל חוסר ראות מספקת לזיהוי מדויק.
9. שיפוט דיוק של אזורי תכונה מקומיים
   1. הערך את הדיוק של כל אזור תכונה מקומית באמצעות שלושה מדדים אופרטיביים כמותיים: מדד סימטריה S, מדד רציפות קווי מתאר C, ומטריקת מבנה חיבור L. יישם מדדים אלה באופן אחיד על שטח הגלגל, שטח הקדמי והאזור האחורי.
   2. קבל אזור רק כאשר כל המדדים עומדים בספים שהוגדרו מראש. אם מדד אחד נכשל בטווח סביר, הרחיב את התשואה והערכה מחדש. אם שני מדדים או יותר נכשלו, סמן את האזור כלא אמין.
10. ניתוח דיוק תכונות באזור גלגל
    1. נקודת ביקורת מבצעית בתצוגה קדמית
       1. חשב את מדד הסימטריה:
          (15)
          כאשר nL ו-nR מציינים את ספירות הפינות בצד שמאל והימני.
       2. קבל את האזור אם S ≥ 0.85. כפי שמוצג באיור 5A, הגלגל מציג צורה מעגלית עם סימטריה, ונקודות הפינה של האריס לאורך ההיקף יוצרות דפוס סימטרי. אז, תסמן הערות לכל אזור הגלגל.
       3. אם 0.70 ≤ S<0.85, הרחבו את ה-ROl ב-10-20 פיקסלים וחזרו על ההערכה כדי לאפשר לתכונות ממשיות להיכנס מחדש לאזור החישוב, ואז להעריך מחדש. כפי שמוצג באיור 5D, מתרחשת חסימה חלקית של הגלגל, ולכן יש להרחיב את טווח החיתוך כדי ללכוד יותר תכונות של ה-Ebike להערכה.
       4. אם S<0.70, תייג את האזור כלא אמין. כפי שמוצג באיור 5G, הצורה המעגלית מופרעת; יש להוציא אזור זה מההערה.
    2. נקודת ביקורת מבצעת עם תצוגה צדדית
       1. מדידו רציפות קווי מתאר באמצעות:
          (16)
       2. קבל כאשר C ≥ 0.75. כפי שמוצג באיור 5B, היחס בין אורך הקשת הרציף בפועל לאורך הקשת הצפוי עומד בדרישות, הקונטור מתאים במלואו לקצה, ואין שבירה ברורה.
       3. אם 0.55 ≤ מעלות < 0.75, לחדד את הפקת הקונטור ולבדוק מחדש. כפי שמוצג באיור 5E, היחס הנוכחי בין אורך הקשת הרציף לאורך הקשת הצפוי נמצא בטווח הקריטי; יש צורך לכוון את סף אלגוריתם החילוץ כדי להפוך את הקונטור לשלם.
       4. אם C < 0.55, דחו את האזור עקב רציפות גיאומטרית לא מספקת. כפי שמוצג באיור 5H, דרישות הניתוח אינן ניתנות לעמידה.
    3. נקודת ביקורת מבצעית מלמעלה
       1. הערכת קישוריות מבנית באמצעות:
          (17)
       2. קבל כאשר L ≥ 0.70. כפי שמוצג באיור 5C, הסטייה בין המרחק הנצפה למרחק הצפוי מפוזזת למעשה, הקישוריות המבנית עומדת בדרישות, והקשר היחסי בין הרכב לסביבת המעלית הושלם.
       3. אם L < 0.70, הרחב את התשואה והערכה מחדש. כפי שמוצג באיור 5F, הסטייה בזרם בין המרחק הנצפה למרחק הצפוי היא יחסית גדולה; יש להרחיב את תחום הניתוח ולכלול מבנים נוספים סביב כדי לשפר את דיוק הערכת הקישוריות.
       4. אם הקישוריות נשארת לא עקבית, סווג את האזור כלא אמין. כפי שמוצג באיור 5I, לא ניתן להשתמש בו כאזור ניתוח יעיל.
11. ניתוח דיוק תכונות באזור הקדמי
    1. להערכת דיוק התכונות של אזור החזית של EBike, יש לעקוב אחר המסגרת המאוחדת מבוססת הכללים שהוגדרה בסעיף 2.10, הכוללת הערכת סימטריה בתצוגה הקדמית באמצעות מטריקה S כפי שהוגדרה במשוואה 15, הערכת רציפות קווי מתאר בתצוגת הצד באמצעות מדד C כפי שהוגדרה במשוואה 16, ואימות קישוריות מבנית בתצוגה העליונה באמצעות מדד L כפי שהוגדר במשוואה 17.
    2. עקב שונות גיאומטרית והסתרה חלקית תכופה באזור הקדמי, יש לאמץ סף מתון בהשוואה לאזור הגלגל. אזור חזיתי מתקבל כאשר S ≥ 0.80, C ≥ 0.70, ו-L ≥ 0.65. כפי שמודגם באיור 6A-C, אזורים העומדים בקריטריונים אלו מציגים התפלגות תכונות מאוזנת בין שמאל לימין, קווי מתאר קוהרנטיים וקישוריות מבנית יציבה.
    3. אם מדד כלשהו נופל בטווח הביניים שמצוין בסעיף 2.10, יש להרחיב את אזור העניין ולהעריך מחדש כדי לשלב תכונות הקשריות נוספות, כפי שמוצג באיור 6D-F. אזורים שאינם עומדים בקריטריונים המינימליים לאחר הערכה מחודשת, מסווגים כלא אמינים, כפי שמודגם באיור 6G-I.
12. ניתוח דיוק תכונות באזור האחורי
    1. לניתוח דיוק תכונות באזור האחורי, יש להיצמד לפרוטוקול ההערכה שהוגדר בסעיף 2.10, תוך שימוש במדדים S כפי שהוגדרו במשוואה 15, C כפי שהוגדרו במשוואה 16, ו-L כפי שהוגדרו במשוואה 17 תחת תצוגות קדמיות, צדדיות ועליונות, בהתאמה.
    2. האזור האחורי רגיש יותר לסתימה הנגרמת על ידי נוסעים, חפצים נושאים או מבני מעליות. לכן, יש להחיל תנאי דחייה מחמירים יותר כדי להימנע מהערות לא אמינות. אזור אחורי מתקבל כאשר S ≥ 0.75, C ≥ 0.70, ו-L ≥ 0.65. מקרים ייצוגיים מקובלים עם סימטריה, רציפות קווי מתאר וקישוריות מספקים מוצגים באיור 7A-C.
    3. לאזורים עם ערכי מטריקה גבוליים, יש לבצע הרחבת ROI והערכה מחודשת, כפי שמודגם באיור 7D-F. אם הקשרים הגאומטריים נשארים עמומים או שהמדדים אינם עומדים בקריטריוני הקבלה, סמן את האזור כלא אמין, כפי שמוצג באיור 7G-I.
13. ניתוח דיוק תכונות באזור האחורי
    1. לניתוח דיוק תכונות האזור האחורי, יש לעקוב אחר פרוטוקול ההערכה שהוגדר בסעיף 2.10, תוך שימוש באותם מדדים S כפי שהוגדרו במשוואה 15, C כפי שהוגדר במשוואה 16, ו-L כפי שהוגדר במשוואה 17 תחת נקודות מבט מתאימות.
    2. בהשוואה לאזור הקדמי, האזור האחורי רגיש יותר לחסימה הנגרמת על ידי נוסעים, חפצים נושאים ומבני פנים של מעליות. לכן, יש להחיל קריטריונים מעט מחמירים יותר לדחייה כדי למנוע הערות לא אמינות. אזור אחורי מתקבל כאשר S ≥ 0.75, C ≥ 0.70, ו-L ≥ 0.65. כפי שמוצג באיור 7A-C, אזורים מקובלים שומרים על סימטריה, קוהרנטיות קונטור וקישוריות מבנית מספקת.
    3. לאזורים עם ערכי מטריקה גבוליים, יש להרחיב ולהעריך מחדש את התשואה לפי סעיף 2.10, כפי שמודגם באיור 7D-F. אם העקביות הגיאומטרית נשארת לא מספקת לאחר הערכה מחודשת, סמנו את האזור כלא אמין, כפי שמוצג באיור 7G-I.
14. מימוש הצינור
    1. מבנה הקבצים והתיקיות: המימוש פועל לפי מבנה תיקיות מודולרי המפריד בין גילוי, חילוץ תכונות מקומי ושיפוט של הערות. ראו את ארגון התיקיות הייצוגיות המוצג למטה. שמרו את כל תוצאות הביניים בתיקיות משנה ייעודיות שיאפשרו בדיקה עצמאית של כל שלב עיבוד.
       project_root/
       │
       ├── נתונים/
       │ ├── תמונות/
       │ │ ├── רכבת/
       │ │ ├── ואל/
       │ │ └── מבחן/
       │ └── הערות/
       │
       ├── גילוי/
       │ ├── detect_ebike.py
       │ └── yolov10_config.yaml
       │
       ├── רוי/
       │ ├── crop_roi.py
       │ └── cropped_images/
       │
       ├── האריס/
       │ ├── harris_corner.py
       │ └── corner_visualization/
       │
       ├── chunk_annotation/
       │ ├── region_partition.py
       │ ├── validity_judgment.py
       │ └── final_annotations/
       │
       └── תצורות/
       └── thresholds.yaml
    2. צינור ביצוע ושורות פקודה לדוגמה
       1. זיהוי EBike ולוקליזציה של ROI: לוקליזציה של אזורי EBike באמצעות מודל זיהוי אובייקטים מאומן מראש. שמרו תוצאות זיהוי כקואורדינטות קופסאות גבולות.
          זיהוי פייתון/detect_ebike.py \
          --קלט נתונים/תמונות/בדיקה/ \
          --תפוקת ROI/detections.json
       2. חיתוך ROI: השתמש בתיבות הגבול שזוהו כדי לחתוך אזורי EBike מהתמונות המקוריות.
          פייתון ROI/crop_roi.py \
          --זיהוי ROI/detections.json \
          --תמונות נתונים/תמונות/בדיקה/ \
          --פלט ROI/cropped_images/
          שמור כל תמונה חתוכה באמצעות פורמט השם: imageID_roi_xmin_ymin_xmax_ymax.jpg
       3. חילוץ פינת Harris: החלת זיהוי פינת Harris על כל ROI שנחתך לאחר המרה לגווני אפור. שמור מפות תגובה בפינות ושכבות ויזואליות לבדיקה.
          פייתון האריס/harris_corner.py \
          --קלט ROI/cropped_images/ \
          --פלט האריס/corner_visualization/ \
          --config configs/thresholds.yaml
       4. חלוקה גסה והערות חתיכות: חלוקה אזורי תכונות מקומיות לגלגל, שטח קדמי ואחורי בהתבסס על התפלגות מרחבית של נקודות הפינה. יישם שיפוט תוקף באמצעות קריטריונים גאומטריים ומבוססי תכונות.
          פייתון chunk_annotation/region_partition.py \
          --קורנרס האריס/corner_visualization/ \
          --פלט chunk_annotation/final_annotations/
    3. פלטים ביניים צפויים ונקודות ביקורת חזותיות: שמרו את הפלטים הביניים שנוצרים על ידי כל שלב עיבוד המשמשים כנקודות ביקורת ויזואליות. פלטים ביניים אלו מאפשרים אימות שלב אחר שלב של לוקליזציה של ROI, איכות חילוץ פינות, חלוקת אזורים והחלטות סימון סופיות.
       1. תפוקת חיתוך ROI: שמור תמונות EBike שחתכו ב-ROI/cropped_images/. כל תמונה מכילה אזור EBike יחיד שמופק מהמסגרת המקורית.
       2. ויזואליזציה של פינת האריס: שמור שכבות פינות ב-harris/corner_visualization/. לאזורי גלגל תקפים, ניתן לראות קבוצה צפופה של נקודות פינה לאורך מבנה השוליים המעגלי. אזורים עם תגובות פינות לא מספקות ניתנים לזיהוי בשלב זה.
       3. תוצאות חלוקת אזורים: המחשת אזורים מחולקים (גלגל, אזור קדמתי, אזור אחורי) באופן עצמאי. שומרים רק אזורים שעומדים בקריטריוני תוקף מוגדרים מראש (למשל, צפיפות פינות מספקת ועקביות גאומטרית).
       4. פלט סימון סופי: אחסן אזורים שהתקבלו ב-chunk_annotation/final_annotations/ כקבצי אנוטציה מובנים. החריגו אזורים שאינם שופטים בתוקף ואל תעבירו אותם לשלבים הבאים.
          הערה: כל הספים המשמשים לזיהוי פינות ושיפוט תוקף אזורי מרוכזים בקבצי תצורה. הצינור פועל על קלטים חד-מסגרתיים ללא תלות זמנית, ומאפשר לשחזר תוצאות באופן עצמאי עבור כל תמונה. בהינתן תמונות קלט זהות, קבצי קונפיגורציה וסדר ביצוע זהים, הפלטים הביניים שנוצרו וההערות הסופיות נשארות דטרמיניסטיות.
15. שלבי סיום ושחרור מאגר נתונים
    הערה: כדי להבטיח שהפרוטוקול יסתיים בנקודת קצה ברורה וניתנת לשחזור, מוגדר שלב סופי לאיחוד שמירת הערות, אימות איכות, אריזת מערכי נתונים ותיעוד גרסאות.
    1. שמירת הערות סופיות: לאחר שיפוט תוקף האזור, שמור את כל ההערות המאושרות ב-chunk_annotation/final_annotations/ בפורמט הטקסט YOLO, עם קובץ הערות אחד המתאים לכל תמונה. שמור רק אזורים העומדים בקריטריונים הגאומטריים והמבוססי תכונות שהוגדרו מראש בקבוצת ההערות הסופית והחריג אזורים שנדחו או לא אמינים משימוש נוסף.
    2. אימות איכות ההערות: אימות איכות ההערות הסופית על ידי יישום מחדש של אותם קריטריוני תוקף ששימשו במהלך הערכת האזורים, כולל סימטריה, רציפות קווי מתאר ומדדי קישוריות מבנית. הסר הערות שאינן עומדות בקריטריונים אלו בשלב האימות הזה, כדי להבטיח עקביות בין יצירת הערות לבקרת איכות.
    3. אריזת מערך נתונים: לאחר האישור, ארגן תמונות והערות לחלוקות אימון קבועות, אימות ובדיקות לפי חלוקת מערך הנתונים שהוגדרה. מבנה התיקיות ורשימות הקבצים מוקפאים בשלב זה, ומערך הנתונים הארוז מוכן לאימון והערכה ללא שינוי נוסף.
    4. תיעוד גרסאות וזרע: קבצי קונפיגורציה, כולל פרמטרי זיהוי פינות וספי תוקף אזור, נשמרים יחד עם מערך הנתונים הארוז. השתמש בזרעים אקראיים לפיצול נתונים, ביצוע אלגוריתמים לתיקון, והקלט. בנוסף, תעד את גרסאות משקלי המודלים, קבצי הקונפיגורציה וכלי ההערות. בהינתן נתוני קלט זהים, קבצי קונפיגורציה וזרעים מוקלטים, ההערות הסופיות וחלוקות מערך הנתונים נשארות דטרמיניסטיות.

3. הגדלת נתונים

הערה: מחקר קודם הראה כי מערכי נתונים באימון שחסרו עיבוד מוקדם והרחבת נתונים מספקים לעיתים קרובות מובילים לירידה בביצועי המודל²². כדי להתמודד עם אתגרים אלו, ננקטו ההליך הבא.

1. תאורה
   1. סימולציה של שינויים בתאורה בתוך מעליות כדי להתמודד עם שינויים תכופים בתאורה על ידי התאמת גורם הבהירות בטווח של 0.6–1.4, עם הסתברות של 0.8.
   2. הפעילו התאמות עוצמת אור כדי לעבור מסביבה בהירה לחשוכה, תוך סימולציה של טשטוש שנוצר על ידי תנועת EBike. השתמשו בהסתברות של 0.7 לפעולה זו.
   3. יצירת דגימות מורחבות על ידי התאמת תנאי התאורה, תוך הבטחת ראות יציבה ברמות תאורה משתנות.
   4. יישם את פעולות התאורה הללו באופן לא מקוון ואחסן אותן לעיבוד הבא. הגדר את הזרע האקראי ל-42 כדי להבטיח שחזוריות של תהליך ההגדלה.
2. הסתרה
   1. צור תרחישי חסימה סינתטית שישקפו את תנאי המעלית הצפופים. יש להחיל מסכות חסימה (למשל, צלליות אנושיות, בלוקי אובייקטים) עם הסתברות של 0.6.
   2. יש להחיל חסימות פסיפס כדי לחקות חסימה חלקית של ה-EBikes במהלך כניסה ויציאה מהמעלית. השתמש באחוזי הסתרה של 30%, 50% או 70%, וודא שההסתרה מוחלת באקראי בכל רבע (עליון, תחתון, שמאל, ימין) בתמונה.
   3. שלב דגימות מוסתרות לשיפור עמידות ויציבות גילוי תחת ראות חלקית, כדי להבטיח שלפחות רכיב מרכזי אחד (למשל, גלגל, אזור קדמית, אזור אחורי) יישאר גלוי.
   4. בצע שדרוג חסימה באופן לא מקוון ואימות הדגימות כדי להבטיח שתכונות חיוניות של EBike נשמרות. הגדר את הזרע האקראי ל-42 בשביל שחזוריות.
3. נקודות מבט
   1. כוון זוויות צפייה בטווח מוגדר מראש של ±15° כדי לדמות זוויות מצלמה מגוונות בסביבות מעליות שונות. פעולה זו צריכה להיות מיושמת בהסתברות של 0.7.
   2. החלו טרנספורמציות פרספקטיבה עם מקדמי עיוות בין 0.0 ל-0.2 כדי לשחזר מיקומי מצלמה שונים (למשל, נקודות מבט מוגבהות, צדדיות ואלכסוניות).
   3. הגדל והזיז את אזור ה-EBike ב-0.8–1.2 פעמים כדי לדמות שינויים במרחק המצלמה מהיעד. יישם את הטרנספורמציה הזו בהסתברות של 0.8.
   4. וודא שכל טרנספורמציות נקודת המבט שומרות על שלמות הגיאומטרית של ה-EBike ושאין תכונות קריטיות מעוותות.
   5. בצע טרנספורמציות נקודת מבט לא מקוונת ואחסן את התמונות המורחבות. הגדר את הזרע האקראי ל-42 בשביל שחזוריות.
4. שיפור
   1. החלו סקיילינג אפור על 30% מהתמונות עם הסתברות של 0.3 כדי להכניס שינויים מונעי בהירות ולשפר את עמידות המודל בתנאי תאורה חלשה.
   2. השתמשו באקוליזציה היסטוגרמית על 20% מהדגימות כדי לשפר את הניגודיות והנראות של התכונות המרכזיות של ה-EBike בתנאי תאורה מאתגרים.
   3. שלבו אסטרטגיות תאורה, הסתרה והרחבת נקודות מבט ברצף ליצירת דגימות במגוון גבוה. השתמש בהסתברויות של 0.9 לתהליך רב-שלבי זה.
   4. בדוק את הדגימות המורחבות כדי לוודא שהן שומרות על שלמות מבנית של EBike לפני שילובן במאגר הנתונים הסופי.
   5. בצע פעולות שיפור באופן לא מקוון ואחסן את התמונות לשימוש אימון עתידי. הגדר את הזרע האקראי ל-42 כדי להבטיח שחזוריות של כל תהליך ההגדלה.

4. סביבה ניסיונית

1. הגדר את סביבת הניסוי כדי להבטיח יעילות חישובית ויציבות במהלך אימון ובדיקות המודלים.
2. השתמש במעבד מודרני רב-ליבות, כרטיס גרפי ייעודי להאצת למידה עמוקה, זיכרון מספק ומערכת אחסון יציבה לתמיכה בעיבוד נתוני EBike בקנה מידה גדול.
3. התאימו את סביבת התוכנה לקונפיגורציית החומרה על ידי התקנת גרסאות תואמות של מסגרת הלמידה העמוקה, דרייברים של GPU וספריות האצה כדי למקסם את מהירות האימון וביצועי ההסקה.
4. עיין בטבלה 5, טבלה 6, טבלה 7 וטבלה 8 למפרטי חומרה מפורטים, סביבת תוכנה, תלות במודלים והגדרות ציוד הדמיה כדי להבטיח שחזוריות.
5. ניתוח תקורה חישובית וניתוח בזמן ריצה
   1. לנתח את העומס החישובי הקשור לאסטרטגיית ההערה המקוטעת מבחינת מורכבות ההערות ויעילות בזמן ריצה. בהשוואה להערה הוליסטית, אנונטציה מקוטעת מייצגת EBike המשתמשת באזורים בגובה חלקי, כולל אזור הגלגל, החלק הקדמי והאזור האחורי. הער את האזורים הללו רק כאשר הם גלויים ועומדים בקריטריוני תוקף גאומטריים ומבוססי תכונה מוגדרים מראש, במקום לאכוף אותם לכל מופע.
      הערה: מנקודת מבט של הערות, העלייה במספר התוויות נותרה מוגבלת ומוגבלת מבחינה מבנית. מופע EBike תורם לכל היותר שלוש הערות ברמת החלק, בעוד שפחות אזורים מסומנים במקרים של חסימה חלקית (למשל, כאשר רק האזור הקדמי נראה). כתוצאה מכך, מספר התוויות לכל תמונה משתנה בהתאם לנראות הסצנה ולתנאי ההסתרה, ומספר התוויות הממוצע עולה במידה מתונה, כפי שמסוכם בטבלה 9. עיצוב זה מאזן בין ייצוג תכונות מקומיות לבין מורכבות ההערות. מנקודת מבט של ההסקה, הערות מקוטעות אינן מביאות לעלייה פרופורציונלית בעלות העיבוד לאחר מכן. למרות שזיהוי ברמת החלק עשוי לייצר תיבות הגבלה מועמדות נוספות, הזיהויים מאוגדים ברמת אובייקט EBike להערכה הסופית, וסינון מבוסס אמון מיושם לפני העיבוד הבא. אסטרטגיית ההערה המותנית הזו, המונעת על ידי נראות, מגבילה את המועמדים לזיהוי מיותר. בדגמים כמו YOLOv10, שמפחיתים את התלות בדיכוי מסורתי שאינו מקסימלי, העומס הנוסף שנוצר על ידי צ'אנקינג נשאר מוגבל בפועל.
   2. הערך ביצועי ריצה ברזולוציה טיפוסית של 640 x 480 פיקסלים באמצעות כרטיס מסך NVIDIA RTX 3090. כפי שמוצג בטבלה 9, אנוטיציה מקוטעת שומרת על יכולת הסקה בזמן אמת, עם ירידה קלה בלבד בפריימים לשנייה בהשוואה להערות הוליסטיות. תוצאות אלו מצביעות על כך שאסטרטגיית ההערות המקוטעות עדיין מתאימה לניטור EBike בזמן אמת בסביבות מעליות.

5. מדדי הערכה

הערה: למרות שמשתמשים בהערות מחותדות במהלך האימון וההסקה, ההערכה מתבצעת ברמת אובייקט האופניים החשמליים. גילויי רמת החלקים מאוגדים להחלטה אחת לאופנוע חשמלי בהתאם לכללים המוגדרים בסעיף 2.4,3.

1. יישמו מדדי הערכה סטנדרטיים הנפוצים במחקר זיהוי מטרות²⁷ כדי להעריך באופן מקיף ביצועי אלגוריתמים בתרחישי זיהוי חסימה של EBike.
2. דיוק גילוי (P)
   1. השתמש במשוואה (8) לחישוב דיוק הזיהוי, שמודד את שיעור ה-EBikים שזוהו נכון בין כל המדגמים החיוביים החזויים.
      (18)
      כאשר TP מציין חיוביים אמיתיים ו-FP מציין חיוביים שגויים.
   2. הגדר את סף IoU ל-0.5 כדי לקבוע האם תיבות הגבול החזויות תואמות את תיבות האמת הקרקעית.
   3. השתמש בדיוק כדי להעריך את יכולת המודל להפחית אזעקות מיותרות הנגרמות מטעות זיהוי אובייקטים שאינם EBike.
   4. פקודות ליצירת מדד זה: השתמשו בסקריפט ההערכה הרלוונטי (למשל, evaluate_precision.py). שמור תוצאות ב-precision_results.txt לניתוח נוסף.
3. קצב זיכרון (R)
   1. השתמש במשוואה (9) כדי לקבוע עד כמה המודל מזהה EBiks בסביבות מעליות, במיוחד כאשר ההסתרה משפיעה על הראות.
      (19)
      כאשר FN מייצג שליליים שגויים.
   2. הגדר את סף ה-IoU על 0.5 כדי להעריך את דיוק הגילוי. השתמשו ב-recall כדי להעריך את יכולת המודל למזער גילויים שהוחמצו, ולהבטיח ש-EBikes יישארו מזוהים במדויק גם כאשר הם חסומים חלקית.
   3. השתמש בפקודות (פקודות) ליצירת המדד הזה: הריץ evaluate_recall.py. תוצאות שמירה recall_results.txt.
      הערה: גילויי פספוס הם קריטיים בתרחישי מעלית צפופים ויש למזערם אותם למען הבטיחות. איתורים מפספסים מהווים חששות בטיחותיים בתרחישי מעליות צפופים ויש למזער אותם.
4. ציון F1
   1. חשב את ציון F1 באמצעות משוואה (10) כדי לקבל ייצוג מאוזן של ביצועי הדיוק והזיכרון של המודל.
      (20)
   2. השתמש בציון F1 כדי לספק הערכה הוליסטית, במיוחד בתרחישים שבהם דיוק וזיכרון מציגים פשרות ברמות הסתרה משתנות.
   3. השתמש בפקודות (פקודות) ליצירת המדד הזה: הרץ evaluate_f1.py כדי לחשב את ציון F1. שמירה תוצאה f1_score_results.txt.
5. דיוק ממוצע ממוצע (mAP)
   1. השתמש במשוואה (11) כדי למדוד את יכולת הגילוי הכוללת של המודל במגוון מראות EBike, תנאי הסתרה ושינויים בתאורה.
      (21)
      כאשר AP_c מציין את הדיוק הממוצע של קטגוריה c ו-C הוא מספר הקטגוריות.
   2. הגדר את סף IoU ל-0.5 כדי להעריך את ביצועי המודל בקטגוריות שונות.
   3. השתמשו ב-mAP@0.5 כדי לקבוע עד כמה המודל מסתגל לתנאים ויזואליים מגוונים בסביבות מעליות, ובכך להבטיח הערכה מקיפה של ביצועי הגילוי.
   4. השתמש בפקודה(ות) הבאות ליצירת מדד זה: בצע evaluate_map.py עם הפרמטרים שצוינו. תוצאות שמירה map_results.txt.

Results

השוואה בין הערות הוליסטיות לאנוטציה מקוטעת במאגר נתונים ציבורי

ההערכה בוצעה על בסיס מאגר נתונים ציבורי הכולל 210 תמונות EBike שנאספו מסצנות מעקב פתוח ומעקב תעבורה, עם תנאי תאורה מגוונים, צבעי EBike ודרגות הסתרה משתנות. כל תמונה סומנה הן בשיטה ההוליסטית (תיבת גבול יחידה) והן בשיטה המוצעת (חלוקת ה-EBikes לגלגלים, אזור קדמי ואחוריים).

התוצאות הכמותיות מסוכמות בטבלה 1. ב-YOLOv5, הערות הוליסטיות השיגו די...

Discussion

צעדים קריטיים

שלב קריטי בפרוטוקול זה הוא שיטת ההערה המקוטעת המבוססת על תכונות מקומיות, שבה ה-EBikes מחולקים לאזורי גלגלים, חזית ואחוריים. חלוקה זו מבטיחה שמודלים לזיהוי יוכלו ללמוד ייצוגים מדויקים, דבר שהתברר כחיוני בסביבות מעליות כבדות עם חסימה. לדוגמה, YOLOv5 שהתאמן עם אנוטציות מקוטעות במערך הנתונים EBike-DET שיפר את mAP@0.5 מ-0.925 ל-0.966, מה שמדגיש את הצורך בחלוקת תכונות מקומית מדויקת לביצועים עמידים. בנוסף, שלב זיהוי פינת האריס הוא שלב ...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
h5py (SSD)	קבוצת HDF	2.10.0
matplotlib (SSD)	קהילת Matplotlib	3.1.2
matplotlib (YOLOv10)	קהילת Matplotlib	3.9.0
matplotlib (YOLOv5)	קהילת Matplotlib	3.8.4
matplotlib (YOLOv5+SAHI)	קהילת Matplotlib	3.8.4
matplotlib (YOLOv8-Seg)	קהילת Matplotlib	3.9.0
numpy (SSD)	קהילת NumPy	1.17.0
numpy (YOLOv10)	קהילת NumPy	1.26.3
numpy (YOLOv5)	קהילת NumPy	1.26.4
numpy (YOLOv5+SAHI)	קהילת NumPy	1.26.4
numpy (YOLOv8-Seg)	קהילת NumPy	1.26.3
onnx (YOLOv10)	ONNX	1.14.0
onnx (YOLOv5)	ONNX	1.14.0
onnx (YOLOv5+SAHI)	ONNX	1.14.0
onnxruntime (YOLOv10)	מיקרוסופט	1.15.1
onnxruntime (YOLOv5)	מיקרוסופט	1.15.1
onnxruntime (YOLOv5+SAHI)	מיקרוסופט	1.15.1
opencv-python (SSD)	OpenCV	4.1.2.30
opencv-python (YOLOv10)	OpenCV	4.9.0.80
opencv-python (YOLOv5)	OpenCV	4.9.0.80
opencv-python (YOLOv5+SAHI)	OpenCV	4.9.0.80
opencv-python (YOLOv8-Seg)	OpenCV	4.9.0.80
פנדות (YOLOv10)	קהילת הפנדות	2.2.2
פנדות (YOLOv5)	קהילת הפנדות	2.2.2
פנדות (YOLOv5+SAHI)	קהילת הפנדות	2.2.2
פנדות (YOLOv8-Seg)	קהילת הפנדות	2.2.2
כרית (SSD)	מפתחי הכריות	8.2.0
כרית (YOLOv10)	מפתחי הכריות	10.2.0
כרית (YOLOv5)	מפתחי הכריות	8.5.0
כרית (YOLOv5+SAHI)	מפתחי הכריות	8.5.0
כרית (YOLOv8-Seg)	מפתחי הכריות	10.2.0
פסטיל (YOLOv10)	Psutil Developers	5.9.8
פסטיל (YOLOv5)	Psutil Developers	5.9.8
פסטיל (YOLOv5+SAHI)	Psutil Developers	5.9.8
פייקוקוטולים (YOLOv10)	קונסורציום COCO	2.0.7
פייקוקוטול (YOLOv5)	קונסורציום COCO	2.0.7
pycocotools (YOLOv5+SAHI)	קונסורציום COCO	2.0.7
פייקוקוטולס (YOLOv8-Seg)	קונסורציום COCO	2.0.7
py-cpuinfo (YOLOv10)	מפתחי Py-CPUInfo	9.0.0
py-cpuinfo (YOLOv5)	מפתחי Py-CPUInfo	9.0.0
py-cpuinfo (YOLOv5+SAHI)	מפתחי Py-CPUInfo	9.0.0
PyYAML (YOLOv10)	PyYAML	6.0.1
PyYAML (YOLOv5)	PyYAML	6.0.1
PyYAML (YOLOv5+SAHI)	PyYAML	6.0.1
PyYAML (YOLOv8-Seg)	PyYAML	6.0.1
בקשות (SSD)	בקשות בפייתון	2.27.1
בקשות (YOLOv10)	בקשות בפייתון	2.32.3
בקשות (YOLOv5)	בקשות בפייתון	2.31.0
בקשות (YOLOv5+SAHI)	בקשות בפייתון	2.31.0
סאהי	מפתחי SAHI	0.3.4+
סקיפי (SSD)	קהילת SciPy	1.2.1
סקיפי (YOLOv10)	קהילת SciPy	1.13.0
סקיפי (YOLOv5)	קהילת SciPy	1.13.0
סקיפי (YOLOv5+SAHI)	קהילת SciPy	1.13.0
סקיפי (YOLOv8-Seg)	קהילת SciPy	1.13.0
סיבורן (YOLOv10)	Seaborn Developers	0.13.2
סיבורן (YOLOv5)	Seaborn Developers	0.13.2
סיבורן (YOLOv5+SAHI)	Seaborn Developers	0.13.2
סיבורן (YOLOv8-Seg)	Seaborn Developers	0.13.2
מעוצב (YOLOv5+SAHI)	Shapely Developers	2.0.4
SSD	כותבי קפה/SSD מקוריים	פייתון 3.6.13+; PyTorch 1.2.0+; CUDA 10.0; CUDNN 7.4.1
טנסורבורד (SSD)	גוגל	2.10.1
טנסורבורד (YOLOv5)	גוגל	2.16.2
טנסורבורד (YOLOv5+SAHI)	גוגל	2.16.2
Torchvision (SSD)	פייטורץ'	0.4.0
טורצ'וויז'ן (YOLOv10)	פייטורץ'	0.15.2
טורצ'וויז'ן (YOLOv5)	פייטורץ'	0.17.2
Torchvision (YOLOv5+SAHI)	פייטורץ'	0.17.2
טורצ'וויז'ן (YOLOv8-Seg)	פייטורץ'	0.16.1+
tqdm (SSD)	מפתחי TQDM	4.60.0
tqdm (YOLOv10)	מפתחי TQDM	4.66.4
tqdm (YOLOv5)	מפתחי TQDM	4.66.2
tqdm (YOLOv5+SAHI)	מפתחי TQDM	4.66.2
אולטראליטיקה (YOLOv8-Seg)	אולטרליטיקה	8.2.99+
YOLOv10	צוות YOLOv10	פייתון 3.8.0+; PyTorch 2.0.1+cu118; CUDA 11.8; CUDNN 8.7
YOLOv5	אולטרליטיקה	פייתון 3.8.0+; PyTorch 2.2.2+; CUDA 11.2; CUDNN 8.1.2
YOLOv5 + SAHI	Ultralytics + מפתחי SAHI	פייתון 3.8.0+; PyTorch 2.2.2+; CUDA 11.2; CUDNN 8.1.2
YOLOv8-Seg	אולטרליטיקה	פייתון 3.8.0+; PyTorch 2.0.1+cu118; CUDA 11.8; CUDNN 8.6.0+