מקודד-מפענח-מקודד כפול עם הדרכה יריבה לזיהוי תאונות דרכים ללא פיקוח בסרטוני מעקב

Summary

עבודה זו מציעה מודל מקודד-מפענח-מקודד כפול (EDE) לזיהוי אוטומטי של תאונות דרכים. באמצעות שיטת אימון דו-שלבית, הוא לומד דפוסי נהיגה רגילים ומזהה חריגות באמצעות עימות גנרטיבי. המודל מזהה ביעילות תאונות בצילומים מהעולם האמיתי ומציע תובנות לגבי התנהגויות הנהגים על ידי לכידת סטיות עדינות.

Abstract

כדי לשפר את הבטיחות בדרכים ולשפר את תגובת החירום, יש לזהות אירועי תנועה בצילומי מעקב בעולם האמיתי במהירות האפשרית. מערכות קיימות תלויות במידה רבה בניטור ידני, שגוזל זמן ונוטה לטעויות. זיהוי תאונות אוטומטי נותר מאתגר בשל חוסר האיזון המעמדי המשמעותי: מצבי נהיגה רגילים מיוצגים יתר על המידה, בעוד שתאונות הן נדירות ומגוונות. במקרים כאלה, מערכות ראייה ממוחשבות מסורתיות לרוב אינן יכולות להבדיל באופן אמין בין אירועים רגילים לחריגים. מחקר זה מטפל בבעיה על ידי פיתוח ארכיטקטורת למידה עמוקה המבוססת על מסגרת מקודד-מפענח-מקודד כפול (EDE). המודל משתמש בשני צינורות מקודד-מפענח משותפים כדי למפות את התפלגויות התמונה להתפלגויות סמויות שצוינו בשני הכיוונים. מסגרת זו מאפשרת למערכת למדל דפוסי התנהגות נפוצים בתנועה ולהיות רגישה יותר לשינויים שעשויים להצביע על אירועים מסוכנים או חריגים. טכניקת אימון דו-שלבית מוצעת כדי לשפר עוד יותר את זיהוי החריגות. בשלב הראשון, המודל לומד לשחזר תמונות של נהיגה רגילה, תוך שימוש באובדן שחזור כדי לאפיין התנהגות נורמלית. בשלב השני, מוצג מנגנון יריב גנרטיבי: וקטורים סמויים משוחזרים מ-EDE אחד מועברים לשני, ויוצרים תמונות סינתטיות ומרחבים סמויים. תהליך זה מגביר את ההבדלים בין תפוקות אמיתיות וסינתטיות, מה שהופך את המערכת למגיבה יותר לסימנים עדינים של חריגות פוטנציאליות. ארכיטקטורת ה-EDE הכפולה ומתודולוגיית האימון היריבה מייצגות התקדמות משמעותית לעומת השיטות הנוכחיות על ידי מידול התנהגות נורמלית ופתולוגית כאחד. תוצאות ניסיוניות על מערכי נתונים של מעקב תנועה בעולם האמיתי מראות כי השיטה המוצעת משפרת משמעותית את זיהוי התאונות והתנהגויות נהיגה לא בטוחות, הן מבחינת דיוק והן מבחינת חוסן.

Introduction

על פי ארגון הבריאות העולמי (2023), פציעות בדרכים הן סיבת המוות המובילה בקרב ילדים וצעירים בגילאי 5-29 שנים, עם כ-1.3 מיליון הרוגים מדווחים ברחבי העולם מדי שנה. נתון מדאיג זה מדגיש את הצורך הדחוף במערכות אוטומטיות המסוגלות לנטר^את התנועה בכבישים, לזהות חריגות בזמן אמת ולהפחית עיכובים בתגובת חירום. השילוב של בינה מלאכותית (AI) והאינטרנט של הדברים (IoT) בתשתיות עיר חכמה איפשר פיתוח של מערכות תחבורה חכמות. בעוד שרשתות טלוויזיה במעגל סגור (CCTV)^2,3 מספקות מעקב רציף אחר תנועה עירונית, ניטור ידני אינו מעשי ונוטה לטעויות. לכן, פתרונות אוטומטיים ניתנים להרחבה לזיהוי אירועי תנועה הם חיוניים.

שיטות ראייה ממוחשבת מסורתיות לניתוח תנועה - כגון זיהוי רכב, מעקב וסיווג התנהגות - משתמשות לעתים קרובות ברשתות עצביות קונבולוציוניות (CNNs) שהוכשרו באמצעות למידה מפוקחת ^4,5. מערכות אלו דורשות מערכי נתונים נרחבים ומבוארים ולעתים קרובות אינן מצליחות להכליל על פני התרחישים הנדירים והמגוונים המאפיינים תאונות בעולם האמיתי. כתוצאה מכך, חוקרים פנו לגישות זיהוי אנומליות לא מפוקחות, שאינן תלויות בנתוני אנומליה מסומנים. בין אלה, מקודדים אוטומטיים (AEs) ורשתות יריבות גנרטיביות (GANs) הראו הבטחה במידול דפוסים נורמליים וזיהוי סטיות ^6,7,8.

עם זאת, AEs סטנדרטיים נוטים לשחזר כניסות בצורה נאמנה מדי - גם כאשר כניסות אלה חריגות - מה שמוביל לשיעורי שלילי כוזב גבוהים ^9,10. מקודדים אוטומטיים וריאציונליים (VAEs)¹¹ ומודלים מבוססי GAN כגון f-AnoGAN¹², GANomaly¹³ ו-OCGAN¹⁴ מטפלים בחלק מהבעיות הללו על ידי שילוב מודלים של מרחב סמוי ולמידה יריבה. עם זאת, מודלים אלה מסתמכים לעתים קרובות על מיפויים חד-כיווניים מתמונה למרחב סמוי¹⁵, מה שמגביל את יכולתם לזהות חוסר עקביות עדין או מורכב בחריגות תעבורה בעולם האמיתי.

מערכות מפוקחות, כמו אלה שפותחו עבור AI City Challenge על ידי ByteDance¹⁶, WHU¹⁷ ו-USF¹⁸ משיגות דיוק גבוה באמצעות מעקב מרחבי-זמני¹⁹ועיצובים ממוקדי אובייקטים. עם זאת, הם דורשים נתוני תאונות מתויגים וצינורות מעקב מורכבים, מה שמפחית את המדרגיות והישימות בזמן אמת.

מודל	סוג	פיצ'רים עיקריים	מגבלות	ביצועים (מתואר)
גנומלי	ללא השגחה	מקודד-מפענח-מקודד; אימון יריב	נוטה לשחזר אפילו קלטים חריגים טוב מדי, מה שמוביל לשליליות כוזבות	טוב בסך הכל, עם דיוק גבוה וזיכרון מאוזן
אוקגן	ללא השגחה	GAN מחלקה אחת עם שטח סמוי מוגבל	מתקשה לזהות אנומליות עדינות או מורכבות	מעט טוב יותר מ-GANomaly, עם איזון משופר בין מדדים
פ-אנוגן	ללא השגחה	זיהוי חריגות מהיר באמצעות רשתות GAN והתאמת תכונות	יכולת מוגבלת ללכוד אנומליות מורכבות במרחב סמוי	ביצועים בינוניים (לא סופקו ציונים ספציפיים)
בייטדאנס	תחת פיקוח	מעקב מרחבי-זמני עם לוקליזציה של אנומליה ברמת האובייקט	דורש נתוני אימון מסומנים; מדרגיות מוגבלת בהגדרות בעולם האמיתי	דיוק ודיוק גבוהים מאוד; רגישות מעט נמוכה יותר
באדו	תחת פיקוח	משתמש במידול רקע ומעקב אחר כלי רכב	פחות יעיל בסצנות מגוונות; מפספס אנומליות עדינות	דיוק מוצק; איזון טוב אך נמוך יותר משיטות מובילות
WHU	תחת פיקוח	מעקב אחר מסלול דו-מודאלי	הכללה לקויה וזיכרון אנומליה נמוך	ביצועים חלשים באופן כללי, במיוחד בזיהוי חריגות
USF	תחת פיקוח	משלב מידול רקע עם ניתוח דמיון מבני	גרוע בזיהוי חריגות במדויק	דיוק ורגישות נמוכים מאוד
מוצע (Dual-EDE)	ללא השגחה	מקודד-מפענח-מקודד כפול; מיפוי סמוי דו-כיווני עם אובדן יריב וניגודיות	עומס חישובי גבוה; מוגבל לכניסת RGB	ביצועים מצוינים; דיוק מעולה, זיכרון גבוה ואיזון חזק בין מדדים

טבלה 1: סיכום העבודה הקשורה בזיהוי אנומליות תנועה מבוססות וידאו.

טבלה 1 מנוגדת לשיטות זיהוי אנומליות חיוניות המשמשות במעקב אחר תנועה, ומדגישה את הארכיטקטורות, היתרונות, החסרונות והביצועים שלהן. מודלים קונבנציונליים מבוססי GAN כמו GANomaly ו-OCGAN יכולים לבצע זיהוי יעיל ללא פיקוח אך נאבקים בחריגות עדינות. שיטות מפוקחות, למרות שהן מדויקות ביותר, תלויות במידה רבה בנתונים מסומנים ובמעקב מתוחכם. מודל ה-Dual-EDE המוצע משלב קידוד מרחב סמוי דו-כיווני עם אימון יריב וניגודיות, ומאפשר לו לזהות חריגות תנועה נדירות ועדינות ללא נתונים מסומנים, ומציע מדרגיות וחוסן.

פער מחקרי והשערה
למרות שמודלים לא מפוקחים מפחיתים את הצורך בחריגות מסומנות, הם עדיין מתקשים לזהות במדויק אירועי תנועה נדירים, עדינים ובעלי השפעה רבה. השיטות הנוכחיות מוגבלות על ידי אסימטריה אדריכלית וחוסר היכולת לנצל באופן מלא את חוסר העקביות במרחב הסמוי. רבים גם לא מצליחים להבחין היטב בין התנהגות נורמלית מורכבת לבין אנומליות אמיתיות בסביבות תנועה דינמיות מאוד.

אנו משערים כי ארכיטקטורת מקודד-מפענח-מקודד כפול (EDE) המאומנת אך ורק על נתוני תנועה רגילים, בשילוב עם אסטרטגיית אימון דו-שלבית, יכולה לעלות על מודלים חדישים בזיהוי חריגות תנועה מגוונות ועדינות. על ידי אכיפת עקביות סמויה דו-כיוונית ושילוב שחזור יריב, המערכת הופכת רגישה יותר לסטיות זעירות מההתנהגות הצפויה - כגון בלימה פתאומית, סטייה לא יציבה או התנגשויות - ללא צורך בנתוני תאונות מוערים.

שיטה מוצעת
אנו מציעים מסגרת חדשה לזיהוי אנומליות ללא פיקוח הבנויה על ארכיטקטורת EDE כפולה. בניגוד למודלים מסורתיים המשתמשים בצינור קידוד-פענוח יחיד, המערכת שלנו משתמשת בשני מסלולי EDE המבצעים מיפוי דו-כיווני בין תמונות וייצוגים סמויים. עיצוב זה מאפשר למודל ללמוד תכונות עשירות של דינמיקת תנועה רגילה ולהגביר פערים כאשר מתרחשות חריגות. תהליך ההכשרה מורכב משני שלבים:

שלב ראשון משתמש באובדן שחזור כדי למדל התנהגות נורמלית, בדומה לאימון מקודד אוטומטי סטנדרטי.

שלב שני מציג מנגנון יריב גנרטיבי, שבו וקטורים סמויים מ-EDE אחד מועברים לשני כדי ליצור נתונים סינתטיים, מה שמאלץ את המערכת למקסם את ההבחנות בין ייצוגים אמיתיים ומזויפים הן בתחום התמונה והן בתחום הסמוי.

תרומות עיקריות
אנו מציגים ארכיטקטורת EDE כפולה הלוכדת חוסר עקביות סמוי באמצעות מיפוי דו-כיווני לזיהוי אנומליה משופר. אנו מפתחים הליך אימון דו-שלבי המשלב שחזור מקודד אוטומטי עם למידה יריבה כדי לשפר את הרגישות לסטיות עדינות. אנו מדגימים, באמצעות ניסויים במערך הנתונים של AI City Challenge (מסלול 4), כי המודל עולה על מספר קווי בסיס מפוקחים ובלתי מפוקחים מתקדמים, ומשיג זיהוי תאונות חזק וניתן להרחבה בסביבות עירוניות בעולם האמיתי. לסיכום, עבודה זו מציעה גישה ניתנת להרחבה, מדויקת ונטולת תוויות לזיהוי חריגות תנועה, ותורמת למערכות תחבורה חכמות בטוחות ומגיבות יותר.

Protocol

מערכת

ההתקנה
פרסנו את מערכת זיהוי חריגות התעבורה המוצעת במסגרת מחשוב היררכית ומבוזרת, תוך מינוף סביבת Intel Tiber Cloud. ארכיטקטורה זו מורכבת משלוש שכבות - קצה, ערפל וענן - כדי להבטיח הסקת מסקנות בהשהיה נמוכה, הדרכה ניתנת להרחבה והקצאת משאבים יעילה על פני צמתי מחשוב.

שכבת קצה: זיהוי חריגות בזמן אמת מתבצע בקצה באמצעות התקנים משובצים קלים התומכים ב-GPU (לדוגמה, NVIDIA Jetson Nano או פלטפורמות מקבילות מבוססות Intel עם GPUs משולבים). יחידות אלה מוקמו יחד עם מצלמות מעקב וביצעו הסקה פריים אחר פריים עם חביון מינימלי, מה שמאפשר ניטור תנועה מבוזר ומגיב.

שכבת ערפל: משימות עתירות מחשוב יותר, כולל הסקת אצווה ושכלול מודל בזמן אמת, טופלו על ידי צמתי ערפל שהוקצו כמכונות וירטואליות ייעודיות או מופעי מתכת חשופים בתוך Intel Tiber Cloud. כל צומת ערפל הוגדר עם מעבד Intel Xeon עם לפחות 16 GB של זיכרון RAM והייתה לו גישה להאצת GPU משולבת או נפרדת של אינטל. שכבת ביניים זו אפשרה פעולות בתפוקה גבוהה ליד מקור הנתונים תוך שמירה על אוטונומיה מהשרתים המרכזיים.

שכבת ענן: עבור הדרכה וארכיון בקנה מידה גדול, שכבת הענן משתמשת באשכולות מחשוב ניתנים להרחבה המוצעים באמצעות השירותים המותאמים לבינה מלאכותית של אינטל טיבר. מופעים המצוידים במאיצי Intel Habana Gaudi או מעבדי Intel Xeon Scalable משמשים לאימון רשתות עצביות עמוקות על מערכי נתונים נרחבים של וידאו, תמיכה בגרסאות מודלים, אחסון לטווח ארוך ותיאום כלל מערכתי.

חבילת התוכנה המלאה פעלה בסביבת Python 3.8+ תוך שימוש בספריות מותאמות לאינטל לחישוב מואץ. המסגרות העיקריות כוללות את PyTorch (עם הרחבת אינטל ל-PyTorch), OpenCV לעיבוד מקדים של תמונות ווידאו, ו-Scikit-learn להערכה. האצת GPU מופעלת באמצעות ערכות הכלים המתאימות של oneAPI ואופטימיזציות DAAL.

עם הפריסה, שיבטנו את המאגר המכיל את ארכיטקטורת ה-EDE הכפולה ואתחלנו את רכיבי המודל - שני מקודדים (E1, E2) ושני מפענחים (D1, D2). השתמש בשיטת .to(device) כדי להעביר את הרכיבים באופן דינמי ליחידת העיבוד האופטימלית (CPU, GPU או מאיץ גאודי) בהתאם לזמינות המשאבים המקומיים.

הכרזנו על פרמטרי ההדרכה וההערכה, כולל מספר התקופות, קצב הלמידה, מקדמי איזון הפסדים (γ, δ) וספי רגישות לאנומליה (ω₁, ω₂), בתסריט תצורה. לצורך האימון, עקבנו אחר פרוטוקול דו-שלבי: (1) שחזור מקודד אוטומטי סטנדרטי ללימוד התנהגות תנועה רגילה ו-(2) שחזור סמוי יריב להגברת אנומליות באמצעות אינטראקציות חוצות EDE.

ארכיטקטורת מערכת מודולרית ומקורית בענן זו אפשרה זיהוי אנומליה חזק בזמן אמת, מדרגיות מודל ופריסה אמינה בסביבות תחבורה חכמות בעולם האמיתי באמצעות ענן Intel Tiber.

מערך נתונים
לצורך הדרכה והערכה של מערכת זיהוי החריגות המוצעת, השתמשנו במערך הנתונים שסופק על ידי NVIDIA AI City Challenge 2021, מסלול 4 (חריגת תנועה). מערך הנתונים כולל 100 סרטוני הדרכה ו-150 סרטוני בדיקה, כל אחד באורך ממוצע של 15 דקות, שהוקלט ברזולוציה של 30 פריימים לשנייה ו-410 p. כל סרטון מציג רמת קושי מובהקת עקב שינויים בסוגי הכבישים, זוויות המצלמה, התאורה ותנאי מזג האוויר. מערך הנתונים לוכד מגוון רחב של תשתיות כבישים (למשל, כבישים מהירים מרובי נתיבים, צמתים), צפיפות תנועה ותנאי מזג אוויר (למשל, בהיר, גשום, בין ערביים), מזוויות מצלמה מרובות. תכונות אלו הופכות אותו לאמת מידה אידיאלית להערכת יכולת ההכללה של מודלים לזיהוי חריגות.

עיבוד מקדים
כדי לאמן את המודל בתנאים לא מפוקחים, השתמש רק בסצנות תנועה רגילות (ללא תאונה), והימנע מכל חשיפה לאירועים חריגים במהלך האימון. בצע עיבוד מקדים של וידאו באמצעות OpenCV. מסגרות לדוגמה באופן אחיד ב-5 פריימים לשנייה כדי להבטיח כיסוי זמני מספיק תוך הפחתת יתירות. שנה את גודל הפריימים ל-128 x 128 פיקסלים, תוך התאמה לדרישות הקלט של רשת ה-EDE הכפולה ואיזון בין פרטים חזותיים ליעילות חישובית. נרמל את ערכי הפיקסלים לטווח [-1, 1] כדי לשפר את יציבות האימון.

כדי לשפר את ההכללה ולדמות שונות בעולם האמיתי, החל את טכניקות ההגדלה הבאות על כל מסגרת אימון בהסתברות אקראית:

חיתוך ושינוי קנה מידה אקראיים: חתוך תת-אזורים אקראיים ושנה את קנה המידה שלהם בחזרה לרזולוציה המקורית, תוך עידוד השתנות לגודל האובייקט, נראות חלקית ושינויי מיקום מרחביים, תוך חיקוי אפקטי זום ונושאים לא מרכזיים בסרטון מעקב.

אפנון בהירות וניגודיות: החל טרנספורמציות ליניאריות או מבוססות גמא כדי לחקות וריאציות תאורה כגון צללים, בוהק, וריאציות זריחה/שקיעה ותאורה מלאכותית. זה משפר את עמידות הדגם לתנודות תאורה יומיות ועונתיות.

הזרקת רעש גאוס וטשטוש תנועה: הוסף רעש גאוס עם סטיות תקן משתנות כדי לדמות רעשי חיישן וחפצי דחיסה. הדמיה של טשטוש תנועה באמצעות גרעינים קונבולוציוניים המכוונים לכיוונים וגדלים שונים כדי לחקות את האפקט של עצמים נעים או רעידות מצלמה, מה שרלוונטי במיוחד בסצנות תנועה בקצב מהיר.

מיסוך חסימה אקראית: החל חסימות סינתטיות על ידי הצבת טלאים מלבניים שחורים או אפורים בגדלים ובמיקומים אקראיים מעל המסגרת. הגדלה זו מדמה מכשולים בעולם האמיתי כגון הולכי רגל, אלמנטים תשתיתיים או כלי רכב חולפים החוסמים את שדה הראייה. זה מעודד את המודל ללמוד מההקשר ולהישאר חזק לאזורים חסרים או מעוותים.

החל את התוספות הללו באופן דינמי במהלך האימון באמצעות צינורות טרנספורמציה של PyTorch, תוך הבטחה שכל אצווה מכילה תערובת מגוונת של מסגרות מוגברות, מקדמת חשיפה לדפוסים מגוונים ומפחתת התאמת יתר.

טען מסגרות מעובדות עם DataLoader של PyTorch כדי לנהל אצווה, ערבוב וטעינה מקבילה. התאמן עם גדלי אצווה בין 32 ל-64, בהתאם לקיבולת ה-GPU. להסקה וניקוד חריגות, עבד מסגרות בנפרד (גודל אצווה = 1) כדי לאפשר זיהוי מדויק ברמת המסגרת.

צינור עיבוד מקדים והגדלה זה משפר את החוסן וההכללה, ומאפשר למודל לזהות התנהגות חריגה ביעילות בסביבות ניטור תנועה מגוונות ורועשות בעולם האמיתי.

השיטה המוצעת:
מערכת ה-EDE המוצעת לומדת מיפויים דו-כיווניים בין התפלגות תמונה למרחבים סמויים. שני מקודדים ושני מפענחים מאפשרים חילוץ תכונות חזק ובידול חריגות. הרשתות מאומנות הן בשלבי שחזור והן בשלבי יריבות. למידה ניגודית, רגולציה ועונש שיפוע משמשים למניעת קריסת מצב ושיפור חוסן אימון GAN.

מסגרת EDE פועלת באופן הבא: מקודד 1 (E1) מקודד תכונות תמונה לתוך המרחב הסמוי. המפענח הראשון (D1) משחזר תמונות מווקטורים סמויים כדי למזער את אובדן השחזור. התמונות המשוחזרות ממופות בחזרה לחלל הסמוי כדי ללכוד חוסר עקביות. המפענח השני (D2) מייצר תמונות סינתטיות מהמרחב הסמוי השני כדי לעזור למודל להבחין בין נתונים אמיתיים לנתונים סינתטיים. מיפוי דו-כיווני זה מזהה חריגות על סמך פערי מרחב סמויים ולא הבדלים ברמת הפיקסלים.

שלב 1: הכשרה לשיקום: המקודד האוטומטי מאומן לשחזר תמונות תנועה רגילות, כך שכניסות חריגות מייצרות שגיאות שחזור משמעותיות. פונקציית ההפסד לוקחת בחשבון את תמונת הקלט, הקידוד הסמוי שלה והתמונה המשוחזרת.

הכשרה יריבה: לאחר אימון שחזור, מיושמת למידה יריבה. וקטורים סמויים משוחזרים מועברים דרך מבנה EDE חלופי כדי לייצר תמונות סינתטיות ווקטורים סמויים. המטרות הן למקסם את ההבדלים בין תמונות אמיתיות לסינתטיות; לשנות ולשחזר וקטורים סמויים כדי לשפר את זיהוי האנומליות על ידי מקודד 2 (E2); ולמנוע קריסת מקודד.

האימון נועד למנוע התכנסות של E1 ו-E2 למיפויים זהים, מה שיפחית את יכולת ההבחנה.

למידה ניגודית: פונקציית הפסד מבדילה בין ייצוגים אמיתיים ומשוחזרים, עם היפרפרמטר שוליים השולט בהפרדת התכונות.
טכניקות הרגולציה כוללות:

נשירה: השבתה אקראית של נוירונים למניעת התאמת יתר.
ירידה במשקל: מעניש משקלים גדולים כדי לייצב את למידת התכונות.

שיטות יציבות אימון יריבות²⁰ ומניעת קריסת מצב כוללות:
עונש שיפוע: מווסת את התנהגות המפלה.
הגדלת נתונים: חיתוך אקראי, קנה מידה ותאורה מתכווננת כדי לדמות תנאים מגוונים.
הזרקת רעש: הוספת רעש מציאותי, טשטוש תנועה וחסימות כדי לשפר את ההכללה.
עצירה מוקדמת: הפסקת אימון אם אובדן התיקוף משתנה באופן משמעותי כדי למנוע התאמת יתר.

שיפורים ארכיטקטוניים, שיטות הדרכה ואמצעי חוסן אלה מבטיחים זיהוי אמין של חריגות תעבורה.

רשת זיהוי התאונות הבלתי מפוקחת מאומנת אך ורק על דגימות רגילות ונבדקת על דגימות רגילות ותאונות. רשמית:

מתוך הסט של כל סרטוני האימון הרגילים והתאונות, שקול מערך נתוני אימון גדול E עם מסגרות רגילות F בלבד (E = {x1, x2}). .., xM } ומערך נתוני בדיקה קטן יותר Ê המכיל צילומי תאונה רגילים ותצלומי תאונה (Ê=[( x̂1,y1), (x̂2,y2), (x̂F*,yF*)]),מסגרות, כאשר yi [0, 1] היא תמונת תווית המסגרת. עבור אימון F F*, מערך נתוני האימון חייב להיות גדול משמעותית ממערך הנתונים של הבדיקה. לאחר למידת סעפת מערך הנתונים (E), זהה מסגרות תאונה ב-Ê כחריגות במהלך ההסקה. המודל f מחשב ציון תאונה Acc(x) על סמך התפלגות הנתונים הנורמלית שנלמדה. תמונת מבחן x עם ציון תאונה גבוה עשויה להיות תאונה. קריטריוני השיפוט מבוססים על סף ניקוד התאונה (φ) אם Acc(x) > φ.

ארכיטקטורת רשת:
כפי שמוצג באיור 1, מודל GANomaly²¹ מכיל שני מקודדים, מפענח אחד ומפלה אחד. חוקרים רבים אימצו שיטה זו כדי להבחין בין וקטורים סמויים ולזהות חריגות חזותיות^12,22. שני המקודדים והמפענח היחיד משנים באופן הדדי את התמונה ואת הווקטור הסמוי במודל. עובדות חריגות אלה מצוינות במהלך הטרנספורמציה. המפלה מפריד בין התמונות שנוצרו לבין המקור. GANomaly מסתמך על קידוד, פענוח וקידוד מחדש.

איור 1: ארכיטקטורת GANomaly המדגימה את זרימת המידע. הארכיטקטורה מורכבת ממסגרת מקודד-מפענח-מקודד המשולבת ברשת יריבה גנרטיבית. המקודד הראשון דוחס את מסגרת הווידאו הקלט לייצוג חלל סמוי, אשר משוחזר לאחר מכן על ידי המפענח. מקודד שני ממפה את המסגרת המשוחזרת בחזרה לחלל הסמוי. המפלה מעריך את ההבדל בין הקלט לתכונות המשוחזרות כדי לחשב את ציון האנומליה. החצים מציינים את כיווני הזרימה של הנתונים דרך הרשת. קיצור: GAN = רשת יריבה גנרטיבית. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

איור 2 ממחיש את ארכיטקטורת EDE עם שני מקודדים ומפענח אחד. מבנה ה-EDE חייב לשנות כל הזמן פרמטרים כדי לזהות תקלות בווידאו. הוספנו מפענח שני למבנה EDE ואפשרנו להם לשתף את המקודדים כדי ליצור את המודל באיור 2 עם שתי תצורות רשת. לשני מקודדים יש ארבע שכבות קונבולוציוניות. השתמשנו בפונקציות הפעלה של LeakyReLU עבור כל השכבות למעט שכבת הפלט, שהשתמשה בהפעלת tanh כדי לקשור את היציאות בין -1 ל-1. נורמליזציה של אצווה יושמה לאחר מספר שכבות קונבולוציוניות. המפענחים (איור 3 ואיור 4) דומים למקודדים אך משתמשים ב-ConvTranspose ובנורמליזציה נוספת של אצווה במקום כל שכבה.

איור 2: ארכיטקטורה מוצעת מבוססת-EDE עם זרימת מידע. ארכיטקטורת EDE מודגמת, המציגה את זרימת מסגרות הווידאו דרך שני מקודדים ומפענח. המקודד הראשון (E1) דוחס את מסגרת הקלט לייצוג סמוי, אשר משוחזר לאחר מכן על ידי המפענח (D1). הפלט המשוחזר מועבר דרך המקודד השני (E2) כדי לקבל וקטור סמוי שני. פערים בין וקטורים סמויים לאיכות השחזור משמשים לזיהוי חריגות, הנתמכים על ידי רכיבי אובדן יריבים וניגודיים. קיצור: EDE = מקודד-מפענח-מקודד. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

פרטי ארכיטקטורת רשת:
מודל ה-EDE הכפול מורכב משני צינורות מקודד-מפענח-מקודד, כל אחד עם אותו מבנה ומותאם במשותף במהלך האימון.

ארכיטקטורת מקודד (E1, E2)

קלט: מסגרת RGB 128×128×3

שכבה 1: Conv2D (64 מסננים, 4×4 ליבה, צעד 2, ריפוד 1) → LeakyReLU (α = 0.2)

שכבה 2: Conv2D (128 מסננים, 4×4, צעד 2, ריפוד 1) → BatchNorm → LeakyReLU

שכבה 3: Conv2D (256 מסננים, 4×4, צעד 2, ריפוד 1) →-BatchNorm →-LeakyReLU

שכבה 4: Conv2D (512 מסננים, 4×4, צעד 2, ריפוד 1) → BatchNorm → LeakyReLU

שכבה 5: שיטוח → וקטור צפוף עד סמוי (z ^100)

ארכיטקטורת מפענח (D1, D2)

קלט: z ^100 → צפוף → שינוי צורה ל-8×8×512

שכבה 1: TransposedConv2D (256 מסננים, 4×4, צעד 2, ריפוד 1) →-BatchNorm →-ReLU

שכבה 2: TransposedConv2D (128 מסננים, 4×4, צעד 2, ריפוד 1) → BatchNorm → ReLU

שכבה 3: TransposedConv2D (64 מסננים, 4×4, צעד 2, ריפוד 1) → BatchNorm → ReLU

שכבה 4: TransposedConv2D (3 מסננים, 4×4, צעד 2, ריפוד 1) → Tanh

התמונה המשוחזרת מקודדת מחדש באמצעות המקודד השני כדי לקבל ייצוג סמוי, ואי התאמות בין הווקטורים הסמויים המקוריים והמשוחזרים משמשים לניקוד אנומליה.

הפעלה ונורמליזציה
מקודדים משתמשים בהפעלת LeakyReLU ובנורמליזציה של אצווה. מפענחים משתמשים בהפעלת ReLU, למעט השכבה הסופית, המחילה את Tanh כדי לנרמל יציאות לטווח [-1, 1].

אובדן פונקציות
אובדן שחזור תמונה: ǀǀ x −ǀǀ₂
אובדן עקביות סמוי: ǀǀ z −ǀǀ₂

אובדן יריב: הוצג בשלב II כדי למקסם את הסטייה בין שחזורים אמיתיים וסינתטיים על ידי אילוץ הרשת להבחין בין קודים סמויים אמיתיים לאלה שנוצרו במהלך השחזור.

ארכיטקטורה זו לוכדת הן אי סדרים במרחב הפיקסלים והן במרחב הסמוי, ומאפשרת זיהוי סטיות עדינות המעידות על התנהגות נהיגה חריגה.

הכשרה בשני שלבים
נעשה שימוש בשיטת אימון רשת דו-שלבית. הן לשחזור וקטור תמונה והן לשחזור וקטור סמוי, מאומנים שני מבני EDE. בשלב השני, מקודד 2 מנסה להונות את מקודד 1 לסווג נתונים באופן שגוי כאמיתיים או משוחזרים.

הכשרה ראשונית לשחזור
מבנה ה-EDE מאומן לשכפל את תמונת הקלט ואת הווקטור הסמוי. קלט x מקודד לווקטור סמוי z על ידי מקודד E1. גם D1 וגם D2 מפענחים את z כדי לייצר תמונות, x1 ו-x2. השגנו שני וקטורים סמויים (z1 ו-z2) מהמקודד E2 לאחר שעברנו שתי תמונות משוחזרות (x1 ו-x2). שלב זה מכיל את מטרות ההדרכה הבאות:

LEDE1 = γ ǀǀ x −x₁ǀǀ₂+δ ǀǀ z_{−z 1}ǀǀ₂ (1)
LEDE2 = γ ǀǀ x−x₂ǀǀ₂+δ ǀǀ z_{−z 2}ǀǀ₂ (2)

תמונות משוחזרות אלה מועברות דרך מקודד E2 כדי לקבל וקטורים סמויים z₁ ו-z₂. מטרות ההכשרה:
גורמי שקלול (γ, δ) משפיעים באופן מכריע על ההשפעה של רכיבי אובדן על הפונקציה האובייקטיבית.

שנית, אימנו שני מבנים של מקודד-מפענח-מקודד בשיטות יריבות.
כאן, γ ו-δ הם הפרמטרים המשקללים את התרומות של שחזור ואובדן עקביות סמוי.

אימון יריב
שני מבני EDE מאומנים באופן יריב. לומד לזהות את מקודד 2 מנתונים. EDE2 חייב לרמות את EDE1 כי זה ההפך. D1 מפענח את z2 מהשלב הראשון ומשחזר את x1'. חזרה על x1' למקודד E2 מניבה z1'. מטרות ההכשרה הבימתיות הן כדלקמן:

מינימום מקסימום γ ǀǀ x_{−x 1'ǀǀ} +δ ǀǀ z -z_{1'ǀǀ 2} (3)
EDE2 EDE1

לשני מבני ה-EDE יש את פונקציות ההפסד הבאות:
LEDE1 = −γ ǀǀ x -x 1'ǀǀ ₂ −δǀǀ z - z_{1'ǀǀ 2} (4)
LEDE2 = +γ ǀǀ x_{- x 1'ǀǀ 2}+δ ǀǀ z_{- z 1'ǀǀ 2} (5)

הערכים של γ ו- δ תואמים לפרמטרים שצוינו קודם לכן.

איור 3: מבנה מקודד. רשת המקודדים המשמשת בארכיטקטורת EDE המוצעת מחלצת תכונות מרחביות-זמניות ממסגרות הווידאו הקלט. הוא מורכב משכבות קונבולוציוניות מרובות ואחריהם נורמליזציה אצווה והפעלת ReLU, מה שמפחית בהדרגה את הממדים המרחביים תוך לכידת ייצוגים היררכיים. הווקטור הסמוי הסופי מקודד מידע סמנטי ברמה גבוהה החיוני לזיהוי חריגות. קיצורים: ReLU = יחידה ליניארית מתוקנת, EDE = מקודד-מפענח-מקודד. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

כל EDE מספק שתי פונקציות הפסד עבור המבנה המוצע. בשלב 1, EDE1 חייב להפחית את הפסדי השחזור x ו-z. EDE1 חייב לייעל את השונות של שלב 2 בין וקטורים סמויים z ו-z1' ו-x ו-x1'. EDE2 ו-EDE1 מפחיתים את שגיאות השחזור של שלב 1 x ו-z. EDE1 חייב להקטין את ההפרש בין z ו-z1' ו-x ו-x1' בשלב 2, אבל ההפך חייב לקרות.

איור 4: מבנה מפענח. רכיב המפענח של ארכיטקטורת EDE המוצעת משחזר מסגרות קלט מתכונות סמויות. הוא מורכב מסדרה של שכבות קונבולוציוניות שהוחלפו הדגימה בהדרגה מפות תכונות לרזולוציית המסגרת המקורית. המפענח לומד לשחזר במדויק סצנות תנועה רגילות, מה שמאפשר למערכת לזהות חריגות על סמך שגיאות שחזור. קיצור: EDE = מקודד-מפענח-מקודד. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

כל יעד אימון כפול של מודל EDE כולל פונקציות ירידה עם משקלים המשתנים עם הזמן:

L_EDE1=(γ||x−x₁||₂+δ||z−z₁||₂)−(1−)(γ||x−x₁''||₂+δ||z−z₁''||₂) (6)
L_EDE2=(γ||x−x₁||₂+δ||z−z₁||₂)+(1−)(γ||x−x₁''||₂+δ||z−z₁''||₂) (7)

ספירת תקופות ההכשרה היא n.

אלגוריתם 1 מציג את האימון הדו-שלבי:
קלט:
כל התמונות הרגילות במערך הנתונים E = {x₁, x₂, . . . , x_F},
תקופות N,
פרמטרים משוקללים γ, δ
פלט:
מקודד-מפענח-מקודד מאומן 1,
מקודד-מפענח-מקודד 2
E₁, E₂, D₁, D₂ ←אתחול
משקולות
n ←1
חוזר
עבור f = 1 עד F do
z_f←e₁(x_f)
         ←d₁(z_f)
         ←d₂(z_f)
         ←e₂()
         ←ה₂()
         ←ד₁()
         ←e₂()′
L_EDE1←(γ||x_f−||₂+δ||z_f−||₂) −(1−)(γ||x_f−'||₂+ δ||z_f−'||₂)
L_EDE2←(γ||x_f−||₂+δ||z_f−||₂) +(1−) (γ||x_f−'||₂+ δ||z_f−'||₂)
E₁, E₂, D₁, D₂←עדכון משקולות
שימוש ב-L_EDE1ו-L_EDE2
סוף עבור
n ←n + 1
עד n = N

שלבי הדרכה וקריטריונים לזיהוי חריגות
חלקו את ההדרכה לשני שלבים עוקבים:

שלב א' - למידה משקמת:
שני צינורות EDE מאומנים אך ורק בסצנות תנועה רגילות.

תמונות קלט מועברות דרך מקודד 1 → מפענח 1 → מקודד 2 (איור 5).

המודל ממזער אובדן שחזור תמונה ואובדן עקביות סמוי. שלב זה מאפשר לרשת ללמוד מרחב סמוי קומפקטי ועקבי להתנהגות נורמלית.

שלב II - למידת עימות גנרטיבית:

וקטורים סמויים המשוחזרים ממפענח 1 מוזנים למפענח 2 ולאחר מכן מקודדים מחדש באמצעות מקודד 1. זרימה מעגלית זו עוזרת למודל לזהות חוסר עקביות בדפוסים סינתטיים. אובדן יריב מתווסף כדי להגזים בסטיות קטנות בין ייצוגים מקוריים ומשוחזרים. מבחין מאומן באופן אופציונלי להבדיל בין קודים סמויים אמיתיים לקודים משוחזרים, ולאכוף הבחנה חדה יותר במרחב הסמוי.

זיהוי חריגות:
בזמן ההסקה, העבירו מסגרת בדיקה דרך צינור ה-EDE הכפול. חשב שלושה מדדים: שגיאת שחזור מבחינת פיקסלים, אי התאמה וקטורית סמויה וציון מפלה יריב (אם נעשה בו שימוש). חישוב ציון אנומליה מורכב כסכום משוקלל:

מסגרות עם ציוני אנומליה מעל סף מכויל מסומנות כאירועים חריגים פוטנציאליים. מנגנון זה מאפשר למודל לזהות סטיות עדינות בדפוסי מרחב חזותיים וסמויים מבלי לדרוש תוויות אנומליה מוערות.

איור 5: ארכיטקטורה של מודל GANomaly היריב המשלב EDE 1 ו-EDE 2. איור זה ממחיש את העיצוב של מודל זיהוי האנומליה היריבה, המשלב שני מבני EDE - EDE1 לשחזור ו-EDE2 ליישור תכונות סמויות. המודל משתמש באובדן עקביות וקטורית סמויה ואימון יריב באמצעות מפלה כדי לאכוף דמיון בין הייצוגים הסמויים של הקלט למסגרות המשוחזרות. ארכיטקטורה זו משפרת את זיהוי האנומליות על ידי לימוד הטמעות תכונות חזקות עבור דפוסי תנועה רגילים. קיצורים: EDE1 = מבנה מקודד-מפענח-מקודד ראשון לשחזור; EDE2 = מבנה מקודד-מפענח-מקודד שני ליישור תכונות סמויות. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

במהלך הזיהוי, המודל שלנו השתמש בציונים החריגים הבאים:

Acc(x̂) = ω₁||z−z₂||₂+ω₂||z−z₁'||₂ (8)

שינוי פרמטרי משקל (ω₁+ ω₂= 1) יכול לשנות את הרגישות על ידי התאמת היחס בין החיוביים האמיתיים לחיוביים כוזבים. ביישומים בעולם האמיתי, שינוי שני הפרמטרים הללו יכול לזהות תאונות עם רגישויות שונות בניסוי אחד.

במהלך האימון, כל מסגרת קלט x מועברת דרך מקודד E₁ כדי ליצור וקטור סמוי z. לאחר מכן משוחזר הווקטור הסמוי באמצעות מפענח D₁, ומייצר תמונה x̂₁, אשר מועברת לאחר מכן דרך מקודד E₂ כדי לקבל וקטור סמוי משוחזר z. במקביל, z מפוענח על ידי מפענח D₂ כדי לייצר x̂₂, שגם מקודד מחדש באמצעות E₂ כדי להפיק z₂. תהליך דו-כיווני זה שומר על מידע ברמת הפיקסלים וברמת הסמוי לזיהוי חריגות.

אלגוריתם בדיקת מודל:
={( x̂_{1,y 1}),( x̂_{2,y 2}),...,( x̂_M*,y_M*)},
סף φ,

פרמטרי שקלול ω₁, ω₂
פלט: תווית חיזוי של מערך נתונים לבדיקה
E_re = {y_1pre, y_2pre, ..., y_F*pre}
עבור i = 1ל F* do
z_i ← e₁(x_i)
x_2i ← d₂(z_i)
z_2i ← e₂ (x_2i)
z_1i' ← d₁(z_2i)
z_1i' ← e₂(z_1i')
Acc(x̂_i) ←ω₁||z_i−z_2i||₂+ω₂||z_i−z_1i'||₂
ifAcc(x̂_i) ≥φ אז
y_ipre ←1
אחר
y_ipre ←0
אנדיף
קצה

EDE משתמש במפלה כמרכיב למידה יריב כדי להגביר את דיוק זיהוי האנומליות על ידי שיפור יכולת המודל להבחין בין אירועים נורמליים וחריגים. הוא משפר את הביצועים באופן הבא:

אפליית למידה: המפלה מאומן להבדיל בין ייצוגים סינתטיים וכפולים משוחזרים במבנה EDE. אופטימיזציה של תהליך יריב זה מעניקה למודל תכונות סמויות מפלות ביותר, ומשפרת את זיהוי האנומליה של זירת התנועה.

הסרת שחזורים גרועים: מכיוון שהם חורגים כל כך מדפוסי התנועה, חריגות יוצרות לעתים קרובות בעיות שחזור. המפלה מעניש פריימים משוחזרים בצורה שגויה, ומשפר את זיהוי האירועים הרגילים/חריגים של הרשת.

שיפור ייצוג תכונות עם אימון יריב: על ידי שילוב למידה יריבה, המפלה גורם לרשת EDE לייצר הטמעות סמויות עמידות ומשמעותיות יותר. זה מזהה אפילו שינויים קטנים כמו בלימה פתאומית, התנגשויות וסטיית רכב, ומשפר את זיהוי החריגות.

הסרת תוצאות חיוביות כוזבות: מקודדים אוטומטיים מסורתיים מכלילים ומנרמלים חריגות, וכתוצאה מכך שיעורי חיוביים כוזבים גבוהים. המפלה משמר את תכונות האנומליות במהלך השחזור על ידי זיהוי פערים סמויים בין מסגרות נורמליות וחריגות.

שיפור הסיווג עם תהליך החלטה דו-שלבי: מסגרות רגילות או חריגות שנבנו מחדש מקבלות ציוני ביטחון מהמפלה. שגיאות סיווג שגוי ואובדן שחזור מצטמצמים בשלב אימות נוסף זה, ומשפרים את דיוק הזיהוי.

השתמשנו בשיטות מוכחות לזיהוי תאונות כדי לבחון את האסטרטגיה 23,24,25,26. מחלקה אחת במערך נתונים מרובה מחלקות הייתה נורמלית וכל שאר שיעורי התאונות נבדקו בקפידה באמצעות גישה אחת לעומת כולן. המודל אומן באמצעות נתוני כיתה רגילים בלבד, בעוד שערכת המבחן השתמשה בנתונים של תאונות ונתונים רגילים. ערכות האימונים והמבחנים חולקו לשתי דרכים.

התאמנו ובדקנו עם 80% ו-20% נתונים ברמה רגילה, בהתאמה. תוצאות המבחן בכיתת התאונות נבחרו באופן אקראי. ההערכה לא הייתה מוטה על ידי שימוש בדגימות מבחן מסוג תאונות, המייצגות 20% מנתוני המעמד הרגיל, כדי למנוע הטיה של המודל לכיוון הרוב הנורמלי. ניתן לבדוק את המודל מול מספר שווה של נתונים רגילים ותאונות, המייצגים תנאים מעשיים. הוא בודק הכללת מודל ללא משוא פנים על ידי אימון עם 80% מהנתונים הרגילים והסתרת 20%. זה גם מראה שמספר ההתרחשויות הרגילות עולה על מספר התאונות בחיים האמיתיים, ולכן חשוב לחשוף את המודל לנתוני תאונות נדירים. בחירה אקראית של דגימות תאונות ובדיקת הדגם מול כל מצבי התאונה ללא התאמת יתר מגבירים את החוסן. פיצול הנתונים של 80/20 נפוץ בלמידת מכונה. נתוני אימון לדפוסים משמעותיים ונתוני מבחן להערכת ביצועים מאוזנים.

הניסויים השתמשו במערכי נתונים לאימון ובדיקה. פיצול אימונים בכיתה רגילה שימש לאימות ואימון. נתוני המבחן של כל הכיתות נבדקו.

גיזום וקוונטיזציה של מודלים מפחיתים מאוד את גודל המודל והחישוב. למודל המופחת יש את אותו דיוק אך ביצועים נמוכים יותר מכיוון שהוא כולל 40% פחות פרמטרים. עבור מכשירי קצה עם כוח עיבוד נמוך, כימות המודל דוחס אותו. אופטימיזציה זו עונה על צרכי דיוק וזיכרון של מעקב אחר תנועה בזמן אמת.

עיצובים קלים כמו MobileNets ו-EfficientNet מגדילים את המסקנות בזמן אמת. בשל דיוק הראייה הממוחשבת והחישוב המינימלי שלהם, סוגים אדריכליים אלה נמצאים בשימוש נרחב. במערכות משובצות, מודלים כאלה מפחיתים את עיבוד המסגרת ב-50% תוך שמירה על ציוני F1 חזקים לזיהוי תאונות.

שימוש בפרמטרים דומים לשחזור תמונה וזיהוי תאונות תוך שימוש בלמידה מרובת משימות יכול לפשט את התכנון. זה הפחית את זמן ההדרכה ועלות המחשוב מבלי להשפיע על דיוק המודל. מערכת הלמידה מרובת המשימות פשטה את למידת מודל עיבוד נתוני התנועה של סרטוני תנועה.

אימון יריב ניגודי ובפיקוח עצמי הניב תוצאות דומות למודל זיהוי האנומליה הבסיסית בפחות זמן. תכונות תאונות דרכים נאספו והוכללו כדי לשפר את החוסן על נתונים בלתי נראים.

האלגוריתם המוצע לזיהוי חריגות תנועה נבדק במסלול 4, אחד מחמשת מערכי הנתונים של AI City Challenge^{2021 27}. הכבישים המהירים סיפקו את הנתונים הללו ל-Iowa DOT.

הערכת ביצועים השוואתית:
כדי לאמת את המודל שלנו, בדקנו אותו על מערך הנתונים של AI City Challenge Track 4 מול מודלים מתקדמים, כולל GANomaly, f-AnoGAN, OCGAN והשיטה המפוקחת של ByteDance. טבלה 2 מסכמת את התוצאות.

מודל	ציון F1	דיוק	זוכר	האוניברסיטה האמריקאית
גנומלי	0.87	0.88	0.86	0.9
אוקגן	0.89	0.9	0.87	0.91
ByteDance (סופ.)	0.91	0.93	0.89	0.92
מוצע (Dual-EDE)	0.94	0.95	0.93	0.94

טבלה 2: השוואה בין שיטות. הטבלה משווה שיטות זיהוי אנומליות לפי ציון F1, דיוק, זיכרון ודיוק. עיצובי EDE עם ובלי הכשרה יריבה מושווים. שני אימוני EDE פלוס יריבים ניצחו את BADU, ByteDance ו-WHU בכל הקטגוריות. הנתונים מצביעים על כך שלמידה יריבה מגבירה את זיהוי האנומליה.

מודל ה-EDE הכפול עולה על כל קווי הבסיס, במיוחד בהיזכרות - מה שמעיד על רגישות חזקה יותר לאירועים חריגים נדירים.

Results

כדי להעריך את היעילות של שיטת זיהוי חריגות התנועה המוצעת, יישמנו את המודל על סרטון וידאו יחיד ויצרנו הדמיות הממחישות את התנהגות המערכת לאורך זמן ובתוך מרחב התכונות. למרות שהתקבלו באמצעות צינור EDE מדומה, התוצאות משקפות מקרוב את המסקנות האיכותיות שניתן לצפות ממודל בפועל.

ציר הזמן של ציון האנומליה מתאר את הביטחון של המודל מסגרת אחר מסגרת בזיהוי התרחשויות חריגות (איור 6). שיאים בציון האנומליה תואמים לשינויים פתאומיים בדינמיקת התמונה, כגון תנועה פתאומית או עיוותים חזו...

Discussion

מחקר זה מציג מערכת לזיהוי אנומליות תנועה מבוססת למידה עמוקה המשתמשת בארכיטקטורת EDE, מאומנת באופן לא מפוקח לזיהוי תאונות של כלי רכב בודדים ומרובים בסרטוני מעקב בעולם האמיתי. על ידי מידול התנהגות תנועה טיפוסית, המערכת מזהה סטיות כחריגות סבירות מבלי לדרוש נתוני אנומליה מסומנים, ובכך מתמודדת עם אתגרי מדרגיות ודלילות נתונים בניטור תעבורה חכם. המחקר מקדם את התחום על ידי הדגמת השימוש המשולב בעקביות חלל סמוי ואובדן שחזור לזיהוי יעיל של אנומליה מרחבית-זמנית.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
מערך נתונים של AI City Challenge Track 4	אתגר עיר AI (https://www.aicitychallenge.org)	רצועה 4, מהדורת 2021
ערכת הכלים של CUDA	מפתח NVIDIA	גירסה 11.3
ספריית cuDNN	מפתח NVIDIA	תואם ל-CUDA 11.3
אשכול תחנות עבודה של GPU (הדרכה)	בית הספר אמריטה למחשבים	—
תחנת עבודה מקומית (צומת ערפל)	בית הספר אמריטה למחשבים	—
מטפלוטלב	matplotlib.org	גרסה 3.3+
NVIDIA Jetson Nano (התקן קצה)	NVIDIA	945-13450-0000-100
NVIDIA RTX 3060 GPU (תחנת עבודה)	NVIDIA	משתנה בהתאם ליצרן
NumPy	numpy.org	גרסה 1.19+
OpenCV	OpenCV.org	גרסה 4.5+
פנדה	pandas.pydata.org	גרסה 1.1+
פיתון	קרן התוכנה של פייתון	גרסה 3.8+
פייטורץ'	פייטורץ' (https://pytorch.org)	גרסה 1.10+
Scikit-learn	scikit-learn.org	גירסה 0.24+
אובונטו לינוקס (מערכת הפעלה)	קנוניקל בע"מ	גרסה 20.04 LTS