פרוטוקול זה נועד לשפר את זיהוי חריגות הווידאו בפיקוח חלש על ידי שילוב ידע מובנה. מטרתו היא לאפשר סיווג של סוגי אנומליות ספציפיים ולספק הסברים ברורים וניתנים לפירוש לתוצאות הזיהוי, מעבר להחלטות בינאריות פשוטות והגברת השקיפות.
הרשמה ל-JoVE נדרשת לצפייה בתוכן זה. התחברו או התחילו בגרסת ניסיון בחינם.
מאמר מחקר
פרוטוקול זה נועד לשפר את זיהוי חריגות הווידאו בפיקוח חלש על ידי שילוב ידע מובנה. מטרתו היא לאפשר סיווג של סוגי אנומליות ספציפיים ולספק הסברים ברורים וניתנים לפירוש לתוצאות הזיהוי, מעבר להחלטות בינאריות פשוטות והגברת השקיפות.
זיהוי חריגות וידאו בפיקוח חלש הוא טכניקת מפתח המסתמכת אך ורק על תוויות ברמת הווידאו כדי לזהות אירועים חריגים. עם זאת, שיטות מסורתיות של למידה מרובת מופעים (MIL) מסתמכות על פיקוח בינארי גס. גישה זו מקשה על ההבחנה בין קטגוריות אנומליה עדינות. שיטות אלו מתמקדות לרוב אך ורק בקטעים החריגים ביותר, וכתוצאה מכך תוצאות זיהוי חסרות יכולת פרשנות. כדי להתגבר על מגבלות אלה, מחקר זה מציע גישת מידול תכונות המשלבת ידע מובנה. על ידי שימוש במנגנון הנחיה סמנטי דינמי, זיהוי אנומליה בווידאו בפיקוח חלש משלב מידע חיצוני ברמת הקטגוריה עם הנחיות הניתנות ללמידה ליצירת אותות סמנטיים בתוך מרחב התכונה. אותות אלה מיושרים עם הראיות החזותיות שחולצו על ידי מודול זיהוי האנומליה הבסיסית, ומייצרים שתי פלטים משלימים: ציון אנומליה לכימות חומרת אירועים חריגים, ותיאורים סמנטיים מיושרים עם מושגים חיצוניים, שניתן להשתמש בהם כדי ליצור טקסטי הסבר מובנים וניתנים לפירוש באמצעות תבניות מוגדרות מראש. תוצאות הניסוי מראות כי השיטה המוצעת משיגה AUC של 88.03% במערך הנתונים UCF-Crime ו-98.23% במערך הנתונים של ShanghaiTech, ומשיגה דיוק של 87.05% במשימות סיווג אנומליות עדינות. יתר על כן, ההסברים הסמנטיים שנוצרו מרחיבים את הזיהוי בפיקוח חלש ממשימת סיווג בינארית למסגרת ניתוח אנומליה מונעת סמנטיקה וניתנת לפרשנות.
זיהוי חריגות וידאו (VAD) ממלא תפקיד חיוני בתחומים כמו בטיחות הציבור וייצור חכם, שם הוא מציע פתרון ניתן להרחבה למגבלות המעקב הידני1. בפרט, זיהוי חריגות וידאו בפיקוח חלש (WS-VAD) זכה לבולטות בשל הסתמכותו על תוויות ברמת הווידאו, מה שמפחית באופן משמעותי את הנטל של הערות ידניות תוך שיפור יכולת ההכללה על פני סצנות מגוונות. למרות היתרונות המעשיים שלה, שיטות WS-VAD עדיין מתמודדות עם אתגרים משמעותיים בזיהוי מדויק של אופי האירועים החריגים2. מודלים קיימים מזהים לעתים קרובות נוכחות של חריגות אך מתקשים לקבוע את הקטגוריה המדויקת שלהם או לספק מידע אבחוני משמעותי 3,4
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
מחקר זה משתמש רק במערכי נתונים זמינים לציבור (UCF-Crime13 ו-ShanghaiTech14). כל הסרטונים התקבלו מהמהדורות הרשמיות של מערכי הנתונים, אשר הופכים מידע המאפשר זיהוי אישי לאנונימי במידה שסופקו על ידי מתחזקי מערכי הנתונים. לא נערך איסוף נתונים נוסף או אינטראקציה אנושית על ידי המחברים; לכן, לא נדרש אישור IRB חדש. השימוש בנתונים תואם את הרישיונות ותנאי השימוש של מערכי הנתונים המתאימים.
הכנת נתונים וחילוץ תכונות
הכנת מערך נתונים: מערכי הנתונים UCF-Crime13 (1,610 רכבות / 290 סרטוני בדיקה) ו- ShanghaiTe....
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
כדי לאמת עוד יותר את התועלת של עוגנים סמנטיים, נערך ניסוי נוסף להשוואת תבניות הנחיה שונות (ראה טבלה 1). הגרסה שהשתמשה באבות טיפוס סמנטיים מוגברים של ויקינתונים לא רק השיגה ערכי AUC גבוהים יותר, אלא גם הובילה לשיפורים בציון BLEU-4 של 16.6 ו-14.8 עבור ההסברים שנוצרו. ממצאים אלה מצביעים על קשר חזק בין העושר הסמנטי של ההנחיות לבין איכות הפרשנויות הטקסטואליות, ומאשרים שתהליך יצירת ההסברים חורג ממילוי תבניות נוקשה על ידי מינוף מבנה סמנטי מועשר.
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
הפרוטוקול המוצג כאן מציג התקדמות משמעותית בזיהוי אנומליה בווידאו בפיקוח חלש על ידי שינוי הפרדיגמה מסיווג בינארי פשוט לניתוח מבוסס סמנטית וניתן לפרשנות. חשיבותה של שיטה זו טמונה ביכולתה לא רק לזהות אם התרחשה אנומליה אלא גם באיזה סוג של אנומליה מדובר ומדוע המודל הגיע למסקנה זו, תוך התייחסות למגבלה מרכזית במערכות WS-VAD קיימות 9,29.
בחירות ורציונל עיצובי
השיטה .......
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
למחברים אין ניגודי אינטרסים.
אנו אסירי תודה על התמיכה הכספית הניתנת על ידי Aerospace Hongka Intelligent Technology (Beijing) Co., LTD.
....הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
| שם | חברה | מספר קטלוג | הערות |
|---|---|---|---|
| <דגם p>BLIP | סיילספורס ריסרץ' | ViT-B/16 | משמש כמקודד טקסט ליצירת עוגנים סמנטיים. |
| GPU | NVIDIA | RTX 4060Ti | משמש לאימון המודל |
| מודל I3D | גוגל דיפמיינד | הכשרה מוקדמת על קינטיקה | משמש כעמוד השדרה להפקת פיצ'רים בווידאו. |
| נאמפי | צוות הפיתוח של NumPy | 1.21.2 | משמש לטיפול ועיבוד מערכי נתונים נומריים, כמו תכונות הווידאו, לפני שהם מוזנים למודל הלמידה העמוקה. |
| פייטורץ' | מחקר בינה מלאכותית של פייסבוק | 1.8.0 | משמש להגדרת ארכיטקטורת המודל, ליישום פונקציות אובדן מותאמות אישית, ולהפעלת ההפצה האחורית לאופטימיזציה. |
| פיתון | קרן התוכנה של פייתון | 3.8.20 | משמש לכתיבת כל הסקריפטים לעיבוד נתונים, יישום מודלים, הדרכה והערכה |
| מערך הנתונים של ShanghaiTech | אוניברסיטת שנגחאי-טק | משמש להכשרה והערכה ב-13 סצנות קמפוס שונות. | |
| UCF-מערך נתונים לפשע | אוניברסיטת מרכז פלורידה | משמש לאימון והערכה של 13 קטגוריות אנומליה. | |
| ויקידאטה | קרן ויקימדיה | משמש כגרף ידע חיצוני לבניית פרומפטים. |
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.