מאמר מחקר

מודל מיושר עוגן סמנטי לזיהוי חריגות וידאו הניתנות לפירוש תחת פיקוח חלש צולב מודאלי

DOI:

10.3791/69286

⸱

14 בנובמבר 2025

 ,  ,  ,  , 
1China Aerospace Academy of Systems Science and Engineering, 2Aerospace Hongka Intelligent Technology (Beijing) Co., Ltd., 3Institute of Education, Tsinghua University

במאמר זה

סיכום

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

פרוטוקול זה נועד לשפר את זיהוי חריגות הווידאו בפיקוח חלש על ידי שילוב ידע מובנה. מטרתו היא לאפשר סיווג של סוגי אנומליות ספציפיים ולספק הסברים ברורים וניתנים לפירוש לתוצאות הזיהוי, מעבר להחלטות בינאריות פשוטות והגברת השקיפות.

תקציר

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

זיהוי חריגות וידאו בפיקוח חלש הוא טכניקת מפתח המסתמכת אך ורק על תוויות ברמת הווידאו כדי לזהות אירועים חריגים. עם זאת, שיטות מסורתיות של למידה מרובת מופעים (MIL) מסתמכות על פיקוח בינארי גס. גישה זו מקשה על ההבחנה בין קטגוריות אנומליה עדינות. שיטות אלו מתמקדות לרוב אך ורק בקטעים החריגים ביותר, וכתוצאה מכך תוצאות זיהוי חסרות יכולת פרשנות. כדי להתגבר על מגבלות אלה, מחקר זה מציע גישת מידול תכונות המשלבת ידע מובנה. על ידי שימוש במנגנון הנחיה סמנטי דינמי, זיהוי אנומליה בווידאו בפיקוח חלש משלב מידע חיצוני ברמת הקטגוריה עם הנחיות הניתנות ללמידה ליצירת אותות סמנטיים בתוך מרחב התכונה. אותות אלה מיושרים עם הראיות החזותיות שחולצו על ידי מודול זיהוי האנומליה הבסיסית, ומייצרים שתי פלטים משלימים: ציון אנומליה לכימות חומרת אירועים חריגים, ותיאורים סמנטיים מיושרים עם מושגים חיצוניים, שניתן להשתמש בהם כדי ליצור טקסטי הסבר מובנים וניתנים לפירוש באמצעות תבניות מוגדרות מראש. תוצאות הניסוי מראות כי השיטה המוצעת משיגה AUC של 88.03% במערך הנתונים UCF-Crime ו-98.23% במערך הנתונים של ShanghaiTech, ומשיגה דיוק של 87.05% במשימות סיווג אנומליות עדינות. יתר על כן, ההסברים הסמנטיים שנוצרו מרחיבים את הזיהוי בפיקוח חלש ממשימת סיווג בינארית למסגרת ניתוח אנומליה מונעת סמנטיקה וניתנת לפרשנות.

מבוא

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

זיהוי חריגות וידאו (VAD) ממלא תפקיד חיוני בתחומים כמו בטיחות הציבור וייצור חכם, שם הוא מציע פתרון ניתן להרחבה למגבלות המעקב הידני1. בפרט, זיהוי חריגות וידאו בפיקוח חלש (WS-VAD) זכה לבולטות בשל הסתמכותו על תוויות ברמת הווידאו, מה שמפחית באופן משמעותי את הנטל של הערות ידניות תוך שיפור יכולת ההכללה על פני סצנות מגוונות. למרות היתרונות המעשיים שלה, שיטות WS-VAD עדיין מתמודדות עם אתגרים משמעותיים בזיהוי מדויק של אופי האירועים החריגים2. מודלים קיימים מזהים לעתים קרובות נוכחות של חריגות אך מתקשים לקבוע את הקטגוריה המדויקת שלהם או לספק מידע אבחוני משמעותי 3,4. לדוגמה, במסגרות תעשייתיות, דגם עלול לבלבל עשן ממיסבים מחוממים יתר על המידה עם פליטת קיטור לא מזיקה או להאמין בטעות שניצוצות ריתוך רגילים הם סימנים מוקדמים לשריפה, שניהם מובילים לשיפוט שגוי יקר ולכיבוי מיותר. בלבול סמנטי זה נובע מהמגבלות האינהרנטיות של גישות WS-VAD הנוכחיות5. תוויות בינאריות ברמת הסרטון רק מציינות אם קיימת אנומליה, מבלי להציע תובנה לגבי הסיבה, המיקום והחומרה שלה. יתר על כן, מסגרות למידת מופעים מרובים (MIL) מיינסטרים6 תחזיות מצטברות ברמת הקליפ באמצעות היוריסטיקות פשוטות7 שאינן מצליחות ללכוד את הסמנטיקה הניואנסית של סוגי אירועים שונים. כתוצאה מכך, מרחב התכונות הוויזואליות הנלמד הופך למעורפל, שבו תופעות דומות מבחינה ויזואלית אך נבדלות מבחינה סמנטית - כמו עשן וקיטור - ממופות בצורה הדוקה מדי, ומטשטשות את גבולות ההחלטה.

שני כיווני מחקר עיקריים צצו כדי להתמודד עם מגבלות אלה. האחד מתמקד בשיפור מסגרת MIL באמצעות מודלים זמניים משופרים 4,5,8 או בחירת תכונות מונחות בולטות3. למרות ששיטות כאלה משפרות את לוקליזציה של אנומליה, הן עדיין אינן מציעות בהירות סמנטית ויכולת פרשנות. הכיוון השני כולל יישור ייצוגי חזון ושפה על ידי שילוב מודלים רב-מודאליים מאומנים מראש, כגון VadCLIP9. בעוד שאסטרטגיה זו נראית מבטיחה, לעתים קרובות היא לא מצליחה למנף באופן מלא את העושר הסמנטי של השפה. זה מוביל לאסוציאציות צולבות חלשות ותהליכי קבלת החלטות אטומים, וכתוצאה מכך שני ליקויים מרכזיים. ראשית, המודלים הנוכחיים אינם יכולים להבחין באופן עקבי בין קטגוריות אנומליה בגלל סמנטיקה מעורפלת של תכונות וידע חיצוני לא מספיק. שנית, תהליך קבלת ההחלטות מכיל קופסה שחורה, ללא הסבר שקוף מדוע אירוע מסוים מסווג כחריג. למרות ששיטות מסוימות משלבות הנחיות טקסטואליות (למשל, לחימה, ירי), הן תמיד פשטניות ומסודרות באופן רופף, חסרות הן עומק סמנטי והן הבנה הקשרית

כדי להתמודד עם פערים אלה, מוצגת שיטת WS-VAD חדשה המשלבת ידע חיצוני מובנה עם מנגנוני החלטה הניתנים לפרשנות, יעד ליבה בתחום הרחב יותר של בינה מלאכותית הניתנת להסבר (XAI)10. במקום להשתמש בשמות קטגוריות בסיסיים כהנחיות, השיטה בונה ייצוגים סמנטיים עשירים - המכונים ענני מושגים סמנטיים - באמצעות ויקינתונים11. בניגוד לשיטות רב-מודאליות קיימות כגון VadCLIP9 המסתמכות על הנחיות טקסט סטטיות או תוויות קטגוריות פשוטות, ענני מושגים סמנטיים אלה עוטפים ידע הקשרי מקיף, כולל ישויות קשורות, תכונות וקשרים סיבתיים המופקים מגרפי ידע מובנים. ענני קונספט אלה מקודדים לעוגנים סמנטיים באמצעות מודל BLIP12, המאפשר למערכת לגשת לסמנטיקה של אירועים עדינה. החידוש העיקרי של מנגנון העוגן הסמנטי טמון ביכולתו ליצור ייצוגים דינמיים ומועשרים בידע המותאמים להקשרים אנומליים ספציפיים, בעוד ששיטות קודמות מבוססות הנחיות משתמשות בתיאורים טקסטואליים קבועים חסרי עומק הקשרי ויחסים סמנטיים. כדי לחדד עוד יותר את מרחב התכונות, מנגנון יישור מונחה בולטות משייך באופן סלקטיבי את העוגנים הללו לראיות החזותיות הרלוונטיות ביותר. יישור ממוקד זה משפר את כוח ההבחנה של התכונות תוך שיפור הבהירות הסמנטית של תוצאות הזיהוי. חשוב מכך, השיטה המוצעת תומכת בפרשנות שקופה. ברגע שעוגן סמנטי מיושר עם ראיות חזותיות, המודל מייצר הסברים מובנים בשפה טבעית באמצעות תבניות מוגדרות מראש, המתייחסות במפורש הן לאופי והן להצדקה של האנומליה. חשוב לציין כי יישום שיטה זו מסתמך על תנאים מוקדמים ספציפיים, כולל שימוש בתכונות חזותיות I3D שחולצו מראש, גישה למאגר ידע חיצוני (ויקינתונים) ומקודד BLIP שהוכשר מראש. לכן המסגרת מועילה ביותר ביישומים שבהם קריטי לעבור מעבר לזיהוי בינארי פשוט כדי לסווג במקום זאת סוגי אנומליות ספציפיים ולספק הצדקות ניתנות לפירוש לתוצאות.

התרומות העיקריות הן כדלקמן. שיטת WS-VAD חדשה מפותחת על ידי שילוב של ידע חיצוני עם פרשנות מובנית לשיפור ההבנה הסמנטית ושקיפות ההחלטות. שיטת הנחיה מבוססת הטמעה סמנטית ומנגנון יישור מודע להקשר מוצגים כדי להתגבר על המגבלות של מודלים של MIL חזותיים בלבד. משולב מודול הסבר גנרטיבי, המשתמש בעוגנים סמנטיים כיחידות הניתנות לפירוש כדי לייצר רציונלים טקסטואליים קוהרנטיים. ניסויים נרחבים שנערכו על מערכי הנתונים של UCF-Crime ו-ShanghaiTech מדגימים את היעילות של השיטה המוצעת, השגת ציוני AUC חזקים (88.03% / 98.23%) וביצועי זיהוי עדינים מעולים, עם תפוקות ברורות וניתנות לפרשנות.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

פרוטוקול

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה משתמש רק במערכי נתונים זמינים לציבור (UCF-Crime13 ו-ShanghaiTech14). כל הסרטונים התקבלו מהמהדורות הרשמיות של מערכי הנתונים, אשר הופכים מידע המאפשר זיהוי אישי לאנונימי במידה שסופקו על ידי מתחזקי מערכי הנתונים. לא נערך איסוף נתונים נוסף או אינטראקציה אנושית על ידי המחברים; לכן, לא נדרש אישור IRB חדש. השימוש בנתונים תואם את הרישיונות ותנאי השימוש של מערכי הנתונים המתאימים.

הכנת נתונים וחילוץ תכונות

הכנת מערך נתונים: מערכי הנתונים UCF-Crime13 (1,610 רכבות / 290 סרטוני בדיקה) ו- ShanghaiTech14 (238 רכבות / 199 סרטוני בדיקה) אומצו תחת הפיצולים הסטנדרטיים שלהם. הסרטונים עובדו מראש באמצעות FFmpeg כדי להבטיח שחזור, קודדו מחדש ל-H.264, נדגמו מחדש ל-25 פריימים לשנייה ושונו לרזולוציה של 256 x 256 עם הפקודה: ffmpeg -i v.mp4 -vf "fps=25,scale=256:256" -c:v libx264 -crf 23 -preyfast pre/.

חילוץ תכונות: תכונות RGB חולצו על ידי עמוד שדרה I3D15 שהוכשר מראש על מערך הנתונים של Kinetics16. הסרטונים פוצלו לסרטונים לא חופפים של 16 פריימים; כל קליפ נחתך במרכז ל-224 x 224 פיקסלים. הפעלות השכבה הלפני אחרונה היו מאוגדות בממוצע כדי להשיג תכונת 1024-D לכל קליפ. ב-PyTorch, זה מתאים להעברת טנזורים של צורה [B, 3, T, H, W] דרך עמוד השדרה I3D והחלת adaptive_avg_pool3d ואחריו שיטוח. התכונות שחולצו נשמרו בקבצי .npy (אחד לכל סרטון) יחד עם חותמות זמן של קליפ לשחזור מדויק (seed = 123). עבור כל סרטון, features///

ארכיטקטורת מודל ומתודולוגיה

זיהוי בסיסי: היתוך הקשר זמני
בהינתן רצף סרטוני וידאו המיוצג על ידי מטריצת תכונות Z figure-protocol-1 RTx1024, מודול היתוך הקשר זמני (TCF) חישב לראשונה ייצוגי שאילתות, מפתחות וערכים באמצעות שלוש תחזיות ליניאריות שנלמדו:

Q = ZWQ, K = ZWK, V = ZWV (1)

כאשר WQ, WK, WV figure-protocol-2 RTx1024xd הם פרמטרים הניתנים לאימון (PyTorch: three nn. שכבות ליניאריות (1024, ד). הזיקה הבין-סגמנטית הייתה S = figure-protocol-3, שולבה הטמעת יחסיות זמנית (TRE), כאשר כל אלמנט חושב כ- Rij = α exp (figure-protocol-4) + β . הזיקה המודעת למיקום הייתה figure-protocol-5 = S + R. מפת הקשר גלובלית A = softmax(figure-protocol-6) מצטברת V כדי להשיג תכונות שטח רחב G = AV. מאפיינים מקומיים L חושבו בקונבולוציה חד-ממדית לעומק (nn. Conv1d) בגודל גרעין 3 על Z. שער דינמי g = σ(MLP ([G;L])) ערבב את השניים: U = gfigure-protocol-7 G + (1 - g) figure-protocol-8 L . לבסוף, נורמליזציה של שכבות ושכבה ליניארית שיורית יושמו כדי לייצר Y (Pytorch:LayerNorm+Linear+residual).

זיהוי בסיסי: מנבא זמני סיבתי

הפלט Y הועבר דרך שתי פיתולים חד-ממדיים סיבתיים עם GELU ונשירה (Pytorch:padding='סיבתי' או conv ממוסך) כדי לקבל לוגיטים אנומליים לכל קליפ. יישום הפונקציה הסיגמואידית הניב ערכי figure-protocol-9 הסתברות [0,1]T.

שיפור סמנטי: למידה מהירה עם ידע חיצוני

בניית עוגנים סמנטיים: עבור כל מחלקה אנומלית c, מושגי Kc נשאלו מוויקינתונים11, וקידוד כל ביטוי מושג קודד עם מקודדהטקסט 12של BLIP ל-e ifigure-protocol-10R768. עוגן המחלקה היה הממוצע המנורמל l 2 D c = נורמה (figure-protocol-11Σiei) . כדי להפחית את הרעש, מושגים עם דמיון קוסינוסי לשם המחלקה מתחת ל-0.2 הושמטו, וציון ה-M העליון על ידי TF-IDF נשמר.  

בצע הפרדה תלוית הקשר: משקלי חזית αt = softmax(rst) חושבו מציוני גלאי הבסיס st, ומשקלי רקע bt = softmax(r(1 - st)). התכונות המשוקללות הן ffg = Σtαzt ו- fbg = Σtbzt .

יישור תכונות חזותיות וסמנטיות

הגדר את מטרת היישור: במהלך שלב היישור, המטרה היא למזער את המרחק בין התכונה החזותית הקדמית לבין העוגן הסמנטי המתאים לה של הקטגוריה החריגה בתוך מרחב התכונה. צור אוסף של מדריכים סמנטיים, figure-protocol-12הכוללים מדריכים סמנטיים בקטגוריה חריגה C ומדריך סמנטי רגיל סטנדרטי אחד. קבע את הסבירות, P(Dk|v), שתכונה חזותית, v, תואמת את המדריך הסמנטי k-th, Dk. חשב זאת באמצעות דמיון קוסינוס בקנה מידה של טמפרטורה ואחריו נורמליזציה של Softmax, כפי שמוצג ב-Eq. (2).

figure-protocol-13(2)

אנטרופיה צולבת צולבת צומצמה כדי לדחוף זוגות חיוביים יחד ושליליים זה מזה, עם הגדרת τs כפרמטר הניתן ללמידה ואתחול שלו ל-10. השג את היישור על ידי אופטימיזציה של הסבירות למתאם זוגות מדגם חיוביים תוך הפחתת הסבירות למתאם זוגות מדגם שלילי.

מודול פרשנות מבוסס תבנית

בהתבסס על למידה מהירה עם ייצוג תכונות משופר של ידע חיצוני (PLE), מסווג ליניארי מייצר לוגיטים לכל מחלקה, אשר לאחר מכן נורמלו להסתברויות מחלקה על ידי פונקציית softmax; סוג האנומליה החזוי נקבע כקטגוריה בעלת ההסתברות הגבוהה ביותר. בינתיים, חושב ציון אנומליה גלובלי מפלט הגלאי. כדי לקבוע את רמת החומרה, ניקוד זה הושווה לשלושה ערכי סף מוגדרים מראש הממוטבים באמצעות חיפוש רשת בערכת האימות.

ספי ברירת המחדל נקבעו ל-θגבוה = 0.8, θבינוני = 0.5ו-θ נמוך = 0.2. באופן ספציפי, אם הציון היה גדול מ-θגבוה, החומרה סומנה כגבוהה; אם הציון נופל בין θבינוני ל-θ גבוה, הוא סומן כבינוני; אם בין θנמוך ל-θ בינוני, הוא סומן כנמוך; אחרת, הוא סומן כאין.

במהלך שלב יצירת ההסבר, נבחרה תבנית המתאימה לסוג החזוי מספריית תבניות מוגדרת מראש, קובץ משלים 1. ספרייה זו מכילה גרסאות תבנית מרובות שעברו אימות צולב על ידי מספר ביאורים17 כדי לשפר את הגיוון של הטקסט שנוצר. אם הסוג החזוי קיים בספריית התבניות, נבחרה באופן אקראי תבנית מתאימה; אחרת, נעשה שימוש בתבנית ברירת מחדל עבור הסוג לא ידוע. לבסוף, נוצר טקסט הסבר מובנה על ידי שילוב הסוג החזוי, ציון האנומליה הגלובלי, תיאור החומרה והתבנית שנבחרה. המערכת מחזירה את סוג האנומליה החזוי, ציון האנומליה הגלובלי וטקסט ההסבר שנוצר כפלט הסופי. התוצאות מומחשות באיור 2.

כל פרמטרי הסף עברו אופטימיזציה באמצעות חיפוש רשת בערכת האימות, ואיכות ההסברים שנוצרו הוערכה באופן מקיף באמצעות הערכה אנושית ומדדים אוטומטיים. התוצאות מוצגות בטבלה 1.

הדרכה והערכה של מודלים

אימון: המודל אומן מקצה לקצה עם אדם (lr 1 x 10-4, דעיכת משקל 5 x 10-4), גודל אצווה 128, 50 עידנים, חישול קוסינוס עבור lr. זרעים אקראיים הוגדרו ל-123 עבור Python/Numpy/Pytorch והפעילו torch.backends.cudnn.deterministic=True. נקודות ביקורת נשמרו כל 5 תקופות במחסומים//epoch_XX.pt, והמודל הטוב ביותר נבחר על ידי אימות AUC. כל הניסויים נערכו במערכת עם NVIDIA GeForce RTX 4060 Ti (16GB) GPU המריץ את Windows 11, עם Python 3.8.20, PyTorch 1.8.0 ו-CUDA 11.1. זמן ההכשרה המשוער לתקופה היה 30 שניות עבור מערך הנתונים של ShanghaiTech ו-3.5 דקות עבור מערך הנתונים UCF-Crime.

אובדן: המטרה הכוללת היא L = L MIL+ λ • L align. ההיפרפרמטר λ נסחף על פני הקבוצה {0.01,0.1,0.5,1,5,10} בערכת האימות, ותוקן הערך הטוב ביותר תוקן לדיווח בדיקה. ראה איור 3 עבור צבירת MIL, ו-Eq.(3-4) להגדרות.

figure-protocol-14(3)

figure-protocol-15(4)

הערכה: AUC ברמת המסגרת חושב בהתאם לפרוטוקול הסטנדרטי ששימש עבודות קודמות של WS-VAD 2,5. עבור זיהוי סוג עדין ב-UCF-Crime, דווחו mAP ב-IoU 0.1-0.5 ו-AVG mAP, כפי שסוכם בטבלה 2; AUCs לכל מחלקה מוצגים באיור 4 והתוצאות הכוללות בטבלה 3 ובטבלה 4; הטמעת יכולת הפרדה ודינמיקה של ציון אנומליה מופיעות באיור 4, איור 5 ואיור 6.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

תוצאות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

כדי לאמת עוד יותר את התועלת של עוגנים סמנטיים, נערך ניסוי נוסף להשוואת תבניות הנחיה שונות (ראה טבלה 1). הגרסה שהשתמשה באבות טיפוס סמנטיים מוגברים של ויקינתונים לא רק השיגה ערכי AUC גבוהים יותר, אלא גם הובילה לשיפורים בציון BLEU-4 של 16.6 ו-14.8 עבור ההסברים שנוצרו. ממצאים אלה מצביעים על קשר חזק בין העושר הסמנטי של ההנחיות לבין איכות הפרשנויות הטקסטואליות, ומאשרים שתהליך יצירת ההסברים חורג ממילוי תבניות נוקשה על ידי מינוף מבנה סמנטי מועשר.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

דיון

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

הפרוטוקול המוצג כאן מציג התקדמות משמעותית בזיהוי אנומליה בווידאו בפיקוח חלש על ידי שינוי הפרדיגמה מסיווג בינארי פשוט לניתוח מבוסס סמנטית וניתן לפרשנות. חשיבותה של שיטה זו טמונה ביכולתה לא רק לזהות אם התרחשה אנומליה אלא גם באיזה סוג של אנומליה מדובר ומדוע המודל הגיע למסקנה זו, תוך התייחסות למגבלה מרכזית במערכות WS-VAD קיימות 9,29.

בחירות ורציונל עיצובי

השיטה ...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

גילויים

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

למחברים אין ניגודי אינטרסים.

תודות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

אנו אסירי תודה על התמיכה הכספית הניתנת על ידי Aerospace Hongka Intelligent Technology (Beijing) Co., LTD.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
<דגם p>BLIP

סיילספורס ריסרץ'ViT-B/16משמש כמקודד טקסט ליצירת עוגנים סמנטיים.
GPUNVIDIARTX 4060Tiמשמש לאימון המודל
מודל I3Dגוגל דיפמיינדהכשרה מוקדמת על קינטיקה  משמש כעמוד השדרה להפקת פיצ'רים בווידאו.
נאמפיצוות הפיתוח של NumPy1.21.2משמש לטיפול ועיבוד מערכי נתונים נומריים, כמו תכונות הווידאו, לפני שהם מוזנים למודל הלמידה העמוקה.
פייטורץ'מחקר בינה מלאכותית של פייסבוק1.8.0משמש להגדרת ארכיטקטורת המודל, ליישום פונקציות אובדן מותאמות אישית, ולהפעלת ההפצה האחורית לאופטימיזציה.
פיתוןקרן התוכנה של פייתון3.8.20משמש לכתיבת כל הסקריפטים לעיבוד נתונים, יישום מודלים, הדרכה והערכה
מערך הנתונים של ShanghaiTechאוניברסיטת שנגחאי-טקמשמש להכשרה והערכה ב-13 סצנות קמפוס שונות.
UCF-מערך נתונים לפשע אוניברסיטת מרכז פלורידהמשמש לאימון והערכה של 13 קטגוריות אנומליה.
ויקידאטהקרן ויקימדיהמשמש כגרף ידע חיצוני לבניית פרומפטים.

מקורות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Abdalla, M., Javed, S., Radi, M. A., Ulhaq, A., Werghi, N. Video anomaly detection in 10 years: A survey and outlook. arXiv. , (2024).
  2. Caetano, F., Carvalho, P., Mastralexi, C., Cardoso, J. S. Enhancing weakly-supervised video anomaly detection with temporal constraints. IEEE Access. 13, 70882-70894 (2025).
  3. Dual memory units with uncertainty regulation for weakly supervised video anomaly detection. Zhou, H., Yu, J., Yang, W. Proc AAAI Conf Artificial Intell, 37 (3), 3769-3777 (2023).
  4. Dynamic local aggregation network with adaptive clusterer for anomaly detection. Yang, Z., Wu, P., Liu, J., Liu, X. Proc Eur Conf Comp Vision, 13664, 404-421 (2022).
  5. Pu, Y., Wu, X., Yang, L., Wang, S. Learning prompt-enhanced context features for weakly-supervised video anomaly detection. IEEE Trans. Image Process. 33 (8), 4923-4936 (2024).
  6. Look around for anomalies: Weakly-supervised anomaly detection via context-motion relational learning. Cho, M., et al. Proc Conf Comp Vision Pattern Recognit, , 12137-12146 (2023).
  7. Tian, Y., et al. Weakly-supervised video anomaly detection with robust temporal feature magnitude learning. Proc Int Conf Comp Vision. , 4955-4966 (2021).
  8. Scale-aware spatio-temporal relation learning for video anomaly detection. Li, G., Cai, G., Zeng, X., Zhao, R. Proc Eur Conf Comp Vision, , 333-350 (2022).
  9. Vadclip: Adapting vision-language models for weakly supervised video anomaly detection. Wu, P., et al. Proc Conf Artificial Intell, 38 (6), 6074-6082 (2024).
  10. Hosain, M. T., Jim, J. R., Mridha, M. F., Kabir, M. M. Explainable AI approaches in deep learning: Advancements, applications, and challenges. Comp Elect Eng. 117, 109246(2024).
  11. Vrandecic, D., Kroetzsch, M. Wikidata: A free collaborative knowledgebase. Comm ACM. 57 (10), 78-85 (2014).
  12. Blip: Bootstrapping language-image pre-training for unified vision-language understanding and generation. Li, J., Li, D., Xiong, C., Hoi, S. Proc Int Conf Machine Learning, 162, 12888-12900 (2022).
  13. Real-world anomaly detection in surveillance videos. Sultani, W., Chen, C., Shah, M. I. Proc Conf Comp Vision Pattern Recognit, , 6479-6488 (2018).
  14. Future frame prediction for anomaly detection - a new baseline. Liu, W., Luo, W., Lian, D., Gao, S. I. Proc Conf Comp Vision Pattern Recognit, , 6536-6545 (2018).
  15. Quo vadis, action recognition? A new model and the kinetics dataset. Carreira, J., Zisserman, A. Proc Conf Comp Vision Pattern Recognit, , 6299-6308 (2017).
  16. Kay, W., et al. The kinetics human action video dataset. arXiv. , (2017).
  17. Purba, M., et al. Effect of random splitting and cross validation for Indonesian opinion mining using machine learning approach. Int J Adv Comp Sci Appl. 13 (9), 145-151 (2022).
  18. Wu, P., Liu, X., Liu, J. Weakly supervised audio-visual violence detection. Ieee Transact Multimedia. 25, 1674-1685 (2023).
  19. Liu, T., Lam, K. M., Bao, B. K. Injecting text clues for improving anomalous event detection from weakly labeled videos. Ieee Transact Image Proc. 33, 5907-5920 (2024).
  20. Wu, P., Liu, J. Learning causal temporal relation and feature discrimination for anomaly detection. Ieee Transact Image Proc. 30, 3513-3527 (2021).
  21. Assoc Advancement Artificial, I. Self-training multi-sequence learning with transformer for weakly supervised video anomaly detection. Li, S., Liu, F., Jiao, L. Proc Conf Artificial Intell, 36 (2), 1395-1403 (2022).
  22. Normality guided multiple instance learning for weakly supervised video anomaly detection. Park, S., et al. Proc Winter Conf Appl Comp Vision, , 2664-2673 (2023).
  23. Zanella, L., et al. Delving into clip latent space for video anomaly recognition. Comp Vision Image Understanding. 249, 104163(2024).
  24. Prompt-enhanced multiple instance learning for weakly supervised video anomaly detection. Chen, J., et al. Proc Conf Com Vision Pattern Recognit, , 18319-18329 (2024).
  25. Distilling aggregated knowledge for weakly-supervised video anomaly detection. Dalvi, J., Dabouei, A., Dhanuka, G., Xu, M. Proc Winter Conf Appl Comp Vision, , 5439-5448 (2025).
  26. Gods: Generalized one-class discriminative subspaces for anomaly detection. Wang, J., Cherian, A. I. Proc Int Conf Comp Vision, , 8200-8210 (2019).
  27. Biswas, D., Tesic, J. Mmvad: A vision-language model for cross-domain video anomaly detection with contrastive learning and scale-adaptive frame segmentation. Exp Syst Appl. 285, 127857(2025).
  28. Lim, J., Lee, J., Kim, H., Park, E. Vicap-ad: Video caption-based weakly supervised video anomaly detection. Machine Vision Applicat. 36 (3), 61(2025).
  29. Gao, W., Wang, X., Wang, Y., Jing, X. Dual-stream attention-enhanced memory networks for video anomaly detection. Sensors. 25 (17), 5496(2025).
  30. Duong, H. T., Le, V. T., Hoang, V. T. Deep learning-based anomaly detection in video surveillance: A survey. Sensors. 23 (11), 5024(2023).

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

הדפסות חוזרות והרשאות

בקש הרשאה לשימוש חוזר בטקסט או באיורים של מאמר JoVE זה

בקש הרשאה

תגיות

Video Anomaly DetectionWeak SupervisionSemantic GuidanceMultiple Instance LearningAnomaly ScoreFine Grained ClassificationStructured KnowledgeCross Modal LearningInterpretable DetectionVisual Evidence

מאמרים קשורים