Semantische Anker-ausgerichtete Modell zur Erkennung interpretierbarer Videoanomalien unter crossmodaler schwacher Aufsicht

Summary

Dieses Protokoll zielt darauf ab, die Erkennung von schwach überwachten Videoanomalien durch die Integration von strukturiertem Wissen zu verbessern. Ziel ist es, die Klassifizierung bestimmter Anomalietypen zu ermöglichen und klare, interpretierbare Erklärungen für die Erkennungsergebnisse zu liefern, die über einfache binäre Entscheidungen hinausgehen und die Transparenz erhöhen.

Abstract

Die schwach überwachte Erkennung von Videoanomalien ist eine wichtige Technik, die sich ausschließlich auf Labels auf Videoebene stützt, um anomale Ereignisse zu identifizieren. Traditionelle MIL-Methoden (Multiple Instance Learning) beruhen jedoch auf einer grobkörnigen binären Supervision. Dieser Ansatz erschwert die Unterscheidung zwischen feinkörnigen Anomaliekategorien. Diese Methoden konzentrieren sich oft nur auf die anomalsten Segmente, was zu Erkennungsergebnissen führt, denen es an Interpretierbarkeit mangelt. Um diese Einschränkungen zu überwinden, wird in dieser Studie ein Ansatz zur Merkmalsmodellierung vorgeschlagen, der strukturiertes Wissen einbezieht. Durch die Verwendung eines dynamischen semantischen Leitmechanismus kombiniert die schwach überwachte Videoanomalieerkennung externe Informationen auf Kategorieebene mit lernbaren Eingabeaufforderungen, um semantische Signale innerhalb des Merkmalsraums zu generieren. Diese Signale werden mit den visuellen Beweisen abgeglichen, die vom Basismodul zur Anomalieerkennung extrahiert werden, wodurch zwei komplementäre Ergebnisse erzeugt werden: ein Anomalie-Score zur Quantifizierung des Schweregrads anomaler Ereignisse und semantische Beschreibungen, die auf externe Konzepte abgestimmt sind und zur Generierung strukturierter und interpretierbarer erklärender Texte durch vordefinierte Vorlagen verwendet werden können. Experimentelle Ergebnisse zeigen, dass die vorgeschlagene Methode eine AUC von 88,03 % auf dem UCF-Crime-Datensatz und 98,23 % auf dem ShanghaiTech-Datensatz erreicht, was einer Genauigkeit von 87,05 % bei feinkörnigen Anomalie-Klassifizierungsaufgaben entspricht. Darüber hinaus erweitern die generierten semantischen Erklärungen die schwach überwachte Detektion von einer binären Klassifikationsaufgabe zu einem semantischgesteuerten, interpretierbaren Anomalieanalyse-Framework.

Introduction

Die Erkennung von Videoanomalien (VAD) spielt eine wesentliche Rolle in Bereichen wie der öffentlichen Sicherheit und der intelligenten Fertigung, wo sie eine skalierbare Lösung für die Grenzen der manuellen Überwachung bietet¹. Insbesondere die schwach überwachte Erkennung von Videoanomalien (WS-VAD) hat aufgrund ihrer Abhängigkeit von Labels auf Videoebene an Bedeutung gewonnen, wodurch der Aufwand für manuelle Annotationen erheblich reduziert und gleichzeitig die Generalisierbarkeit über verschiedene Szenen hinweg verbessert wird. Trotz ihrer praktischen Vorteile stehen WS-VAD-Methoden immer noch vor erheblichen Herausforderungen, wenn es darum geht, die Art abnormaler Ereignisse genau zu identifizieren². Bestehende Modelle erkennen häufig das Vorhandensein von Anomalien, haben aber Schwierigkeiten, ihre genaue Kategorie zu bestimmen oder aussagekräftige diagnostische Informationen zu liefern ^3,4. In industriellen Umgebungen kann es beispielsweise vorkommen, dass ein Modell den Rauch von überhitzten Lagern mit harmlosen Dampfemissionen verwechselt oder normale Schweißfunken fälschlicherweise als frühe Anzeichen eines Brandes ansieht, was zu kostspieligen Fehleinschätzungen und unnötigen Abschaltungen führt. Diese semantischen Verwirrungen ergeben sich aus den inhärenten Einschränkungen der aktuellen WS-VAD-Ansätze⁵. Binäre Beschriftungen auf Videoebene geben lediglich an, ob eine Anomalie vorhanden ist, ohne einen Einblick in ihre Ursache, ihren Standort und ihren Schweregrad zu geben. Darüber hinaus aggregieren gängige MIL-Frameworks (Multiple Instance Learning)⁶ Vorhersagen auf Clip-Ebene mit einfachen Heuristiken⁷, die die nuancierte Semantik verschiedener Ereignistypen nicht erfassen. Infolgedessen wird der erlernte visuelle Merkmalsraum mehrdeutig, da visuell ähnliche, aber semantisch unterschiedliche Phänomene - wie Rauch und Dampf - zu genau abgebildet werden, wodurch die Entscheidungsgrenzen verschwimmen.

Um diese Einschränkungen zu beheben, haben sich zwei Hauptforschungsrichtungen herauskristallisiert. Eine konzentriert sich auf die Verbesserung des MIL-Frameworks durch verbesserte temporale Modellierung ^4,5,8 oder salienzgesteuerte Merkmalsauswahl³. Obwohl solche Methoden die Anomalielokalisierung verbessern, bieten sie immer noch keine semantische Klarheit und Interpretierbarkeit. Die andere Richtung besteht darin, Vision und sprachliche Repräsentationen durch die Integration von vortrainierten multimodalen Modellen wie VadCLIP⁹ aufeinander abzustimmen. Diese Strategie ist zwar vielversprechend, kann aber den semantischen Reichtum der Sprache oft nicht voll ausschöpfen. Dies führt zu schwachen crossmodalen Assoziationen und undurchsichtigen Entscheidungsprozessen, was zu zwei Kernmängeln führt. Erstens können aktuelle Modelle aufgrund vager Merkmalssemantik und unzureichenden externen Wissens nicht konsistent zwischen Anomaliekategorien unterscheiden. Zweitens enthält der Entscheidungsprozess eine Blackbox, ohne eine transparente Erklärung, warum ein bestimmtes Ereignis als anomal eingestuft wird. Obwohl einige Methoden textuelle Eingabeaufforderungen enthalten (z. B. Kämpfen, Schießen), sind diese immer einfach und lose organisiert und es fehlt sowohl an semantischer Tiefe als auch an kontextuellem Verständnis.

Um diese Lücken zu schließen, wird eine neue WS-VAD-Methode eingeführt, die strukturiertes externes Wissen mit interpretierbaren Entscheidungsmechanismen integriert, ein Kernziel innerhalb des breiteren Feldes der Explainable Artificial Intelligence (XAI)¹⁰. Anstatt einfache Kategorienamen als Eingabeaufforderungen zu verwenden, konstruiert die Methode unter Verwendung von Wikidata¹¹ reichhaltige semantische Repräsentationen, die als semantische Konzeptwolken bezeichnet werden. Im Gegensatz zu bestehenden multimodalen Methoden wie VadCLIP⁹ , die auf statischen Texteingabeaufforderungen oder einfachen Kategoriebeschriftungen beruhen, kapseln diese semantischen Konzeptwolken umfassendes kontextuelles Wissen, einschließlich verwandter Entitäten, Attribute und kausaler Beziehungen, die aus strukturierten Wissensgraphen extrahiert werden. Diese Konzeptwolken werden unter Verwendung des BLIP-Modells¹² in semantische Anker kodiert, was dem System den Zugriff auf eine feinkörnige Ereignissemantik ermöglicht. Die Schlüsselinnovation des semantischen Ankermechanismus liegt in seiner Fähigkeit, dynamische, wissensangereicherte Repräsentationen zu erstellen, die sich an spezifische Anomaliekontexte anpassen, während bisherige prompt-basierte Methoden feste textuelle Beschreibungen verwenden, denen es an kontextueller Tiefe und semantischen Beziehungen mangelt. Um den Merkmalsraum weiter zu verfeinern, ordnet ein Salienz-gesteuerter Ausrichtungsmechanismus diese Anker selektiv mit den relevantesten visuellen Beweisen zu. Diese gezielte Ausrichtung erhöht die Unterscheidungskraft der Merkmale und verbessert gleichzeitig die semantische Klarheit der Erkennungsergebnisse. Noch wichtiger ist, dass die vorgeschlagene Methode eine transparente Interpretation unterstützt. Sobald ein semantischer Anker mit visuellen Beweisen abgeglichen ist, generiert das Modell strukturierte Erklärungen in natürlicher Sprache unter Verwendung vordefinierter Vorlagen, die sowohl die Art als auch die Rechtfertigung der Anomalie explizit berücksichtigen. Es ist wichtig zu beachten, dass die Implementierung dieser Methode von bestimmten Voraussetzungen abhängt, einschließlich der Verwendung von vorextrahierten visuellen I3D-Merkmalen, dem Zugriff auf eine externe Wissensdatenbank (Wikidata) und einem vortrainierten BLIP-Encoder. Das Framework ist daher am vorteilhaftesten für Anwendungen, bei denen es entscheidend ist, über die einfache binäre Erkennung hinauszugehen und stattdessen spezifische Anomalietypen zu klassifizieren und interpretierbare Begründungen für die Ergebnisse bereitzustellen.

Die wichtigsten Beiträge lauten wie folgt. Durch die Kombination von externem Wissen mit strukturierter Interpretierbarkeit wird eine neuartige WS-VAD-Methode entwickelt, um das semantische Verständnis und die Entscheidungstransparenz zu verbessern. Eine semantische Einbettungs-basierte Eingabeaufforderungsmethode und ein kontextsensitiver Alignment-Mechanismus werden eingeführt, um die Einschränkungen von rein visuellen MIL-Modellen zu überwinden. Ein generatives Erklärungsmodul ist integriert, das semantische Anker als interpretierbare Einheiten verwendet, um kohärente textuelle Begründungen zu erstellen. Umfangreiche Experimente, die mit den Datensätzen von UCF-Crime und ShanghaiTech durchgeführt wurden, zeigen die Wirksamkeit der vorgeschlagenen Methode, indem sie starke AUC-Werte (88,03 % / 98,23 %) und eine überlegene feinkörnige Erkennungsleistung mit klaren und interpretierbaren Ergebnissen erzielt.

Protocol

Für diese Studie werden ausschließlich öffentlich zugängliche Datensätze (UCF-Crime¹³ und ShanghaiTech¹⁴) verwendet. Alle Videos stammen aus den offiziellen Veröffentlichungen der Datensätze, die personenbezogene Daten in dem Umfang anonymisieren, wie es von den Betreuern des Datensatzes bereitgestellt wird. Die Autoren führten keine zusätzliche Datenerhebung oder Interaktion mit Menschen durch. daher war keine neue IRB-Genehmigung erforderlich. Die Datennutzung richtet sich nach den Lizenzen und Nutzungsbedingungen der jeweiligen Datensätze.

Datenaufbereitung und Merkmalsextraktion

Vorbereitung der Datensätze: Die Datensätze UCF-Crime¹³ (1.610 Zug/290 Testvideos) und ShanghaiTech¹⁴ (238 Zug/199 Testvideos) wurden unter ihren Standardaufteilungen übernommen. Die Videos wurden mit FFmpeg vorverarbeitet, um die Reproduzierbarkeit zu gewährleisten, auf H.264 neu kodiert, auf 25 fps neu gesampelt und auf eine Auflösung von 256 x 256 mit dem folgenden Befehl verkleinert: ffmpeg -i v.mp4 -vf "fps=25,scale=256:256" -c:v libx264 -crf 23 -preset veryfast pre/.

Merkmalsextraktion: RGB-Merkmale wurden von einem I3D-Backbone¹⁵ extrahiert, der auf dem Kinetik-Datensatz¹⁶ vortrainiert war. Die Videos wurden in nicht überlappende 16-Frame-Clips aufgeteilt; Jeder Clip wurde mittig auf 224 x 224 Pixel zugeschnitten. Die vorletzten Ebenenaktivierungen wurden gemittelt gepoolt, um ein 1024-D-Feature pro Clip zu erhalten. In PyTorch entspricht dies dem Weiterleiten von Tensoren der Form [B, 3, T, H, W] durch den I3D-Backbone und dem Anwenden von adaptive_avg_pool3d gefolgt von der Abflachung. Die extrahierten Merkmale wurden in .npy-Dateien (eine pro Video) zusammen mit Clip-Zeitstempeln gespeichert, um eine exakte Reproduzierbarkeit zu gewährleisten (Seed = 123). Für jedes Video enthält features///

Modellarchitektur und Methodik

Grundlegende Detektion: Fusion des temporalen Kontexts
Bei einer gegebenen Videoclipsequenz, die durch eine Merkmalsmatrix Z  R^Tx1024 dargestellt wird, berechnete das TCF-Modul (Temporal Context Fusion) zunächst Abfrage-, Schlüssel- und Wertdarstellungen durch drei gelernte lineare Projektionen:

Q = ZW^Q, K = ZW^K, V = ZW^V (1)

wobei W^Q, W^K, W^V R^Tx1024xd trainierbare Parameter sind (PyTorch: drei nn. Lineare (1024,d) Schichten). Die Intersegment-Affinität war S = , es wurde ein Temporal Relationality Embedding (TRE) eingebaut, bei dem jedes Element als R_ij = α exp () + β berechnet wurde. Die standortbezogene Affinität war = S + R. Eine Global-Context-Map A = softmax() aggregiert V, um großflächige Features G = AV zu erhalten. Die lokalen Merkmale L wurden mit einer tiefenbezogenen 1-D-Faltung (nn. Conv1d) mit einer Korngröße von 3 über Z. Ein dynamisches Gatter g = σ(MLP ([G;L])) die beiden vermischt: U = g G + (1 - g) L . Schließlich wurden eine Schichtnormalisierung und eine lineare Restschicht angewendet, um Y zu erzeugen (Pytorch:LayerNorm+Linear+residual). 

Grundlegende Detektion: kausaler zeitlicher Prädiktor

Der Ausgang Y wurde durch zwei kausale 1-D-Faltungen mit GELU und Dropout geleitet (Pytorch:padding='causal' oder masked conv), um Anomalielogits pro Clip zu erhalten. Die Anwendung der Sigmoidfunktion ergab Wahrscheinlichkeitswerte [0,1]^T.

Semantische Erweiterung: Promptes Lernen mit externem Wissen

Semantische Anker konstruieren: Für jede Anomalieklasse c wurden K_c-Konzepte von Wikidata¹¹ abgefragt und jede Konzeptphrase wurde mit dem Text-Encoder¹²von BLIP zu e_i  R⁷⁶⁸ kodiert. Der Klassenanker war der l_2-normierte Mittelwert D_c = norm(Σ_ie_i) . Um das Rauschen zu reduzieren, wurden Konzepte mit Kosinusähnlichkeit zum Klassennamen unter 0,2 gestrichen und der Top-M by TF-IDF-Score beibehalten.

Führen Sie eine kontextsensitive Trennung durch: Die Vordergrundgewichte α_t = softmax(rs_t) wurden aus den Basisdetektorwerten s_t und die Hintergrundgewichte bt = softmax(r(1 - s_t)) berechnet. Die gewichteten Merkmale sind f_fg = Σ_tαz_t und f_bg = Σ_tbz_{t .}

Ausrichten visueller und semantischer Features

Definieren des Ausrichtungsziels: Während des Ausrichtungsschritts besteht das Ziel darin, den Abstand zwischen dem visuellen Vordergrund-Feature und dem entsprechenden semantischen Anker der anomalen Kategorie innerhalb des Merkmalsraums zu minimieren. Erstellen Sie eine Sammlung von semantischen Leitfäden , die aus semantischen Leitfäden der Kategorie C (anomal) und einem standardmäßigen semantischen Leitfaden der Kategorie "Normal " bestehen. Bestimmen Sie die Wahrscheinlichkeit, P(D^k|v), dass ein visuelles Merkmal, v, dem k-ten semantischen Führer D^k entspricht. Berechnen Sie dies unter Verwendung der temperaturskalierten Kosinusähnlichkeit, gefolgt von einer Softmax-Normalisierung, wie in Gl. (2) gezeigt.

(2)

Die Kreuzentropie wurde minimiert, um positive Paare zusammenzuschieben und negative auseinander zu schieben, indem τ s als_lernbarer Parameter gesetzt und auf 10 initialisiert wurde. Erreichen Sie die Ausrichtung, indem Sie die Wahrscheinlichkeit der Korrelation positiver Stichprobenpaare optimieren und gleichzeitig die Wahrscheinlichkeit der Korrelation negativer Stichprobenpaare verringern.

Vorlagenbasiertes Interpretierbarkeitsmodul

Basierend auf der PLE-erweiterten Merkmalsrepräsentation (Prompt Learning with External Knowledge) erzeugt ein linearer Klassifikator Logiten pro Klasse, die anschließend durch die Softmax-Funktion in Klassenwahrscheinlichkeiten normiert wurden. Der vorhergesagte Anomalietyp wurde als Kategorie mit der höchsten Wahrscheinlichkeit bestimmt. In der Zwischenzeit wurde aus dem Detektorausgang ein globaler Anomalie-Score berechnet. Um den Schweregrad zu bestimmen, wurde diese Bewertung mit drei vordefinierten Schwellenwerten verglichen, die durch die Rastersuche im Validierungssatz optimiert wurden.

Die Standardschwellenwerte wurden auf θ_hoch = 0,8, θ_mittel = 0,5 und θ_niedrig = 0,2 festgelegt. Insbesondere wenn die Punktzahl größer als θ_hoch war, wurde der Schweregrad als hoch gekennzeichnet. Wenn die Punktzahl zwischen θ_mittel und θ_hoch liegt, wurde sie als mittel gekennzeichnet. Wenn es zwischen θ_low und θ_medium lag, wurde es als niedrig gekennzeichnet; Andernfalls wurde es als keine markiert.

Während der Phase der Generierung von Erläuterungen wurde eine Vorlage, die dem vorhergesagten Typ entspricht, aus einer vordefinierten Vorlagenbibliothek, der Zusatzdatei 1, ausgewählt. Diese Bibliothek enthält mehrere Vorlagenvarianten, die von mehreren Annotatoren¹⁷ kreuzvalidiert wurden, um die Vielfalt des generierten Textes zu erhöhen. Wenn der vorhergesagte Typ in der Vorlagenbibliothek vorhanden ist, wurde eine entsprechende Vorlage nach dem Zufallsprinzip ausgewählt. Andernfalls wurde eine Standardvorlage für den Typ Unbekannt verwendet. Schließlich wurde ein strukturierter erklärender Text generiert, indem der vorhergesagte Typ, der globale Anomalie-Score, die Beschreibung des Schweregrads und die ausgewählte Vorlage integriert wurden. Das System gibt den vorhergesagten Anomalietyp, die globale Anomaliebewertung und den generierten erklärenden Text als endgültige Ausgabe zurück. Die Ergebnisse sind in Abbildung 2 dargestellt.

Alle Schwellenwertparameter wurden mit Hilfe der Rastersuche auf dem Validierungssatz optimiert, und die Qualität der generierten Erklärungen wurde sowohl durch menschliche Bewertung als auch durch automatisierte Metriken umfassend bewertet. Die Ergebnisse sind in Tabelle 1 dargestellt.

Modelltraining und -bewertung

Training: Das Modell wurde Ende-zu-Ende mit Adam trainiert (lr 1 x ^10-4, Gewichtsabfall 5 x ^10-4), Losgröße 128, 50 Epochen, Kosinusglühen für lr. Zufällige Startwerte wurden für Python/Numpy/Pytorch auf 123 gesetzt und torch.backends.cudnn.deterministic=True aktiviert. Die Checkpoints wurden alle 5 Epochen in checkpoints//epoch_XX.pt gespeichert, und das beste Modell wurde durch die Validierungs-AUC ausgewählt. Alle Experimente wurden auf einem System mit einer NVIDIA GeForce RTX 4060 Ti (16 GB) GPU unter Windows 11, mit Python 3.8.20, PyTorch 1.8.0 und CUDA 11.1 durchgeführt. Die ungefähre Trainingszeit pro Epoche betrug 30 s für den ShanghaiTech-Datensatz und 3,5 Minuten für den UCF-Crime-Datensatz.

Verlust: Das Gesamtziel ist L = L_MIL+ λ • L_align. Der Hyperparameter λ wurde über den Satz {0,01,0,1,0,5,1,5,10} im Validierungssatz gezogen, und der beste Wert wurde für die Testberichterstattung festgelegt. Siehe Abbildung 3 für die Top-K-MIL-Aggregation und Gl. (3-4) für Definitionen.

(3)

(4)

Bewertung: Die AUC auf Frame-Ebene wurde nach dem Standardprotokoll berechnet, das von früheren WS-VAD-Arbeiten^verwendet wurde ^2,5. Für die feinkörnige Typerkennung bei UCF-Crime wurden mAP bei IoU 0,1-0,5 und AVG mAP berichtet, wie in Tabelle 2 zusammengefasst; Die AUCs pro Klasse sind in Abbildung 4 und die Gesamtergebnisse in Tabelle 3 und Tabelle 4 dargestellt. Die Einbettung der Trennbarkeit und der Anomaliebewertungsdynamik ist in Abbildung 4, Abbildung 5 und Abbildung 6 zu finden.

Results

Um den Nutzen von semantischen Ankern weiter zu validieren, wurde ein zusätzliches Experiment durchgeführt, um verschiedene Eingabeaufforderungsvorlagen zu vergleichen (siehe Tabelle 1). Die Variante, die Wikidata-augmentierte semantische Prototypen verwendet, erzielte nicht nur höhere AUC-Werte, sondern führte auch zu einer Verbesserung des BLEU-4-Scores von 16,6 und 14,8 für die generierten Erklärungen. Diese Ergebnisse deuten auf einen starken Zusammenhang zwischen de...

Discussion

Das hier vorgestellte Protokoll stellt einen signifikanten Fortschritt in der Erkennung von schwach überwachten Videoanomalien dar, indem es das Paradigma von einer einfachen binären Klassifizierung zu einer semantisch fundierten, interpretierbaren Analyse verschiebt. Die Bedeutung dieser Methode liegt in ihrer Fähigkeit, nicht nur zu erkennen, ob eine Anomalie aufgetreten ist, sondern auch, um welche Art von Anomalie es sich handelt und warum das Modell zu dieser Schlussfolgerung gelang...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
BLIP Model	Salesforce-Forschung	ViT-B/16	Verwendet als Textencoder zum Erstellen semantischer Anker.
GPU	NVIDIA	RTX 4060Ti	Verwendet zum Training des Modells
I3D-Modell	Google DeepMind	Vortrainiert auf Kinetik	Dient als Rückgrat für die Video-Feature-Extraktion.
Numpy	Das NumPy-Entwicklungsteam	1.21.2	Verwendet zur Verarbeitung und Verarbeitung numerischer Datenarrays, wie der Videofunktionen, bevor sie in das Deep-Learning-Modell eingespeist werden.
PyTorch	Facebook-KI-Forschung	1.8.0	Verwendet zur Definition der Modellarchitektur, zur Implementierung der benutzerdefinierten Verlustfunktionen und zur Durchführung der Back-Propagation zur Optimierung.
Python	Python Software Foundation	3.8.20	Wird verwendet, um alle Skripte für Datenverarbeitung, Modellimplementierung, Training und Bewertung zu schreiben.
ShanghaiTech-Datensatz	ShanghaiTech Universität		Wird für Training und Bewertung in 13 verschiedenen Campus-Szenen verwendet.
UCF-Crime Dataset	Universität von Zentralflorida		Verwendet für Training und Bewertung von 13 Anomaliekategorien.
Wikidata	Wikimedia-Stiftung		Verwendet als externes Wissensdiagramm für die Prompt-Konstruktion.