Semantisch ankeruitgelijnd model voor interpreteerbare detectie van video-anomalieën onder cross-modal zwak toezicht

Samenvatting

Dit protocol is bedoeld om de detectie van zwak gesuperviseerde video-anomalie te verbeteren door gestructureerde kennis te integreren. Het doel is om de classificatie van specifieke anomalietypen mogelijk te maken en duidelijke, interpreteerbare verklaringen te bieden voor detectieresultaten, die verder gaan dan eenvoudige binaire beslissingen en de transparantie vergroten.

Samenvatting

Detectie van video-anomalie onder zwak toezicht is een belangrijke techniek die uitsluitend afhankelijk is van labels op videoniveau om afwijkende gebeurtenissen te identificeren. Traditionele methoden voor multiple instance learning (MIL) zijn echter gebaseerd op grofkorrelig binair toezicht. Deze benadering maakt het moeilijk om onderscheid te maken tussen fijnmazige anomaliecategorieën. Deze methoden richten zich vaak uitsluitend op de meest afwijkende segmenten, wat resulteert in detectieresultaten die niet interpreteerbaar zijn. Om deze beperkingen te overwinnen, stelt deze studie een benadering van functiemodellering voor die gestructureerde kennis omvat. Door gebruik te maken van een dynamisch semantisch begeleidingsmechanisme, combineert zwak gesuperviseerde video-anomaliedetectie externe informatie op categorieniveau met leerbare aanwijzingen om semantische signalen te genereren binnen de functieruimte. Deze signalen zijn afgestemd op het visuele bewijs dat wordt geëxtraheerd door de basismodule voor anomaliedetectie, waardoor twee complementaire outputs worden geproduceerd: een anomaliescore voor het kwantificeren van de ernst van afwijkende gebeurtenissen, en semantische beschrijvingen die zijn afgestemd op externe concepten, die kunnen worden gebruikt om gestructureerde en interpreteerbare verklarende teksten te genereren via vooraf gedefinieerde sjablonen. Experimentele resultaten tonen aan dat de voorgestelde methode een AUC van 88,03% behaalt op de UCF-Crime-dataset en 98,23% op de ShanghaiTech-dataset, waarbij een nauwkeurigheid van 87,05% wordt bereikt in fijnmazige anomalieclassificatietaken. Bovendien breiden de gegenereerde semantische verklaringen zwak gesuperviseerde detectie uit van een binaire classificatietaak naar een semantiekgedreven, interpreteerbaar anomalieanalysekader.

Inleiding

Video-anomaliedetectie (VAD) speelt een essentiële rol op gebieden zoals openbare veiligheid en intelligente productie, waar het een schaalbare oplossing biedt voor de beperkingen van handmatige bewaking¹. Met name de detectie van video-anomalieën onder zwak toezicht (WS-VAD) heeft aan bekendheid gewonnen vanwege de afhankelijkheid van labels op videoniveau, waardoor de last van handmatige annotatie aanzienlijk wordt verminderd en de generaliseerbaarheid over verschillende scènes wordt verbeterd. Ondanks de praktische voordelen staan WS-VAD-methoden nog steeds voor aanzienlijke uitdagingen bij het nauwkeurig identificeren van de aard van abnormale gebeurtenissen². Bestaande modellen detecteren vaak de aanwezigheid van afwijkingen, maar hebben moeite om de exacte categorie te bepalen of zinvolle diagnostische informatie te verstrekken ^3,4. In industriële omgevingen kan een model bijvoorbeeld rook van oververhitte lagers verwarren met onschadelijke stoomemissies of ten onrechte geloven dat normale lasvonken vroege tekenen van brand zijn, wat beide leidt tot kostbare verkeerde inschattingen en onnodige stilleggingen. Deze semantische verwarringen komen voort uit de inherente beperkingen van de huidige WS-VAD-benaderingen⁵. Binaire labels op videoniveau geven alleen aan of er sprake is van een anomalie, zonder inzicht te bieden in de oorzaak, locatie en ernst ervan. Bovendien aggregeren mainstream multiple instance learning (MIL)-frameworks⁶ voorspellingen op clipniveau met behulp van eenvoudige heuristieken⁷ die er niet in slagen de genuanceerde semantiek van verschillende soorten gebeurtenissen vast te leggen. Als gevolg hiervan wordt de geleerde visuele kenmerkruimte ambigu, waar visueel vergelijkbare maar semantisch verschillende fenomenen - zoals rook en stoom - te nauwkeurig in kaart worden gebracht, waardoor beslissingsgrenzen vervagen.

Er zijn twee belangrijke onderzoeksrichtingen naar voren gekomen om deze beperkingen aan te pakken. De ene richt zich op het verbeteren van het MIL-framework door middel van verbeterde temporele modellering ^4,5,8 of saliency-geleide functieselectie³. Hoewel dergelijke methoden de lokalisatie van anomalieën verbeteren, schieten ze nog steeds tekort in het bieden van semantische duidelijkheid en interpreteerbaarheid. De andere richting betreft het op elkaar afstemmen van visie- en taalrepresentaties door vooraf getrainde multimodale modellen, zoals VadCLIP⁹, te integreren. Hoewel deze strategie veelbelovend is, slaagt ze er vaak niet in om de semantische rijkdom van taal volledig te benutten. Dit leidt tot zwakke intermodale associaties en ondoorzichtige besluitvormingsprocessen, wat resulteert in twee belangrijke tekortkomingen. Ten eerste kunnen de huidige modellen geen consistent onderscheid maken tussen anomaliecategorieën vanwege vage functiesemantiek en onvoldoende externe kennis. Ten tweede bevat het besluitvormingsproces een zwarte doos, zonder een transparante verklaring waarom een bepaalde gebeurtenis als afwijkend wordt geclassificeerd. Hoewel sommige methoden tekstuele aanwijzingen bevatten (bijv. vechten, schieten), zijn deze altijd simplistisch en losjes georganiseerd, zonder zowel semantische diepgang als contextueel begrip.

Om deze lacunes aan te pakken, wordt een nieuwe WS-VAD-methode geïntroduceerd die gestructureerde externe kennis integreert met interpreteerbare beslissingsmechanismen, een kerndoelstelling binnen het bredere veld van Explainable Artificial Intelligence (XAI)¹⁰. In plaats van eenvoudige categorienamen als prompts te gebruiken, construeert de methode rijke semantische representaties - ook wel semantische conceptwolken genoemd - met behulp van Wikidata¹¹. In tegenstelling tot bestaande multimodale methoden zoals VadCLIP⁹ die afhankelijk zijn van statische tekstprompts of eenvoudige categorielabels, bevatten deze semantische conceptwolken uitgebreide contextuele kennis, inclusief gerelateerde entiteiten, attributen en causale relaties die zijn geëxtraheerd uit gestructureerde kennisgrafieken. Deze conceptwolken worden gecodeerd in semantische ankers met behulp van het BLIP-model¹², waardoor het systeem toegang heeft tot fijnmazige gebeurtenissemantiek. De belangrijkste innovatie van het semantische ankermechanisme ligt in het vermogen om dynamische, met kennis verrijkte representaties te creëren die zich aanpassen aan specifieke anomaliecontexten, terwijl eerdere prompt-gebaseerde methoden vaste tekstuele beschrijvingen gebruiken die contextuele diepgang en semantische relaties missen. Om de kenmerkruimte verder te verfijnen, associeert een saliency-geleid uitlijningsmechanisme deze ankers selectief met het meest relevante visuele bewijsmateriaal. Deze gerichte uitlijning verbetert de onderscheidende kracht van de kenmerken en verbetert tegelijkertijd de semantische duidelijkheid van de detectieresultaten. Wat nog belangrijker is, de voorgestelde methode ondersteunt een transparante interpretatie. Zodra een semantisch anker is uitgelijnd met visueel bewijs, genereert het model gestructureerde verklaringen in natuurlijke taal met behulp van vooraf gedefinieerde sjablonen, waarbij expliciet zowel de aard als de rechtvaardiging van de anomalie aan de orde komen. Het is belangrijk op te merken dat de implementatie van deze methode afhankelijk is van specifieke vereisten, waaronder het gebruik van vooraf geëxtraheerde I3D visuele functies, toegang tot een externe kennisbank (Wikidata) en een vooraf getrainde BLIP-encoder. Het framework is daarom het meest nuttig in toepassingen waar het van cruciaal belang is om verder te gaan dan eenvoudige binaire detectie om in plaats daarvan specifieke anomalietypen te classificeren en interpreteerbare rechtvaardigingen voor de resultaten te bieden.

De belangrijkste bijdragen zijn de volgende. Een nieuwe WS-VAD-methode wordt ontwikkeld door externe kennis te combineren met gestructureerde interpreteerbaarheid om het semantisch begrip en de transparantie van beslissingen te verbeteren. Een op semantische inbedding gebaseerde promptingmethode en contextbewust uitlijningsmechanisme worden geïntroduceerd om de beperkingen van MIL-modellen met alleen visuals te overwinnen. Er is een generatieve uitlegmodule opgenomen, waarbij semantische ankers worden gebruikt als interpreteerbare eenheden om coherente tekstuele grondslagen te produceren. Uitgebreide experimenten uitgevoerd op de UCF-Crime- en ShanghaiTech-datasets tonen de effectiviteit van de voorgestelde methode aan, met sterke AUC-scores (88,03% / 98,23%) en superieure fijnmazige herkenningsprestaties, met duidelijke en interpreteerbare outputs.

Protocol

Deze studie maakt alleen gebruik van openbaar beschikbare datasets (UCF-Crime¹³ en ShanghaiTech¹⁴). Alle video's zijn verkregen uit de officiële releases van de datasets, die persoonlijk identificeerbare informatie anonimiseren voor zover verstrekt door de beheerders van de dataset. Er is geen aanvullende gegevensverzameling of interactie met menselijke proefpersonen uitgevoerd door de auteurs; daarom was er geen nieuwe IRB-goedkeuring vereist. Het gegevensgebruik voldoet aan de licenties en gebruiksvoorwaarden van de respectieve datasets.

Gegevensvoorbereiding en functie-extractie

Voorbereiding van de dataset: De UCF-Crime¹³ (1.610 treinen/290 testvideo's) en ShanghaiTech¹⁴ (238 treinen/199 testvideo's) datasets werden aangenomen onder hun standaardsplitsingen. Video's werden voorbewerkt met behulp van FFmpeg om reproduceerbaarheid te garanderen, opnieuw gecodeerd naar H.264, opnieuw gesampled naar 25 fps en verkleind naar een resolutie van 256 x 256 met het commando: ffmpeg -i v.mp4 -vf "fps=25,scale=256:256" -c:v libx264 -crf 23 -preset veryfast pre/.

Functie-extractie: RGB-kenmerken werden geëxtraheerd door een I3D-backbone¹⁵ die vooraf was getraind op de Kinetics-dataset¹⁶. Video's werden opgesplitst in niet-overlappende clips van 16 frames; Elke clip werd in het midden bijgesneden tot 224 x 224 pixels. De voorlaatste laagactiveringen werden gemiddeld samengevoegd om een 1024-D-functie per clip te verkrijgen. In PyTorch komt dit overeen met het doorsturen van tensoren van vorm [B, 3, T, H, W] door de I3D-ruggengraat en het toepassen van adaptive_avg_pool3d gevolgd door afvlakking. De geëxtraheerde functies werden opgeslagen in .npy-bestanden (één per video) samen met clip-tijdstempels voor exacte reproduceerbaarheid (seed = 123). Voor elke video bevat features///

Modelarchitectuur en methodologie

Basisdetectie: temporele contextfusie
Gegeven een videosequentie die wordt weergegeven door een functiematrix Z  R^Tx1024, berekende de Temporal Context Fusion (TCF)-module eerst query-, sleutel- en waarderepresentaties door middel van drie geleerde lineaire projecties:

Q = ZW^Q, K = ZW^K, V = ZW^V (1)

waarbij W^Q, W^K, W^V  R^Tx1024xd trainbare parameters zijn (PyTorch: drie nn. Lineaire (1024,d) lagen). De intersegmentaffiniteit was S = , er werd een Temporal Relationality Embedding (TRE) opgenomen, waarbij elk element werd berekend als R_ij = α exp () + β . De locatiebewuste affiniteit was = S + R. Een kaart met een globale context A = softmax() geaggregeerd V om objecten met een groot gebied te verkrijgen G = AV. Lokale kenmerken L werden berekend met een dieptegewijze 1-D convolutie (nn. Conv1d) met een korrelgrootte van 3 over Z. Een dynamische poort g = σ(MLP ([G;L])) mengde de twee: U = g G + (1 - g) L . Ten slotte werden laagnormalisatie en een resterende lineaire laag toegepast om Y te produceren (Pytorch:LayerNorm+Linear+residueal).

Basisdetectie: causale temporele voorspeller

De output Y werd door twee causale 1D-convoluties geleid met GELU en dropout (Pytorch:padding='causal' of gemaskeerde conv) om anomalielogitons per clip te verkrijgen. Het toepassen van de sigmoïde functie leverde kanswaarden op [0,1]^T.

Semantische verbetering: snel leren met externe kennis

Consemantische ankers construeren: Voor elke anomalieklasse c werden K_c-concepten opgevraagd vanuit Wikidata¹¹ en gecodeerd werd elke conceptzin gecodeerd met BLIP's^{12-tekstencoder}naar e_iR⁷⁶⁸. Het klasseanker was het l 2-genormaliseerde gemiddelde D_c = norm(Σ_ie_i) . Om ruis te verminderen, werden concepten met cosinusgelijkenis met de klassenaam onder de 0,2 weggelaten en werd de top-M door TF-IDF-score behouden.  

Contextgevoelige scheiding uitvoeren: Voorgrondgewichten α_t = softmax(rs_t) werden berekend op basis van basisdetectorscores s_t en achtergrondgewichten bt = softmax(r(1 - s_t)). De gewogen kenmerken zijn _fg = Σ_tαz_t en f_bg = Σ_tbz_t .

Visuele en semantische kenmerken op elkaar afstemmen

Definieer het uitlijningsdoel: Tijdens de uitlijningsstap is het doel om de afstand tussen het visuele kenmerk op de voorgrond en het bijbehorende semantische anker van de afwijkende categorie binnen de functieruimte te minimaliseren. Maak een verzameling semantische hulplijnen, bestaande uit C afwijkende categorie semantische hulplijnen en één standaard normale semantische gids. Bepaal de waarschijnlijkheid, P(D^k|v), dat een visueel kenmerk, v, overeenkomt met de k-de semantische gids, D^k. Bereken dit met behulp van cosinusgelijkenis op temperatuurschaal gevolgd door Softmax-normalisatie, zoals weergegeven in Eq. (2).

(2)

Kruisentropie werd geminimaliseerd om positieve paren samen en negatieven uit elkaar te duwen, waarbij τ_s werd ingesteld als een leerbare parameter en deze werd geïnitialiseerd tot 10. Bereik de uitlijning door de kans op het correleren van positieve steekproefparen te optimaliseren en tegelijkertijd de kans op het correleren van negatieve steekproefparen te verkleinen.

Module voor interpreteerbaarheid op basis van sjablonen

Op basis van het prompt leren met externe kennis (PLE)-verbeterde kenmerkrepresentatie, produceert een lineaire classificator logits per klasse, die vervolgens door de softmax-functie werden genormaliseerd in klassekansen; Het voorspelde anomalietype werd bepaald als de categorie met de hoogste waarschijnlijkheid. Ondertussen werd een globale anomaliescore berekend op basis van de detectoroutput. Om het ernstniveau te bepalen, werd deze score vergeleken met drie vooraf gedefinieerde drempels die waren geoptimaliseerd via rasterzoekopdrachten op de validatieset.

De standaarddrempels waren ingesteld op θ_hoog = 0,8, θ_gemiddeld = 0,5 en θ_laag = 0,2. In het bijzonder, als de score groter was dan θ_hoog, werd de ernst als hoog bestempeld; Als de score tussen θ_medium en θ_hoog valt, werd deze als medium bestempeld; als het tussen θ_laag en θ_medium lag, werd het als laag gelabeld; Anders werd het gemarkeerd als geen.

Tijdens de fase van het genereren van uitleg werd een sjabloon geselecteerd dat overeenkomt met het voorspelde type uit een vooraf gedefinieerde sjabloonbibliotheek, aanvullend bestand 1. Deze bibliotheek bevat meerdere sjabloonvarianten die zijn gevalideerd door meerdere annotators¹⁷ om de diversiteit van de gegenereerde tekst te vergroten. Als het voorspelde type bestaat in de sjabloonbibliotheek, is willekeurig een bijbehorend sjabloon geselecteerd; anders werd een standaardsjabloon voor het type Onbekend gebruikt. Ten slotte werd een gestructureerde verklarende tekst gegenereerd door het voorspelde type, de globale anomaliescore, de ernstbeschrijving en het geselecteerde sjabloon te integreren. Het systeem retourneert het voorspelde anomalietype, de globale anomaliescore en de gegenereerde verklarende tekst als de uiteindelijke uitvoer. De resultaten worden geïllustreerd in figuur 2.

Alle drempelparameters werden geoptimaliseerd met behulp van rasterzoekopdrachten op de validatieset en de kwaliteit van de gegenereerde uitleg werd uitgebreid geëvalueerd met behulp van zowel menselijke beoordeling als geautomatiseerde statistieken. De resultaten zijn weergegeven in tabel 1.

Modeltraining en evaluatie

Training: Het model werd end-to-end getraind met Adam (lr 1 x ^10-4, gewichtsverval 5 x ^10-4), batchgrootte 128, 50 epochs, cosinusgloeien voor lr. Willekeurige zaden werden ingesteld op 123 voor Python/Numpy/Pytorch en torch.backends.cudnn.deterministic=True ingeschakeld. Controlepunten werden om de 5 epochs opgeslagen in controlepunten//epoch_XX.pt, en het beste model werd geselecteerd op basis van validatie-AUC. Alle experimenten werden uitgevoerd op een systeem met een NVIDIA GeForce RTX 4060 Ti (16 GB) GPU met Windows 11, met Python 3.8.20, PyTorch 1.8.0 en CUDA 11.1. De geschatte trainingstijd per epoch was 30 s voor de ShanghaiTech-dataset en 3,5 min voor de UCF-Crime-dataset.

Verlies: De algemene doelstelling is L = L_MIL+ λ • L_uitlijnen. De hyperparameter λ werd over de set {0.01,0.1,0.5,1,5,10} op de validatieset geveegd en de beste waarde werd vastgesteld voor testrapportage. Zie figuur 3 voor top-K MIL-aggregatie en Eq.(3-4) voor definities.

(3)

(4)

Evaluatie: AUC op frameniveau werd berekend volgens het standaardprotocol dat werd gebruikt door eerdere WS-VAD-werken ^2,5. Voor fijnmazige typeherkenning op UCF-Crime werden mAP op IoU 0.1-0.5 en AVG mAP gerapporteerd, zoals samengevat in Tabel 2; de AUC's per klasse worden weergegeven in figuur 4 en de algemene resultaten in tabel 3 en tabel 4; het inbedden van scheidbaarheid en anomaliescoredynamiek zijn te vinden in Figuur 4, Figuur 5 en Figuur 6.

Resultaten

Om het nut van semantische ankers verder te valideren, werd een aanvullend experiment uitgevoerd om verschillende promptsjablonen te vergelijken (zie Tabel 1). De variant die gebruik maakt van Wikidata-augmented semantische prototypes behaalde niet alleen hogere AUC-waarden, maar leidde ook tot BLEU-4-scoreverbeteringen van 16,6 en 14,8 voor de gegenereerde verklaringen. Deze bevindingen wijzen op een sterk verband tussen de semantische rijkdom van prompts en de kwalitei...

Discussie

Het hier gepresenteerde protocol introduceert een aanzienlijke vooruitgang in de detectie van zwak gesuperviseerde video-anomalie door het paradigma te verschuiven van eenvoudige binaire classificatie naar een semantisch gefundeerde, interpreteerbare analyse. Het belang van deze methode ligt in het vermogen om niet alleen vast te stellen of er een anomalie is opgetreden, maar ook wat voor soort anomalie het is en waarom het model tot die conclusie is gekomen, waarmee een belangrijke bepe...

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
BLIP Model	Salesforce Research	ViT-B/16	Gebruikt als de tekstencoder voor het creëren van semantische ankers.
GPU	NVIDIA	RTX 4060Ti	Gebruikt voor het trainen van het model
I3D Model	Google DeepMind	Vooraf getraind op Kinetics	Gebruikt als de backbone voor video-feature-extractie.
Numpy	The NumPy Development Team	1.21.2	Gebruikt voor het verwerken en verwerken van numerieke data arrays, zoals de video-features, voordat ze in het deep learning model worden ingevoerd.
PyTorch	Facebook AI Research	1.8.0	Gebruikt voor het definiëren van de modelarchitectuur, het implementeren van de aangepaste verliesfuncties en het uitvoeren van de back-propagation voor optimalisatie.
Python	Python Software Foundation	3.8.20	Gebruikt om alle scripts voor dataverwerking, modelimplementatie, training en evaluatie te schrijven
ShanghaiTech Dataset	ShanghaiTech University		Gebruikt voor training en evaluatie in 13 verschillende campusscènes.
UCF-Crime Dataset	University of Central Florida		Gebruikt voor training en evaluatie van 13 anomaliecategorieën.
Wikidata	Wikimedia Foundation		Gebruikt als de externe kennisgraaf voor promptconstructie.