Modèle sémantique aligné sur l’ancrage pour la détection d’anomalies vidéo interprétables sous supervision faible intermodale

Résumé

Ce protocole vise à améliorer la détection d’anomalies vidéo faiblement supervisées en intégrant des connaissances structurées. Son objectif est de permettre la classification de types d’anomalies spécifiques et de fournir des explications claires et interprétables pour les résultats de détection, en allant au-delà des simples décisions binaires et en améliorant la transparence.

Résumé

La détection d’anomalies vidéo faiblement supervisée est une technique clé qui repose uniquement sur des étiquettes de niveau vidéo pour identifier les événements anormaux. Cependant, les méthodes traditionnelles d’apprentissage à instances multiples (MIL) reposent sur une supervision binaire grossière. Cette approche rend difficile la distinction entre les catégories d’anomalies à grain fin. Ces méthodes se concentrent souvent uniquement sur les segments les plus anormaux, ce qui entraîne des résultats de détection qui manquent d’interprétabilité. Pour pallier ces limites, cette étude propose une approche de modélisation des caractéristiques qui intègre des connaissances structurées. En utilisant un mécanisme de guidage sémantique dynamique, la détection d’anomalies vidéo faiblement supervisée combine des informations externes au niveau de la catégorie avec des invites apprenantes pour générer des signaux sémantiques dans l’espace des fonctionnalités. Ces signaux sont alignés avec les preuves visuelles extraites par le module de détection d’anomalies de base, produisant deux sorties complémentaires : un score d’anomalie pour quantifier la gravité des événements anormaux, et des descriptions sémantiques alignées sur des concepts externes, qui peuvent être utilisées pour générer des textes explicatifs structurés et interprétables à travers des modèles prédéfinis. Les résultats expérimentaux démontrent que la méthode proposée atteint une AUC de 88,03 % sur l’ensemble de données UCF-Crime et de 98,23 % sur l’ensemble de données ShanghaiTech, atteignant une précision de 87,05 % dans les tâches de classification des anomalies à grain fin. De plus, les explications sémantiques générées étendent la détection faiblement supervisée d’une tâche de classification binaire à un cadre d’analyse des anomalies interprétable et basé sur la sémantique.

Introduction

La détection vidéo des anomalies (DAV) joue un rôle essentiel dans des domaines tels que la sécurité publique et la fabrication intelligente, où elle offre une solution évolutive aux limites de la surveillance manuelle¹. En particulier, la détection d’anomalies vidéo faiblement supervisée (WS-VAD) a gagné en importance en raison de sa dépendance aux étiquettes de niveau vidéo, réduisant considérablement la charge de l’annotation manuelle tout en améliorant la généralisabilité à diverses scènes. Malgré leurs avantages pratiques, les méthodes WS-VAD sont toujours confrontées à des défis importants pour identifier avec précision la nature des événements anormaux². Les modèles existants détectent souvent la présence d’anomalies, mais ont du mal à déterminer leur catégorie exacte ou à fournir des informations diagnostiques significatives ^3,4. Par exemple, dans les environnements industriels, un modèle peut confondre la fumée des roulements surchauffés avec des émissions de vapeur inoffensives ou croire à tort que les étincelles de soudage normales sont des signes précoces d’incendie, ce qui entraîne des erreurs de jugement coûteuses et des arrêts inutiles. Ces confusions sémantiques proviennent des limites inhérentes aux approches actuelles de WS-VAD⁵. Les étiquettes binaires au niveau de la vidéo indiquent simplement l’existence d’une anomalie, sans donner d’informations sur sa cause, son emplacement et sa gravité. De plus^{, les cadres} d’apprentissage à instances multiples (MIL) 6 agrégent les prédictions au niveau des clips à l’aide d’heuristiques simples⁷ qui ne parviennent pas à capturer la sémantique nuancée des différents types d’événements. En conséquence, l’espace des caractéristiques visuelles apprises devient ambigu, où des phénomènes visuellement similaires mais sémantiquement distincts - tels que la fumée et la vapeur - sont cartographiés de trop près, brouillant les frontières de décision.

Deux grandes orientations de recherche ont émergé pour remédier à ces limites. L’un d’eux se concentre sur l’amélioration du cadre MIL par le biais d’une modélisation temporelle améliorée ^4,5,8 ou d’une sélection de caractéristiques guidée par la saillance³. Bien que ces méthodes améliorent la localisation des anomalies, elles ne parviennent toujours pas à offrir une clarté sémantique et une interprétabilité. L’autre direction consiste à aligner les représentations de la vision et du langage en intégrant des modèles multimodaux pré-entraînés, tels que VadCLIP⁹. Bien que cette stratégie soit prometteuse, elle ne parvient souvent pas à exploiter pleinement la richesse sémantique du langage. Cela conduit à de faibles associations intermodales et à des processus de prise de décision opaques, ce qui entraîne deux lacunes fondamentales. Tout d’abord, les modèles actuels ne peuvent pas faire la distinction entre les catégories d’anomalies en raison d’une sémantique de caractéristiques vague et d’une connaissance externe insuffisante. Deuxièmement, le processus de prise de décision contient une boîte noire, sans explication transparente de la raison pour laquelle un événement particulier est classé comme anormal. Bien que certaines méthodes intègrent des invites textuelles (par exemple, se battre, tirer), celles-ci sont toujours simplistes et mal organisées, manquant à la fois de profondeur sémantique et de compréhension contextuelle.

Pour combler ces lacunes, une nouvelle méthode WS-VAD est introduite qui intègre des connaissances externes structurées avec des mécanismes de décision interprétables, un objectif central dans le domaine plus large de l’intelligence artificielle explicable (XAI)¹⁰. Au lieu d’utiliser des noms de catégories de base comme invites, la méthode construit des représentations sémantiques riches, appelées nuages de concepts sémantiques, à l’aide de Wikidata¹¹. Contrairement aux méthodes multimodales existantes telles que VadCLIP⁹ qui reposent sur des invites de texte statiques ou de simples étiquettes de catégorie, ces nuages de concepts sémantiques encapsulent des connaissances contextuelles complètes, y compris des entités associées, des attributs et des relations causales extraites de graphes de connaissances structurés. Ces nuages de concepts sont codés en ancres sémantiques à l’aide du modèle BLIP¹², qui permet au système d’accéder à une sémantique d’événement à granularité fine. La principale innovation du mécanisme d’ancrage sémantique réside dans sa capacité à créer des représentations dynamiques, enrichies de connaissances, qui s’adaptent à des contextes d’anomalie spécifiques, alors que les méthodes précédentes basées sur l’invite utilisaient des descriptions textuelles fixes qui manquaient de profondeur contextuelle et de relations sémantiques. Pour affiner davantage l’espace des caractéristiques, un mécanisme d’alignement guidé par la saillance associe sélectivement ces ancres aux preuves visuelles les plus pertinentes. Cet alignement ciblé renforce le pouvoir discriminant des caractéristiques tout en améliorant la clarté sémantique des résultats de détection. Plus important encore, la méthode proposée favorise une interprétation transparente. Une fois qu’un ancrage sémantique est aligné avec des preuves visuelles, le modèle génère des explications structurées en langage naturel à l’aide de modèles prédéfinis, abordant explicitement à la fois la nature et la justification de l’anomalie. Il est important de noter que la mise en œuvre de cette méthode repose sur des prérequis spécifiques, notamment l’utilisation de fonctionnalités visuelles I3D pré-extraites, l’accès à une base de connaissances externe (Wikidata) et un encodeur BLIP pré-entraîné. Le cadre est donc plus avantageux dans les applications où il est essentiel d’aller au-delà de la simple détection binaire pour classer des types d’anomalies spécifiques et fournir des justifications interprétables des résultats.

Les principales contributions sont les suivantes. Une nouvelle méthode WS-VAD est développée en combinant des connaissances externes avec une interprétabilité structurée pour améliorer la compréhension sémantique et la transparence des décisions. Une méthode d’incitation basée sur l’intégration sémantique et un mécanisme d’alignement contextuel sont introduits pour surmonter les limites des modèles MIL uniquement visuels. Un module d’explication générative est incorporé, en utilisant des ancres sémantiques comme unités interprétables pour produire des justifications textuelles cohérentes. Des expériences approfondies menées sur les ensembles de données UCF-Crime et ShanghaiTech démontrent l’efficacité de la méthode proposée, obtenant de solides scores AUC (88,03 % / 98,23 %) et des performances de reconnaissance fine supérieures, avec des résultats clairs et interprétables.

Protocole

Cette étude n’utilise que des ensembles de données accessibles au public (UCF-Crime¹³ et ShanghaiTech¹⁴). Toutes les vidéos ont été obtenues à partir des versions officielles des ensembles de données, qui anonymisent les informations personnellement identifiables dans la mesure fournie par les responsables de l’ensemble de données. Aucune collecte de données supplémentaire ou interaction avec un sujet humain n’a été effectuée par les auteurs ; par conséquent, aucune nouvelle approbation du CISR n’était requise. L’utilisation des données est conforme aux licences et aux conditions d’utilisation des ensembles de données respectifs.

Préparation des données et extraction des caractéristiques

Préparation de l’ensemble de données : Les ensembles de données UCF-Crime¹³ (1 610 trains/290 vidéos de test) et ShanghaiTech¹⁴ (238 trains/199 vidéos de test) ont été adoptés dans le cadre de leurs divisions standard. Les vidéos ont été prétraitées à l’aide de FFmpeg pour assurer la reproductibilité, réencodées en H.264, rééchantillonnées à 25 ips et redimensionnées à une résolution de 256 x 256 avec la commande : ffmpeg -i v.mp4 -vf « fps=25,scale=256:256 » -c :v libx264 -crf 23 -preset veryfast pre/.

Extraction de caractéristiques : Les caractéristiques RVB ont été extraites par un backbone I3D¹⁵ pré-entraîné sur le jeu de données Kinetics¹⁶. Les vidéos ont été divisées en clips de 16 images qui ne se chevauchaient pas ; Chaque clip a été recadré au centre à 224 x 224 pixels. Les activations de l’avant-dernière couche ont été regroupées en moyenne pour obtenir une caractéristique 1024-D par clip. Dans PyTorch, cela correspond à l’acheminement des tenseurs de forme [B, 3, T, H, W] à travers le squelette I3D et à l’application de adaptive_avg_pool3d suivie d’un aplatissement. Les caractéristiques extraites ont été enregistrées dans des fichiers .npy (un par vidéo) avec les horodatages des clips pour une reproductibilité exacte (graine = 123). Pour chaque vidéo, features///

Architecture du modèle et méthodologie

Détection de base : fusion de contextes temporels
À partir d’une séquence de clip vidéo représentée par une matrice de caractéristiques Z  R^Tx1024, le module TCF (Temporal Context Fusion) a d’abord calculé des représentations de requêtes, de clés et de valeurs à l’aide de trois projections linéaires apprises :

Q =^{ZW Q}, K = ZW^K, V = ZW^V (1)

où W^Q, W^K, W^V  R^{Tx1024x d sontdes} paramètres pouvant être entraînés (PyTorch : trois nn. Couches linéaires (1024,d)). L’affinité intersegment était S = , un plongement de relationnalité temporelle (TRE) a été incorporé, où chaque élément a été calculé comme R_ij = α exp () + β . L’affinité sensible à l’emplacement était = S + R. Une carte de contexte global A = softmax() agrégée V pour obtenir des entités à large aire G = AV. Les caractéristiques locales L ont été calculées avec une convolution 1-D en profondeur (nn. Conv1d) de la taille du noyau 3 sur Z. Une porte dynamique g = σ(MLP ([G ;L])) a mélangé les deux : U = g G + (1 - g) L . Enfin, la normalisation de la couche et une couche linéaire résiduelle ont été appliquées pour produire Y (Pytorch :LayerNorm+Linear+residual).

Détection de base : prédicteur temporel causal

La sortie Y a été transmise à travers deux circonvolutions 1D causales avec GELU et dropout (Pytorch :padding='causal' ou conv masquée) pour obtenir des logits d’anomalie par clip. L’application de la fonction sigmoïde a donné des valeurs de probabilité [0,1]^T.

Amélioration sémantique : apprentissage rapide avec des connaissances externes

Construire des ancres sémantiques : Pour chaque anomalie de classe c, les concepts K_c ont été interrogés à partir de Wikidata¹¹, et encodés chaque phrase de concept a été encodé avec l’encodeur de texte¹²de BLIP à e_iR⁷⁶⁸. L’ancre de classe était la moyenne normalisée l₂ D_c = norme(Σ_{i ei}) . Pour réduire le bruit, les concepts dont la similarité cosinus avec le nom de la classe est inférieure à 0,2 ont été abandonnés et le score M supérieur par TF-IDF a été conservé.  

Effectuer une séparation contextuelle : Les poids de premier plan α_t = softmax(rs_t) ont été calculés à partir des scores de détecteur de base s_t, et des poids d’arrière-plan bt = softmax(r(1 - s_t)). Les caractéristiques pondérées sont f_fg = Σ_{t αzt} et f_bg = Σ_tbz_t .

Aligner les fonctionnalités visuelles et sémantiques

Définir l’objectif d’alignement : au cours de l’étape d’alignement, l’objectif est de minimiser la distance entre l’élément visuel de premier plan et son ancrage sémantique correspondant de la catégorie anormale dans l’espace des entités. Créez une collection de guides sémantiques, comprenant des guides sémantiques de catégorie anormale C et un guide sémantique normal standard. Déterminer la vraisemblance, P(D^k|v), qu’une caractéristique visuelle, v, correspond au k-ième guide sémantique, D^k. Calculez cela en utilisant la similarité cosinus à l’échelle de la température suivie de la normalisation Softmax, comme indiqué dans l’équation (2).

(2)

L’entropie croisée a été minimisée pour rapprocher les paires positives et les paires négatives, en fixant τ_s comme paramètre apprenable et en l’initialisant à 10. Réalisez l’alignement en optimisant la probabilité de corréler des paires d’échantillons positives tout en réduisant la probabilité de corréler des paires d’échantillons négatives.

Module d’interprétabilité basé sur des modèles

Sur la base de la représentation de caractéristiques améliorée par l’apprentissage rapide avec connaissances externes (PLE), un classificateur linéaire produit des logits par classe, qui ont ensuite été normalisés en probabilités de classe par la fonction softmax ; Le type d’anomalie prédit a été déterminé comme étant la catégorie avec la probabilité la plus élevée. Pendant ce temps, un score d’anomalie global a été calculé à partir de la sortie du détecteur. Pour déterminer le niveau de gravité, ce score a été comparé à trois seuils prédéfinis optimisés par la recherche en grille sur l’ensemble de validation.

Les seuils par défaut ont été fixés à θ_élevé = 0,8, θ_moyen = 0,5 et θ_faible = 0,2. Plus précisément, si le score était supérieur à θ_élevé, la gravité était étiquetée comme élevée ; si le score se situe entre θ_moyen et θ_élevé, il a été étiqueté comme moyen ; si entre θ_faible et θ_moyen, il était étiqueté comme faible ; sinon, il était marqué comme aucun.

Lors de la phase de génération d’explications, un modèle correspondant au type prédit a été sélectionné à partir d’une bibliothèque de modèles prédéfinie, le Fichier Supplémentaire 1. Cette bibliothèque contient plusieurs variantes de modèles qui ont été validées par plusieurs annotateurs¹⁷ afin d’améliorer la diversité du texte généré. Si le type prédit existe dans la bibliothèque de modèles, un modèle correspondant a été sélectionné de manière aléatoire ; sinon, un modèle par défaut pour le type Inconnu a été utilisé. Enfin, un texte explicatif structuré a été généré en intégrant le type prédit, le score d’anomalie global, la description de la gravité et le modèle sélectionné. Le système renvoie le type d’anomalie prédit, le score d’anomalie global et le texte explicatif généré en tant que sortie finale. Les résultats sont illustrés à la figure 2.

Tous les paramètres de seuil ont été optimisés à l’aide de la recherche par grille sur l’ensemble de validation, et la qualité des explications générées a été évaluée de manière exhaustive à l’aide d’une évaluation humaine et de mesures automatisées. Les résultats sont présentés dans le tableau 1.

Formation et évaluation du modèle

Formation : Le modèle a été entraîné de bout en bout avec Adam (lr 1 x ^10-4, perte de poids 5 x ^10-4), taille de lot 128, 50 époques, recuit cosinus pour lr. Les valeurs de départ aléatoires ont été définies à 123 pour Python/Numpy/Pytorch et ont activé torch.backends.cudnn.deterministic=True. Les points de contrôle ont été enregistrés toutes les 5 époques dans checkpoints//epoch_XX.pt, et le meilleur modèle a été sélectionné par AUC de validation. Toutes les expériences ont été menées sur un système équipé d’un GPU NVIDIA GeForce RTX 4060 Ti (16 Go) exécutant Windows 11, avec Python 3.8.20, PyTorch 1.8.0 et CUDA 11.1. Le temps d’entraînement approximatif par époque était de 30 s pour l’ensemble de données ShanghaiTech et de 3,5 minutes pour l’ensemble de données UCF-Crime.

Perte : L’objectif global est L = L_MIL+ λ • L_align. L’hyperparamètre λ a été balayé sur l’ensemble {0.01,0.1,0.5,1,5,1,5,10} sur l’ensemble de validation, et la meilleure valeur a été fixée pour le rapport de test. Voir la figure 3 pour l’agrégation MIL top-K et l’équation (3-4) pour les définitions.

(3)

(4)

Évaluation : L’AUC au niveau de l’image a été calculée selon le protocole standard utilisé par les travaux précédents de WS-VAD ^2,5. Pour la reconnaissance de type à grain fin sur UCF-Crime, mAP à IoU 0,1-0,5 et mAP AVG ont été rapportés, comme résumé dans le tableau 2 ; les ASC par classe sont présentées à la figure 4 et les résultats globaux aux tableaux 3 et 4 ; l’intégration de la séparabilité et de la dynamique du score d’anomalie sont illustrées à la figure 4, à la figure 5 et à la figure 6.

Résultats

Pour valider davantage l’utilité des ancres sémantiques, une expérience supplémentaire a été menée pour comparer différents modèles d’invites (voir le tableau 1). La variante utilisant des prototypes sémantiques augmentés par Wikidata a non seulement permis d’obtenir des valeurs AUC plus élevées, mais a également conduit à des améliorations du score BLEU-4 de 16,6 et 14,8 pour les explications générées. Ces résultats indiquent un lien étroit entre la richesse sémantique ...

Discussion

Le protocole présenté ici introduit une avancée significative dans la détection d’anomalies vidéo faiblement supervisée en faisant passer le paradigme d’une simple classification binaire à une analyse interprétable sémantiquement fondée. L’importance de cette méthode réside dans sa capacité à identifier non seulement si une anomalie s’est produite, mais aussi de quel type d’anomalie il s’agit et pourquoi le modèle est parvenu à cette conclusion, en remédiant à une limitation majeure des ...

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
BLIP Modèle	Salesforce Research	ViT-B/16	Utilisé comme encodeur de texte pour créer des ancrages sémantiques.
GPU	NVIDIA	RTX 4060Ti	Utilisé pour entraîner le modèle
Modèle I3D	Google DeepMind	Pré-entraîné en cinétique & nbsp ;	Utilisé comme colonne vertébrale pour l’extraction de fonctionnalités vidéo.
Engourdi	L’équipe de développement NumPy	1.21.2	Utilisé pour gérer et traiter des réseaux de données numériques, tels que les fonctionnalités vidéo, avant qu’ils ne soient intégrés au modèle d’apprentissage profond.
PyTorch	Recherche sur l’IA sur Facebook	1.8.0	Utilisé pour définir l’architecture du modèle, implémenter les fonctions de perte personnalisées, et exécuter la rétropropagation pour optimiser.
Python	Fondation Python Software	3.8.20	Utilisé pour écrire tous les scripts de traitement des données, d’implémentation de modèles, d’entraînement et d’évaluation
Jeu de données ShanghaiTech	Université ShanghaiTech		Utilisé pour la formation et l’évaluation dans 13 scènes différentes du campus.
Ensemble de données UCF-Criminalité   ;	Université de Central Florida		Utilisé pour la formation et l’évaluation de 13 catégories d’anomalies.
Wikidata	Fondation Wikimedia		Utilisé comme graphe de connaissances externe pour la construction de prompts.