Double codeur-décodeur-encodeur avec formation contradictoire pour la détection non supervisée des accidents de la circulation dans les vidéos de surveillance

Summary

Ce travail propose un modèle à double codeur-décodeur-encodeur (EDE) pour la détection automatisée des accidents de la circulation. À l’aide d’une méthode d’entraînement en deux phases, il apprend des schémas de conduite normaux et identifie les anomalies par confrontation générative. Le modèle détecte efficacement les accidents dans les images du monde réel et offre un aperçu des comportements des conducteurs en capturant les écarts subtils.

Abstract

Pour renforcer la sécurité routière et améliorer les interventions d’urgence, les incidents de circulation doivent être détectés le plus rapidement possible dans les images de surveillance du monde réel. Les systèmes existants dépendent en grande partie de la surveillance manuelle, qui prend du temps et est sujette aux erreurs. La détection automatisée des accidents reste un défi en raison du déséquilibre important entre les classes : les situations de conduite normales sont surreprésentées, tandis que les accidents sont rares et diversifiés. Dans de tels cas, les systèmes de vision par ordinateur traditionnels ne peuvent souvent pas différencier de manière fiable les événements normaux et anormaux. Cette étude aborde le problème en développant une architecture d’apprentissage profond basée sur un cadre à double codeur-décodeur-encodeur (EDE). Le modèle utilise deux pipelines d’encodeur-décodeur partagés pour mapper les distributions d’images aux distributions latentes spécifiées dans les deux sens. Ce cadre permet au système de modéliser les modèles de comportement de trafic courants et de devenir plus sensible aux changements qui peuvent indiquer des événements dangereux ou inhabituels. Une technique d’entraînement en deux phases est proposée pour améliorer encore la détection des anomalies. Dans la première phase, le modèle apprend à reconstruire des images de conduite normale, en utilisant la perte de reconstruction pour caractériser le comportement normal. Dans la deuxième phase, un mécanisme antagoniste génératif est introduit : des vecteurs latents reconstruits d’une EDE sont passés à l’autre, générant des images synthétiques et des espaces latents. Ce processus amplifie les différences entre les sorties réelles et synthétiques, ce qui rend le système plus réactif aux signes subtils d’anomalies potentielles. L’architecture dual-EDE et la méthodologie d’entraînement contradictoire représentent une avancée substantielle par rapport aux méthodes actuelles en modélisant à la fois le comportement normal et pathologique. Les résultats expérimentaux sur des ensembles de données réelles de surveillance du trafic démontrent que la méthode proposée améliore considérablement la détection des accidents et des comportements de conduite dangereux, tant en termes de précision que de robustesse.

Introduction

Selon l’Organisation mondiale de la santé (2023), les accidents de la route sont la principale cause de décès chez les enfants et les jeunes adultes âgés de 5 à 29 ans, avec environ 1,3 million de décès signalés dans le monde chaque année. Cette statistique alarmante souligne l’urgence de disposer de systèmes automatisés capables de^{surveiller le trafic} routier1, de détecter les anomalies en temps réel et de réduire les délais d’intervention d’urgence. L’intégration de l’intelligence artificielle (IA) et de l’Internet des objets (IoT) dans l’infrastructure des villes intelligentes a permis le développement de systèmes de transport intelligents. Alors que les réseaux de télévision en circuit fermé (CCTV)^2,3 assurent une surveillance continue du trafic urbain, la surveillance manuelle est peu pratique et sujette aux erreurs. Par conséquent, des solutions évolutives et automatisées pour la détection des incidents de circulation sont essentielles.

Les méthodes traditionnelles de vision par ordinateur pour l’analyse du trafic, telles que la détection de véhicules, le suivi et la classification du comportement, utilisent souvent des réseaux neuronaux convolutifs (CNN) entraînés via l’apprentissage supervisé ^4,5. Ces systèmes nécessitent de vastes ensembles de données annotées et ne parviennent souvent pas à se généraliser dans les scénarios rares et variés qui caractérisent les accidents du monde réel. Par conséquent, les chercheurs se sont tournés vers des approches de détection d’anomalies non supervisées, qui ne dépendent pas de données d’anomalies étiquetées. Parmi ceux-ci, les auto-encodeurs (AE) et les réseaux antagonistes génératifs (GAN) se sont révélés prometteurs pour modéliser des modèles normaux et identifier les écarts ^6,7,8.

Cependant, les AE standard ont tendance à reconstruire les entrées trop fidèlement - même lorsque ces entrées sont anormales - ce qui conduit à des taux élevés de faux négatifs ^9,10. Les auto-encodeurs variationnels (VAE)¹¹ et les modèles basés sur GAN tels que f-AnoGAN¹², GANomaly¹³ et OCGAN¹⁴ résolvent certains de ces problèmes en intégrant la modélisation de l’espace latent et l’apprentissage contradictoire. Néanmoins, ces modèles reposent souvent sur des mappages unidirectionnels de l’image à l’espace latent¹⁵, ce qui limite leur capacité à détecter des incohérences subtiles ou complexes dans les anomalies de trafic du monde réel.

Les systèmes supervisés, tels que ceux développés pour l’AI City Challenge par ByteDance¹⁶, WHU¹⁷ et USF¹⁸, atteignent une grande précision grâce au suivi spatio-temporel¹⁹et aux conceptions centrées sur l’objet. Cependant, ils nécessitent des données d’accident étiquetées et des pipelines de suivi complexes, ce qui réduit l’évolutivité et l’applicabilité en temps réel.

Modèle	Type	Caractéristiques clés	Limitations	Performance (décrite)
GANomaly	Unsupervised	Encodeur-Décodeur-Encodeur ; Formation contradictoire	A tendance à trop bien reconstruire même les entrées anormales, ce qui conduit à des faux négatifs	Bon dans l’ensemble, avec une grande précision et un rappel équilibré
L’OCGAN	Unsupervised	GAN à une classe avec espace latent limité	Difficultés à détecter des anomalies subtiles ou complexes	Légèrement meilleur que GANomaly, avec un meilleur équilibre entre les métriques
f-AnoGAN	Unsupervised	Détection rapide des anomalies à l’aide des GAN et de la correspondance des caractéristiques	Capacité limitée à capturer des anomalies complexes dans l’espace latent	Rendement modéré (notes spécifiques non fournies)
ByteDance	Supervisé	Suivi spatio-temporel avec localisation des anomalies au niveau de l’objet	Nécessite des données d’entraînement étiquetées ; Évolutivité limitée dans des environnements réels	Très grande exactitude et précision ; sensibilité légèrement inférieure
BADU	Supervisé	Utilise la modélisation d’arrière-plan et le suivi des véhicules	Moins efficace dans des scènes diverses ; Manque des anomalies subtiles	Précision à toute épreuve ; Bon équilibre mais inférieur aux méthodes supérieures
WHU	Supervisé	Traçage de trajectoire à double modalité	Mauvaise généralisation et faible rappel des anomalies	Performances globales faibles, notamment dans la détection des anomalies
L’USF	Supervisé	Combine la modélisation d’arrière-plan avec l’analyse de similarité structurelle	Manque d’identification précise des anomalies	Très faible précision et sensibilité
Proposé (Dual-EDE)	Unsupervised	Double codeur-décodeur-encodeur ; Cartographie latente bidirectionnelle avec perte antagoniste et contrastive	Charge de calcul élevée ; limité à l’entrée RVB	Excellentes performances ; Précision maximale, rappel élevé et équilibre solide entre les indicateurs

Tableau 1 : Résumé des travaux connexes en matière de détection des anomalies de trafic par vidéo.

Le tableau 1 compare les principales méthodes de détection d’anomalies utilisées dans la surveillance du trafic, en mettant en évidence leurs architectures, leurs avantages, leurs inconvénients et leurs performances. Les modèles conventionnels basés sur le GAN comme GANomaly et OCGAN peuvent effectuer une détection non supervisée efficace, mais ont du mal à détecter des anomalies subtiles. Les méthodes supervisées, bien que très précises, dépendent fortement des données étiquetées et d’un suivi sophistiqué. Le modèle Dual-EDE proposé intègre l’encodage bidirectionnel de l’espace latent avec un entraînement antagoniste et contrastif, ce qui lui permet de détecter des anomalies de trafic rares et subtiles sans données étiquetées, offrant à la fois évolutivité et robustesse.

Lacune de la recherche et hypothèse
Bien que les modèles non supervisés atténuent le besoin d’anomalies étiquetées, ils ont toujours du mal à détecter avec précision les événements de trafic rares, subtils et à fort impact. Les méthodes actuelles sont limitées par l’asymétrie architecturale et l’incapacité d’exploiter pleinement les incohérences de l’espace latent. De plus, beaucoup ne parviennent pas à faire la distinction entre un comportement normal complexe et des anomalies réelles dans des environnements de trafic hautement dynamiques.

Nous émettons l’hypothèse qu’une architecture à double codeur-décodeur-encodeur (EDE) entraînée exclusivement sur des données de trafic normales, combinée à une stratégie d’entraînement en deux phases, peut surpasser les modèles de pointe dans la détection d’anomalies de trafic diverses et subtiles. En appliquant une cohérence latente bidirectionnelle et en intégrant la reconstruction antagoniste, le système devient plus sensible aux infimes écarts par rapport au comportement attendu, tels que les freinages brusques, les embardées erratiques ou les collisions, sans qu’il soit nécessaire de disposer de données d’accident annotées.

Méthode proposée
Nous proposons un nouveau cadre de détection d’anomalies non supervisé construit sur une architecture dual-EDE. Contrairement aux modèles traditionnels qui utilisent un seul pipeline d’encodage-décodage, notre système utilise deux voies EDE qui effectuent une cartographie bidirectionnelle entre les images et les représentations latentes. Cette conception permet au modèle d’apprendre des caractéristiques riches de la dynamique normale du trafic et d’amplifier les écarts lorsque des anomalies se produisent. Le processus de formation se compose de deux phases :

La première phase utilise la perte de reconstruction pour modéliser un comportement normal, semblable à l’entraînement standard de l’auto-encodeur.

La deuxième phase introduit un mécanisme antagoniste génératif, où les vecteurs latents d’un EDE sont passés dans le second pour générer des données synthétiques, forçant le système à maximiser les distinctions entre les représentations réelles et fausses dans les domaines d’image et latent.

Principales contributions
Nous introduisons une architecture à double EDE qui capture les incohérences latentes grâce à une cartographie bidirectionnelle pour une meilleure détection des anomalies. Nous développons une procédure d’entraînement en deux phases qui combine la reconstruction de l’auto-encodeur avec l’apprentissage contradictoire pour améliorer la sensibilité aux écarts subtils. Nous démontrons, par le biais d’expériences sur l’ensemble de données AI City Challenge (Track 4), que le modèle surpasse plusieurs bases de référence supervisées et non supervisées de pointe, permettant une détection d’accident robuste et évolutive dans des environnements urbains réels. En résumé, ce travail offre une approche évolutive, précise et sans étiquette de la détection des anomalies de circulation, contribuant ainsi à des systèmes de transport intelligents plus sûrs et plus réactifs.

Protocol

Système

Coup monté
Nous avons déployé le système de détection d’anomalies de trafic proposé dans un cadre de calcul hiérarchique et distribué, en tirant parti de l’environnement Intel Tiber Cloud. Cette architecture comprend trois niveaux (edge, fog et cloud) pour garantir une inférence à faible latence, un entraînement évolutif et une allocation efficace des ressources entre les nœuds de calcul.

Niveau Edge : la détection des anomalies en temps réel est effectuée à la périphérie à l’aide de dispositifs embarqués légers et compatibles GPU (par exemple, NVIDIA Jetson Nano ou des plates-formes Intel équivalentes avec GPU intégrés). Ces unités ont été co-localisées avec des caméras de surveillance et ont exécuté l’inférence image par image avec une latence minimale, permettant une surveillance décentralisée et réactive du trafic.

Niveau Brouillard : les tâches de calcul plus intensives, notamment l’inférence par lots et l’affinement du modèle en temps réel, étaient gérées par des nœuds Fog provisionnés en tant que machines virtuelles dédiées ou instances bare metal au sein du cloud Intel Tiber. Chaque nœud de brouillard était configuré avec un processeur Intel Xeon avec au moins 16 Go de RAM et avait accès à l’accélération GPU intégrée ou discrète d’Intel. Cette couche intermédiaire a permis des opérations à haut débit à proximité de la source de données tout en conservant l’autonomie vis-à-vis des serveurs centraux.

Cloud Tier : pour la formation et l’archivage à grande échelle, le Cloud Tier utilise des clusters de calcul évolutifs proposés par les services optimisés pour l’IA d’Intel Tiber. Les instances équipées d’accélérateurs Intel Habana Gaudi ou de processeurs Intel Xeon Scalable sont utilisées pour l’entraînement de réseaux neuronaux profonds sur de vastes ensembles de données vidéo, la prise en charge de la gestion des versions de modèles, le stockage à long terme et l’orchestration à l’échelle du système.

La pile logicielle complète fonctionnait dans un environnement Python 3.8+ à l’aide de bibliothèques optimisées par Intel pour le calcul accéléré. Les principaux frameworks incluent PyTorch (avec Intel Extension for PyTorch), OpenCV pour le prétraitement des images et des vidéos, et Scikit-learn pour l’évaluation. L’accélération GPU est activée par le biais des kits d’outils oneAPI appropriés et des optimisations DAAL.

Lors du déploiement, nous avons cloné le référentiel contenant l’architecture dual-EDE et initialisé les composants du modèle -- deux encodeurs (E1, E2) et deux décodeurs (D1, D2). Utilisation de la méthode .to(device) pour transférer dynamiquement les composants vers l’unité de traitement optimale (CPU, GPU ou accélérateur Gaudí) en fonction de la disponibilité des ressources locales.

Nous avons déclaré les paramètres d’entraînement et d’évaluation, y compris le nombre d’époques, le taux d’apprentissage, les coefficients d’équilibrage des pertes (γ, δ) et les seuils de sensibilité aux anomalies (ω₁, ω₂), dans un script de configuration. Pour l’entraînement, nous avons suivi un protocole en deux phases : (1) la reconstruction standard de l’auto-encodeur pour l’apprentissage du comportement normal du trafic et (2) la reconstruction latente antagoniste pour amplifier les anomalies à l’aide d’interactions inter-EDE.

Cette architecture système modulaire et native du cloud a permis une détection robuste des anomalies en temps réel, une évolutivité des modèles et un déploiement fiable dans des environnements de transport intelligents réels via le cloud Intel Tiber.

Jeu de données
Pour l’entraînement et l’évaluation du système de détection d’anomalie proposé, nous avons utilisé l’ensemble de données fourni par le NVIDIA AI City Challenge 2021, Track 4 (Traffic Anomaly). L’ensemble de données comprend 100 vidéos de formation et 150 vidéos de test, d’une durée moyenne de 15 minutes chacune, enregistrées à 30 ips et une résolution de 410 p. Chaque vidéo présente un niveau de difficulté distinct en raison des variations dans les types de routes, les angles de caméra, l’éclairage et les conditions météorologiques. L’ensemble de données capture un large éventail d’infrastructures routières (par exemple, autoroutes à plusieurs voies, intersections), de densités de trafic et de conditions météorologiques (par exemple, clair, pluvieux, crépuscule), sous plusieurs angles de caméra. Ces attributs en font un repère idéal pour évaluer la généralisabilité des modèles de détection d’anomalies.

Prétraitement
Pour entraîner le modèle dans des conditions non supervisées, utilisez uniquement des scènes de circulation normales (non accidentelles), en évitant toute exposition à des événements anormaux pendant l’entraînement. Effectuez le prétraitement vidéo à l’aide d’OpenCV. Echantillonnez les images uniformément à 5 ips pour assurer une couverture temporelle suffisante tout en réduisant la redondance. Redimensionnez les images à 128 x 128 pixels, en respectant les exigences d’entrée du réseau double EDE et en équilibrant les détails visuels avec l’efficacité de calcul. Normalisez les valeurs de pixel à l’ordre de [−1, 1] pour améliorer la stabilité de l’entraînement.

Pour améliorer la généralisation et simuler la variabilité du monde réel, appliquez les techniques d’augmentation suivantes à chaque trame d’entraînement avec probabilité aléatoire :

Recadrage et mise à l’échelle aléatoires : Recadrez des sous-régions aléatoires et récomposez-les à leur résolution d’origine, en encourageant l’invariance de la taille de l’objet, la visibilité partielle et les décalages de position spatiale, en imitant les effets de zoom et les sujets décentrés dans la vidéo de surveillance.

Luminosité et modulation de contraste : Appliquez des transformations linéaires ou gamma pour imiter les variations d’éclairage telles que les ombres, l’éblouissement, les variations de lever/coucher de soleil et l’éclairage artificiel. Cela améliore la résilience du modèle aux fluctuations d’éclairage diurnes et saisonnières.

Injection de bruit gaussien et flou de mouvement : Ajoutez du bruit gaussien avec des écarts-types variables pour simuler le bruit du capteur et les artefacts de compression. Simulez le flou de mouvement à l’aide de noyaux convolutifs orientés dans différentes directions et amplitudes pour émuler l’effet des objets en mouvement ou du bougé de l’appareil photo, ce qui est particulièrement pertinent dans les scènes de circulation rapide.

Masquage d’occlusion aléatoire : Appliquez des occlusions synthétiques en superposant sur le cadre des taches rectangulaires noires ou grises de tailles et d’emplacements aléatoires. Cette augmentation simule des obstacles du monde réel tels que des piétons, des éléments d’infrastructure ou des véhicules qui passent et qui obstruent le champ de vision. Il encourage le modèle à apprendre du contexte et à rester robuste aux régions manquantes ou déformées.

Appliquez ces augmentations de manière dynamique pendant l’entraînement à l’aide des pipelines de transformation PyTorch, en veillant à ce que chaque lot contienne un mélange diversifié de cadres augmentés, en favorisant l’exposition à divers motifs et en réduisant le surapprentissage.

Chargez des trames traitées avec le DataLoader de PyTorch pour gérer le traitement par lots, le brassage et le chargement parallèle. Entraînez-vous avec des tailles de lot comprises entre 32 et 64, en fonction de la capacité du GPU. Pour l’inférence et la notation des anomalies, traitez les trames individuellement (taille de lot = 1) pour permettre une détection précise au niveau de la trame.

Ce pipeline de prétraitement et d’augmentation améliore la robustesse et la généralisation, ce qui permet au modèle de détecter efficacement les comportements anormaux dans des environnements de surveillance du trafic réels divers et bruyants.

La méthode proposée :
Le système EDE proposé apprend les correspondances bidirectionnelles entre les distributions d’images et les espaces latents. Deux encodeurs et deux décodeurs permettent une extraction robuste des caractéristiques et une différenciation des anomalies. Les réseaux sont formés à la fois aux étapes de reconstruction et d’affrontement. L’apprentissage contrastif, la régularisation et la pénalité de gradient sont utilisés pour éviter l’effondrement des modes et améliorer la robustesse de l’entraînement GAN.

Le cadre EDE fonctionne comme suit : l’encodeur 1 (E1) encode les caractéristiques de l’image dans l’espace latent. Le premier décodeur (D1) reconstruit des images à partir de vecteurs latents afin de minimiser les pertes de reconstruction. Les images reconstruites sont ensuite cartographiées dans l’espace latent pour capturer les incohérences. Le deuxième décodeur (D2) génère des images synthétiques à partir du deuxième espace latent pour aider le modèle à distinguer les données réelles des données synthétiques. Ce mappage bidirectionnel détecte les anomalies en fonction des divergences de l’espace latent plutôt que des différences au niveau des pixels.

Phase 1 : Formation à la reconstruction : L’auto-encodeur est entraîné à reconstruire des images de trafic normales, de sorte que les entrées anormales produisent des erreurs de reconstruction substantielles. La fonction de perte prend en compte l’image d’entrée, son codage latent et l’image reconstruite.

Formation contradictoire : Après l’entraînement à la reconstruction, l’apprentissage contradictoire est appliqué. Les vecteurs latents reconstruits sont passés à travers une structure EDE alternative pour produire des images synthétiques et des vecteurs latents. Les objectifs sont de maximiser les différences entre les images réelles et synthétiques ; modifier et reconstruire les vecteurs latents pour améliorer la détection des anomalies par l’encodeur 2 (E2) ; et empêcher l’effondrement de l’encodeur.

L’entraînement est conçu pour éviter la convergence des schémas E1 et E2 vers des mappages identiques, ce qui réduirait la capacité discriminante.

Apprentissage contrastif : Une fonction de perte différencie les représentations réelles et reconstruites, avec un hyperparamètre de marge contrôlant la séparation des caractéristiques.
Les techniques de régularisation comprennent :

Marginal: Désactivation aléatoire des neurones pour éviter le surapprentissage.
Perte de poids : Pénalise les poids importants pour stabiliser l’apprentissage des fonctionnalités.

Les méthodes de prévention de la stabilité²⁰ et de l’effondrement de mode comprennent :
Pénalité de pente : Régule le comportement discriminant.
Augmentation des données : Recadrage aléatoire, mise à l’échelle et éclairage réglable pour simuler des conditions variées.
Injection de bruit : Ajout de bruit réaliste, de flou de mouvement et d’occlusions pour améliorer la généralisation.
Arrêt anticipé : Arrêt de la formation si la perte de validation fluctue considérablement pour éviter le surapprentissage.

Ces améliorations architecturales, ces méthodes de formation et ces mesures de résilience garantissent une détection fiable des anomalies de trafic.

Le réseau de détection d’accidents non supervisés est formé exclusivement sur des échantillons normaux et testé sur des échantillons normaux et accidentels. Formellement:

À partir de l’ensemble de toutes les vidéos normales et d’accidents, considérons un grand ensemble de données d’entraînement E avec seulement F images normales (E = {x1, x2}). .., xM } et un ensemble de données d’essai plus petit Ê contenant à la fois des photographies normales et des photographies d’accidents (Ê=[( x̂1,y1), (x̂2,y2), (x̂F*,yF*)]),cadres, où yi [0, 1] est l’image de l’étiquette du cadre. Pour l’entraînement F F*, l’ensemble de données d’entraînement doit être nettement plus grand que l’ensemble de données de test. Après avoir appris la variété de l’ensemble de données (E), identifiez les cadres d’accident dans Ê comme valeurs aberrantes lors de l’inférence. Le modèle f calcule un score d’accident Acc(x) basé sur la distribution des données normales apprises. Une image de test x avec un score d’accident élevé peut être un accident. Les critères de jugement sont fondés sur le seuil de score d’accident (φ) si Acc(x) > φ.

Architecture réseau :
Comme le montre la figure 1, le modèle GANomaly²¹ contient deux encodeurs, un décodeur et un discriminateur. De nombreux chercheurs ont adapté cette méthode pour distinguer les vecteurs latents et détecter les anomalies visuelles^12,22. Les deux encodeurs et le décodeur unique modifient réciproquement l’image et le vecteur latent dans le modèle. Ces faits aberrants sont indiqués lors de la transformation. Le discriminateur sépare les images générées de l’original. GANomaly s’appuie sur l’encodage, le décodage et le réencodage.

Figure 1 : Architecture GANomaly démontrant le flux d’informations. L’architecture consiste en un cadre encodeur-décodeur-encodeur intégré dans un réseau antagoniste génératif. Le premier encodeur compresse la trame vidéo d’entrée en une représentation de l’espace latent, qui est ensuite reconstruite par le décodeur. Un deuxième encodeur ramène l’image reconstruite dans l’espace latent. Le discriminateur évalue la différence entre les caractéristiques d’entrée et les caractéristiques reconstruites pour calculer le score d’anomalie. Les flèches indiquent le flux directionnel des données à travers le réseau. Abréviation : GAN = réseau antagoniste génératif. Veuillez cliquer ici pour voir une version agrandie de cette figure.

La figure 2 illustre l’architecture EDE avec deux encodeurs et un décodeur. La structure EDE doit constamment changer de paramètres pour détecter les incidents vidéo. Nous avons ajouté un deuxième décodeur à la structure EDE et les avons laissés partager les encodeurs pour générer le modèle de la figure 2 avec deux configurations de réseau. Deux encodeurs ont quatre couches convolutives. Nous avons utilisé les fonctions d’activation de LeakyReLU pour toutes les couches, à l’exception de la couche de sortie, qui utilisait une activation tanh pour lier les sorties entre -1 et 1. La normalisation par lots a été appliquée après plusieurs couches convolutives. Les décodeurs (Figure 3 et Figure 4) sont similaires aux encodeurs, mais utilisent ConvTranspose et une normalisation par lots supplémentaire au lieu de chaque couche.

Figure 2 : Architecture proposée basée sur EDE avec flux d’informations. L’architecture EDE est illustrée, montrant le flux de trames vidéo à travers deux encodeurs et un décodeur. Le premier codeur (E1) compresse la trame d’entrée en une représentation latente, qui est ensuite reconstruite par le décodeur (D1). La sortie reconstruite passe à travers le second codeur (E2) pour obtenir un second vecteur latent. Les écarts entre les vecteurs latents et la qualité de la reconstruction sont utilisés pour la détection des anomalies, soutenus par des composantes de perte antagoniste et contrastive. Abréviation : EDE = encoder-decoder-encoder. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Détails de l’architecture réseau :
Le modèle dual-EDE se compose de deux pipelines encodeur-décodeur-codeur, chacun avec la même structure et optimisés conjointement pendant l’entraînement.

Architecture de l’encodeur (E1, E2)

Entrée : 128×128×3 cadre RVB

Couche 1 : Conv2D (64 filtres, noyau 4×4, stride 2, remplissage 1) → LeakyReLU (α = 0,2)

Couche 2 : Conv2D (128 filtres, 4×4, foulée 2, rembourrage 1) → BatchNorm → LeakyReLU

Couche 3 : Conv2D (256 filtres, 4×4, foulée 2, rembourrage 1) → BatchNorm → LeakyReLU

Couche 4 : Conv2D (512 filtres, 4×4, foulée 2, rembourrage 1) → BatchNorm → LeakyReLU

Couche 5 : Aplatir → Vecteur dense à latent (z ^100)

Architecture du décodeur (D1, D2)

Entrée : z ^100 → Dense → remodeler en 8×8×512

Couche 1 : TransposedConv2D (256 filtres, 4×4, foulée 2, remplissage 1) → BatchNorm → ReLU

Couche 2 : TransposedConv2D (128 filtres, 4×4, foulée 2, remplissage 1) → BatchNorm → ReLU

Couche 3 : TransposedConv2D (64 filtres, 4×4, foulée 2, remplissage 1) → BatchNorm → ReLU

Couche 4 : TransposedConv2D (3 filtres, 4×4, foulée 2, rembourrage 1) → Tanh

L’image reconstruite est réencodée par le deuxième encodeur pour obtenir une représentation latente, et les divergences entre les vecteurs latents originaux et reconstruits sont utilisées pour le scoring des anomalies.

Activation et normalisation
Les encodeurs utilisent l’activation LeakyReLU et la normalisation des lots. Les décodeurs utilisent l’activation ReLU, à l’exception de la couche finale, qui applique Tanh pour normaliser les sorties dans la plage [-1, 1].

Perte Fonctions
Perte de reconstruction d’image : ǀǀ x −ǀǀ₂
Perte de consistance latente : ǀǀ z −ǀǀ₂

Perte antagoniste : Introduite dans la phase II pour maximiser la divergence entre les reconstructions réelles et synthétiques en forçant le réseau à distinguer les codes latents réels de ceux générés lors de la reconstruction.

Cette architecture capture à la fois les irrégularités de l’espace des pixels et de l’espace latent, ce qui permet de détecter les écarts subtils indiquant un comportement de conduite anormal.

Formation en deux phases
Une méthode d’entraînement en réseau en deux étapes est utilisée. Pour la reconstruction d’images et de vecteurs latents, deux structures EDE sont entraînées. Dans la deuxième phase, l’encodeur 2 tente de tromper l’encodeur 1 en classant à tort les données comme réelles ou reconstruites.

Formation initiale à la reconstruction
La structure EDE est entraînée à répliquer l’image d’entrée et le vecteur latent. L’entrée x est codée en vecteur latent z par l’encodeur E1. D1 et D2 décodent z pour produire des images, x1 et x2. Nous avons obtenu deux vecteurs latents (z1 et z2) à partir de l’encodeur E2 après avoir passé deux images reconstruites (x1 et x2). Cette étape contient les objectifs de formation suivants :

LEDE1 = γ ǀǀ x_{−x 1}ǀǀ₂+δ ǀǀ z_{−z 1}ǀǀ₂ (1)
LEDE2 = γ ǀǀ x−x₂ǀǀ₂+δ ǀǀ z_{−z 2}ǀǀ₂ (2)

Ces images reconstruites sont passées par l’encodeur E2 pour obtenir les vecteurs latents z₁ et z₂. Objectifs de la formation :
Les facteurs de pondération (γ, δ) influencent de manière cruciale l’impact des composantes de perte sur la fonction objectif.

Deuxièmement, nous avons entraîné deux structures d’encodeur-décodeur-encodeur à l’aide de méthodes antagonistes.
Ici, γ et δ sont les paramètres qui pèsent les contributions de la reconstruction et des pertes de consistance latente.

Formation contradictoire
Deux structures EDE sont entraînées de manière contradictoire. apprend à reconnaître l’encodeur 2 à partir des données. EDE2 doit tromper EDE1 car c’est le contraire. D1 décode z2 dès la première étape et reconstruit x1'. La répétition de x1' à l’encodeur E2 donne z1'. Les objectifs de la formation par étapes sont les suivants :

min max γ ǀǀ x_{−x 1'ǀǀ} +δ ǀǀ z -z_{1'ǀǀ 2} (3)
EDE2 EDE1

Les deux structures EDE ont les fonctions de perte suivantes :
LEDE1 = −γ ǀǀ x -x_{1'ǀǀ 2} −δǀǀ z - z_{1'ǀǀ 2} (4)
LEDE2 = +γ ǀǀ x - x_{1'ǀǀ 2}+δ ǀǀ z - z_{1'ǀǀ 2} (5)

Les valeurs de γ et δ correspondent aux paramètres précédemment spécifiés.

Figure 3 : Structure de l’encodeur. Le réseau d’encodeurs utilisé dans l’architecture EDE proposée extrait des caractéristiques spatio-temporelles des trames vidéo d’entrée. Il se compose de plusieurs couches convolutives suivies d’une normalisation par lots et d’une activation ReLU, réduisant progressivement les dimensions spatiales tout en capturant des représentations hiérarchiques. Le vecteur latent final code des informations sémantiques de haut niveau essentielles à la détection des anomalies. Abréviations : ReLU = unité linéaire rectifiée, EDE = encodeur-décodeur-encodeur. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Chaque EDE fournit deux fonctions de perte pour la structure proposée. Dans la phase 1, EDE1 doit réduire les pertes de reconstruction x et z. EDE1 doit optimiser la variance de phase 2 entre les vecteurs latents z et z1' et x et x1'. EDE2 et EDE1 réduisent les erreurs de reconstruction x et z de la phase 1. EDE1 doit diminuer la différence entre z et z1' et x et x1' dans la phase 2, mais l’inverse doit se produire.

Figure 4 : Structure du décodeur. Le composant décodeur de l’architecture EDE proposée reconstruit les trames d’entrée à partir de caractéristiques latentes. Il se compose d’une série de couches convolutives transposées qui suréchantillonnent progressivement les cartes de caractéristiques jusqu’à la résolution d’image d’origine. Le décodeur apprend à reconstruire avec précision les scènes de circulation normales, ce qui permet au système d’identifier les anomalies en fonction des erreurs de reconstitution. Abréviation : EDE = encoder-decoder-encoder. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Chaque objectif d’entraînement double du modèle EDE comprend des fonctions de perte avec des poids qui changent au fil du temps :

L_EDE1=(γ||x−x₁||₂+δ||z−z₁||₂)−(1−)(γ||x−x₁''||₂+δ||z−z₁''||₂) (6)
L_EDE2=(γ||x−x₁||₂+δ||z−z₁||₂)+(1−)(γ||x−x₁''||₂+δ||z−z₁''||₂) (7)

Le nombre de périodes d’entraînement est de n.

L’algorithme 1 montre l’entraînement en deux phases :
Entrée:
Toutes les images normales dans l’ensemble de données E = {x₁, x₂, . . . , x_F},
Époques N,
Paramètres pondérés γ, δ
Sortie:
Encodeur-Décodeur-Codeur entraîné 1,
Encodeur-Décodeur-Codeur 2
e₁, e₂, d₁, d₂ ←initialisation
Poids
n ←1
répéter
pour f = 1 à F do
z_f←e₁(x_f)
         ←d₁(z_f)
         ←d₂(z_f)
         ←e₂()
         ←e₂()
         ←j₁()
         ←e₂()" »
L_EDE1←(γ||x_f−||₂+δ||z_f−||₂) −(1−)(γ||x_f−'||₂+ δ||z_f−'||₂)
L_EDE2←(γ||x_f−||₂+δ||z_f−||₂) +(1−) (γ||x_f−'||₂+ δ||z_f−'||₂)
E₁, E₂, D₁, D₂←update Poids
utilisation de L_EDE1et L_EDE2
fin pour
n ←n + 1
jusqu’à n = N

Phases d’entraînement et critères de détection des anomalies
Divisez la formation en deux phases séquentielles :

Phase I - Apprentissage de la reconstruction :
Les deux pipelines EDE sont entraînés uniquement sur des scènes de circulation normales.

Les images d’entrée sont transmises via l’encodeur 1 → le décodeur 1 → l’encodeur 2 (Figure 5).

Le modèle minimise la perte de reconstruction d’image et la perte de cohérence latente. Cette phase permet au réseau d’apprendre un espace latent compact et cohérent pour un comportement normal.

Phase II - Apprentissage par confrontation générative :

Les vecteurs latents reconstruits à partir du décodeur 1 sont introduits dans le décodeur 2, puis réencodés via l’encodeur 1. Ce flux circulaire aide le modèle à détecter les incohérences dans les motifs synthétiques. Une perte antagoniste est ajoutée pour exagérer les petits écarts entre les représentations originales et reconstruites. Un discriminateur est éventuellement entraîné à différencier les codes latents réels des codes reconstruits, imposant ainsi une distinction plus nette dans l’espace latent.

Détection d’anomalies :
Au moment de l’inférence, faites passer une trame de test dans le pipeline double EDE. Calculez trois métriques : l’erreur de reconstruction au pixel, l’écart de vecteur latent et le score de discriminateur antagoniste (le cas échéant). Calculez un score d’anomalie composite sous la forme d’une somme pondérée :

Les trames dont les scores d’anomalie dépassent un seuil calibré sont signalées comme des événements anormaux potentiels. Ce mécanisme permet au modèle de détecter des écarts subtils dans les modèles d’espace visuel et latent sans avoir besoin d’étiquettes d’anomalie annotées.

Figure 5 : Architecture du modèle GANomaly antagoniste intégrant EDE 1 et EDE 2. Cette figure illustre la conception du modèle de détection d’anomalies antagonistes, qui intègre deux structures EDE-EDE1 pour la reconstruction et EDE2 pour l’alignement des caractéristiques latentes. Le modèle utilise une perte de cohérence vectorielle latente et un entraînement contradictoire via un discriminateur pour renforcer la similitude entre les représentations latentes des cadres d’entrée et reconstruits. Cette architecture améliore la détection des anomalies en apprenant des intégrations de fonctionnalités robustes pour les modèles de trafic normaux. Abréviations : EDE1 = Première structure d’encodeur-décodeur-encodeur pour la reconstruction ; EDE2 = Seconde structure encodeur-décodeur-encodeur pour l’alignement des caractéristiques latentes. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Lors de la détection, notre modèle a utilisé ces scores anormaux :

Acc(x̂) = ω₁||z−z₂||₂+ω₂||z−z₁'||₂ (8)

La modification des paramètres de poids (ω₁ + ω₂ = 1) peut modifier la sensibilité en ajustant le rapport entre les vrais positifs et les faux positifs. Dans des applications réelles, la modification de ces deux paramètres permet de détecter des accidents de sensibilités variées en une seule expérience.

Au cours de l’entraînement, chaque trame d’entrée x est passée par l’encodeur E₁ pour générer un vecteur latent z. Le vecteur latent est ensuite reconstruit via le décodeur D₁, produisant l’image x̂₁, qui est ensuite passée par l’encodeur E₂ pour obtenir un vecteur latent z reconstruit. En parallèle, z est décodé par le décodeur D₂ pour produire x̂₂, qui est également réencodé par E₂ pour donner z₂. Ce processus bidirectionnel préserve les informations au niveau des pixels et des latentes pour la détection des anomalies.

Algorithme de test de modèle :
={( x̂_{1,y 1}),( x̂_{2,y 2}),...,( x̂_M*,y_M*)},
Seuil φ,

Paramètres de pondération ω₁, ω₂
Sortie : Étiquette de prédiction de l’ensemble de données de test
E_re = {y_1pré, y_2pré, ..., y_F*pré}
pour i =1to F* faire
Z_I ←_{E 1}(x_i)
x_{2i ←} d₂(z_i)
Z_{2I ←} E₂(x_2i)
z_1i' ← d₁(z_2i)
z_1i' ←_{e 2}(z_1i')
Acc(x̂_i) ←ω₁||z_i−z_2i||₂+ω₂||z_i−z_1i'||_deux
ifAcc(x̂_i) ≥φ alors
y_ipre ←1
autre
y_ipre ←0
endif
fin

EDE utilise le discriminateur comme composant d’apprentissage contradictoire pour augmenter la précision de la détection des anomalies en améliorant la capacité du modèle à distinguer les événements normaux et anormaux. Il améliore les performances comme suit :

Apprentissage de la discrimination : Le discriminateur est formé à différencier les représentations synthétiques et les représentations reconstruites en structure EDE duale. L’optimisation de ce processus contradictoire confère au modèle des caractéristiques latentes hautement discriminantes, améliorant ainsi la détection des anomalies de la scène de circulation.

Élimination des mauvaises reconstructions : Parce qu’elles s’écartent beaucoup des schémas de circulation, les anomalies génèrent souvent des problèmes de reconstruction. Le discriminateur pénalise les trames mal reconstruites, améliorant ainsi la détection des événements normaux/anormaux du réseau.

Amélioration de la représentation des caractéristiques grâce à l’entraînement contradictoire : en intégrant l’apprentissage contradictoire, le discriminateur permet au réseau EDE de générer des plongements latents plus durables et plus significatifs. Il détecte même les petits changements tels que les freinages brusques, les collisions et les embardées du véhicule, améliorant ainsi la détection des anomalies.

Suppression des faux positifs : les auto-encodeurs traditionnels généralisent et normalisent les anomalies, ce qui entraîne des taux élevés de faux positifs. Le discriminateur préserve les attributs des anomalies lors de la reconstruction en identifiant les écarts latents entre les repères normaux et anormaux.

Amélioration de la classification grâce à un processus de décision en deux étapes : les cadres reconstruits normaux ou anormaux reçoivent des scores de confiance de la part du discriminateur. Les erreurs de classification et les pertes de reconstruction sont réduites dans cette phase de vérification supplémentaire, ce qui améliore la précision de la détection.

Nous avons utilisé des méthodes éprouvées de détection des accidents pour tester la stratégie 23,24,25,26. Une classe d’un ensemble de données multiclasses était normale et toutes les autres classes d’accidents ont été soigneusement examinées à l’aide d’une approche plutôt que de toutes les approches. Le modèle a été entraîné à l’aide de données de classe normales, tandis que l’ensemble de test a utilisé des données d’accident et normales. Les ensembles d’entraînement et de test ont été divisés de deux manières.

Nous nous sommes entraînés et testés avec respectivement 80 % et 20 % de données de classe normale. Les résultats des tests de classe d’accident ont été choisis au hasard. L’évaluation a été impartiale en utilisant des échantillons d’essai de classe d’accident, qui représentent 20 % des données de la classe normale, afin d’éviter que le modèle ne penche vers la classe normale majoritaire. Le modèle peut être testé par rapport à un nombre égal de données normales et d’accidents, représentant des conditions pratiques. Il teste la généralisation du modèle de manière impartiale en s’entraînant avec 80 % des données normales et en masquant 20 %. Cela montre également que les événements normaux sont plus nombreux que les accidents dans la vie réelle, d’où l’importance d’exposer le modèle à des données d’accidents peu fréquentes. La sélection aléatoire d’échantillons d’accidents et le test du modèle contre toutes les situations d’accident sans surajustement augmentent la robustesse. La répartition des données 80/20 est courante dans l’apprentissage automatique. Les données d’entraînement pour des modèles significatifs et les données de test pour l’évaluation des performances sont équilibrées.

Les expériences ont utilisé des ensembles de données pour l’entraînement et les tests. La répartition de l’entraînement en classe normale a été utilisée pour la validation et l’entraînement. Les données de test de toutes les classes ont été testées.

L’élagage et la quantification du modèle réduisent considérablement la taille et le calcul du modèle. Le modèle réduit a la même précision mais des performances inférieures car il comprend 40 % de paramètres en moins. Pour les appareils de périphérie à faible puissance de traitement, la quantification du modèle le compresse. Cette optimisation répond aux besoins de précision et de rappel de la surveillance du trafic en temps réel.

Les conceptions légères telles que MobileNets et EfficientNet augmentent les inférences en temps réel. En raison de leur précision de vision par ordinateur et de leur calcul minimal, ces types d’architecture sont largement utilisés. Sur les systèmes embarqués, ces modèles réduisent le traitement des trames de 50 % tout en conservant de solides scores F1 de détection des accidents.

L’utilisation de paramètres similaires pour la reconstruction d’images et la détection d’accidents à l’aide de l’apprentissage multitâche pourrait simplifier la conception. Cela a permis de réduire le temps de formation et les coûts de calcul sans affecter la précision du modèle. Le système d’apprentissage multitâche a simplifié l’apprentissage du modèle de traitement des données vidéo de trafic.

L’entraînement contradictoire contrastif et auto-supervisé a produit des résultats comparables au modèle de détection d’anomalies de base en moins de temps. Les caractéristiques des accidents de la circulation ont été collectées et généralisées pour améliorer la robustesse sur des données inédites.

L’algorithme de détection des anomalies de circulation proposé a été testé sur Track-4, l’un des cinq ensembles de données de l’AI City Challenge^{2021 27}. Les autoroutes ont fourni ces données au DOT de l’Iowa.

Évaluation comparative du rendement :
Pour valider notre modèle, nous l’avons comparé à l’ensemble de données AI City Challenge Track 4 par rapport à des modèles de pointe, notamment GANomaly, f-AnoGAN, OCGAN et la méthode supervisée de ByteDance. Le tableau 2 résume les résultats.

Modèle	F1 Score	Précision	Rappeler	AUC
GANomaly	0.87	0.88	0.86	0.9
L’OCGAN	0.89	0.9	0.87	0.91
ByteDance (Sup.)	0.91	0.93	0.89	0.92
Proposé (Dual-EDE)	0.94	0.95	0.93	0.94

Tableau 2 : Comparaison des méthodes. Le tableau compare les méthodes de détection des anomalies par score F1, précision, rappel et exactitude. Les conceptions EDE avec et sans entraînement contradictoire sont comparées. Deux EDE plus un entraînement contradictoire ont battu BADU, ByteDance et WHU dans toutes les catégories. Les données indiquent que l’apprentissage contradictoire augmente la détection des anomalies.

Le modèle à double EDE surpasse toutes les lignes de base, en particulier en matière de rappel, ce qui indique une sensibilité plus forte aux événements anormaux rares.

Results

Pour évaluer l’efficacité de la méthode de détection des anomalies de trafic proposée, nous avons mis en œuvre le modèle sur un seul clip vidéo et généré des visualisations illustrant le comportement du système au fil du temps et dans l’espace des fonctionnalités. Bien qu’obtenus à l’aide d’un pipeline EDE simulé, les résultats reflètent étroitement les conclusions qualitatives que l’on attendrait d’un modèle réel.

La chronologie du score d’anomalie illustre la confiance du modèle, image par i...

Discussion

Cette étude présente un système de détection d’anomalies de trafic basé sur l’apprentissage profond utilisant une architecture EDE, entraîné de manière non supervisée pour identifier les accidents impliquant un ou plusieurs véhicules dans des vidéos de surveillance réelles. En modélisant le comportement typique du trafic, le système détecte les écarts en tant qu’anomalies probables sans nécessiter de données d’anomalie étiquetées, ce qui permet de résoudre les problèmes d’évolutivité et ...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Ensemble de données du Défi de la ville IA de la piste 4	Défi de la ville IA (https://www.aicitychallenge.org)	Piste 4, sortie 2021
Boîte à outils CUDA	Développeur NVIDIA	Version 11.3
Bibliothèque cuDNN	Développeur NVIDIA	Compatible avec CUDA 11.3
Cluster de stations de travail GPU (formation)	École d’informatique Amrita	&mdash ;
Poste de travail local (nœud de brouillard)	École d’informatique Amrita	&mdash ;
Matplotlib	matplotlib.org	Version 3.3+
NVIDIA Jetson Nano (périphérique Edge)	NVIDIA	945-13450-0000-100
GPU NVIDIA RTX 3060 (station de travail)	NVIDIA	Varie selon le fabricant
NumPy	numpy.org	Version 1.19+
OpenCV	OpenCV.org	Version 4.5+
Pandas	pandas.pydata.org	Version 1.1+
Python	Fondation du logiciel Python	Version 3.8+
PyTorch	PyTorch (https://pytorch.org)	Version 1.10+
Scikit-apprendre	scikit-learn.org	Version 0.24+
Ubuntu Linux (système d’exploitation)	Canonical Ltd.	Version 20.04 LTS