Dubbele encoder-decoder-encoder met adversarial training voor het ongecontroleerd detecteren van verkeersongevallen in bewakingsvideo's

Summary

Dit werk stelt een dubbel encoder-decoder-encoder (EDE) model voor voor geautomatiseerde detectie van verkeersongevallen. Met behulp van een trainingsmethode in twee fasen leert het normale rijpatronen en identificeert het afwijkingen via generatieve confrontatie. Het model detecteert effectief ongevallen in real-world beelden en biedt inzicht in het gedrag van de bestuurder door subtiele afwijkingen vast te leggen.

Abstract

Om de verkeersveiligheid te verbeteren en de reactie op noodsituaties te verbeteren, moeten verkeersincidenten zo snel mogelijk worden gedetecteerd in real-world bewakingsbeelden. Bestaande systemen zijn grotendeels afhankelijk van handmatige monitoring, wat tijdrovend en foutgevoelig is. Geautomatiseerde ongevallendetectie blijft een uitdaging vanwege de aanzienlijke onbalans in de klassen: normale rijsituaties zijn oververtegenwoordigd, terwijl ongevallen zeldzaam en divers zijn. In dergelijke gevallen kunnen traditionele computervisiesystemen vaak geen betrouwbaar onderscheid maken tussen normale en abnormale gebeurtenissen. Deze studie pakt het probleem aan door een deep learning-architectuur te ontwikkelen op basis van een dual encoder-decoder-encoder (EDE) framework. Het model maakt gebruik van twee gedeelde encoder-decoderpijplijnen om beelddistributies toe te wijzen aan gespecificeerde latente distributies in beide richtingen. Dit raamwerk stelt het systeem in staat om veelvoorkomende verkeersgedragspatronen te modelleren en gevoeliger te worden voor veranderingen die kunnen duiden op gevaarlijke of ongebruikelijke gebeurtenissen. Er wordt een trainingstechniek in twee fasen voorgesteld om de detectie van anomalieën verder te verbeteren. In de eerste fase leert het model beelden van normaal rijden te reconstrueren, waarbij reconstructieverlies wordt gebruikt om normaal gedrag te karakteriseren. In de tweede fase wordt een generatief contradictoir mechanisme geïntroduceerd: gereconstrueerde latente vectoren van de ene EDE worden doorgegeven aan de andere, waardoor synthetische beelden en latente ruimtes worden gegenereerd. Dit proces versterkt de verschillen tussen echte en synthetische outputs, waardoor het systeem beter reageert op subtiele tekenen van mogelijke afwijkingen. De dual-EDE-architectuur en adversarial trainingsmethodologie vertegenwoordigen een substantiële vooruitgang ten opzichte van de huidige methoden door zowel normaal als pathologisch gedrag te modelleren. Experimentele resultaten op real-world verkeersbewakingsdatasets tonen aan dat de voorgestelde methode de detectie van ongevallen en onveilig rijgedrag aanzienlijk verbetert, zowel in termen van nauwkeurigheid als robuustheid.

Introduction

Volgens de Wereldgezondheidsorganisatie (2023) zijn verkeersongevallen de belangrijkste doodsoorzaak onder kinderen en jongvolwassenen van 5-29 jaar, met ongeveer 1,3 miljoen dodelijke slachtoffers wereldwijd per jaar. Deze alarmerende statistiek onderstreept de dringende behoefte aan geautomatiseerde systemen die in staat zijn om het wegverkeer¹ te monitoren, afwijkingen in realtime te detecteren en vertragingen bij noodhulp te verminderen. De integratie van kunstmatige intelligentie (AI) en het Internet of Things (IoT) in de infrastructuur van slimme steden heeft de ontwikkeling van intelligente transportsystemen mogelijk gemaakt. Hoewel netwerken met een gesloten televisiecircuit (CCTV)^2,3 continu toezicht houden op het stadsverkeer, is handmatige bewaking onpraktisch en foutgevoelig. Daarom zijn schaalbare, geautomatiseerde oplossingen voor het detecteren van verkeersincidenten essentieel.

Traditionele computervisiemethoden voor verkeersanalyse - zoals voertuigdetectie, tracking en gedragsclassificatie - maken vaak gebruik van convolutionele neurale netwerken (CNN's) die zijn getraind via supervised learning ^4,5. Deze systemen vereisen uitgebreide geannoteerde datasets en slagen er vaak niet in om te generaliseren over de zeldzame en gevarieerde scenario's die kenmerkend zijn voor ongevallen in de echte wereld. Daarom hebben onderzoekers zich tot benaderingen voor anomaliedetectie zonder toezicht gewend, die niet afhankelijk zijn van gelabelde anomaliegegevens. Hiervan zijn auto-encoders (AE's) en generatieve vijandige netwerken (GAN's) veelbelovend gebleken bij het modelleren van normale patronen en het identificeren van afwijkingen ^6,7,8.

Standaard AE's hebben echter de neiging om inputs te getrouw te reconstrueren - zelfs als die inputs afwijkend zijn - wat leidt tot hoge vals-negatieve percentages ^9,10. Variationele auto-encoders (VAE's)¹¹ en op GAN gebaseerde modellen zoals f-AnoGAN¹², GANomaly¹³ en OCGAN¹⁴ pakken een aantal van deze problemen aan door latent-space modellering en adversarial learning op te nemen. Desalniettemin vertrouwen deze modellen vaak op unidirectionele toewijzingen van beeld naar latente ruimte¹⁵, waardoor hun vermogen om subtiele of complexe inconsistenties in verkeersafwijkingen in de echte wereld te detecteren, wordt beperkt.

Gesuperviseerde systemen, zoals die ontwikkeld voor de AI City Challenge door ByteDance¹⁶, WHU¹⁷ en USF¹⁸, bereiken een hoge nauwkeurigheid door middel van spatiotemporele tracking¹⁹en objectgerichte ontwerpen. Ze vereisen echter gelabelde ongevalsgegevens en complexe trackingpijplijnen, waardoor de schaalbaarheid en toepasbaarheid in realtime worden verminderd.

Model	Type	Belangrijkste kenmerken	Beperkingen	Prestaties (beschreven)
GANomaly	Zonder toezicht	encoder-decoder-encoder; Contradictoire training	Heeft de neiging om zelfs afwijkende inputs te goed te reconstrueren, wat leidt tot valse negatieven	Over het algemeen goed, met hoge precisie en uitgebalanceerde terugroepactie
OCGAN	Zonder toezicht	GAN van één klasse met beperkte latente ruimte	Worstelt met het detecteren van subtiele of complexe afwijkingen	Iets beter dan GANomaly, met een verbeterde balans tussen statistieken
f-AnoGAN	Zonder toezicht	Snelle anomaliedetectie met behulp van GAN's en feature matching	Beperkt vermogen om complexe anomalieën in de latente ruimte vast te leggen	Matige prestaties (specifieke scores niet opgegeven)
ByteDance	Begeleid	Spatiotemporele tracering met anomalielokalisatie op objectniveau	Vereist gelabelde trainingsgegevens; Beperkte schaalbaarheid in de praktijk	Zeer hoge nauwkeurigheid en precisie; Iets lagere gevoeligheid
BADU	Begeleid	Maakt gebruik van achtergrondmodellering en voertuigtracking	Minder effectief in diverse scènes; mist subtiele anomalieën	Solide nauwkeurigheid; Goede balans, maar lager dan de beste methoden
WHU	Begeleid	Trajecttracering met dubbele modaliteit	Slechte generalisatie en lage anomalie recall	Zwakke prestaties in het algemeen, vooral bij het detecteren van afwijkingen
USF	Begeleid	Combineert achtergrondmodellering met structurele gelijkenisanalyse	Slecht in het nauwkeurig identificeren van afwijkingen	Zeer lage nauwkeurigheid en gevoeligheid
Voorgesteld (Dual-EDE)	Zonder toezicht	Dubbele encoder-decoder-encoder; Bidirectionele latente mapping met adversarial en contrastief verlies	Hoge rekenbelasting; beperkt tot RGB-invoer	Uitstekende prestaties; Topprecisie, hoge herinnering en sterke balans tussen statistieken

Tabel 1: Samenvatting van gerelateerde werkzaamheden op het gebied van op video gebaseerde detectie van verkeersafwijkingen.

Tabel 1 vergelijkt essentiële methoden voor het detecteren van afwijkingen die worden gebruikt bij verkeersbewaking, waarbij de architectuur, voordelen, nadelen en prestaties worden benadrukt. Conventionele GAN-gebaseerde modellen zoals GANomaly en OCGAN kunnen effectieve detectie zonder toezicht uitvoeren, maar worstelen met subtiele afwijkingen. Gesuperviseerde methoden, hoewel zeer nauwkeurig, zijn sterk afhankelijk van gelabelde gegevens en geavanceerde tracking. Het voorgestelde Dual-EDE-model integreert bidirectionele latente ruimtecodering met adversarial en contrastieve training, waardoor het zeldzame en subtiele verkeersafwijkingen kan detecteren zonder gelabelde gegevens, en zowel schaalbaarheid als robuustheid biedt.

Onderzoekskloof en hypothese
Hoewel modellen zonder toezicht de behoefte aan gelabelde anomalieën verminderen, worstelen ze nog steeds met het nauwkeurig detecteren van zeldzame, subtiele en impactvolle verkeersgebeurtenissen. De huidige methoden worden beperkt door architecturale asymmetrie en het onvermogen om inconsistenties in de latente ruimte volledig te benutten. Velen slagen er ook niet in om een duidelijk onderscheid te maken tussen complex normaal gedrag en echte anomalieën in zeer dynamische verkeersomgevingen.

Onze hypothese is dat een dubbele encoder-decoder-encoder (EDE)-architectuur die uitsluitend is getraind op normale verkeersgegevens, gecombineerd met een tweefasentrainingsstrategie, beter kan presteren dan state-of-the-art modellen bij het detecteren van diverse en subtiele verkeersafwijkingen. Door bidirectionele latente consistentie af te dwingen en vijandige reconstructie te integreren, wordt het systeem gevoeliger voor minieme afwijkingen van het verwachte gedrag - zoals plotseling remmen, grillig uitwijken of botsingen - zonder dat er geannoteerde ongevalsgegevens nodig zijn.

Voorgestelde methode
We stellen een nieuw raamwerk voor anomaliedetectie zonder toezicht voor, gebouwd op een dual-EDE-architectuur. In tegenstelling tot traditionele modellen die gebruikmaken van een enkele coderings-decoderingspijplijn, gebruikt ons systeem twee EDE-routes die bidirectionele mapping uitvoeren tussen afbeeldingen en latente representaties. Dit ontwerp stelt het model in staat om rijke kenmerken van de normale verkeersdynamiek te leren en discrepanties te vergroten wanneer er afwijkingen optreden. Het trainingsproces bestaat uit twee fasen:

Fase één maakt gebruik van reconstructieverlies om normaal gedrag te modelleren, vergelijkbaar met standaard auto-encodertraining.

Fase twee introduceert een generatief vijandig mechanisme, waarbij latente vectoren van de ene EDE worden doorgegeven aan de tweede om synthetische gegevens te genereren, waardoor het systeem gedwongen wordt om het onderscheid tussen echte en valse representaties in zowel beeld- als latente domeinen te maximaliseren.

Belangrijkste bijdragen
We introduceren een dual-EDE-architectuur die latente inconsistenties vastlegt door middel van bidirectionele mapping voor verbeterde anomaliedetectie. We ontwikkelen een trainingsprocedure in twee fasen die auto-encoderreconstructie combineert met adversarial learning om de gevoeligheid voor subtiele afwijkingen te vergroten. We tonen aan, door middel van experimenten met de AI City Challenge (Track 4) dataset, dat het model beter presteert dan verschillende state-of-the-art gesuperviseerde en niet-gesuperviseerde baselines, waardoor robuuste en schaalbare ongevallendetectie in real-world stedelijke omgevingen wordt bereikt. Samenvattend biedt dit werk een schaalbare, nauwkeurige en labelvrije benadering van het detecteren van verkeersafwijkingen, wat bijdraagt aan veiligere en responsievere slimme transportsystemen.

Protocol

Systeem

Setup
We hebben het voorgestelde detectiesysteem voor verkeersafwijkingen geïmplementeerd binnen een hiërarchisch en gedistribueerd computerkader, waarbij we gebruik hebben gemaakt van de Intel Tiber Cloud-omgeving. Deze architectuur bestaat uit drie niveaus - edge, fog en cloud - om inferentie met lage latentie, schaalbare training en efficiënte toewijzing van resources aan compute nodes te garanderen.

Edge Tier: Real-time anomaliedetectie wordt aan de edge uitgevoerd met behulp van lichtgewicht, GPU-compatibele embedded apparaten (bijv. NVIDIA Jetson Nano of gelijkwaardige Intel-gebaseerde platforms met geïntegreerde GPU's). Deze eenheden werden samen met bewakingscamera's geplaatst en frame-voor-frame inferentie uitgevoerd met minimale latentie, waardoor gedecentraliseerde en responsieve verkeersmonitoring mogelijk was.

Fog Tier: Meer rekenintensieve taken, waaronder batchdeductie en real-time modelverfijning, werden afgehandeld door fog nodes die waren ingericht als toegewezen virtuele machines of bare-metal instances binnen de Intel Tiber Cloud. Elke fog node was geconfigureerd met een Intel Xeon-processor met ten minste 16 GB RAM en had toegang tot Intel-geïntegreerde of discrete GPU-versnelling. Deze tussenlaag maakte high-throughput-bewerkingen in de buurt van de gegevensbron mogelijk, terwijl de autonomie van de centrale servers behouden bleef.

Cloudlaag: Voor grootschalige training en archivering maakt de cloudlaag gebruik van schaalbare rekenclusters die worden aangeboden via de AI-geoptimaliseerde services van Intel Tiber. Instances die zijn uitgerust met Intel Habana Gaudi-versnellers of Intel Xeon Scalable-processors worden gebruikt voor het trainen van diepe neurale netwerken op uitgebreide videodatasets, het ondersteunen van modelversiebeheer, langdurige opslag en systeembrede orkestratie.

De volledige softwarestack werkte in een Python 3.8+-omgeving met behulp van voor Intel geoptimaliseerde bibliotheken voor versnelde berekeningen. De primaire frameworks zijn PyTorch (met Intel Extension voor PyTorch), OpenCV voor het voorbewerken van afbeeldingen en video's en Scikit-learn voor evaluatie. GPU-versnelling wordt mogelijk gemaakt via de juiste oneAPI-toolkits en DAAL-optimalisaties.

Bij de implementatie hebben we de repository met de dual-EDE-architectuur gekloond en de modelcomponenten geïnitialiseerd: twee encoders (E1, E2) en twee decoders (D1, D2). De .to(device)-methode gebruikt om de componenten dynamisch over te dragen naar de optimale verwerkingseenheid (CPU, GPU of Gaudi-versneller), afhankelijk van de beschikbaarheid van lokale bronnen.

We hebben de trainings- en evaluatieparameters, waaronder het aantal epochs, de leersnelheid, de verliesbalanceringscoëfficiënten (γ, δ) en de gevoeligheidsdrempels voor anomalieën (ω₁, ω₂) in een configuratiescript gedeclareerd. Voor de training volgden we een protocol in twee fasen: (1) standaard auto-encoderreconstructie voor het aanleren van normaal verkeersgedrag en (2) adversarial latente reconstructie om anomalieën te versterken met behulp van cross-EDE-interacties.

Deze modulaire en cloud-native systeemarchitectuur maakte robuuste, real-time anomaliedetectie, schaalbaarheid van het model en betrouwbare implementatie in real-world intelligente transportomgevingen mogelijk via de Intel Tiber Cloud.

Dataset
Voor het trainen en evalueren van het voorgestelde anomaliedetectiesysteem hebben we de dataset gebruikt die is geleverd door de NVIDIA AI City Challenge 2021, Track 4 (Traffic Anomaly). De dataset bestaat uit 100 trainingsvideo's en 150 testvideo's, elk met een gemiddelde duur van 15 minuten, opgenomen met 30 fps en een resolutie van 410 p. Elke video heeft een specifieke moeilijkheidsgraad als gevolg van variaties in wegtypes, camerahoeken, belichting en weersomstandigheden. De dataset legt een breed scala aan wegeninfrastructuur vast (bijv. snelwegen met meerdere rijstroken, kruispunten), verkeersdichtheden en weersomstandigheden (bijv. helder, regenachtig, schemering), vanuit meerdere camerahoeken. Deze eigenschappen maken het een ideale benchmark voor het evalueren van de generaliseerbaarheid van anomaliedetectiemodellen.

Preprocessing
Om het model onder omstandigheden zonder toezicht te trainen, gebruikt u alleen normale (niet-ongevallen) verkeersscènes, waarbij elke blootstelling aan afwijkende gebeurtenissen tijdens de training wordt vermeden. Voer videovoorverwerking uit met behulp van OpenCV. Sample frames uniform met 5 fps om voldoende tijdelijke dekking te garanderen en redundantie te verminderen. Wijzig het formaat van frames naar 128 x 128 pixels, om te voldoen aan de invoervereisten van het dual-EDE-netwerk en visuele details in evenwicht te brengen met rekenefficiëntie. Normaliseer pixelwaarden naar het bereik [−1, 1] om de trainingsstabiliteit te verbeteren.

Om de generalisatie te verbeteren en variabiliteit in de echte wereld te simuleren, past u de volgende augmentatietechnieken toe op elk trainingsframe met gerandomiseerde waarschijnlijkheid:

Willekeurig bijsnijden en schalen: Snijd willekeurige subregio's bij en schaal ze terug naar de oorspronkelijke resolutie, waarbij invariantie in objectgrootte, gedeeltelijke zichtbaarheid en ruimtelijke positieverschuivingen worden aangemoedigd, waarbij zoomeffecten en niet-gecentreerde onderwerpen in bewakingsvideo worden nagebootst.

Modulatie van helderheid en contrast: Pas lineaire of op gamma gebaseerde transformaties toe om lichtvariaties na te bootsen, zoals schaduwen, schittering, variaties in zonsopgang/zonsondergang en kunstmatige verlichting. Dit verbetert de veerkracht van het model tegen dagelijkse en seizoensgebonden lichtschommelingen.

Gaussiaanse ruisinjectie en bewegingsonscherpte: Voeg Gaussiaanse ruis toe met verschillende standaarddeviaties om sensorruis en compressieartefacten te simuleren. Simuleer bewegingsonscherpte met behulp van convolutionele kernels die in verschillende richtingen en grootheden zijn georiënteerd om het effect van bewegende objecten of cameratrilling na te bootsen, wat vooral relevant is in snelle verkeersscènes.

Willekeurige occlusie maskering: Pas synthetische occlusies toe door zwarte of grijze rechthoekige vlakken van willekeurige grootte en locaties over het frame te leggen. Deze vergroting simuleert obstakels uit de echte wereld, zoals voetgangers, infrastructuurelementen of passerende voertuigen die het gezichtsveld afsluiten. Het moedigt het model aan om te leren van de context en robuust te blijven voor ontbrekende of vervormde regio's.

Pas deze augmentaties dynamisch toe tijdens de training met behulp van PyTorch-transformatiepijplijnen, zodat elke batch een diverse mix van augmented frames bevat, waardoor blootstelling aan verschillende patronen wordt bevorderd en overfitting wordt verminderd.

Laad verwerkte frames met de DataLoader van PyTorch om batching, shuffling en parallel laden te beheren. Train met batchgroottes tussen 32 en 64, afhankelijk van de GPU-capaciteit. Voor het scoren van deductie en anomalieën verstaat u frames afzonderlijk (batchgrootte = 1) om nauwkeurige detectie op frameniveau mogelijk te maken.

Deze pijplijn voor voorverwerking en uitbreiding verbetert de robuustheid en generalisatie, waardoor het model afwijkend gedrag effectief kan detecteren in diverse en luidruchtige real-world verkeersbewakingsomgevingen.

De voorgestelde methode:
Het voorgestelde EDE-systeem leert bidirectionele mappings tussen beeldverdelingen en latente ruimtes. Twee encoders en twee decoders maken een robuuste functie-extractie en anomaliedifferentiatie mogelijk. De netwerken worden getraind in zowel wederopbouw- als contradictoire fasen. Contrastief leren, regularisatie en gradiëntstraf worden gebruikt om instorting van de modus te voorkomen en de robuustheid van GAN-training te verbeteren.

Het EDE-framework werkt als volgt: Encoder 1 (E1) codeert beeldkenmerken in de latente ruimte. De eerste decoder (D1) reconstrueert beelden van latente vectoren om het reconstructieverlies te minimaliseren. De gereconstrueerde beelden worden vervolgens weer in kaart gebracht in de latente ruimte om inconsistenties vast te leggen. De tweede decoder (D2) genereert synthetische beelden uit de tweede latente ruimte om het model te helpen echte van synthetische gegevens te onderscheiden. Deze bidirectionele mapping detecteert anomalieën op basis van latente ruimteverschillen in plaats van verschillen op pixelniveau.

Fase 1: Opleiding wederopbouw: De auto-encoder is getraind om normale verkeersbeelden te reconstrueren, dus afwijkende invoer produceert aanzienlijke reconstructiefouten. De verliesfunctie houdt rekening met het invoerbeeld, de latente codering en het gereconstrueerde beeld.

Vijandige training: Na de reconstructietraining wordt adversarial learning toegepast. Gereconstrueerde latente vectoren worden door een alternatieve EDE-structuur geleid om synthetische beelden en latente vectoren te produceren. De doelen zijn om de verschillen tussen echte en synthetische afbeeldingen te maximaliseren; latente vectoren wijzigen en reconstrueren om de detectie van anomalieën door Encoder 2 (E2) te verbeteren; en voorkom dat de encoder instort.

Training is ontworpen om convergentie van E1 en E2 naar identieke toewijzingen te voorkomen, wat het discriminerende vermogen zou verminderen.

Contrastief leren: Een verliesfunctie differentieert reële en gereconstrueerde representaties, waarbij een margehyperparameter de scheiding van kenmerken regelt.
Regularisatietechnieken zijn onder meer:

Voortijdig schoolverlaten: Willekeurige deactivering van neuronen om overfitting te voorkomen.
Gewicht verval: Bestraft grote gewichten om het leren van functies te stabiliseren.

Adversarial training stability²⁰ en mode collapse prevention methoden zijn onder meer:
Helling straf: Reguleert het gedrag van discriminerende personen.
Uitbreiding van gegevens: Willekeurig bijsnijden, schalen en instelbare verlichting om verschillende omstandigheden te simuleren.
Geluid injectie: Realistische ruis, bewegingsonscherpte en occlusies toevoegen om generalisatie te verbeteren.
Vroeg stoppen: Stopzetting van de training als het validatieverlies aanzienlijk fluctueert om overfitting te voorkomen.

Deze architecturale verbeteringen, trainingsmethoden en veerkrachtmaatregelen zorgen voor een betrouwbare detectie van verkeersafwijkingen.

Het ongecontroleerde ongevallendetectienetwerk wordt uitsluitend getraind op normale monsters en getest op zowel normale als ongevalsmonsters. Formeel:

Beschouw uit de set van alle normale en ongevalsvideo's een grote trainingsdataset E met alleen normale F-frames (E = {x1, x2}). .., xM } en een kleinere testdataset Ê met zowel normale foto's als ongevalsfoto's (Ê=[( x̂1,y1), (x̂2,y2), (x̂F*,yF*)]),frames, waarbij yi [0, 1] de afbeelding van het framelabel is. Voor F F*-training moet de trainingsdataset aanzienlijk groter zijn dan de testdataset. Nadat u de variëteit van de dataset (E) hebt geleerd, identificeert u ongevalsframes in Ê als uitschieters tijdens deductie. Het model f berekent een ongevallenscore Acc(x) op basis van de aangeleerde normale gegevensverdeling. Een testbeeld x met een hoge ongevalsscore kan een ongeluk zijn. Beoordelingscriteria zijn gebaseerd op de drempel voor de ongevalsscore (φ) als Acc(x) > φ.

Netwerk architectuur:
Zoals te zien is in figuur 1, bevat het GANomaly-model²¹ twee encoders, een decoder en een discriminator. Veel onderzoekers hebben deze methode aangepast om latente vectoren te onderscheiden en visuele afwijkingen te detecteren ^12,22. De twee encoders en de enkele decoder wijzigen wederzijds het beeld en de latente vector in het model. Deze afwijkende feiten worden aangegeven tijdens de transformatie. De discriminator scheidt de gegenereerde afbeeldingen van het origineel. GANomaly vertrouwt op coderen, decoderen en opnieuw coderen.

Figuur 1: GANomaly-architectuur die de informatiestroom demonstreert. De architectuur bestaat uit een encoder-decoder-encoder-framework dat is geïntegreerd in een generatief adversarial netwerk. De eerste encoder comprimeert het ingevoerde videoframe tot een latente ruimteweergave, die vervolgens door de decoder wordt gereconstrueerd. Een tweede encoder brengt het gereconstrueerde frame terug in de latente ruimte. De discriminator evalueert het verschil tussen de invoer en gereconstrueerde kenmerken om de anomaliescore te berekenen. Pijlen geven de directionele gegevensstroom door het netwerk aan. Afkorting: GAN = generative adversarial network. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2 illustreert de EDE-architectuur met twee encoders en één decoder. De EDE-structuur moet voortdurend parameters veranderen om video-ongelukken te detecteren. We hebben een tweede decoder toegevoegd aan de EDE-structuur en ze de encoders laten delen om het model in Figuur 2 te genereren met twee netwerkconfiguraties. Twee encoders hebben vier convolutionele lagen. We gebruikten LeakyReLU-activeringsfuncties voor alle lagen, behalve de uitvoerlaag, die een tanh-activering gebruikte om de uitvoer tussen -1 en 1 te binden. Batchnormalisatie werd toegepast na meerdere convolutionele lagen. De decoders (Figuur 3 en Figuur 4) zijn vergelijkbaar met de encoders, maar maken gebruik van ConvTranspose en extra batchnormalisatie in plaats van elke laag.

Figuur 2: Voorgestelde EDE-gebaseerde architectuur met informatiestroom. De EDE-architectuur wordt geïllustreerd en toont de stroom van videoframes door twee encoders en een decoder. De eerste encoder (E1) comprimeert het invoerframe tot een latente weergave, die vervolgens wordt gereconstrueerd door de decoder (D1). De gereconstrueerde output wordt door de tweede encoder (E2) geleid om een tweede latente vector te verkrijgen. Discrepanties tussen latente vectoren en reconstructiekwaliteit worden gebruikt voor het detecteren van anomalieën, ondersteund door adversarial en contrastief verlies componenten. Afkorting: EDE = encoder-decoder-encoder. Klik hier om een grotere versie van deze figuur te bekijken.

Details van de netwerkarchitectuur:
Het dual-EDE-model bestaat uit twee encoder-decoder-encoder-pipelines, elk met dezelfde structuur en gezamenlijk geoptimaliseerd tijdens de training.

Encoder-architectuur (E1, E2)

Ingang: 128×128×3 RGB-frame

Laag 1: Conv2D (64 filters, 4×4 kernel, stride 2, padding 1) → LeakyReLU (α = 0,2)

Laag 2: Conv2D (128 filters, 4×4, stride 2, padding 1) → BatchNorm → LeakyReLU

Laag 3: Conv2D (256 filters, 4×4, stride 2, padding 1) → BatchNorm → LeakyReLU

Laag 4: Conv2D (512 filters, 4×4, stride 2, padding 1) → BatchNorm → LeakyReLU

Laag 5: Afvlakken → Dichte naar latente vector (z ^100)

Decoder architectuur (D1, D2)

Invoer: z ^100 → Dense → hervormen naar 8×8×512

Laag 1: TransponeerConv2D (256 filters, 4×4, stride 2, padding 1) → BatchNorm → ReLU

Laag 2: TransponeerConv2D (128 filters, 4×4, stride 2, padding 1) → BatchNorm → ReLU

Laag 3: TransponeerConv2D (64 filters, 4×4, stride 2, padding 1) → BatchNorm → ReLU

Laag 4: TransponeerConv2D (3 filters, 4×4, stap 2, opvulling 1) → Tanh

Het gereconstrueerde beeld wordt opnieuw gecodeerd via de tweede encoder om een latente weergave te verkrijgen, en discrepanties tussen de originele en gereconstrueerde latente vectoren worden gebruikt voor het scoren van anomalieën.

Activering en normalisatie
Encoders maken gebruik van LeakyReLU-activering en batchnormalisatie. Decoders gebruiken ReLU-activering, behalve voor de laatste laag, die Tanh toepast om de output te normaliseren naar het bereik [−1, 1].

Verlies Functies
Verlies van beeldreconstructie: ǀǀ x −ǀǀ₂
Latent consistentieverlies: ǀǀ z −ǀǀ₂

Adversarial loss: Geïntroduceerd in fase II om de divergentie tussen echte en synthetische reconstructies te maximaliseren door het netwerk te dwingen echte latente codes te onderscheiden van die gegenereerd tijdens de reconstructie.

Deze architectuur legt zowel onregelmatigheden in de pixelruimte als in de latente ruimte vast, waardoor subtiele afwijkingen kunnen worden gedetecteerd die wijzen op abnormaal rijgedrag.

Training in twee fasen
Er wordt gebruik gemaakt van een netwerktrainingsmethode in twee fasen. Voor zowel beeld- als latente vectorreconstructie worden twee EDE-structuren getraind. In de tweede fase probeert Encoder 2 Encoder 1 te misleiden om gegevens verkeerd te classificeren als echt of gereconstrueerd.

Initiële opleiding tot wederopbouw
De EDE-structuur is getraind om het invoerbeeld en de latente vector te repliceren. Invoer x wordt gecodeerd in latente vector z door encoder E1. Zowel D1 als D2 decoderen z om afbeeldingen te produceren, x1 en x2. We hebben twee latente vectoren (z1 en z2) verkregen van encoder E2 na het passeren van twee gereconstrueerde afbeeldingen (x1 en x2). Deze fase bevat de volgende trainingsdoelstellingen:

LEDE1 = γ ǀǀ x −x₁ǀǀ₂+δ ǀǀ z −z₁ǀǀ₂ (1)
LEDE2 = γ ǀǀ x−x₂ǀǀ₂+δ ǀǀ z −z₂ǀǀ₂ (2)

Deze gereconstrueerde beelden worden door encoder E2 geleid om latente vectoren z₁ en z₂ te verkrijgen. Doelstellingen van de training:
Wegingsfactoren (γ, δ) hebben een cruciale invloed op de impact van verliescomponenten op de objectieve functie.

Ten tweede hebben we twee Encoder-Decoder-Encoder-structuren getraind met behulp van adversarial methoden.
Hier zijn γ en δ de parameters die de bijdragen van reconstructie en latente consistentieverliezen afwegen.

Contradictoire training
Twee EDE-structuren worden vijandig getraind. Leert encoder 2 herkennen uit data. EDE2 moet EDE1 misleiden omdat het het tegenovergestelde is. D1 decodeert z2 vanaf de eerste stap en reconstrueert x1'. Herhaling van x1' naar encoder E2 levert z1' op. De doelstellingen van de stage training zijn als volgt:

min max γ ǀǀ x −x_1'ǀǀ +δ ǀǀ z -z_{1'ǀǀ 2} (3)
EDE2 EDE1

De twee EDE-structuren hebben de volgende verliesfuncties:
LEDE1 = −γ ǀǀ x -x_{1'ǀǀ 2} −δǀǀ z - z_{1'ǀǀ 2} (4)
LEDE2 = +γ ǀǀ x - x_{1'ǀǀ 2}+δ ǀǀ z - z_{1'ǀǀ 2} (5)

De waarden van γ en δ komen overeen met de eerder opgegeven parameters.

Figuur 3: Structuur van de encoder. Het encodernetwerk dat in de voorgestelde EDE-architectuur wordt gebruikt, extraheert spatiotemporele kenmerken uit de ingevoerde videoframes. Het bestaat uit meerdere convolutionele lagen gevolgd door batchnormalisatie en ReLU-activering, waarbij de ruimtelijke dimensies geleidelijk worden verkleind en hiërarchische representaties worden vastgelegd. De uiteindelijke latente vector codeert semantische informatie op hoog niveau die essentieel is voor het detecteren van anomalieën. Afkortingen: ReLU = Rectified Linear Unit, EDE = encoder-decoder-encoder. Klik hier om een grotere versie van deze figuur te bekijken.

Elke EDE biedt twee verliesfuncties voor de voorgestelde structuur. In fase 1 moet EDE1 de x- en z-reconstructieverliezen verminderen. EDE1 moet de fase 2-variantie tussen latente vectoren z en z1' en x en x1' optimaliseren. EDE2 en EDE1 reduceren fase 1 x en z reconstructiefouten. EDE1 moet in fase 2 het verschil tussen z en z1' en x en x1' verkleinen, maar het tegenovergestelde moet gebeuren.

Figuur 4: Structuur van de decoder. De decodercomponent van de voorgestelde EDE-architectuur reconstrueert invoerframes uit latente kenmerken. Het bestaat uit een reeks getransponeerde convolutionele lagen die geleidelijk functietoewijzingen upsamplen naar de oorspronkelijke frameresolutie. De decoder leert normale verkeersscènes nauwkeurig te reconstrueren, waardoor het systeem anomalieën kan identificeren op basis van reconstructiefouten. Afkorting: EDE = encoder-decoder-encoder. Klik hier om een grotere versie van deze figuur te bekijken.

Elk dubbel trainingsdoel van het EDE-model bevat verliesfuncties met gewichten die in de loop van de tijd veranderen:

L_EDE1=(γ||x−x₁||₂+δ||z−z₁||₂)−(1−)(γ||x−x₁''||₂+δ||z−z₁''||₂) (6)
L_EDE2=(γ||x−x₁||₂+δ||z−z₁||₂)+(1−)(γ||x−x₁''||₂+δ||z−z₁''||₂) (7)

Het aantal trainingsperioden is n.

Algoritme 1 toont de training in twee fasen:
Invoer:
Alle normale afbeeldingen in dataset E = {x₁, x₂, . . . , x_F},
Tijdperken N,
Gewogen parameters γ, δ
Uitvoer:
opgeleide encoder-decoder-encoder 1,
Encoder-Decoder-Encoder 2
E₁, E₂, D₁, D₂ ←Initialiseren
Gewichten
nr. ←1
herhalen
voor f = 1 tot F doen
Z_F←E₁(x_F)
         ←d₁ (z_f)
         ←d₂ (z_f)
         ←e₂()
         ←e₂()
         ←d₁()
         ←e₂()"
L_EDE1←(γ||x_f−||₂+δ||z_f−||₂) −(1−)(γ||x_f−'||₂+ δ||z_f−'||₂)
L_EDE2←(γ||x_f−||₂+δ||z_f−||₂) +(1−) (γ||x_f−'||₂+ δ||z_f−'||₂)
E₁, E₂, D₁, D₂←Update Gewichten
met L_EDE1en L_EDE2
einde voor
n ←n + 1
tot n = N

Trainingsfasen en criteria voor het opsporen van afwijkingen
Verdeel de training in twee opeenvolgende fasen:

Fase I - Reconstructie leren:
Beide EDE-pijpleidingen worden uitsluitend getraind op normale verkeersscènes.

Invoerbeelden worden doorgegeven via Encoder 1 → Decoder 1 → Encoder 2 (Afbeelding 5).

Het model minimaliseert verlies van beeldreconstructie en latent consistentieverlies. Deze fase stelt het netwerk in staat om een compacte, consistente latente ruimte te leren voor normaal gedrag.

Fase II - Generatief confrontatie leren:

Latente vectoren die uit decoder 1 zijn gereconstrueerd, worden ingevoerd in decoder 2 en vervolgens opnieuw gecodeerd via encoder 1. Deze cirkelvormige stroom helpt het model inconsistenties in synthetische patronen te detecteren. Een contradictoir verlies wordt toegevoegd om kleine afwijkingen tussen originele en gereconstrueerde representaties te overdrijven. Een discriminator wordt optioneel getraind om echte latente codes te onderscheiden van gereconstrueerde codes, waardoor een scherper onderscheid in de latente ruimte wordt afgedwongen.

Detectie van afwijkingen:
Geef op het moment van deductie een testframe door de pijplijn met dubbele EDE. Bereken drie metriek: pixelgewijze reconstructiefout, latente vectordiscrepantie en adversarial discriminatorscore (indien gebruikt). Bereken een samengestelde anomaliescore als een gewogen som:

Frames met anomaliescores boven een gekalibreerde drempel worden gemarkeerd als mogelijke abnormale gebeurtenissen. Dit mechanisme stelt het model in staat om subtiele afwijkingen in visuele en latente ruimtepatronen te detecteren zonder dat er geannoteerde anomalielabels nodig zijn.

Figuur 5: Architectuur van het vijandige GANomaly-model waarin EDE 1 en EDE 2 worden geïntegreerd. Deze figuur illustreert het ontwerp van het adversarial anomaly detection model, dat twee EDE-structuren integreert: EDE1 voor reconstructie en EDE2 voor latente functie-uitlijning. Het model maakt gebruik van een latente vectorconsistentieverlies en adversarial training via een discriminator om gelijkenis af te dwingen tussen de latente representaties van de invoer en gereconstrueerde frames. Deze architectuur verbetert de detectie van anomalieën door robuuste functie-inbeddingen te leren voor normale verkeerspatronen. Afkortingen: EDE1 = Eerste encoder-decoder-encoderstructuur voor reconstructie; EDE2 = Tweede encoder-decoder-encoderstructuur voor latente functie-uitlijning. Klik hier om een grotere versie van deze figuur te bekijken.

Tijdens de detectie gebruikte ons model de volgende afwijkende scores:

Acc(x̂) = ω₁||z−z₂||₂+ω₂||z−z₁'||₂ (8)

Het wijzigen van gewichtsparameters (ω₁+ ω₂= 1) kan de gevoeligheid veranderen door de verhouding tussen echte positieven en valse positieven aan te passen. In toepassingen in de echte wereld kan het wijzigen van deze twee parameters ongevallen met verschillende gevoeligheden in één experiment detecteren.

Tijdens de training wordt elk invoerframe x door encoder E₁ geleid om een latente vector z te genereren. De latente vector wordt vervolgens gereconstrueerd via decoder D₁, waardoor beeld x̂₁ ontstaat, dat vervolgens door encoder E₂ wordt geleid om een gereconstrueerde latente vector z te verkrijgen. Tegelijkertijd wordt z gedecodeerd door Decoder D₂ om x̂₂ te produceren, die ook opnieuw wordt gecodeerd via E₂ om z₂ te verkrijgen. Dit bidirectionele proces bewaart zowel informatie op pixel- als op latent niveau voor het detecteren van afwijkingen.

Algoritme voor het testen van modellen:
={( x̂_{1,y 1}),( x̂_{2,y 2}),...,( x̂_M*,y_M*)},
Drempel φ,

Wegingsparameters ω₁, ω₂
Uitvoer: Voorspellingslabel van testgegevensset
E_re = {y_1pre, y_2pre, ..., y_F*pre}
want i =1tot F* doen
z_i ← e₁(x_i)
x_2i ← d₂(z_i)
Z_2I ← E₂(x_2I)
z_1i' ← d₁(z_2i)
Z_1I' ←_{E 2}(Z_1I')
Acc(x̂_i) ←ω₁||z_i−z_2i||₂+ω₂||z_i−z_1i'||_{Arabisch cijfer}
ifAcc(x̂_i) ≥φ dan
y_ipre ←1
anders
y_ipre ←0
Endif
einde

EDE gebruikt de discriminator als een adversarial learning-component om de nauwkeurigheid van anomaliedetectie te vergroten door het vermogen van het model om normale en abnormale gebeurtenissen te onderscheiden te verbeteren. Het verbetert de prestaties als volgt:

Leerdiscriminatie: De discriminator is getraind om onderscheid te maken tussen synthetische en duale EDE-structuurgereconstrueerde representaties. Door dit vijandige proces te optimaliseren, krijgt het model zeer discriminerende latente kenmerken, waardoor de anomaliedetectie van verkeersscènes wordt verbeterd.

Slechte reconstructies verwijderen: Omdat ze zo veel afwijken van verkeerspatronen, veroorzaken anomalieën vaak reconstructieproblemen. De discriminator bestraft onjuist gereconstrueerde frames, waardoor de detectie van normale/abnormale gebeurtenissen in het netwerk wordt verbeterd.

Verbetering van de representatie van kenmerken met adversarial training: Door adversarial learning te integreren, zorgt de discriminator ervoor dat het EDE-netwerk duurzamere en betekenisvollere latente inbeddingen genereert. Dit detecteert zelfs kleine veranderingen zoals abrupt remmen, botsingen en uitwijken van voertuigen, waardoor de detectie van afwijkingen wordt verbeterd.

Valse positieven verwijderen: Traditionele auto-encoders overgeneraliseren en normaliseren afwijkingen, wat resulteert in hoge percentages vals-positieven. De discriminator behoudt de attributen van anomalieën tijdens de reconstructie door latente discrepanties tussen normale en afwijkende frames te identificeren.

Verbetering van de classificatie met een besluitvormingsproces in twee fasen: Normale of abnormale herbouwde frames ontvangen betrouwbaarheidsscores van de discriminator. Verkeerde classificatiefouten en reconstructieverlies worden in deze extra verificatiefase verminderd, waardoor de detectienauwkeurigheid wordt verbeterd.

We gebruikten bewezen ongevaldetectiemethoden om de strategie 23,24,25,26 te testen. Eén klasse in een dataset met meerdere klassen was normaal en alle andere ongevalsklassen werden zorgvuldig onderzocht met behulp van één versus alle benaderingen. Het model werd getraind met alleen normale klasgegevens, terwijl de testset ongevals- en normale gegevens gebruikte. Trainings- en testsets werden op twee manieren verdeeld.

We hebben getraind en getest met respectievelijk 80% en 20% gegevens van normale klasse. De testresultaten van de ongevalsklasse werden willekeurig gekozen. De evaluatie was onbevooroordeeld door gebruik te maken van teststeekproeven van de ongevalsklasse, die 20% van de gegevens van de normaalklasse vertegenwoordigen, om te voorkomen dat het model scheef zou trekken naar de meerderheidsnormaalklasse. Het model kan worden getest aan de hand van gelijke aantallen normale en ongevalsgegevens, die de praktijkomstandigheden vertegenwoordigen. Het test modelgeneralisatie onpartijdig door te trainen met 80% van de normale gegevens en 20% te verbergen. Dit toont ook aan dat er in het echte leven meer normaal is dan ongevallen, waardoor het belangrijk is om het model bloot te stellen aan onregelmatige ongevallengegevens. Door willekeurig ongevalsmonsters te selecteren en het model te testen op alle ongevalssituaties zonder overfitting wordt de robuustheid verhoogd. De 80/20 dataverdeling is gebruikelijk in machine learning. Trainingsgegevens voor betekenisvolle patronen en testgegevens voor prestatie-evaluatie zijn in evenwicht.

De experimenten gebruikten datasets voor training en testen. De splitsing van de normale klas werd gebruikt voor validatie en training. De testgegevens van alle klassen werden getest.

Het snoeien en kwantificeren van modellen vermindert de modelgrootte en -berekening aanzienlijk. Het gereduceerde model heeft dezelfde nauwkeurigheid, maar lagere prestaties omdat het 40% minder parameters bevat. Voor edge-apparaten met een lage verwerkingskracht wordt het gekwantificeerd door het model te kwantificeren. Deze optimalisatie voldoet aan de behoeften op het gebied van real-time verkeersbewaking en terugroepacties.

Lichtgewicht ontwerpen zoals MobileNets en EfficientNet verhogen de real-time gevolgtrekkingen. Vanwege hun computervisieprecisie en minimale berekeningen worden deze architectuurtypen veel gebruikt. Op embedded systemen verminderen dergelijke modellen de frameverwerking met 50%, terwijl de F1-scores voor ongevallendetectie behouden blijven.

Het gebruik van vergelijkbare parameters voor beeldreconstructie en ongevalsdetectie met behulp van multi-task learning zou het ontwerp kunnen vereenvoudigen. Dit verlaagde de trainingstijd en rekenkosten zonder de nauwkeurigheid van het model aan te tasten. Het multi-task leersysteem vereenvoudigde het leren van het model voor de verwerking van verkeersvideogegevens.

Contrastieve en zelfgesuperviseerde adversarial training leverde in minder tijd resultaten op die vergelijkbaar waren met het basismodel voor anomaliedetectie. Verkeersongevallenkenmerken werden verzameld en gegeneraliseerd om de robuustheid van onzichtbare gegevens te verbeteren.

Het voorgestelde algoritme voor het detecteren van verkeersafwijkingen werd getest op Track-4, een van de vijf 2021 AI City Challenge-datasets²⁷. Snelwegen leverden deze gegevens aan de Iowa DOT.

Vergelijkende prestatiebeoordeling:
Om ons model te valideren, hebben we het op de AI City Challenge Track 4-dataset vergeleken met state-of-the-art modellen, waaronder GANomaly, f-AnoGAN, OCGAN en de gesuperviseerde methode van ByteDance. Tabel 2 geeft een overzicht van de resultaten.

Model	F1 Uitslag	Precisie	Herinneren	AUC
GANomaly	0.87	0.88	0.86	0.9
OCGAN	0.89	0.9	0.87	0.91
ByteDance (Sup.)	0.91	0.93	0.89	0.92
Voorgesteld (Dual-EDE)	0.94	0.95	0.93	0.94

Tabel 2: Vergelijking van de methoden. De tabel vergelijkt methoden voor het detecteren van anomalieën op basis van F1-score, precisie, herinnering en nauwkeurigheid. EDE-ontwerpen met en zonder contradictoire training worden vergeleken. Twee EDE plus vijandige training verslaan BADU, ByteDance en WHU in alle categorieën. De gegevens geven aan dat adversarial learning de detectie van anomalieën verhoogt.

Het dual-EDE-model presteert beter dan alle basislijnen, vooral bij het terugroepen - wat wijst op een sterkere gevoeligheid voor zeldzame afwijkende gebeurtenissen.

Results

Om de doeltreffendheid van de voorgestelde detectiemethode voor verkeersafwijkingen te evalueren, hebben we het model geïmplementeerd op een enkele videoclip en visualisaties gegenereerd die het gedrag van het systeem in de loop van de tijd en binnen de functieruimte illustreren. Hoewel verkregen met behulp van een gesimuleerde EDE-pijplijn, weerspiegelen de resultaten nauw de kwalitatieve conclusies die van een daadwerkelijk model zouden worden verwacht.

De t...

Discussion

Deze studie presenteert een op deep learning gebaseerd detectiesysteem voor verkeersafwijkingen dat gebruikmaakt van een EDE-architectuur, op een niet-gesuperviseerde manier getraind om zowel ongevallen met één als met meerdere voertuigen te identificeren in real-world bewakingsvideo's. Door typisch verkeersgedrag te modelleren, detecteert het systeem afwijkingen als waarschijnlijke anomalieën zonder dat er gelabelde anomaliegegevens nodig zijn, waardoor uitdagingen op het gebied van sch...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
AI City Challenge Track 4 Dataset	AI City Challenge (https://www.aicitychallenge.org)	Track 4, 2021 Release
CUDA Toolkit	NVIDIA Developer	Versie 11.3
cuDNN Library	NVIDIA Developer	Compatibel met CUDA 11.3
GPU Workstation Cluster (Training)	Amrita School of Computing	—
Local Workstation (Fog Node)	Amrita School of Computing	—
Matplotlib	matplotlib.org	Versie 3.3+
NVIDIA Jetson Nano (Edge Device)	NVIDIA	945-13450-0000-100
NVIDIA RTX 3060 GPU (Workstation)	NVIDIA	Variërend per fabrikant
NumPy	numpy.org	Versie 1.19+
OpenCV	OpenCV.org	Versie 4.5+
Pandas	pandas.pydata.org	Versie 1.1+
Python	Python Software Foundation	Versie 3.8+
PyTorch	PyTorch (https://pytorch.org)	Versie 1.10+
Scikit-learn	scikit-learn.org	Versie 0.24+
Ubuntu Linux (besturingssysteem)	Canonical Ltd.	Versie 20.04 LTS