Dubbele encoder-decoder-encoder met adversarial training voor het ongecontroleerd detecteren van verkeersongevallen in bewakingsvideo's

Summary

Dit werk stelt een dubbel encoder-decoder-encoder (EDE) model voor voor geautomatiseerde detectie van verkeersongevallen. Met behulp van een trainingsmethode in twee fasen leert het normale rijpatronen en identificeert het afwijkingen via generatieve confrontatie. Het model detecteert effectief ongevallen in real-world beelden en biedt inzicht in het gedrag van de bestuurder door subtiele afwijkingen vast te leggen.

Abstract

Om de verkeersveiligheid te verbeteren en de reactie op noodsituaties te verbeteren, moeten verkeersincidenten zo snel mogelijk worden gedetecteerd in real-world bewakingsbeelden. Bestaande systemen zijn grotendeels afhankelijk van handmatige monitoring, wat tijdrovend en foutgevoelig is. Geautomatiseerde ongevallendetectie blijft een uitdaging vanwege de aanzienlijke onbalans in de klassen: normale rijsituaties zijn oververtegenwoordigd, terwijl ongevallen zeldzaam en divers zijn. In dergelijke gevallen kunnen traditionele computervisiesystemen vaak geen betrouwbaar onderscheid maken tussen normale en abnormale gebeurtenissen. Deze studie pakt het probleem aan door een deep learning-architectuur te ontwikkelen op basis van een dual encoder-decoder-encoder (EDE) framework. Het model maakt gebruik van twee gedeelde encoder-decoderpijplijnen om beelddistributies toe te wijzen aan gespecificeerde latente distributies in beide richtingen. Dit raamwerk stelt het systeem in staat om veelvoorkomende verkeersgedragspatronen te modelleren en gevoeliger te worden voor veranderingen die kunnen duiden op gevaarlijke of ongebruikelijke gebeurtenissen. Er wordt een trainingstechniek in twee fasen voorgesteld om de detectie van anomalieën verder te verbeteren. In de eerste fase leert het model beelden van normaal rijden te reconstrueren, waarbij reconstructieverlies wordt gebruikt om normaal gedrag te karakteriseren. In de tweede fase wordt een generatief contradictoir mechanisme geïntroduceerd: gereconstrueerde latente vectoren van de ene EDE worden doorgegeven aan de andere, waardoor synthetische beelden en latente ruimtes worden gegenereerd. Dit proces versterkt de verschillen tussen echte en synthetische outputs, waardoor het systeem beter reageert op subtiele tekenen van mogelijke afwijkingen. De dual-EDE-architectuur en adversarial trainingsmethodologie vertegenwoordigen een substantiële vooruitgang ten opzichte van de huidige methoden door zowel normaal als pathologisch gedrag te modelleren. Experimentele resultaten op real-world verkeersbewakingsdatasets tonen aan dat de voorgestelde methode de detectie van ongevallen en onveilig rijgedrag aanzienlijk verbetert, zowel in termen van nauwkeurigheid als robuustheid.

Introduction

Volgens de Wereldgezondheidsorganisatie (2023) zijn verkeersongevallen de belangrijkste doodsoorzaak onder kinderen en jongvolwassenen van 5-29 jaar, met ongeveer 1,3 miljoen dodelijke slachtoffers wereldwijd per jaar. Deze alarmerende statistiek onderstreept de dringende behoefte aan geautomatiseerde systemen die in staat zijn om het wegverkeer¹ te monitoren, afwijkingen in realtime te detecteren en vertragingen bij noodhulp te verminderen. De integratie van kunstmatige intelligentie (AI) en het Internet of Things (IoT) in de infrastructuur van slimme steden heeft de ontwikkeling van intelligente transportsyst....

Protocol

Systeem

Setup
We hebben het voorgestelde detectiesysteem voor verkeersafwijkingen geïmplementeerd binnen een hiërarchisch en gedistribueerd computerkader, waarbij we gebruik hebben gemaakt van de Intel Tiber Cloud-omgeving. Deze architectuur bestaat uit drie niveaus - edge, fog en cloud - om inferentie met lage latentie, schaalbare training en efficiënte toewijzing van resources aan compute nodes te garanderen.

Edge Tier: Real-time anomaliedetectie wordt aan de edge uitgevoerd met behulp van lichtgewicht, GPU-compatibele embedded apparaten (bijv. NVID....

Results

Om de doeltreffendheid van de voorgestelde detectiemethode voor verkeersafwijkingen te evalueren, hebben we het model geïmplementeerd op een enkele videoclip en visualisaties gegenereerd die het gedrag van het systeem in de loop van de tijd en binnen de functieruimte illustreren. Hoewel verkregen met behulp van een gesimuleerde EDE-pijplijn, weerspiegelen de resultaten nauw de kwalitatieve conclusies die van een daadwerkelijk model zouden worden verwacht.

De t.......

Discussion

Deze studie presenteert een op deep learning gebaseerd detectiesysteem voor verkeersafwijkingen dat gebruikmaakt van een EDE-architectuur, op een niet-gesuperviseerde manier getraind om zowel ongevallen met één als met meerdere voertuigen te identificeren in real-world bewakingsvideo's. Door typisch verkeersgedrag te modelleren, detecteert het systeem afwijkingen als waarschijnlijke anomalieën zonder dat er gelabelde anomaliegegevens nodig zijn, waardoor uitdagingen op het gebied van sch.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
AI City Challenge Track 4 Dataset	AI City Challenge (https://www.aicitychallenge.org)	Track 4, 2021 Release
CUDA Toolkit	NVIDIA Developer	Version 11.3
cuDNN Library	NVIDIA Developer	Compatible with CUDA 11.3
GPU Workstation Cluster (Training)	Amrita School of Computing	—
Local Workstation (Fog Node)	Amrita School of Computing	—
Matplotlib	matplotlib.org	Version 3.3+
NVIDIA Jetson Nano (Edge Device)	NVIDIA	945-13450-0000-100
NVIDIA RTX 3060 GPU (Workstation)	NVIDIA	Varies by manufacturer
NumPy	numpy.org	Version 1.19+
OpenCV	OpenCV.org	Version 4.5+
Pandas	pandas.pydata.org	Version 1.1+
Python	Python Software Foundation	Version 3.8+
PyTorch	PyTorch (https://pytorch.org)	Version 1.10+
Scikit-learn	scikit-learn.org	Version 0.24+
Ubuntu Linux (Operating System)	Canonical Ltd.	Version 20.04 LTS