Dualer Encoder-Decoder-Encoder mit kontradiktorischem Training zur unbeaufsichtigten Erkennung von Verkehrsunfällen in Überwachungsvideos

Summary

In dieser Arbeit wird ein duales Encoder-Decoder-Encoder (EDE) Modell für die automatisierte Erkennung von Verkehrsunfällen vorgeschlagen. Mittels einer zweistufigen Trainingsmethode lernt es normale Fahrmuster und identifiziert Anomalien durch generative Konfrontation. Das Modell erkennt effektiv Unfälle in realen Aufnahmen und bietet Einblicke in das Fahrerverhalten, indem es subtile Abweichungen erfasst.

Abstract

Um die Verkehrssicherheit zu erhöhen und die Notfallreaktion zu verbessern, sollten Verkehrsunfälle so schnell wie möglich in realen Überwachungsaufnahmen erkannt werden. Bestehende Systeme sind weitgehend auf eine manuelle Überwachung angewiesen, die zeitaufwändig und fehleranfällig ist. Die automatisierte Unfallerkennung bleibt aufgrund des erheblichen Klassenungleichgewichts eine Herausforderung: Normale Fahrsituationen sind überrepräsentiert, während Unfälle selten und vielfältig sind. In solchen Fällen können herkömmliche Computer-Vision-Systeme oft nicht zuverlässig zwischen normalen und abnormalen Ereignissen unterscheiden. Diese Studie befasst sich mit dem Problem, indem sie eine Deep-Learning-Architektur entwickelt, die auf einem dualen Encoder-Decoder-Encoder (EDE)-Framework basiert. Das Modell verwendet zwei gemeinsam genutzte Encoder-Decoder-Pipelines, um Bildverteilungen den angegebenen latenten Verteilungen in beide Richtungen zuzuordnen. Dieses Framework ermöglicht es dem System, gängige Verkehrsverhaltensmuster zu modellieren und empfindlicher auf Änderungen zu reagieren, die auf gefährliche oder ungewöhnliche Ereignisse hinweisen können. Es wird eine zweiphasige Trainingstechnik vorgeschlagen, um die Erkennung von Anomalien weiter zu verbessern. In der ersten Phase lernt das Modell, Bilder des normalen Fahrens zu rekonstruieren und den Rekonstruktionsverlust zur Charakterisierung des normalen Verhaltens zu verwenden. In der zweiten Phase wird ein generativer kontradiktorischer Mechanismus eingeführt: Rekonstruierte latente Vektoren von einer EDE werden an die andere weitergegeben, wodurch synthetische Bilder und latente Räume erzeugt werden. Dieser Prozess verstärkt die Unterschiede zwischen realen und synthetischen Ausgaben und macht das System reaktionsschneller auf subtile Anzeichen potenzieller Anomalien. Die Dual-EDE-Architektur und die kontradiktorische Trainingsmethodik stellen einen wesentlichen Fortschritt gegenüber den derzeitigen Methoden dar, indem sie sowohl normales als auch pathologisches Verhalten modellieren. Experimentelle Ergebnisse an realen Verkehrsüberwachungsdatensätzen zeigen, dass die vorgeschlagene Methode die Erkennung von Unfällen und unsicherem Fahrverhalten sowohl in Bezug auf die Genauigkeit als auch auf die Robustheit erheblich verbessert.

Introduction

Nach Angaben der Weltgesundheitsorganisation (2023) sind Verletzungen im Straßenverkehr die häufigste Todesursache bei Kindern und jungen Erwachsenen im Alter von 5 bis 29 Jahren, wobei jedes Jahr weltweit etwa 1,3 Millionen Todesfälle gemeldet werden. Diese alarmierende Statistik unterstreicht den dringenden Bedarf an automatisierten Systemen, die in der Lage sind, den Straßenverkehr¹ zu überwachen, Anomalien in Echtzeit zu erkennen und Verzögerungen bei der Notfallreaktion zu reduzieren. Die Integration von künstlicher Intelligenz (KI) und dem Internet der Dinge (IoT) in die Smart-City-Infrastruktur hat die Entwicklung intelligenter Verkehrssysteme ermöglicht. Während Videoüberwachungsnetze (CCTV)^2,3 eine kontinuierliche Überwachung des städtischen Verkehrs ermöglichen, ist eine manuelle Überwachung unpraktisch und fehleranfällig. Daher sind skalierbare, automatisierte Lösungen für die Erkennung von Verkehrsunfällen unerlässlich.

Herkömmliche Computer-Vision-Methoden für die Verkehrsanalyse – wie Fahrzeugerkennung, -verfolgung und -klassifizierung – verwenden häufig Convolutional Neural Networks (CNNs), die über überwachtes Lernen trainiert werden ^4,5. Diese Systeme erfordern umfangreiche annotierte Datensätze und lassen sich oft nicht über die seltenen und vielfältigen Szenarien verallgemeinern, die für reale Unfälle charakteristisch sind. Daher haben sich die Forscher unüberwachten Ansätzen zur Erkennung von Anomalien zugewandt, die nicht von markierten Anomaliedaten abhängen. Unter diesen haben sich Autoencoder (AEs) und Generative Adversarial Networks (GANs) bei der Modellierung normaler Muster und der Identifizierung von Abweichungen als vielversprechend erwiesen ^6,7,8.

Standard-AEs neigen jedoch dazu, Eingaben zu getreu zu rekonstruieren -- selbst wenn diese Eingaben anomal sind -- was zu hohen falsch-negativen Raten^{führt 9,10}. Variational Autoencoders (VAEs)¹¹ und GAN-basierte Modelle wie f-AnoGAN¹², GANomaly¹³ und OCGAN¹⁴ lösen einige dieser Probleme, indem sie Latent-Space-Modellierung und Adversarial Learning einbeziehen. Nichtsdestotrotz stützen sich diese Modelle häufig auf unidirektionale Zuordnungen vom Bild zum latenten Raum¹⁵, was ihre Fähigkeit einschränkt, subtile oder komplexe Inkonsistenzen in realen Verkehrsanomalien zu erkennen.

Überwachte Systeme, wie sie von ByteDance¹⁶, WHU¹⁷ und USF¹⁸ für die AI City Challenge entwickelt wurden, erreichen eine hohe Genauigkeit durch raumzeitliches Tracking¹⁹und objektzentrierte Designs. Sie erfordern jedoch gekennzeichnete Unfalldaten und komplexe Tracking-Pipelines, was die Skalierbarkeit und Anwendbarkeit in Echtzeit verringert.

Modell	Art	Hauptmerkmale	Begrenzungen	Leistung (beschrieben)
GANomaly	Unbeaufsichtigt	Encoder-Decoder-Encoder; Kontradiktorisches Training	Neigt dazu, selbst anomale Eingaben zu gut zu rekonstruieren, was zu falsch negativen Ergebnissen führt	Insgesamt gut, mit hoher Präzision und ausgewogenem Abruf
OCGAN	Unbeaufsichtigt	Ein-Klassen-GAN mit begrenztem latenten Speicherplatz	Schwierigkeiten bei der Erkennung subtiler oder komplexer Anomalien	Etwas besser als GANomaly, mit verbesserter Ausgewogenheit zwischen den Metriken
f-AnoGAN	Unbeaufsichtigt	Schnelle Anomalieerkennung mit GANs und Feature-Matching	Begrenzte Fähigkeit, komplexe Anomalien im latenten Raum zu erfassen	Mäßige Leistung (spezifische Noten werden nicht angegeben)
ByteDance (Englisch)	Beaufsichtigte	Raum-Zeit-Tracking mit Anomalielokalisierung auf Objektebene	Erfordert gekennzeichnete Trainingsdaten; Eingeschränkte Skalierbarkeit in der Praxis	Sehr hohe Genauigkeit und Präzision; etwas geringere Empfindlichkeit
BADU	Beaufsichtigte	Verwendet Hintergrundmodellierung und Fahrzeugverfolgung	Weniger effektiv in verschiedenen Szenen; Übersieht subtile Anomalien	Solide Genauigkeit; Gute Balance, aber niedriger als bei den Top-Methoden
WHU	Beaufsichtigte	Dual-Modalitäts-Trajektorienverfolgung	Schlechte Generalisierung und geringer Anomalie-Recall	Insgesamt schwache Performance, insbesondere bei der Erkennung von Anomalien
USF	Beaufsichtigte	Kombiniert Hintergrundmodellierung mit struktureller Ähnlichkeitsanalyse	Schlecht darin, Anomalien genau zu identifizieren	Sehr geringe Genauigkeit und Empfindlichkeit
Vorgeschlagen (Dual-EDE)	Unbeaufsichtigt	Dualer Encoder-Decoder-Encoder; Bidirektionale latente Kartierung mit kontradiktorischem und kontrastivem Verlust	Hohe Rechenlast; beschränkt auf RGB-Eingang	Hervorragende Leistung; Höchste Präzision, hoher Recall und starke Ausgewogenheit über alle Metriken hinweg

Tabelle 1: Zusammenfassung der verwandten Arbeiten zur videobasierten Erkennung von Verkehrsanomalien.

Tabelle 1 stellt wesentliche Methoden zur Erkennung von Anomalien, die bei der Verkehrsüberwachung verwendet werden, gegenüber und hebt deren Architekturen, Vor- und Nachteile und Leistung hervor. Herkömmliche GAN-basierte Modelle wie GANomaly und OCGAN können eine effektive unüberwachte Erkennung durchführen, haben aber mit subtilen Anomalien zu kämpfen. Überwachte Methoden sind zwar sehr genau, hängen aber stark von gekennzeichneten Daten und ausgefeilter Nachverfolgung ab. Das vorgeschlagene Dual-EDE-Modell integriert bidirektionale Latentraumcodierung mit kontradiktorischem und kontrastivem Training, wodurch es in der Lage ist, seltene und subtile Verkehrsanomalien ohne gekennzeichnete Daten zu erkennen, was sowohl Skalierbarkeit als auch Robustheit bietet.

Forschungslücke und Hypothese
Obwohl unüberwachte Modelle den Bedarf an gekennzeichneten Anomalien verringern, haben sie immer noch Schwierigkeiten, seltene, subtile und schwerwiegende Verkehrsereignisse genau zu erkennen. Die derzeitigen Methoden sind durch die architektonische Asymmetrie und die Unfähigkeit, Inkonsistenzen des latenten Raums voll auszunutzen, begrenzt. Viele scheitern auch daran, in hochdynamischen Verkehrsumgebungen robust zwischen komplexem Normalverhalten und echten Anomalien zu unterscheiden.

Wir stellen die Hypothese auf, dass eine duale Encoder-Decoder-Encoder (EDE)-Architektur, die ausschließlich auf normalen Verkehrsdaten trainiert wurde, in Kombination mit einer zweiphasigen Trainingsstrategie modernste Modelle bei der Erkennung verschiedener und subtiler Verkehrsanomalien übertreffen kann. Durch die Erzwingung der bidirektionalen latenten Konsistenz und die Integration der kontradiktorischen Rekonstruktion wird das System empfindlicher für kleinste Abweichungen vom erwarteten Verhalten – wie plötzliches Bremsen, unberechenbares Ausweichen oder Kollisionen – ohne dass kommentierte Unfalldaten erforderlich sind.

Vorgeschlagene Methode
Wir schlagen ein neuartiges Framework zur Erkennung unüberwachter Anomalien vor, das auf einer Dual-EDE-Architektur aufbaut. Im Gegensatz zu herkömmlichen Modellen, die eine einzige Codierungs-Dekodierungs-Pipeline verwenden, verwendet unser System zwei EDE-Pfade, die eine bidirektionale Zuordnung zwischen Bildern und latenten Darstellungen durchführen. Dieses Design ermöglicht es dem Modell, umfangreiche Merkmale der normalen Verkehrsdynamik zu erlernen und Diskrepanzen zu verstärken, wenn Anomalien auftreten. Der Trainingsprozess besteht aus zwei Phasen:

Phase eins verwendet den Rekonstruktionsverlust, um normales Verhalten zu modellieren, ähnlich wie beim Standard-Autoencoder-Training.

Phase zwei führt einen generativen kontradiktorischen Mechanismus ein, bei dem latente Vektoren von einem EDE an das zweite übergeben werden, um synthetische Daten zu generieren, wodurch das System gezwungen wird, die Unterscheidung zwischen echten und gefälschten Darstellungen sowohl im Bild- als auch im latenten Bereich zu maximieren.

Wichtige Beiträge
Wir führen eine Dual-EDE-Architektur ein, die latente Inkonsistenzen durch bidirektionales Mapping erfasst, um die Anomalieerkennung zu verbessern. Wir entwickeln ein zweiphasiges Trainingsverfahren, das die Autoencoder-Rekonstruktion mit kontradiktorischem Lernen kombiniert, um die Sensibilität für subtile Abweichungen zu erhöhen. Wir zeigen durch Experimente mit dem Datensatz AI City Challenge (Track 4), dass das Modell mehrere hochmoderne überwachte und unüberwachte Baselines übertrifft und eine robuste und skalierbare Unfallerkennung in realen städtischen Umgebungen erreicht. Zusammenfassend lässt sich sagen, dass diese Arbeit einen skalierbaren, genauen und kennzeichnungsfreien Ansatz zur Erkennung von Verkehrsanomalien bietet und so zu sichereren und reaktionsschnelleren intelligenten Verkehrssystemen beiträgt.

Protocol

System

Einrichtung
Wir haben das vorgeschlagene System zur Erkennung von Verkehrsanomalien in einem hierarchischen und verteilten Computing-Framework unter Nutzung der Intel Tiber Cloud-Umgebung bereitgestellt. Diese Architektur umfasst drei Ebenen – Edge, Fog und Cloud –, um Inferenz mit geringer Latenz, skalierbares Training und effiziente Ressourcenzuweisung über Computeknoten hinweg zu gewährleisten.

Edge-Tier: Die Echtzeit-Anomalieerkennung wird am Edge mit leichten, GPU-fähigen Embedded-Geräten (z. B. NVIDIA Jetson Nano oder gleichwertige Intel-basierte Plattformen mit integrierten GPUs) durchgeführt. Diese Einheiten wurden zusammen mit Überwachungskameras aufgestellt und führten Frame-by-Frame-Inferenz mit minimaler Latenz aus, was eine dezentrale und reaktionsschnelle Verkehrsüberwachung ermöglichte.

Fog Tier: Rechenintensivere Aufgaben, einschließlich Batch-Inferenz und Modellverfeinerung in Echtzeit, wurden von Fog-Knoten ausgeführt, die als dedizierte virtuelle Maschinen oder Bare-Metal-Instanzen innerhalb der Intel Tiber Cloud bereitgestellt wurden. Jeder Fog-Knoten war mit einem Intel Xeon-Prozessor mit mindestens 16 GB RAM konfiguriert und hatte Zugriff auf die in Intel integrierte oder diskrete GPU-Beschleunigung. Diese Zwischenschicht ermöglichte Vorgänge mit hohem Durchsatz in der Nähe der Datenquelle bei gleichzeitiger Wahrung der Autonomie von zentralen Servern.

Cloud-Tier: Für groß angelegte Schulungen und Archivierungen nutzt die Cloud-Tier skalierbare Computing-Cluster, die über die KI-optimierten Services von Intel Tiber angeboten werden. Instanzen, die mit Intel Habana Gaudi Beschleunigern oder skalierbaren Intel Xeon Prozessoren ausgestattet sind, werden für das Training tiefer neuronaler Netze auf umfangreichen Videodatensätzen eingesetzt, die Modellversionierung, Langzeitspeicherung und systemweite Orchestrierung unterstützen.

Der gesamte Software-Stack wurde in einer Python 3.8+-Umgebung mit Intel-optimierten Bibliotheken für eine beschleunigte Berechnung betrieben. Zu den primären Frameworks gehören PyTorch (mit Intel Extension für PyTorch), OpenCV für die Bild- und Videovorverarbeitung und Scikit-learn für die Evaluierung. Die GPU-Beschleunigung wird durch die entsprechenden oneAPI-Toolkits und DAAL-Optimierungen ermöglicht.

Nach der Bereitstellung haben wir das Repository mit der Dual-EDE-Architektur geklont und die Modellkomponenten initialisiert – zwei Encoder (E1, E2) und zwei Decoder (D1, D2). Die .to(device)-Methode wurde verwendet, um die Komponenten dynamisch auf die optimale Verarbeitungseinheit (CPU, GPU oder Gaudi-Beschleuniger) zu übertragen, abhängig von der lokalen Ressourcenverfügbarkeit.

Wir haben die Trainings- und Auswertungsparameter, einschließlich der Anzahl der Epochen, der Lernrate, der Verlustausgleichskoeffizienten (γ, δ) und der Anomalieempfindlichkeitsschwellenwerte (ω₁,_{ω 2}), in einem Konfigurationsskript deklariert. Für das Training folgten wir einem zweiphasigen Protokoll: (1) Standard-Autoencoder-Rekonstruktion zum Erlernen des normalen Verkehrsverhaltens und (2) kontradiktorische latente Rekonstruktion zur Verstärkung von Anomalien durch Cross-EDE-Interaktionen.

Diese modulare und Cloud-native Systemarchitektur ermöglichte eine robuste Echtzeit-Anomalieerkennung, Modellskalierbarkeit und einen zuverlässigen Einsatz in realen intelligenten Transportumgebungen über die Intel Tiber Cloud.

Dataset
Für das Training und die Evaluierung des vorgeschlagenen Anomalieerkennungssystems haben wir den Datensatz verwendet, der von der NVIDIA AI City Challenge 2021, Track 4 (Traffic Anomaly), bereitgestellt wurde. Der Datensatz umfasst 100 Trainingsvideos und 150 Testvideos mit einer durchschnittlichen Dauer von 15 Minuten, die mit 30 fps und einer Auflösung von 410 p aufgenommen wurden. Jedes Video weist einen eigenen Schwierigkeitsgrad auf, der sich durch unterschiedliche Straßentypen, Kamerawinkel, Beleuchtung und Wetterbedingungen auszeichnet. Das Dataset erfasst ein breites Spektrum an Straßeninfrastruktur (z. B. mehrspurige Autobahnen, Kreuzungen), Verkehrsdichten und Wetterbedingungen (z. B. klar, regnerisch, dämmrig) aus mehreren Kamerawinkeln. Diese Attribute machen es zu einem idealen Benchmark für die Bewertung der Generalisierbarkeit von Modellen zur Anomalieerkennung.

Vorverarbeitung
Um das Modell unter unbeaufsichtigten Bedingungen zu trainieren, verwenden Sie nur normale (nicht unfallbedingte) Verkehrsszenen, um während des Trainings keine anomalen Ereignisse zu vermeiden. Führen Sie die Videovorverarbeitung mit OpenCV durch. Sample-Frames gleichmäßig mit 5 fps, um eine ausreichende zeitliche Abdeckung zu gewährleisten und gleichzeitig Redundanzen zu reduzieren. Ändern Sie die Größe von Frames auf 128 x 128 Pixel, um die Eingabeanforderungen des Dual-EDE-Netzwerks zu erfüllen und visuelle Details mit Recheneffizienz in Einklang zu bringen. Normalisieren Sie die Pixelwerte auf den Bereich [-1, 1], um die Trainingsstabilität zu verbessern.

Um die Generalisierung zu verbessern und die Variabilität in der realen Welt zu simulieren, wenden Sie die folgenden Erweiterungstechniken mit zufälliger Wahrscheinlichkeit auf jeden Trainingsframe an:

Zufälliges Zuschneiden und Skalieren: Schneiden Sie zufällige Unterbereiche zu und skalieren Sie sie auf die ursprüngliche Auflösung zurück, um die Invarianz der Objektgröße, die teilweise Sichtbarkeit und räumliche Positionsverschiebungen zu fördern und Zoomeffekte und dezentrale Motive in Überwachungsvideos nachzuahmen.

Helligkeits- und Kontrastmodulation: Wenden Sie lineare oder gammabasierte Transformationen an, um Beleuchtungsvariationen wie Schatten, Blendung, Variationen bei Sonnenaufgang/Sonnenuntergang und künstliche Beleuchtung nachzuahmen. Dies verbessert die Widerstandsfähigkeit des Modells gegenüber täglichen und saisonalen Lichtschwankungen.

Gaußsche Rauschinjektion und Bewegungsunschärfe: Fügen Sie Gaußsches Rauschen mit unterschiedlichen Standardabweichungen hinzu, um Sensorrauschen und Kompressionsartefakte zu simulieren. Simulieren Sie Bewegungsunschärfe mit Faltungskernen, die in verschiedene Richtungen und Größenordnungen ausgerichtet sind, um den Effekt von sich bewegenden Objekten oder Kameraverwacklungen zu emulieren, was besonders in schnelllebigen Verkehrsszenen relevant ist.

Zufällige Okklusionsmaskierung: Wenden Sie synthetische Verdeckungen an, indem Sie schwarze oder graue rechteckige Flecken zufälliger Größe und Position über den Rahmen legen. Diese Erweiterung simuliert reale Hindernisse wie Fußgänger, Infrastrukturelemente oder vorbeifahrende Fahrzeuge, die das Sichtfeld versperren. Es ermutigt das Modell, aus dem Kontext zu lernen und robust gegenüber fehlenden oder verzerrten Regionen zu bleiben.

Wenden Sie diese Augmentationen dynamisch während des Trainings mit PyTorch-Transformationspipelines an, um sicherzustellen, dass jeder Batch eine vielfältige Mischung aus augmentierten Frames enthält, wodurch die Exposition gegenüber verschiedenen Mustern gefördert und eine Überanpassung reduziert wird.

Laden Sie verarbeitete Frames mit dem DataLoader von PyTorch, um Batching, Shuffling und paralleles Laden zu verwalten. Trainieren Sie mit Batch-Größen zwischen 32 und 64, abhängig von der GPU-Kapazität. Für die Inferenz- und Anomaliebewertung verarbeiten Sie Frames einzeln (Losgröße = 1), um eine präzise Erkennung auf Frame-Ebene zu ermöglichen.

Diese Vorverarbeitungs- und Erweiterungspipeline verbessert die Robustheit und Generalisierung und ermöglicht es dem Modell, anomales Verhalten in verschiedenen und lauten realen Verkehrsüberwachungsumgebungen effektiv zu erkennen.

Die vorgeschlagene Methode:
Das vorgeschlagene EDE-System lernt bidirektionale Mappings zwischen Bildverteilungen und latenten Räumen. Zwei Encoder und zwei Decoder ermöglichen eine robuste Merkmalsextraktion und Anomalieunterscheidung. Die Netzwerke werden sowohl in der Wiederaufbau- als auch in der gegnerischen Phase geschult. Kontrastives Lernen, Regularisierung und Gradientenabzug werden verwendet, um einen Zusammenbruch des Modus zu verhindern und die Robustheit des GAN-Trainings zu verbessern.

Das EDE-Framework funktioniert wie folgt: Encoder 1 (E1) kodiert Bildmerkmale in den latenten Raum. Der erste Decoder (D1) rekonstruiert Bilder aus latenten Vektoren, um den Rekonstruktionsverlust zu minimieren. Die rekonstruierten Bilder werden dann wieder in den latenten Raum abgebildet, um Ungereimtheiten zu erfassen. Der zweite Decoder (D2) generiert synthetische Bilder aus dem zweiten latenten Raum, um dem Modell zu helfen, reale von synthetischen Daten zu unterscheiden. Diese bidirektionale Zuordnung erkennt Anomalien basierend auf Diskrepanzen im latenten Raum und nicht auf Unterschieden auf Pixelebene.

Phase 1: Wiederaufbautraining: Der Autoencoder ist darauf trainiert, normale Verkehrsbilder zu rekonstruieren, so dass anomale Eingaben zu erheblichen Rekonstruktionsfehlern führen. Die Verlustfunktion berücksichtigt das Eingabebild, seine latente Codierung und das rekonstruierte Bild.

Kontradiktorisches Training: Im Anschluss an das Rekonstruktionstraining wird das kontradiktorische Lernen angewendet. Rekonstruierte latente Vektoren werden durch eine alternative EDE-Struktur geleitet, um synthetische Bilder und latente Vektoren zu erzeugen. Ziel ist es, die Unterschiede zwischen echten und synthetischen Bildern zu maximieren. Latente Vektoren zu verändern und zu rekonstruieren, um die Anomalieerkennung durch Encoder 2 (E2) zu verbessern; und verhindern das Zusammenklappen des Encoders.

Das Training ist so konzipiert, dass eine Konvergenz von E1 und E2 zu identischen Mappings vermieden wird, was die Unterscheidungsfähigkeit verringern würde.

Kontrastives Lernen: Eine Verlustfunktion unterscheidet zwischen realen und rekonstruierten Repräsentationen, wobei ein Randhyperparameter die Trennung von Merkmalen steuert.
Zu den Regularisierungstechniken gehören:

Dropout: Zufällige Deaktivierung von Neuronen, um eine Überanpassung zu verhindern.
Gewichtsverfall: Bestraft große Gewichte, um das Merkmalslernen zu stabilisieren.

Zu den Methoden zur Verhinderung von Adversarial Training, Stabilität²⁰ und Moduskollaps gehören:
Steigungsstrafe: Reguliert diskriminierendes Verhalten.
Datenerweiterung: Zufälliges Zuschneiden, Skalieren und einstellbare Beleuchtung, um unterschiedliche Bedingungen zu simulieren.
Geräuscheinblasung: Hinzufügen von realistischem Rauschen, Bewegungsunschärfe und Verdeckungen, um die Generalisierung zu verbessern.
Vorzeitiges Stoppen: Unterbrechen des Trainings, wenn der Validierungsverlust stark schwankt, um eine Überanpassung zu vermeiden.

Diese architektonischen Verbesserungen, Trainingsmethoden und Resilienzmaßnahmen gewährleisten eine zuverlässige Erkennung von Datenverkehrsanomalien.

Das unbeaufsichtigte Unfallerkennungsnetzwerk wird ausschließlich an Normalproben trainiert und sowohl an Normal- als auch an Unfallproben getestet. Formell:

Betrachten Sie aus der Menge aller normalen und Unfallvideos ein großes Trainingsdataset E mit nur F normalen Frames (E = {x1, x2}). .., xM } und einen kleineren Testdatensatz Ê, der sowohl normale als auch Unfallfotos (Ê=[( x̂1,y1), (x̂2,y2), (x̂F*,yF*)]),Frames enthält, wobei yi [0, 1] das Bild der Frame-Beschriftung ist. Für das F F*-Training muss der Trainingsdatensatz deutlich größer sein als der Testdatensatz. Nachdem Sie die Mannigfaltigkeit des Datensatzes (E) gelernt haben, identifizieren Sie Unfallrahmen in Ê als Ausreißer während der Inferenz. Das Modell f berechnet einen Unfallscore Acc(x) basierend auf der gelernten Normaldatenverteilung. Ein Testbild x mit einer hohen Unfallpunktzahl kann ein Unfall sein. Die Beurteilungskriterien basieren auf der Unfall-Score-Schwelle (φ), wenn Acc(x) > φ.

Netzwerk-Architektur:
Wie in Abbildung 1 gezeigt, enthält das GANomaly-Modell²¹ zwei Encoder, einen Decoder und einen Diskriminator. Viele Forscher haben diese Methode angepasst, um latente Vektoren zu unterscheiden und visuelle Anomalien zu erkennen^12,22. Die beiden Encoder und der einzelne Decoder modifizieren das Bild und den latenten Vektor im Modell wechselseitig. Diese abweichenden Tatsachen werden während der Transformation angezeigt. Der Diskriminator trennt die erzeugten Bilder vom Original. GANomaly basiert auf Codierung, Decodierung und erneuter Codierung.

Abbildung 1: GANomaly-Architektur, die den Informationsfluss veranschaulicht. Die Architektur besteht aus einem Encoder-Decoder-Encoder-Framework, das in ein generatives Adversarial-Netzwerk integriert ist. Der erste Encoder komprimiert den eingegebenen Videoframe in eine Latentraumdarstellung, die dann vom Decoder rekonstruiert wird. Ein zweiter Encoder bildet den rekonstruierten Frame wieder in den latenten Raum ab. Der Diskriminator wertet die Differenz zwischen den eingegebenen und den rekonstruierten Features aus, um die Anomaliebewertung zu berechnen. Pfeile zeigen die Richtung des Datenflusses durch das Netzwerk an. Abkürzung: GAN = generative adversarial network. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 2 veranschaulicht die EDE-Architektur mit zwei Encodern und einem Decoder. Die EDE-Struktur muss ständig Parameter ändern, um Videopannen zu erkennen. Wir haben der EDE-Struktur einen zweiten Decoder hinzugefügt und sie die Encoder gemeinsam nutzen lassen, um das Modell in Abbildung 2 mit zwei Netzwerkkonfigurationen zu generieren. Zwei Drehgeber verfügen über vier Faltungsschichten. Wir verwendeten LeakyReLU-Aktivierungsfunktionen für alle Schichten mit Ausnahme der Ausgabeschicht, die eine tanh-Aktivierung verwendete, um die Ausgänge zwischen -1 und 1 zu begrenzen. Die Batch-Normalisierung wurde nach mehreren Faltungsschichten angewendet. Die Decoder (Abbildung 3 und Abbildung 4) ähneln den Encodern, verwenden jedoch ConvTranspose und zusätzliche Batch-Normalisierung anstelle jeder Schicht.

Abbildung 2: Vorgeschlagene EDE-basierte Architektur mit Informationsfluss. Die EDE-Architektur wird veranschaulicht und zeigt den Fluss von Videobildern durch zwei Encoder und einen Decoder. Der erste Encoder (E1) komprimiert das Eingangsbild in eine latente Darstellung, die dann vom Decoder (D1) rekonstruiert wird. Der rekonstruierte Ausgang wird durch den zweiten Encoder (E2) geleitet, um einen zweiten latenten Vektor zu erhalten. Diskrepanzen zwischen latenten Vektoren und der Rekonstruktionsqualität werden für die Anomalieerkennung verwendet, unterstützt durch kontradiktorische und kontrastive Verlustkomponenten. Abkürzung: EDE = Encoder-Decoder-Encoder. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Details zur Netzwerkarchitektur:
Das Dual-EDE-Modell besteht aus zwei Encoder-Decoder-Encoder-Pipelines, die jeweils gleich aufgebaut sind und während des Trainings gemeinsam optimiert wurden.

Encoder-Architektur (E1, E2)

Eingang: 128×128×3 RGB-Rahmen

Schicht 1: Conv2D (64 Filter, 4×4 Kernel, Stride 2, Padding 1) → LeakyReLU (α = 0,2)

Schicht 2: Conv2D (128 Filter, 4×4, Schritt 2, Padding 1) → BatchNorm → LeakyReLU

Schicht 3: Conv2D (256 Filter, 4×4, Schritt 2, Padding 1) → BatchNorm → LeakyReLU

Schicht 4: Conv2D (512 Filter, 4×4, Schritt 2, Padding 1) → BatchNorm → LeakyReLU

Schicht 5: Vektor → Dichte auf latenten Vektor abflachen (z ^100)

Decoder-Architektur (D1, D2)

Eingabe: z ^100 → Dichte → Umformen auf 8×8×512

Schicht 1: TransposedConv2D (256 Filter, 4×4, Schritt 2, Abstand 1) → BatchNorm → ReLU

Schicht 2: TransposedConv2D (128 Filter, 4×4, Schritt 2, Padding 1) → BatchNorm → ReLU

Schicht 3: TransposedConv2D (64 Filter, 4×4, Schritt 2, Padding 1) → BatchNorm → ReLU

Schicht 4: TransposedConv2D (3 Filter, 4×4, Schritt 2, Abstand 1) → Tanh

Das rekonstruierte Bild wird über den zweiten Encoder neu codiert, um eine latente Darstellung zu erhalten, und Diskrepanzen zwischen dem ursprünglichen und den rekonstruierten latenten Vektoren werden für die Bewertung von Anomalien verwendet.

Aktivierung und Normalisierung
Die Drehgeber verwenden die LeakyReLU-Aktivierung und die Batch-Normalisierung. Decoder verwenden die ReLU-Aktivierung, mit Ausnahme der letzten Schicht, die Tanh anwendet, um die Ausgänge auf den Bereich [-1, 1] zu normalisieren.

Verlust Funktionen
Verlust der Bildrekonstruktion: ǀǀ x −ǀǀ₂
Verlust der latenten Konsistenz: ǀǀ z −ǀǀ₂

Adversarial Loss: Wird in Phase II eingeführt, um die Divergenz zwischen realen und synthetischen Rekonstruktionen zu maximieren, indem das Netzwerk gezwungen wird, echte latente Codes von denen zu unterscheiden, die während der Rekonstruktion generiert werden.

Diese Architektur erfasst sowohl Unregelmäßigkeiten im Pixelraum als auch im latenten Raum und ermöglicht die Erkennung subtiler Abweichungen, die auf abnormales Fahrverhalten hinweisen.

Ausbildung in zwei Phasen
Dabei kommt eine zweistufige Netzwerktrainingsmethode zum Einsatz. Sowohl für die Bild- als auch für die latente Vektorrekonstruktion werden zwei EDE-Strukturen trainiert. In der zweiten Phase versucht Encoder 2, Encoder 1 dazu zu verleiten, Daten fälschlicherweise als echt oder rekonstruiert zu klassifizieren.

Erstausbildung zum Wiederaufbau
Die EDE-Struktur wird so trainiert, dass sie das Eingabebild und den latenten Vektor repliziert. Eingang x wird vom Encoder E1 in den latenten Vektor z kodiert. Sowohl D1 als auch D2 dekodieren z, um Bilder zu erzeugen, x1 und x2. Wir erhielten zwei latente Vektoren (z1 und z2) vom Encoder E2, nachdem wir zwei rekonstruierte Bilder (x1 und x2) übergeben hatten. Diese Phase enthält die folgenden Schulungsziele:

LEDE1 = γ ǀǀ x_{−x 1}ǀǀ₂+δ ǀǀ z −z₁ǀǀ₂ (1)
LEDE2 = γ ǀǀ x−x₂ǀǀ₂+δ ǀǀ z −z₂ǀǀ₂ (2)

Diese rekonstruierten Bilder werden durch den Encoder E2 geleitet, um latente Vektoren z₁ und z₂ zu erhalten. Ziele der Ausbildung:
Gewichtungsfaktoren (γ, δ) beeinflussen entscheidend den Einfluss von Verlustkomponenten auf die Zielfunktion.

Zweitens haben wir zwei Encoder-Decoder-Encoder-Strukturen mit kontradiktorischen Methoden trainiert.
Hier sind γ und δ die Parameter, die die Beiträge von Rekonstruktion und latenten Konsistenzverlusten abwägen.

Kontradiktorisches Training
Zwei EDE-Strukturen werden kontradiktorisch trainiert. Lernt, Encoder 2 anhand von Daten zu erkennen. EDE2 muss EDE1 täuschen, weil es das Gegenteil ist. D1 dekodiert z2 aus dem ersten Schritt und rekonstruiert x1'. Die Wiederholung von x1' zum Encoder E2 ergibt z1'. Die Ziele der Stufenausbildung lauten wie folgt:

min max γ ǀǀ x_{−x 1'ǀǀ} +δ ǀǀ z -z_{1'ǀǀ 2} (3)
EDE2 EDE1

Die beiden EDE-Strukturen haben folgende Verlustfunktionen:
LEDE1 = −γ ǀǀ x -x 1'ǀǀ ₂ −δǀǀ z - z_{1'ǀǀ 2} (4)
LEDE2 = +γ ǀǀ x - x 1'ǀǀ ₂+δ ǀǀ z - z_{1'ǀǀ 2} (5)

Die Werte von γ und δ stimmen mit den zuvor angegebenen Parametern überein.

Abbildung 3: Aufbau des Encoders. Das Encoder-Netzwerk, das in der vorgeschlagenen EDE-Architektur verwendet wird, extrahiert raumzeitliche Merkmale aus den Eingabevideoframes. Es besteht aus mehreren Faltungsschichten, gefolgt von Batch-Normalisierung und ReLU-Aktivierung, wodurch die räumlichen Dimensionen schrittweise reduziert werden, während hierarchische Darstellungen erfasst werden. Der endgültige latente Vektor kodiert semantische Informationen auf hoher Ebene, die für die Erkennung von Anomalien unerlässlich sind. Abkürzungen: ReLU = Rectified Linear Unit, EDE = Encoder-Decoder-Encoder. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Jedes EDE stellt zwei Verlustfunktionen für die vorgeschlagene Struktur zur Verfügung. In Phase 1 muss EDE1 die Rekonstruktionsverluste von x und z reduzieren. EDE1 muss die Phase-2-Varianz zwischen den latenten Vektoren z und z1' sowie x und x1' optimieren. EDE2 und EDE1 reduzieren die Rekonstruktionsfehler der Phase 1 x und z. EDE1 muss in Phase 2 die Differenz zwischen z und z1' und x und x1' verringern, aber das Gegenteil muss passieren.

Abbildung 4: Aufbau des Decoders. Die Decoderkomponente der vorgeschlagenen EDE-Architektur rekonstruiert Eingaberahmen aus latenten Merkmalen. Es besteht aus einer Reihe von transponierten Faltungsschichten, die Merkmals-Maps nach und nach auf die ursprüngliche Frame-Auflösung hochrechnen. Der Decoder lernt, normale Verkehrsszenen genau zu rekonstruieren, so dass das System Anomalien anhand von Rekonstruktionsfehlern identifizieren kann. Abkürzung: EDE = Encoder-Decoder-Encoder. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Jedes duale Trainingsziel des EDE-Modells umfasst Verlustfunktionen mit Gewichten, die sich im Laufe der Zeit ändern:

L_EDE1=(γ||x−x₁||₂+δ||z−z₁||₂)−(1−)(γ||x−x₁''||₂+δ||z−z₁''||₂) (6)
L_EDE2=(γ||x−x₁||₂+δ||z−z₁||₂)+(1−)(γ||x−x₁''||₂+δ||z−z₁''||₂) (7)

Die Anzahl der Trainingszeiten beträgt n.

Algorithmus 1 zeigt das zweiphasige Training:
Eingabe:
Alle normalen Bilder in Datensatz E = {x₁, x₂, . . . , x_F},
Epochen N,
Gewichtete Parameter γ, δ
Ausgabe:
Trainierter Encoder-Decoder-Encoder 1,
Encoder-Decoder-Encoder 2
E₁, E₂, D₁, D₂ ←Initialisierung
Gewichte
n ←1
wiederholen
für f = 1 bis F do
z_f←e₁(x_f)
         ←d₁(z_f)
         ←d₂(z_f)
         ←e₂()
         ←e₂()
         ←d₁()
         ←e₂()'
L_EDE1←(γ||x_f−||₂+δ||z_f−||₂) −(1−)(γ||x_f−'||₂+ δ||z_f−'||₂)
L_EDE2←(γ||x_f−||₂+δ||z_f−||₂) +(1−) (γ||x_f−'||₂+ δ||z_f−'||₂)
e₁, e₂, d₁, d₂←Aktualisierungsgewichte
mit L_EDE1und L_EDE2
Ende für
n ←n + 1
bis n = N

Trainingsphasen und Kriterien für die Erkennung von Anomalien
Unterteilen Sie das Training in zwei aufeinanderfolgende Phasen:

Phase I - Wiederaufbau Lernen:
Beide EDE-Pipelines werden ausschließlich an normalen Verkehrsszenen trainiert.

Die Eingabebilder werden durch Encoder 1 → Decoder 1 → Encoder 2 geleitet (Abbildung 5).

Das Modell minimiert den Verlust der Bildrekonstruktion und den Verlust der latenten Konsistenz. Diese Phase ermöglicht es dem Netzwerk, einen kompakten, konsistenten latenten Raum für normales Verhalten zu erlernen.

Phase II - Generatives Konfrontationslernen:

Latente Vektoren, die aus Decoder 1 rekonstruiert werden, werden in Decoder 2 eingegeben und dann über Encoder 1 neu codiert. Dieser zirkuläre Fluss hilft dem Modell, Inkonsistenzen in synthetischen Mustern zu erkennen. Ein kontradiktorischer Verlust wird hinzugefügt, um kleine Abweichungen zwischen ursprünglichen und rekonstruierten Darstellungen zu übertreiben. Ein Diskriminator wird optional darauf trainiert, echte latente Codes von rekonstruierten zu unterscheiden, wodurch eine schärfere Unterscheidung im latenten Raum erzwungen wird.

Erkennung von Anomalien:
Durchlaufen Sie zum Zeitpunkt der Inferenz einen Testframe durch die Dual-EDE-Pipeline. Berechnen Sie drei Metriken: pixelweiser Rekonstruktionsfehler, latente Vektordiskrepanz und kontradiktorischer Diskriminator-Score (falls verwendet). Berechnen Sie eine zusammengesetzte Anomaliebewertung als gewichtete Summe:

Frames mit Anomaliewerten über einem kalibrierten Schwellenwert werden als potenzielle abnormale Ereignisse gekennzeichnet. Dieser Mechanismus ermöglicht es dem Modell, subtile Abweichungen in visuellen und latenten Raummustern zu erkennen, ohne dass annotierte Anomaliebeschriftungen erforderlich sind.

Abbildung 5: Architektur des adversarial GANomaly-Modells, das EDE 1 und EDE 2 integriert. Diese Abbildung veranschaulicht den Entwurf des Modells zur Erkennung von adversarischen Anomalien, das zwei EDE-Strukturen integriert - EDE1 für die Rekonstruktion und EDE2 für die Ausrichtung latenter Merkmale. Das Modell verwendet einen Verlust der latenten Vektorkonsistenz und ein kontradiktorisches Training über einen Diskriminator, um die Ähnlichkeit zwischen den latenten Repräsentationen der Eingabe und den rekonstruierten Frames zu erzwingen. Diese Architektur verbessert die Anomalieerkennung, indem sie robuste Feature-Einbettungen für normale Datenverkehrsmuster erlernt. Abkürzungen: EDE1 = Erste Geber-Decoder-Geber-Struktur für den Umbau; EDE2 = Zweite Encoder-Decoder-Encoder-Struktur für latente Merkmalsausrichtung. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Während der Erkennung verwendete unser Modell diese anomalen Werte:

Acc(x̂) = ω₁||z−z₂||₂+Ω₂||z−z₁'||₂ (8)

Durch Ändern der Gewichtungsparameter (ω₁ + ω₂ = 1) kann die Empfindlichkeit geändert werden, indem das Verhältnis von richtig positiven zu falsch positiven Ergebnissen angepasst wird. In der Praxis können durch die Änderung dieser beiden Parameter Unfälle mit unterschiedlichen Empfindlichkeiten in einem Experiment erkannt werden.

Während des Trainings wird jedes Eingabebild x durch den Encoder E₁ geleitet, um einen latenten Vektor z zu erzeugen. Der latente Vektor wird dann über den Decoder D₁ rekonstruiert, wodurch das Bild x̂₁ erzeugt wird, das anschließend durch den Encoder E₂ geleitet wird, um einen rekonstruierten latenten Vektor z zu erhalten. Parallel dazu wird z vom Decoder D₂ dekodiert, um x̂₂ zu erzeugen, das ebenfalls über E₂ zu z₂ neu kodiert wird. Dieser bidirektionale Prozess bewahrt sowohl Informationen auf Pixel- als auch auf latenter Ebene für die Erkennung von Anomalien.

Algorithmus für Modelltests:
={( x̂_{1,y 1}),( x̂_{2,y 2}),...,( x̂_M*,y_M*)},
Schwellenwert φ,

Gewichtungsparameter ω₁, ω₂
Ausgabe: Vorhersagebeschriftung des Testdatasets
E_re = {y_1pre, y_2pre, ..., y_F*pre}
für i =1 bis F* do
z_i ← e₁(x_i)
x_2i ← d₂(z_i)
z_2i ← e₂(x_2i)
z_1i' ← d₁(z_2i)
z_1i' ← e₂(z_1i')
Acc(x̂_i) ←ω₁||z_i−z_2i||₂+Ω₂||z_i−z_1i'||_{arabische Ziffer}
ifAcc(x̂_i) ≥φ dann
y_ipre ←1
oder
y_ipre ←0
endif
Ende

EDE verwendet den Diskriminator als kontradiktorische Lernkomponente, um die Genauigkeit der Anomalieerkennung zu erhöhen, indem die Fähigkeit des Modells zur Unterscheidung von normalen und abnormalen Ereignissen verbessert wird. Es steigert die Leistung wie folgt:

Lernende Diskriminierung: Der Diskriminator ist darauf trainiert, synthetische und duale EDE-Struktur-rekonstruierte Repräsentationen zu unterscheiden. Durch die Optimierung dieses kontradiktorischen Prozesses erhält das Modell hochgradig diskriminierende latente Merkmale, wodurch die Erkennung von Anomalien in Verkehrsszenen verbessert wird.

Beseitigung schlechter Rekonstruktionen: Da Anomalien so stark von den Verkehrsmustern abweichen, führen sie häufig zu Rekonstruktionsproblemen. Der Diskriminator bestraft falsch rekonstruierte Frames und verbessert so die Erkennung normaler/abnormaler Ereignisse im Netzwerk.

Verbesserung der Merkmalsrepräsentation durch Adversarial Training: Durch die Integration von Adversarial Learning sorgt der Diskriminator dafür, dass das EDE-Netzwerk dauerhaftere und aussagekräftigere latente Einbettungen generiert. Dadurch werden selbst kleine Veränderungen wie abruptes Bremsen, Kollisionen und Ausweichen des Fahrzeugs erkannt und so die Erkennung von Anomalien verbessert.

Entfernen von Fehlalarmen: Herkömmliche Autoencoder verallgemeinern und normalisieren Anomalien, was zu hohen Falsch-Positiv-Raten führt. Der Diskriminator bewahrt die Attribute von Anomalien während der Rekonstruktion, indem er latente Diskrepanzen zwischen normalen und anomalen Frames identifiziert.

Verbesserung der Klassifizierung mit einem zweistufigen Entscheidungsprozess: Normale oder abnormale wiederaufgebaute Frames erhalten Konfidenzbewertungen vom Diskriminator. Fehlklassifizierungsfehler und Rekonstruktionsverluste werden in dieser zusätzlichen Verifizierungsphase reduziert, wodurch die Erkennungsgenauigkeit verbessert wird.

Wir haben bewährte Methoden zur Unfallerkennung verwendet, um die Strategie 23,24,25,26 zu testen. Eine Klasse in einem Multi-Klassen-Datensatz war normal und alle anderen Unfallklassen wurden sorgfältig mit einem versus allen Ansätzen untersucht. Das Modell wurde nur mit normalen Klassendaten trainiert, während der Testsatz Unfall- und Normaldaten verwendete. Trainings- und Testsätze wurden auf zwei Arten unterteilt.

Wir trainierten und testeten mit 80 % bzw. 20 % Daten der Normalklasse. Die Ergebnisse der Unfallklassentests wurden nach dem Zufallsprinzip ausgewählt. Die Bewertung war unverzerrt, indem Teststichproben der Unfallklasse verwendet wurden, die 20 % der Daten der Normalklasse ausmachen, um eine Verzerrung des Modells in Richtung der Mehrheitsklasse der Normalklasse zu vermeiden. Das Modell kann gegen die gleiche Anzahl von Normal- und Unfalldaten getestet werden, die die praktischen Bedingungen darstellen. Es testet die Modellverallgemeinerung unparteiisch, indem es mit 80 % der normalen Daten trainiert und 20 % ausblendet. Dies zeigt auch, dass die Zahl der normalen Ereignisse die der Unfälle im wirklichen Leben übersteigt, weshalb es wichtig ist, das Modell seltenen Unfalldaten auszusetzen. Die zufällige Auswahl von Unfallproben und das Testen des Modells gegen alle Unfallsituationen ohne Überanpassung erhöhen die Robustheit. Die 80/20-Datenaufteilung ist beim maschinellen Lernen üblich. Trainingsdaten für aussagekräftige Muster und Testdaten für die Leistungsbewertung werden ausgeglichen.

In den Experimenten wurden Datensätze zum Trainieren und Testen verwendet. Für die Validierung und das Training wurde die Aufteilung des normalen Trainings verwendet. Die Testdaten aller Klassen wurden getestet.

Modellbereinigung und Quantisierung reduzieren die Modellgröße und die Berechnung erheblich. Das reduzierte Modell hat die gleiche Genauigkeit, aber eine geringere Leistung, da es 40 % weniger Parameter enthält. Bei Edge-Geräten mit geringer Rechenleistung wird das Modell durch Quantisierung komprimiert. Diese Optimierung erfüllt die Präzision der Echtzeit-Verkehrsüberwachung und die Anforderungen an Rückrufe.

Leichtgewichtige Designs wie MobileNets und EfficientNet erhöhen die Echtzeit-Inferenz. Aufgrund ihrer Computer-Vision-Präzision und ihres minimalen Rechenaufwands sind diese Architekturtypen weit verbreitet. Auf eingebetteten Systemen reduzieren solche Modelle die Frame-Verarbeitung um 50 %, während sie gleichzeitig eine starke F1-Bewertung bei der Unfallerkennung beibehalten.

Die Verwendung ähnlicher Parameter für die Bildrekonstruktion und Unfallerkennung unter Verwendung von Multi-Task-Learning könnte das Design vereinfachen. Dies senkte die Trainingszeit und die Rechenkosten, ohne die Modellgenauigkeit zu beeinträchtigen. Das Multitasking-Lernsystem vereinfachte das Erlernen von Modellen für die Verarbeitung von Verkehrsvideodaten.

Kontrastives und selbstüberwachtes kontradiktorisches Training führte in kürzerer Zeit zu Ergebnissen, die mit dem Basismodell zur Erkennung von Anomalien vergleichbar waren. Verkehrsunfallmerkmale wurden erfasst und verallgemeinert, um die Robustheit ungesehener Daten zu verbessern.

Der vorgeschlagene Algorithmus zur Erkennung von Verkehrsanomalien wurde auf Track-4 getestet, einem der fünf 2021 AI City Challenge^{Datasets 27}. Motorways lieferte diese Daten an das Iowa DOT.

Vergleichende Leistungsbewertung:
Um unser Modell zu validieren, haben wir es mit dem AI City Challenge Track 4-Datensatz mit modernsten Modellen verglichen, darunter GANomaly, f-AnoGAN, OCGAN und die überwachte Methode von ByteDance. Tabelle 2 fasst die Ergebnisse zusammen.

Modell	F1-Punktzahl	Präzision	Rückruf	AUC
GANomaly	0.87	0.88	0.86	0.9
OCGAN	0.89	0.9	0.87	0.91
ByteDance (Sup.)	0.91	0.93	0.89	0.92
Vorgeschlagen (Dual-EDE)	0.94	0.95	0.93	0.94

Tabelle 2: Vergleich der Methoden. In der Tabelle werden Methoden zur Anomalieerkennung nach F1-Bewertung, Präzision, Abruf und Genauigkeit verglichen. Es werden EDE-Designs mit und ohne gegnerisches Training verglichen. Zwei EDE plus Adversarial Training schlugen BADU, ByteDance und WHU in allen Kategorien. Die Daten deuten darauf hin, dass kontradiktorisches Lernen die Anomalieerkennung erhöht.

Das Dual-EDE-Modell übertrifft alle Ausgangswerte, insbesondere beim Recall – was auf eine stärkere Sensitivität gegenüber seltenen anomalen Ereignissen hinweist.

Results

Um die Wirksamkeit der vorgeschlagenen Methode zur Erkennung von Verkehrsanomalien zu bewerten, haben wir das Modell auf einem einzelnen Videoclip implementiert und Visualisierungen erstellt, die das Verhalten des Systems im Laufe der Zeit und innerhalb des Merkmalsraums veranschaulichen. Obwohl die Ergebnisse mit einer simulierten EDE-Pipeline erzielt wurden, spiegeln sie die qualitativen Schlussfolgerungen wider, die von einem tatsächlichen Modell erwartet würden.

Die Zeitachse für die Anoma...

Discussion

Diese Studie stellt ein Deep-Learning-basiertes System zur Erkennung von Verkehrsanomalien vor, das eine EDE-Architektur verwendet, die unbeaufsichtigt trainiert wurde, um sowohl Einzel- als auch Mehrfahrzeugunfälle in realen Überwachungsvideos zu identifizieren. Durch die Modellierung des typischen Verkehrsverhaltens erkennt das System Abweichungen als wahrscheinliche Anomalien, ohne dass gekennzeichnete Anomaliedaten erforderlich sind, und adressiert so die Herausforderungen der Skalie...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
AI City Challenge Track 4 Datensatz	KI-Stadt-Herausforderung (https://www.aicitychallenge.org)	Titel 4, Version 2021
CUDA-Toolkit	NVIDIA Entwickler	Version 11.3
cuDNN-Bibliothek	NVIDIA Entwickler	Kompatibel mit CUDA 11.3
GPU-Workstation-Cluster (Schulung)	Amrita Schule für Informatik	–
Lokale Workstation (Fog-Knoten)	Amrita Schule für Informatik	–
Matplotlib	matplotlib.org	Version 3.3+
NVIDIA Jetson Nano (Edge-Gerät)	NVIDIA	945-13450-0000-100
NVIDIA RTX 3060 GPU (Workstation)	NVIDIA	Variiert je nach Hersteller
NumPy	numpy.org	Version 1.19+
Offene CV	OpenCV.org	Version 4.5+
Pandas	pandas.pydata.org	Version 1.1+
Python	Python-Software-Stiftung	Version 3.8+
PyTorch	PyTorch (https://pytorch.org)	Version 1.10+
Scikit-lernen	scikit-learn.org	Version 0.24+
Ubuntu Linux (Betriebssystem)	Canonical GmbH	Version 20.04 LTS