Podwójny koder-dekoder-koder z przeciwstawnym szkoleniem w zakresie wykrywania nienadzorowanych wypadków drogowych w nagraniach z monitoringu

Summary

W niniejszej pracy zaproponowano model EDE (dual encoder-decoder-encoder) do automatycznego wykrywania wypadków drogowych. Korzystając z dwufazowej metody treningu, uczy się normalnych wzorców jazdy i identyfikuje anomalie poprzez generatywną konfrontację. Model skutecznie wykrywa wypadki w rzeczywistych materiałach filmowych i oferuje wgląd w zachowania kierowców poprzez wychwytywanie subtelnych odchyleń.

Abstract

Aby zwiększyć bezpieczeństwo na drogach i usprawnić reagowanie w sytuacjach awaryjnych, zdarzenia drogowe powinny być wykrywane na rzeczywistych nagraniach z monitoringu tak szybko, jak to możliwe. Istniejące systemy w dużej mierze opierają się na ręcznym monitorowaniu, które jest czasochłonne i podatne na błędy. Zautomatyzowane wykrywanie wypadków pozostaje wyzwaniem ze względu na znaczną nierównowagę klasową: normalne sytuacje na drodze są nadreprezentowane, podczas gdy wypadki są rzadkie i zróżnicowane. W takich przypadkach tradycyjne komputerowe systemy wizyjne często nie są w stanie niezawodnie odróżnić zdarzeń normalnych od nietypowych. Niniejsze badanie rozwiązuje ten problem, opracowując architekturę głębokiego uczenia opartą na strukturze podwójnego kodera-dekodera-kodera (EDE). Model używa dwóch współużytkowanych potoków kodera-dekodera do mapowania rozkładów obrazu na określone rozkłady utajone w obu kierunkach. Struktura ta umożliwia systemowi modelowanie typowych wzorców zachowań ruchu drogowego i zwiększenie wrażliwości na zmiany, które mogą wskazywać na niebezpieczne lub nietypowe zdarzenia. Zaproponowano dwufazową technikę trenowania w celu dalszej poprawy wykrywania anomalii. W pierwszej fazie model uczy się rekonstruować obrazy normalnej jazdy, wykorzystując straty rekonstrukcyjne do scharakteryzowania normalnego zachowania. W drugiej fazie wprowadzany jest generatywny mechanizm przeciwstawny: zrekonstruowane wektory utajone z jednego EDE są przekazywane do drugiego, generując syntetyczne obrazy i utajone przestrzenie. Proces ten wzmacnia różnice między rzeczywistymi i syntetycznymi wynikami, dzięki czemu system lepiej reaguje na subtelne oznaki potencjalnych anomalii. Architektura dual-EDE i metodologia szkolenia przeciwstawnego stanowią znaczny postęp w stosunku do obecnych metod, modelując zarówno normalne, jak i patologiczne zachowanie. Wyniki eksperymentów na rzeczywistych zestawach danych z nadzoru ruchu drogowego pokazują, że proponowana metoda znacznie poprawia wykrywanie wypadków i niebezpiecznych zachowań podczas jazdy, zarówno pod względem dokładności, jak i solidności.

Introduction

Według Światowej Organizacji Zdrowia (2023) urazy odniesione w wypadkach drogowych są główną przyczyną zgonów wśród dzieci i młodych dorosłych w wieku 5-29 lat, przy czym każdego roku na całym świecie odnotowuje się około 1,3 miliona ofiar śmiertelnych. Ta alarmująca statystyka podkreśla pilną potrzebę zautomatyzowanych systemów zdolnych do monitorowania ruchu drogowego¹, wykrywania anomalii w czasie rzeczywistym i zmniejszania opóźnień w reagowaniu na sytuacje kryzysowe. Integracja sztucznej inteligencji (AI) i Internetu rzeczy (IoT) z infrastrukturą inteligentnego miasta umożliwiła rozwój inteligentnych systemów transportowych. Podczas gdy si....

Protocol

System

Instalacji
Wdrożyliśmy proponowany system wykrywania anomalii w ruchu w hierarchicznej i rozproszonej strukturze obliczeniowej, wykorzystując środowisko Intel Tiber Cloud. Ta architektura składa się z trzech warstw — brzegowej, mgły i chmury — w celu zapewnienia wnioskowania o małych opóźnieniach, skalowalnego trenowania i wydajnej alokacji zasobów między węzłami obliczeniowymi.

Poziom brzegowy: Wykrywanie anomalii w czasie rzeczywistym odbywa się na brzegu sieci przy użyciu lekkich urządzeń wbudowanych z obsługą procesorów graficznych (np. NVIDIA Jetson Nano lub równoważnych p....

Results

Aby ocenić skuteczność proponowanej metody wykrywania anomalii w ruchu, zaimplementowaliśmy model na pojedynczym klipie wideo i wygenerowaliśmy wizualizacje ilustrujące zachowanie systemu w czasie i w przestrzeni funkcji. Chociaż wyniki uzyskano przy użyciu symulowanego potoku EDE, ściśle odzwierciedlają wnioski jakościowe, których można oczekiwać od rzeczywistego modelu.

Oś czasu oceny anomalii przedstawia pewność modelu klatka po klatce w identyfikowaniu nietypowych zdarzeń (

Discussion

W niniejszym badaniu przedstawiono oparty na głębokim uczeniu się system wykrywania anomalii drogowych wykorzystujący architekturę EDE, przeszkolony w sposób nienadzorowany w celu identyfikacji wypadków z udziałem zarówno jednego, jak i wielu pojazdów na rzeczywistych nagraniach z monitoringu. Modelując typowe zachowanie ruchu, system wykrywa odchylenia jako prawdopodobne anomalie bez konieczności etykietowania danych anomalii, rozwiązując w ten sposób problemy związane ze skalowalnością i rzadkością danych w inteligentn.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Zestaw danych AI City Challenge Track 4	Wyzwanie miasta SI (https://www.aicitychallenge.org)	Utwór 4, wydanie z 2021 r.
Zestaw narzędzi CUDA	Programista NVIDIA	Wersja 11.3
Biblioteka cuDNN	Programista NVIDIA	Kompatybilny z CUDA 11.3
Klaster stacji roboczych z procesorem GPU (szkolenie)	Szkoła Informatyki Amrita	—
Lokalna stacja robocza (węzeł mgły)	Szkoła Informatyki Amrita	—
biblioteka matplotlib	matplotlib.org	Wersja 3.3+
NVIDIA Jetson Nano (urządzenie brzegowe)	Technologia NVIDIA	945-13450-0000-100
Karta graficzna NVIDIA RTX 3060 (stacja robocza)	Technologia NVIDIA	Różni się w zależności od producenta
NumPy	numpy.org	Wersja 1.19+
Otwórz CV	OpenCV.org	Wersja 4.5+
Pandy	pandas.pydata.org	Wersja 1.1+
Pyton	Fundacja oprogramowania Python	Wersja 3.8+
Pochodnia PyTorch	Pochodnia PyTorch (https://pytorch.org)	Wersja 1.10+
Scikit-naucz się	scikit-learn.org	Wersja 0.24+
Ubuntu Linux (system operacyjny)	Canonical Sp. z o.o.	Wersja 20.04 LTS