Podwójny koder-dekoder-koder z przeciwstawnym szkoleniem w zakresie wykrywania nienadzorowanych wypadków drogowych w nagraniach z monitoringu

Summary

W niniejszej pracy zaproponowano model EDE (dual encoder-decoder-encoder) do automatycznego wykrywania wypadków drogowych. Korzystając z dwufazowej metody treningu, uczy się normalnych wzorców jazdy i identyfikuje anomalie poprzez generatywną konfrontację. Model skutecznie wykrywa wypadki w rzeczywistych materiałach filmowych i oferuje wgląd w zachowania kierowców poprzez wychwytywanie subtelnych odchyleń.

Abstract

Aby zwiększyć bezpieczeństwo na drogach i usprawnić reagowanie w sytuacjach awaryjnych, zdarzenia drogowe powinny być wykrywane na rzeczywistych nagraniach z monitoringu tak szybko, jak to możliwe. Istniejące systemy w dużej mierze opierają się na ręcznym monitorowaniu, które jest czasochłonne i podatne na błędy. Zautomatyzowane wykrywanie wypadków pozostaje wyzwaniem ze względu na znaczną nierównowagę klasową: normalne sytuacje na drodze są nadreprezentowane, podczas gdy wypadki są rzadkie i zróżnicowane. W takich przypadkach tradycyjne komputerowe systemy wizyjne często nie są w stanie niezawodnie odróżnić zdarzeń normalnych od nietypowych. Niniejsze badanie rozwiązuje ten problem, opracowując architekturę głębokiego uczenia opartą na strukturze podwójnego kodera-dekodera-kodera (EDE). Model używa dwóch współużytkowanych potoków kodera-dekodera do mapowania rozkładów obrazu na określone rozkłady utajone w obu kierunkach. Struktura ta umożliwia systemowi modelowanie typowych wzorców zachowań ruchu drogowego i zwiększenie wrażliwości na zmiany, które mogą wskazywać na niebezpieczne lub nietypowe zdarzenia. Zaproponowano dwufazową technikę trenowania w celu dalszej poprawy wykrywania anomalii. W pierwszej fazie model uczy się rekonstruować obrazy normalnej jazdy, wykorzystując straty rekonstrukcyjne do scharakteryzowania normalnego zachowania. W drugiej fazie wprowadzany jest generatywny mechanizm przeciwstawny: zrekonstruowane wektory utajone z jednego EDE są przekazywane do drugiego, generując syntetyczne obrazy i utajone przestrzenie. Proces ten wzmacnia różnice między rzeczywistymi i syntetycznymi wynikami, dzięki czemu system lepiej reaguje na subtelne oznaki potencjalnych anomalii. Architektura dual-EDE i metodologia szkolenia przeciwstawnego stanowią znaczny postęp w stosunku do obecnych metod, modelując zarówno normalne, jak i patologiczne zachowanie. Wyniki eksperymentów na rzeczywistych zestawach danych z nadzoru ruchu drogowego pokazują, że proponowana metoda znacznie poprawia wykrywanie wypadków i niebezpiecznych zachowań podczas jazdy, zarówno pod względem dokładności, jak i solidności.

Introduction

Według Światowej Organizacji Zdrowia (2023) urazy odniesione w wypadkach drogowych są główną przyczyną zgonów wśród dzieci i młodych dorosłych w wieku 5-29 lat, przy czym każdego roku na całym świecie odnotowuje się około 1,3 miliona ofiar śmiertelnych. Ta alarmująca statystyka podkreśla pilną potrzebę zautomatyzowanych systemów zdolnych do monitorowania ruchu drogowego¹, wykrywania anomalii w czasie rzeczywistym i zmniejszania opóźnień w reagowaniu na sytuacje kryzysowe. Integracja sztucznej inteligencji (AI) i Internetu rzeczy (IoT) z infrastrukturą inteligentnego miasta umożliwiła rozwój inteligentnych systemów transportowych. Podczas gdy sieci telewizji przemysłowej (CCTV)^2,3 zapewniają ciągły nadzór nad ruchem miejskim, monitorowanie ręczne jest niepraktyczne i podatne na błędy. Dlatego niezbędne są skalowalne, zautomatyzowane rozwiązania do wykrywania zdarzeń drogowych.

Tradycyjne metody widzenia komputerowego do analizy ruchu – takie jak wykrywanie pojazdów, śledzenie i klasyfikacja zachowań – często wykorzystują konwolucyjne sieci neuronowe (CNN) trenowane za pomocą uczenia nadzorowanego ^4,5. Systemy te wymagają obszernych zestawów danych z adnotacjami i często nie uogólniają się na rzadkie i zróżnicowane scenariusze, które charakteryzują rzeczywiste wypadki. W związku z tym badacze zwrócili się ku nienadzorowanym metodom wykrywania anomalii, które nie zależą od oznaczonych danych anomalii. Wśród nich autoenkodery (AE) i generatywne sieci przeciwstawne (GAN) okazały się obiecujące w modelowaniu wzorców normalnych i identyfikowaniu odchyleń ^6,7,8.

Jednak standardowe zdarzenia niepożądane mają tendencję do zbyt wiernego odtwarzania danych wejściowych – nawet jeśli te dane wejściowe są nietypowe – co prowadzi do wysokiego odsetka wyników fałszywie ujemnych ^9,10. Autoenkodery wariacyjne (VAE)¹¹ i modele oparte na GAN, takie jak f-AnoGAN¹², GANomaly¹³ i OCGAN¹⁴, rozwiązują niektóre z tych problemów, włączając modelowanie przestrzeni utajonej i uczenie się przeciwstawne. Niemniej jednak modele te często opierają się na jednokierunkowych mapowaniach od obrazu do przestrzeni utajonej¹⁵, co ogranicza ich zdolność do wykrywania subtelnych lub złożonych niespójności w rzeczywistych anomaliach ruchu.

Nadzorowane systemy, takie jak te opracowane na potrzeby AI City Challenge przez ByteDance¹⁶, WHU¹⁷ i USF¹⁸, osiągają wysoką dokładność dzięki śledzeniu czasoprzestrzennemu¹⁹i projektom zorientowanym na obiekty. Wymagają one jednak oznaczonych danych o wypadkach i złożonych potoków śledzenia, co zmniejsza skalowalność i możliwość zastosowania w czasie rzeczywistym.

Model	Typ	Kluczowe cechy	Ograniczenia	Wydajność (opisana)
GANomal (Język angielski)	Bez nadzoru	Koder-Dekod-Koder; Szkolenie przeciwstawne	Ma tendencję do zbyt dobrej rekonstrukcji nawet nietypowych danych wejściowych, co prowadzi do wyników fałszywie ujemnych	Dobra ogólnie, z wysoką precyzją i zrównoważonym przywołaniem
OCGAN (Okgan)	Bez nadzoru	Jednoklasowa sieć GAN z ograniczoną przestrzenią ukrytą	Zmaga się z wykrywaniem subtelnych lub złożonych anomalii	Nieco lepszy niż GANomaly, z poprawioną równowagą między metrykami
f-AnoGAN	Bez nadzoru	Szybkie wykrywanie anomalii za pomocą sieci GAN i dopasowywania funkcji	Ograniczona zdolność do wychwytywania złożonych anomalii w przestrzeni utajonej	Umiarkowana wydajność (konkretne wyniki nie są dostępne)
Taniec Bajtów	Nadzorowanych	Śledzenie czasoprzestrzenne z lokalizacją anomalii na poziomie obiektu	Wymaga oznaczonych danych treningowych; Ograniczona skalowalność w warunkach rzeczywistych	Bardzo wysoka dokładność i precyzja; nieco niższa czułość
BADU (Urząd Nauk T	Nadzorowanych	Wykorzystuje modelowanie w tle i śledzenie pojazdów	Mniej skuteczny w różnych scenach; Pomija subtelne anomalie	Solidna dokładność; Dobra równowaga, ale niższa niż najlepsze metody
O co chodzi	Nadzorowanych	Śledzenie trajektorii w dwóch modalnościach	Słabe uogólnienie i niskie przywołanie anomalii	Ogólna słaba wydajność, zwłaszcza w wykrywaniu anomalii
Amerykański okręt amerykański (USF	Nadzorowanych	Łączy modelowanie tła z analizą podobieństwa strukturalnego	Słaba w dokładnym identyfikowaniu anomalii	Bardzo niska dokładność i czułość
Proponowany (Dual-EDE)	Bez nadzoru	Podwójny koder-dekoder-koder; Dwukierunkowe mapowanie utajone z utratą przeciwstawną i kontrastową	Wysokie obciążenie obliczeniowe; ograniczone do wejścia RGB	Doskonała wydajność; Najwyższa precyzja, wysoka kompletność i silna równowaga między metrykami

Tabela 1: Podsumowanie powiązanych prac w zakresie wykrywania anomalii ruchu na podstawie wideo.

W tabeli 1 zestawiono podstawowe metody wykrywania anomalii stosowane w nadzorze ruchu drogowego, podkreślając ich architekturę, zalety, wady i wydajność. Konwencjonalne modele oparte na GAN, takie jak GANomaly i OCGAN, mogą skutecznie wykrywać bez nadzoru, ale zmagają się z subtelnymi nieprawidłowościami. Metody nadzorowane, choć bardzo dokładne, w dużym stopniu zależą od oznaczonych danych i zaawansowanego śledzenia. Proponowany model Dual-EDE integruje dwukierunkowe kodowanie przestrzeni utajonej ze szkoleniem przeciwstawnym i kontrastywnym, umożliwiając wykrywanie rzadkich i subtelnych anomalii w ruchu bez oznaczonych danych, oferując zarówno skalowalność, jak i niezawodność.

Luka badawcza i hipoteza
Chociaż modele nienadzorowane łagodzą potrzebę oznaczania anomalii, nadal mają problemy z dokładnym wykrywaniem rzadkich, subtelnych i wpływowych zdarzeń drogowych. Obecne metody są ograniczone przez asymetrię architektoniczną i niemożność pełnego wykorzystania niespójności w przestrzeni utajonej. Wiele z nich nie potrafi również solidnie odróżnić złożonego normalnego zachowania od rzeczywistych anomalii w wysoce dynamicznych środowiskach ruchu.

Stawiamy hipotezę, że architektura EDE (dual encoder-decoder-encoder) wytrenowana wyłącznie na normalnych danych o ruchu, w połączeniu z dwufazową strategią trenowania, może przewyższyć najnowocześniejsze modele w wykrywaniu różnorodnych i subtelnych anomalii w ruchu. Wymuszając dwukierunkową spójność utajoną i integrując rekonstrukcję przeciwstawną, system staje się bardziej wrażliwy na drobne odchylenia od oczekiwanego zachowania – takie jak nagłe hamowanie, nieregularne skręcanie lub kolizje – bez konieczności posiadania adnotacji dotyczących wypadków.

Proponowana metoda
Proponujemy nowatorską platformę wykrywania anomalii bez nadzoru, zbudowaną w oparciu o architekturę podwójnego EDE. W przeciwieństwie do tradycyjnych modeli, które wykorzystują pojedynczy potok kodująco-dekodujący, nasz system wykorzystuje dwie ścieżki EDE, które wykonują dwukierunkowe mapowanie między obrazami a utajonymi reprezentacjami. Taka konstrukcja umożliwia modelowi poznanie bogatych funkcji normalnej dynamiki ruchu i wzmocnienie rozbieżności w przypadku wystąpienia anomalii. Proces szkolenia składa się z dwóch etapów:

Faza pierwsza wykorzystuje straty rekonstrukcyjne do modelowania normalnego zachowania, podobnie jak w przypadku standardowego szkolenia autoenkodera.

Faza druga wprowadza generatywny mechanizm przeciwstawny, w którym utajone wektory z jednego EDE są przekazywane do drugiego w celu wygenerowania danych syntetycznych, zmuszając system do maksymalizacji rozróżnienia między rzeczywistymi i fałszywymi reprezentacjami zarówno w domenie obrazu, jak i w ukrytych.

Kluczowe wkłady
Wprowadzamy architekturę podwójnego EDE, która wychwytuje ukryte niespójności za pomocą dwukierunkowego mapowania w celu lepszego wykrywania anomalii. Opracowujemy dwufazową procedurę treningową, która łączy rekonstrukcję autoenkodera z uczeniem się przeciwstawnym w celu zwiększenia wrażliwości na subtelne odchylenia. Poprzez eksperymenty na zbiorze danych AI City Challenge (ścieżka 4) wykazaliśmy, że model przewyższa kilka najnowocześniejszych nadzorowanych i nienadzorowanych linii bazowych, osiągając solidne i skalowalne wykrywanie wypadków w rzeczywistych środowiskach miejskich. Podsumowując, prace te oferują skalowalne, dokładne i bezetykietowe podejście do wykrywania anomalii w ruchu, przyczyniając się do bezpieczniejszych i bardziej responsywnych inteligentnych systemów transportowych.

Protocol

System

Instalacji
Wdrożyliśmy proponowany system wykrywania anomalii w ruchu w hierarchicznej i rozproszonej strukturze obliczeniowej, wykorzystując środowisko Intel Tiber Cloud. Ta architektura składa się z trzech warstw — brzegowej, mgły i chmury — w celu zapewnienia wnioskowania o małych opóźnieniach, skalowalnego trenowania i wydajnej alokacji zasobów między węzłami obliczeniowymi.

Poziom brzegowy: Wykrywanie anomalii w czasie rzeczywistym odbywa się na brzegu sieci przy użyciu lekkich urządzeń wbudowanych z obsługą procesorów graficznych (np. NVIDIA Jetson Nano lub równoważnych platform opartych na procesorach Intel ze zintegrowanymi procesorami graficznymi). Jednostki te były rozmieszczone w tym samym miejscu, co kamery monitorujące i wykonywały wnioskowanie klatka po klatce z minimalnymi opóźnieniami, umożliwiając zdecentralizowane i responsywne monitorowanie ruchu.

Warstwa mgły: Zadania wymagające większej mocy obliczeniowej, w tym wnioskowanie wsadowe i udoskonalanie modelu w czasie rzeczywistym, były obsługiwane przez węzły mgły udostępniane jako dedykowane maszyny wirtualne lub instancje bez systemu operacyjnego w chmurze Intel Tiber. Każdy węzeł mgły był skonfigurowany z procesorem Intel Xeon z co najmniej 16 GB pamięci RAM i miał dostęp do zintegrowanej z Intelem lub dyskretnej akceleracji GPU. Ta warstwa pośrednia umożliwiła operacje o wysokiej przepustowości w pobliżu źródła danych przy jednoczesnym zachowaniu autonomii od serwerów centralnych.

Warstwa chmury: w przypadku szkoleń i archiwizacji na dużą skalę warstwa chmury wykorzystuje skalowalne klastry obliczeniowe oferowane za pośrednictwem usług zoptymalizowanych pod kątem sztucznej inteligencji firmy Intel Tiber. Instancje wyposażone w akceleratory Intel Habana Gaudi lub skalowalne procesory Intel Xeon są wykorzystywane do trenowania głębokich sieci neuronowych na obszernych zestawach danych wideo, obsługi wersjonowania modeli, długoterminowej pamięci masowej i orkiestracji w całym systemie.

Pełny stos oprogramowania działał w środowisku Python 3.8+ przy użyciu bibliotek zoptymalizowanych pod kątem technologii Intel w celu przyspieszenia obliczeń. Podstawowe struktury obejmują PyTorch (z rozszerzeniem Intel dla PyTorch), OpenCV do wstępnego przetwarzania obrazów i wideo oraz Scikit-learn do oceny. Akceleracja GPU jest włączana za pomocą odpowiednich zestawów narzędzi oneAPI i optymalizacji DAAL.

Po wdrożeniu sklonowaliśmy repozytorium zawierające architekturę dual-EDE i zainicjowaliśmy komponenty modelu - dwa kodery (E1, E2) i dwa dekodery (D1, D2). Zastosowano metodę .to(device) w celu dynamicznego transferu komponentów do optymalnej jednostki przetwarzania (CPU, GPU lub akceleratora Gaudi) w zależności od lokalnej dostępności zasobów.

Zadeklarowaliśmy parametry trenowania i oceny, w tym liczbę epok, szybkość uczenia się, współczynniki równoważenia strat (γ, δ) i progi czułości anomalii (ω₁, ω₂), w skrypcie konfiguracyjnym. Podczas szkolenia postępowaliśmy zgodnie z dwufazowym protokołem: (1) standardową rekonstrukcją autoenkodera w celu uczenia się normalnych zachowań związanych z ruchem oraz (2) rekonstrukcją utajoną w celu wzmocnienia anomalii za pomocą interakcji między EDE.

Ta modułowa i natywna dla chmury architektura systemu umożliwiła niezawodne wykrywanie anomalii w czasie rzeczywistym, skalowalność modelu i niezawodne wdrażanie w rzeczywistych inteligentnych środowiskach transportowych za pośrednictwem chmury Intel Tiber.

Dataset
Do szkolenia i oceny proponowanego systemu wykrywania anomalii wykorzystaliśmy zestaw danych dostarczony przez NVIDIA AI City Challenge 2021, Track 4 (Traffic Anomaly). Zestaw danych składa się ze 100 filmów szkoleniowych i 150 filmów testowych, z których każdy trwa średnio 15 minut, nagranych w rozdzielczości 30 kl./s i 410 p. Każdy film przedstawia inny poziom trudności ze względu na różnice w typach dróg, kątach kamery, oświetleniu i warunkach pogodowych. Zestaw danych rejestruje szeroki zakres infrastruktury drogowej (np. wielopasmowe autostrady, skrzyżowania), natężenie ruchu i warunki pogodowe (np. bezchmurnie, deszcz, zmierzch) z wielu kątów kamery. Te atrybuty sprawiają, że jest to idealny test porównawczy do oceny możliwości uogólnienia modeli wykrywania anomalii.

Wstępnego przetwarzania
Aby wytrenować model w warunkach nienadzorowanych, należy używać tylko normalnych (niewypadkowych) scen ruchu drogowego, unikając narażenia na nietypowe zdarzenia podczas trenowania. Wykonaj wstępne przetwarzanie wideo za pomocą OpenCV. Próbkowanie klatek jest równomierne z prędkością 5 kl./s, aby zapewnić wystarczające pokrycie czasowe przy jednoczesnym zmniejszeniu nadmiarowości. Zmień rozmiar ramek do 128 x 128 pikseli, dopasowując się do wymagań wejściowych sieci dual-EDE i równoważąc szczegóły wizualne z wydajnością obliczeniową. Znormalizuj wartości pikseli do zakresu [−1, 1], aby poprawić stabilność treningu.

Aby poprawić uogólnienie i symulować zmienność w świecie rzeczywistym, zastosuj następujące techniki augmentacji do każdej klatki treningowej z randomizowanym prawdopodobieństwem:

Losowe przycinanie i skalowanie: Przycinaj losowe podregiony i skaluj je z powrotem do oryginalnej rozdzielczości, zachęcając do niezmienności rozmiaru obiektu, częściowej widoczności i zmian pozycji przestrzennej, naśladując efekty powiększenia i obiekty poza środkiem w wideo z monitoringu.

Modulacja jasności i kontrastu: Zastosuj transformacje liniowe lub oparte na gamma, aby naśladować wariacje oświetlenia, takie jak cienie, odblaski, wariacje wschodu/zachodu słońca i sztuczne oświetlenie. Zwiększa to odporność modelu na dobowe i sezonowe wahania oświetlenia.

Wstrzykiwanie szumu gaussowskiego i rozmycie ruchu: Dodaj szum gaussowski z różnymi odchyleniami standardowymi, aby zasymulować szum czujnika i artefakty kompresji. Symuluj rozmycie ruchu za pomocą konwolucyjnych jąder zorientowanych w różnych kierunkach i wielkościach, aby emulować efekt poruszających się obiektów lub drgań kamery, co jest szczególnie istotne w szybkich scenach drogowych.

Losowe maskowanie okluzji: Zastosuj syntetyczne okluzje, nakładając na kadr czarne lub szare prostokątne plamy o losowych rozmiarach i miejscach. To ulepszenie symuluje rzeczywiste przeszkody, takie jak piesi, elementy infrastruktury lub przejeżdżające pojazdy zasłaniające pole widzenia. Zachęca model do uczenia się na podstawie kontekstu i pozostawania odpornym na brakujące lub zniekształcone regiony.

Stosuj te rozszerzenia dynamicznie podczas trenowania przy użyciu potoków transformacji PyTorch, upewniając się, że każda partia zawiera różnorodną kombinację rozszerzonych ramek, promując ekspozycję na różne wzorce i zmniejszając nadmierne dopasowanie.

Załaduj przetworzone ramki za pomocą narzędzia DataLoader platformy PyTorch, aby zarządzać wsadem, mieszaniem i ładowaniem równoległym. Trenuj z rozmiarami partii od 32 do 64, w zależności od pojemności procesora GPU. W przypadku wnioskowania i oceniania anomalii przetwarzaj ramki indywidualnie (rozmiar partii = 1), aby umożliwić precyzyjne wykrywanie na poziomie ramki.

Ten potok wstępnego przetwarzania i rozszerzania zwiększa niezawodność i uogólnienie, umożliwiając modelowi skuteczne wykrywanie nietypowych zachowań w zróżnicowanych i hałaśliwych środowiskach monitorowania ruchu w świecie rzeczywistym.

Proponowana metoda:
Proponowany system EDE uczy się dwukierunkowych odwzorowań między rozkładami obrazów a przestrzeniami utajonymi. Dwa kodery i dwa dekodery umożliwiają niezawodne wyodrębnianie cech i różnicowanie anomalii. Sieci są szkolone zarówno na etapie odbudowy, jak i na etapie kontradyktoryjnym. Uczenie kontrastywne, regularyzacja i kara gradientu są używane, aby zapobiec załamaniu się trybu i poprawić niezawodność trenowania GAN.

Struktura EDE działa w następujący sposób: Koder 1 (E1) koduje cechy obrazu w przestrzeni utajonej. Pierwszy dekoder (D1) rekonstruuje obrazy z wektorów utajonych w celu zminimalizowania strat rekonstrukcyjnych. Zrekonstruowane obrazy są następnie mapowane z powrotem w utajoną przestrzeń w celu uchwycenia niespójności. Drugi dekoder (D2) generuje obrazy syntetyczne z drugiej przestrzeni utajonej, aby pomóc modelowi odróżnić dane rzeczywiste od syntetycznych. To dwukierunkowe mapowanie wykrywa anomalie na podstawie rozbieżności w przestrzeni utajonej, a nie różnic na poziomie pikseli.

Faza 1: Szkolenie w zakresie rekonstrukcji: Autoenkoder jest przeszkolony do rekonstrukcji normalnych obrazów ruchu, więc nietypowe dane wejściowe powodują znaczne błędy rekonstrukcji. Funkcja strat uwzględnia obraz wejściowy, jego kodowanie utajone i zrekonstruowany obraz.

Trening przeciwstawny: Po treningu rekonstrukcyjnym stosuje się uczenie się przeciwstawne. Zrekonstruowane wektory utajone są przepuszczane przez alternatywną strukturę EDE w celu wytworzenia obrazów syntetycznych i wektorów utajonych. Celem jest maksymalizacja różnic między obrazami rzeczywistymi i syntetycznymi; zmieniać i rekonstruować wektory utajone w celu usprawnienia wykrywania anomalii przez Encoder 2 (E2); i zapobiegaj zapadaniu się kodera.

Szkolenie ma na celu uniknięcie konwergencji E1 i E2 do identycznych mapowań, co zmniejszyłoby zdolność dyskryminacyjną.

Uczenie się kontrastywne: Funkcja strat rozróżnia reprezentacje rzeczywiste i zrekonstruowane, przy czym hiperparametr marginesu kontroluje separację obiektów.
Techniki regularyzacji obejmują:

Odpad szkolny: Losowa dezaktywacja neuronów w celu zapobieżenia nadmiernemu dopasowaniu.
Spadek masy: Karze duże wagi, aby ustabilizować uczenie się funkcji.

Metody stabilności treningu przeciwstawnego²⁰ i zapobiegania upadkowi w trybie obejmują:
Kara za nachylenie: Reguluje zachowania dyskryminujące.
Rozszerzanie danych: Losowe przycinanie, skalowanie i regulowane oświetlenie w celu symulacji różnych warunków.
Wstrzykiwanie hałasu: Dodawanie realistycznego szumu, rozmycia ruchu i okluzji w celu poprawy uogólnienia.
Wczesne zatrzymanie: Wstrzymywanie szkolenia w przypadku utraty walidacji ulega znacznym wahaniom, aby uniknąć nadmiernego dopasowania.

Te ulepszenia architektury, metody trenowania i środki odporności zapewniają niezawodne wykrywanie anomalii ruchu.

Nienadzorowana sieć wykrywania wypadków jest szkolona wyłącznie na normalnych próbkach i testowana zarówno na próbkach normalnych, jak i powypadkowych. Formalnie:

Z zestawu wszystkich normalnych i wypadków wideo rozważmy duży zestaw danych treningowych E z tylko normalnymi klatkami F (E = {x1, x2}). .., xM } i mniejszy zestaw danych testowych Ê zawierający zarówno zdjęcia normalne, jak i wypadkowe (Ê=[( x̂1,y1), (x̂2,y2), (x̂F*,yF*)]),klatki, gdzie yi [0, 1] jest obrazem etykiety klatki. W przypadku trenowania F F* zestaw danych treningowych musi być znacznie większy niż zestaw danych testowych. Po zapoznaniu się z rozmaitością zbioru danych (E) zidentyfikuj ramki przypadków w Ê jako wartości odstające podczas wnioskowania. Model f oblicza wynik wypadku Acc(x) na podstawie wyuczonego rozkładu danych normalnych. Obraz testowy x z wysokim wynikiem wypadka może być wypadkiem. Kryteria oceny opierają się na progu oceny wypadków (φ), jeśli Acc(x) > φ.

Architektura sieci:
Jak pokazano na rysunku 1, model GANomaly²¹ zawiera dwa kodery, jeden dekoder i jeden dyskryminator. Wielu badaczy zaadaptowało tę metodę do rozróżniania wektorów utajonych i wykrywania anomalii wizualnych^12,22. Dwa kodery i pojedynczy dekoder wzajemnie modyfikują obraz i wektor utajony w modelu. Te nienormalne fakty są ujawniane podczas transformacji. Dyskryminator oddziela wygenerowane obrazy od oryginału. GANomaly opiera się na kodowaniu, dekodowaniu i ponownym kodowaniu.

Rysunek 1: Architektura GANomaly demonstrująca przepływ informacji. Architektura składa się z ramy koder-dekoder-koder zintegrowanej w generatywnej sieci przeciwstawnej. Pierwszy koder kompresuje wejściową klatkę wideo do reprezentacji przestrzeni utajonej, która jest następnie rekonstruowana przez dekoder. Drugi koder odwzorowuje zrekonstruowaną klatkę z powrotem do przestrzeni utajonej. Dyskryminator ocenia różnicę między danymi wejściowymi i zrekonstruowanymi funkcjami w celu obliczenia wyniku anomalii. Strzałki wskazują kierunek przepływu danych przez sieć. Skrót: GAN = generative adversarial network. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 2 przedstawia architekturę EDE z dwoma koderami i jednym dekoderem. Struktura EDE musi stale zmieniać parametry, aby wykrywać wpadki wideo. Dodaliśmy drugi dekoder do struktury EDE i pozwoliliśmy im współdzielić enkodery w celu wygenerowania modelu pokazanego na rysunku 2 z dwiema konfiguracjami sieci. Dwa kodery mają cztery warstwy konwolucyjne. Użyliśmy funkcji aktywacji LeakyReLU dla wszystkich warstw z wyjątkiem warstwy wyjściowej, która używała aktywacji tanh do powiązania danych wyjściowych między -1 a 1. Normalizacja wsadowa została zastosowana po wielu warstwach konwolucyjnych. Dekodery (Rysunek 3 i Rysunek 4) są podobne do koderów, ale wykorzystują ConvTranspose i dodatkową normalizację wsadową zamiast każdej warstwy.

Rysunek 2: Proponowana architektura oparta na EDE z przepływem informacji. Zilustrowano architekturę EDE, pokazującą przepływ klatek wideo przez dwa kodery i dekoder. Pierwszy koder (E1) kompresuje ramkę wejściową do reprezentacji utajonej, która jest następnie rekonstruowana przez dekoder (D1). Zrekonstruowane dane wyjściowe są przepuszczane przez drugi enkoder (E2) w celu uzyskania drugiego wektora utajonego. Rozbieżności między wektorami utajonymi a jakością rekonstrukcji są wykorzystywane do wykrywania anomalii, wspierane przez przeciwstawne i kontrastywne komponenty strat. Skrót: EDE = koder-dekoder-koder. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Szczegóły architektury sieci:
Model dual-EDE składa się z dwóch potoków koder-dekoder-koder, z których każdy ma tę samą strukturę i jest wspólnie optymalizowany podczas trenowania.

Architektura kodera (E1, E2)

Wejście: ramka 128×128×3 RGB

Warstwa 1: Conv2D (64 filtry, jądro 4×4, krok 2, dopełnienie 1) → LeakyReLU (α = 0,2)

Warstwa 2: Conv2D (128 filtrów, 4×4, krok 2, dopełnienie 1) → BatchNorm → LeakyReLU

Warstwa 3: Conv2D (256 filtrów, 4×4, krok 2, dopełnienie 1) → BatchNorm → LeakyReLU

Warstwa 4: Conv2D (512 filtrów, 4×4, krok 2, dopełnienie 1) → BatchNorm → LeakyReLU

Warstwa 5: Spłaszcz wektor → gęsty do utajonego (z ^100)

Architektura dekodera (D1, D2)

Wejście: z ^100 → Przekształcenie → gęstego w 8×8×512

Warstwa 1: TransposedConv2D (256 filtrów, 4×4, krok 2, dopełnienie 1) → BatchNorm → ReLU

Warstwa 2: TransposedConv2D (128 filtrów, 4×4, krok 2, dopełnienie 1) → BatchNorm → ReLU

Warstwa 3: TransposedConv2D (64 filtry, 4×4, krok 2, dopełnienie 1) → BatchNorm → ReLU

Warstwa 4: TransposedConv2D (3 filtry, 4×4, krok 2, dopełnienie 1) → Tanh

Zrekonstruowany obraz jest ponownie kodowany przez drugi koder w celu uzyskania reprezentacji utajonej, a rozbieżności między oryginalnymi i zrekonstruowanymi wektorami utajonymi są wykorzystywane do oceny anomalii.

Aktywacja i normalizacja
Kodery używają aktywacji LeakyReLU i normalizacji wsadowej. Dekodery używają aktywacji ReLU, z wyjątkiem ostatniej warstwy, która stosuje Tanh do normalizacji wyjść do zakresu [−1, 1].

Strata Funkcje
Utrata rekonstrukcji obrazu: ǀǀ x −ǀǀ₂
Utrata konsystencji utajonej: ǀǀ z −ǀǀ₂

Utrata przeciwstawna: Wprowadzona w Fazie II w celu maksymalizacji rozbieżności między rzeczywistymi i syntetycznymi rekonstrukcjami poprzez zmuszenie sieci do odróżnienia rzeczywistych kodów utajonych od tych generowanych podczas rekonstrukcji.

Architektura ta wychwytuje zarówno nieregularności w przestrzeni pikseli, jak i w przestrzeni utajonej, umożliwiając wykrywanie subtelnych odchyleń wskazujących na nietypowe zachowanie podczas jazdy.

Szkolenie w dwóch fazach
Stosowana jest dwuetapowa metoda szkolenia sieciowego. Zarówno w przypadku rekonstrukcji obrazu, jak i wektora utajonego, trenowane są dwie struktury EDE. W drugiej fazie Koder 2 próbuje oszukać Koder 1 w celu błędnego sklasyfikowania danych jako rzeczywistych lub zrekonstruowanych.

Wstępne szkolenie w zakresie rekonstrukcji
Struktura EDE jest trenowana w celu replikacji obrazu wejściowego i wektora utajonego. Wejście x jest zakodowane w wektorze utajonym z przez enkoder E1. Zarówno D1, jak i D2 dekodują z w celu utworzenia obrazów, x1 i x2. Otrzymaliśmy dwa wektory utajone (z1 i z2) z kodera E2 po przekazaniu dwóch zrekonstruowanych obrazów (x1 i x2). Ten etap zawiera następujące cele szkoleniowe:

LEDE1 = γ ǀǀ x −x₁ǀǀ₂+δ ǀǀ z_{−z 1}ǀǀ₂ (1)
LEDE2 = γ ǀǀ x−x₂ǀǀ₂+δ ǀǀ z_{−z 2}ǀǀ₂ (2)

Te zrekonstruowane obrazy są przepuszczane przez enkoder E2 w celu uzyskania wektorów utajonych z₁ i z₂. Cele szkolenia:
Współczynniki ważenia (γ, δ) mają decydujący wpływ na wpływ składników strat na funkcję celu.

Po drugie, przeszkoliliśmy dwie struktury Koder-Dekoder-Koder przy użyciu metod przeciwstawnych.
W tym przypadku γ i δ są parametry, które ważą udział rekonstrukcji i utajonych strat konsystencji.

Szkolenie przeciwstawne
Dwie struktury EDE są szkolone w sposób przeciwstawny. Uczy się rozpoznawać koder 2 na podstawie danych. EDE2 musi oszukiwać EDE1, ponieważ jest odwrotnie. D1 dekoduje z2 z pierwszego kroku i rekonstruuje x1'. Powtórzenie x1' do enkodera E2 daje z1'. Cele szkolenia etapowego są następujące:

min max γ ǀǀ x −x₁'ǀǀ +δ ǀǀ z -z₁'ǀǀ₂ (3)
EDE2 EDE1

Dwie struktury EDE mają następujące funkcje strat:
LEDE1 = −γ ǀǀ x -x₁'ǀǀ₂ −δǀǀ z - z₁'ǀǀ₂ (4)
LEDE2 = +γ ǀǀ x - x₁'ǀǀ₂+δ ǀǀ z - z₁'ǀǀ₂ (5)

Wartości γ i δ zgodne z wcześniej określonymi parametrami.

Rysunek 3: Struktura enkodera. Sieć koderów zastosowana w proponowanej architekturze EDE wyodrębnia cechy czasoprzestrzenne z wejściowych klatek wideo. Składa się z wielu warstw konwolucyjnych, po których następuje normalizacja wsadowa i aktywacja ReLU, stopniowo zmniejszając wymiary przestrzenne przy jednoczesnym przechwytywaniu reprezentacji hierarchicznych. Końcowy wektor utajony koduje wysokopoziomowe informacje semantyczne niezbędne do wykrywania anomalii. Skróty: ReLU = Rectified Linear Unit, EDE = encoder-decoder-encoder. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Każdy EDE zapewnia dwie funkcje strat dla proponowanej struktury. W fazie 1 EDE1 musi zmniejszyć straty rekonstrukcyjne x i z. EDE1 musi zoptymalizować wariancję fazy 2 między wektorami utajonymi z i z1' oraz x i x1'. EDE2 i EDE1 redukują błędy rekonstrukcji fazy 1 x i z. EDE1 musi zmniejszyć różnicę między z i z1' oraz x i x1' w fazie 2, ale musi się zdarzyć coś odwrotnego.

Rysunek 4: Struktura dekodera. Komponent dekodera proponowanej architektury EDE rekonstruuje ramki wejściowe na podstawie ukrytych cech. Składa się z serii transponowanych warstw konwolucyjnych, które stopniowo odwzorowują cechy w górę do oryginalnej rozdzielczości klatki. Dekoder uczy się dokładnej rekonstrukcji normalnych scen drogowych, umożliwiając systemowi identyfikację anomalii na podstawie błędów rekonstrukcji. Skrót: EDE = koder-dekoder-koder. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Każdy podwójny cel treningowy modelu EDE obejmuje funkcje odchudzania z ciężarami, które zmieniają się w czasie:

L_EDE1=(γ||x−x₁||₂+δ||z−z₁||₂)−(1−)(γ||x−x₁''||₂+δ||z−z₁''||₂)(6)
L_EDE2=(γ||x−x₁||₂+δ||z−z₁||₂)+(1−)(γ||x−x₁''||₂+δ||z−z₁''||₂)(7)

Liczba okresów treningowych wynosi n.

Algorytm 1 przedstawia dwufazowy trening:
Wkład:
Wszystkie normalne obrazy w zbiorze danych E = {x₁, x₂, . . . , x_F},
Epoki N,
Parametry ważone γ, δ
Wyjście:
Wyszkolony koder-dekoder-koder 1,
Koder-Dekoder-Enkoder 2
e₁, e₂, d₁, d₂ ←inicjalizacja
Wagi
n ←1
powtórzyć
dla f = 1 do F do
Z_f←e₁(x_f)
←d₁(z_f)
←d₂(z_f)
←e₂()
←e₂()
←d₁()
←e₂()′
L_EDE1←(γ||x_f−||₂+δ||z_f−||₂) −(1−)(γ||x_f−'||₂+ δ||z_f−'||₂)
L_EDE2←(γ||x_f−||₂+δ||z_f−||₂) +(1−) (γ||x_f−'||₂+ δ||z_f−'||₂)
E₁, E₂, D₁, D₂←Aktualizuj masy
przy użyciu L_EDE1i L_EDE2
Koniec dla
n ←n + 1
aż n = N

Fazy trenowania i kryteria wykrywania anomalii
Podziel szkolenie na dwie sekwencyjne fazy:

Faza I - Nauka rekonstrukcji:
Oba rurociągi EDE są trenowane wyłącznie na normalnych warunkach drogowych.

Obrazy wejściowe są przekazywane przez koder 1 → dekoder 1 → koder 2 (rysunek 5).

Model minimalizuje utratę rekonstrukcji obrazu i utratę utajonej spójności. Ta faza pozwala sieci nauczyć się zwartej, spójnej przestrzeni utajonej dla normalnego zachowania.

Faza II - Uczenie się w konfrontacji generatywnej:

Wektory utajone zrekonstruowane z dekodera 1 są wprowadzane do dekodera 2, a następnie ponownie kodowane przez koder 1. Ten przepływ okrężny pomaga modelowi wykrywać niespójności we wzorcach syntetycznych. Strata kontradyktoryjna jest dodawana w celu wyolbrzymienia niewielkich odchyleń między oryginalnymi a zrekonstruowanymi reprezentacjami. Dyskryminator jest opcjonalnie szkolony w odróżnianiu rzeczywistych kodów utajonych od zrekonstruowanych, wymuszając ostrzejsze rozróżnienie w przestrzeni utajonej.

Wykrywanie anomalii:
W czasie wnioskowania przepuść ramkę testową przez potok z podwójnym EDE. Oblicz trzy metryki: błąd rekonstrukcji pikseli, rozbieżność wektorów utajonych i wynik dyskryminatora przeciwstawnego (jeśli jest używany). Obliczanie złożonego wyniku anomalii jako sumy ważonej:

Ramki z wynikami anomalii powyżej skalibrowanego progu są oznaczane jako potencjalne nietypowe zdarzenia. Mechanizm ten umożliwia modelowi wykrywanie subtelnych odchyleń w wizualnych i utajonych wzorcach przestrzennych bez konieczności umieszczania jakichkolwiek etykiet anomalii z adnotacjami.

Rysunek 5: Architektura przeciwstawnego modelu GANomaly integrującego EDE 1 i EDE 2. Rysunek ten ilustruje projekt modelu wykrywania anomalii przeciwstawnych, który integruje dwie struktury EDE - EDE1 do rekonstrukcji i EDE2 do wyrównania cech utajonych. Model wykorzystuje utratę spójności wektora utajonego i trenowanie przeciwstawne za pomocą dyskryminatora w celu wymuszenia podobieństwa między ukrytymi reprezentacjami ramek wejściowych i zrekonstruowanych. Ta architektura zwiększa wykrywanie anomalii, ucząc się niezawodnych osadzania funkcji dla normalnych wzorców ruchu. Skróty: EDE1 = pierwsza struktura kodera-dekodera-enkodera do rekonstrukcji; EDE2 = Druga struktura kodera-dekodera-enkodera do wyrównania cech utajonych. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Podczas wykrywania nasz model wykorzystał te nietypowe wyniki:

Acc(x̂) = ω₁||z−z₂||₂+ω₂||z−z₁'||₂ (8)

Zmiana parametrów wagi (ω₁+ ω₂= 1) może zmienić czułość poprzez dostosowanie stosunku wyników prawdziwie dodatnich do fałszywie dodatnich. W rzeczywistych zastosowaniach zmiana tych dwóch parametrów może wykryć wypadki o różnej czułości w jednym eksperymencie.

Podczas trenowania każda klatka wejściowa x jest przekazywana przez enkoder E₁ w celu wygenerowania wektora utajonego z. Wektor utajony jest następnie rekonstruowany przez dekoder D₁, tworząc obraz x̂₁, który jest następnie przekazywany przez enkoder E₂ w celu uzyskania zrekonstruowanego wektora utajonego z. Równolegle z jest dekodowane przez dekoder D₂ w celu wytworzenia x̂₂, który jest również ponownie kodowany przez E₂ w celu uzyskania z₂. Ten dwukierunkowy proces zachowuje zarówno informacje na poziomie pikseli, jak i utajone na potrzeby wykrywania anomalii.

Algorytm testowania modelu:
={( x̂_{1,y 1}),( x̂_{2,y 2}),...,( x̂_M*,y_M*)},
Próg φ,

Parametry wagowe ω₁, ω₂
Dane wyjściowe: etykieta przewidywania zestawu danych testowych
E_re = {y_1pre, y_2pre, ..., y_F*pre}
dla i =1do F* do
z_i ← e₁(x_i)
x_2i ← d₂(z_i)
Z_2i ← e₂(x_2i)
Z_1i' ← d₁(z_2i)
Z_1i' ← e₂(Z_1i')
Acc(x̂_i) ←ω₁||z_i−z_2i||₂+ω₂||z_i−z_1i'||_{cyfra arabska}
ifAcc(x̂_i) ≥φ then
y_ipre ←1
inaczej
y_ipre ←0
endif (jedynie)
koniec

EDE używa dyskryminatora jako komponentu uczenia się przeciwstawnego w celu zwiększenia dokładności wykrywania anomalii poprzez poprawę zdolności modelu do odróżniania zdarzeń normalnych i nietypowych. Zwiększa wydajność w następujący sposób:

Uczenie się dyskryminacji: Dyskryminator jest szkolony w zakresie różnicowania syntetycznych i podwójnych reprezentacji zrekonstruowanych przez strukturę EDE. Optymalizacja tego procesu przeciwstawnego nadaje modelowi wysoce dyskryminacyjne funkcje utajone, poprawiając wykrywanie anomalii w miejscach ruchu.

Usuwanie złych rekonstrukcji: Ponieważ anomalie tak bardzo odbiegają od wzorców ruchu, często powodują problemy z rekonstrukcją. Dyskryminator karze nieprawidłowo zrekonstruowane ramki, poprawiając wykrywanie normalnych/nietypowych zdarzeń w sieci.

Poprawa reprezentacji funkcji dzięki szkoleniu przeciwstawnemu: Integrując uczenie się przeciwstawne, dyskryminator sprawia, że sieć EDE generuje trwalsze i bardziej znaczące ukryte osadzenia. Wykrywa to nawet niewielkie zmiany, takie jak nagłe hamowanie, kolizje i skręcanie pojazdu, poprawiając wykrywanie anomalii.

Usuwanie wyników fałszywie dodatnich: Tradycyjne autokodery nadmiernie uogólniają i normalizują anomalie, co skutkuje wysokimi wskaźnikami wyników fałszywie dodatnich. Dyskryminator zachowuje atrybuty anomalii podczas rekonstrukcji, identyfikując ukryte rozbieżności między ramkami normalnymi i anomalnymi.

Poprawa klasyfikacji dzięki dwuetapowemu procesowi decyzyjnemu: Normalne lub nieprawidłowo przebudowane ramki otrzymują oceny ufności od dyskryminatora. Błędy błędnej klasyfikacji i straty rekonstrukcyjne są redukowane w tej dodatkowej fazie weryfikacji, co poprawia dokładność wykrywania.

Do przetestowania strategii 23,24,25,26 wykorzystaliśmy sprawdzone metody wykrywania wypadków. Jedna klasa w wieloklasowym zbiorze danych była normalna, a wszystkie inne klasy wypadków zostały dokładnie zbadane przy użyciu podejścia jedno przeciwko wszystkim. Model został wytrenowany przy użyciu tylko normalnych danych klasy, podczas gdy zestaw testowy używał danych przypadkowych i normalnych. Zestawy treningowe i testowe zostały podzielone na dwa sposoby.

Trenowaliśmy i testowaliśmy na odpowiednio 80% i 20% danych z klasy normalnej. Wyniki testów klasy wypadkowej zostały wybrane losowo. Ocena była bezstronna dzięki zastosowaniu prób testowych klasy wypadkowej, które stanowią 20% danych klasy normalnej, aby uniknąć przekrzywienia modelu w kierunku większości klasy normalnej. Model może być testowany w odniesieniu do równej liczby danych normalnych i wypadkowych, reprezentujących warunki praktyczne. Testuje uogólnienie modelu bezstronnie, trenując z 80% normalnych danych i ukrywając 20%. Pokazuje to również, że liczba normalnych zdarzeń przewyższa liczbę wypadków w prawdziwym życiu, co sprawia, że ważne jest, aby model miał dostęp do rzadkich danych dotyczących wypadków. Losowy wybór próbek powypadkowych i testowanie modelu pod kątem wszystkich sytuacji wypadkowych bez nadmiernego dopasowania zwiększa niezawodność. Podział danych 80/20 jest powszechny w uczeniu maszynowym. Dane treningowe dla znaczących wzorców i dane testowe do oceny wydajności są zrównoważone.

W eksperymentach wykorzystano zestawy danych do trenowania i testowania. Do walidacji i szkolenia zastosowano normalny podział na klasy. Przetestowano dane testowe wszystkich klas.

Przycinanie i kwantyzacja modelu znacznie zmniejszają rozmiar modelu i obliczenia. Zredukowany model ma taką samą dokładność, ale niższą wydajność, ponieważ zawiera o 40% mniej parametrów. W przypadku urządzeń brzegowych o niskiej mocy obliczeniowej kwantyzacja modelu powoduje jego kompresję. Ta optymalizacja spełnia potrzeby w zakresie precyzji i przywoływania ruchu w czasie rzeczywistym.

Lekkie konstrukcje, takie jak MobileNets i EfficientNet, zwiększają wnioskowanie w czasie rzeczywistym. Ze względu na precyzję widzenia komputerowego i minimalną moc obliczeniową, te typy architektury są szeroko stosowane. W systemach wbudowanych takie modele zmniejszają przetwarzanie ramek o 50%, zachowując jednocześnie wysokie wyniki F1 w wykrywaniu wypadków.

Wykorzystanie podobnych parametrów do rekonstrukcji obrazu i wykrywania wypadków z wykorzystaniem uczenia wielozadaniowego może uprościć projekt. Skróciło to czas trenowania i obniżyło koszty obliczeń bez wpływu na dokładność modelu. Wielozadaniowy system uczenia się uprościł uczenie się modelu przetwarzania danych wideo o ruchu drogowym.

Kontrastywne i samonadzorowane szkolenie przeciwstawne przyniosło wyniki porównywalne z podstawowym modelem wykrywania anomalii w krótszym czasie. Zebrano i uogólniono informacje o wypadkach drogowych w celu zwiększenia niezawodności niewidocznych danych.

Proponowany algorytm wykrywania anomalii w ruchu został przetestowany na ścieżce 4, jednym z pięciu zestawów danych AI City Challenge^{2021 27}. Autostrady dostarczyły te dane do Departamentu Transportu stanu Iowa.

Porównawcza ocena działania:
Aby zweryfikować nasz model, porównaliśmy go na zestawie danych AI City Challenge Track 4 z najnowocześniejszymi modelami, w tym GANomaly, f-AnoGAN, OCGAN i metodą nadzorowaną ByteDance. Wyniki przedstawiono w tabeli 2 .

Model	Wynik F1	Precyzja	Pamiętać	AUC
GANomal (Język angielski)	0.87	0.88	0.86	0.9
OCGAN (Okgan)	0.89	0.9	0.87	0.91
ByteDance (Sup.)	0.91	0.93	0.89	0.92
Proponowany (Dual-EDE)	0.94	0.95	0.93	0.94

Tabela 2: Porównanie metod. W tabeli porównano metody wykrywania anomalii według wyniku F1, precyzji, kompletności i dokładności. Porównano projekty EDE ze szkoleniem przeciwstawnym i bez niego. Dwa EDE plus trening przeciwstawny pokonały BADU, ByteDance i WHU we wszystkich kategoriach. Dane wskazują, że uczenie przeciwstawne zwiększa wykrywanie anomalii.

Model podwójnego EDE przewyższa wszystkie linie bazowe, zwłaszcza w zakresie przypominania - co wskazuje na większą wrażliwość na rzadkie zdarzenia anomalne.

Results

Aby ocenić skuteczność proponowanej metody wykrywania anomalii w ruchu, zaimplementowaliśmy model na pojedynczym klipie wideo i wygenerowaliśmy wizualizacje ilustrujące zachowanie systemu w czasie i w przestrzeni funkcji. Chociaż wyniki uzyskano przy użyciu symulowanego potoku EDE, ściśle odzwierciedlają wnioski jakościowe, których można oczekiwać od rzeczywistego modelu.

Oś czasu oceny anomalii przedstawia pewność modelu klatka po klatce w identyfikowaniu nietypowych zdarzeń (

Discussion

W niniejszym badaniu przedstawiono oparty na głębokim uczeniu się system wykrywania anomalii drogowych wykorzystujący architekturę EDE, przeszkolony w sposób nienadzorowany w celu identyfikacji wypadków z udziałem zarówno jednego, jak i wielu pojazdów na rzeczywistych nagraniach z monitoringu. Modelując typowe zachowanie ruchu, system wykrywa odchylenia jako prawdopodobne anomalie bez konieczności etykietowania danych anomalii, rozwiązując w ten sposób problemy związane ze skalowalnością i rzadkością danych w inteligentn...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Zestaw danych AI City Challenge Track 4	Wyzwanie miasta SI (https://www.aicitychallenge.org)	Utwór 4, wydanie z 2021 r.
Zestaw narzędzi CUDA	Programista NVIDIA	Wersja 11.3
Biblioteka cuDNN	Programista NVIDIA	Kompatybilny z CUDA 11.3
Klaster stacji roboczych z procesorem GPU (szkolenie)	Szkoła Informatyki Amrita	—
Lokalna stacja robocza (węzeł mgły)	Szkoła Informatyki Amrita	—
biblioteka matplotlib	matplotlib.org	Wersja 3.3+
NVIDIA Jetson Nano (urządzenie brzegowe)	Technologia NVIDIA	945-13450-0000-100
Karta graficzna NVIDIA RTX 3060 (stacja robocza)	Technologia NVIDIA	Różni się w zależności od producenta
NumPy	numpy.org	Wersja 1.19+
Otwórz CV	OpenCV.org	Wersja 4.5+
Pandy	pandas.pydata.org	Wersja 1.1+
Pyton	Fundacja oprogramowania Python	Wersja 3.8+
Pochodnia PyTorch	Pochodnia PyTorch (https://pytorch.org)	Wersja 1.10+
Scikit-naucz się	scikit-learn.org	Wersja 0.24+
Ubuntu Linux (system operacyjny)	Canonical Sp. z o.o.	Wersja 20.04 LTS