Research Article

Gözetim Videolarında Denetimsiz Trafik Kazası Tespiti için Çekişmeli Eğitim ile Çift Kodlayıcı-Kod Çözücü-Kodlayıcı

DOI:

10.3791/68731

September 5th, 2025

In This Article

Summary

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışma, otomatik trafik kazası tespiti için çift kodlayıcı-kod çözücü-kodlayıcı (EDE) modeli önermektedir. İki aşamalı bir eğitim yöntemi kullanarak, normal sürüş modellerini öğrenir ve üretken yüzleşme yoluyla anormallikleri tanımlar. Model, gerçek dünya görüntülerindeki kazaları etkili bir şekilde algılar ve ince sapmaları yakalayarak sürücü davranışlarına ilişkin içgörüler sunar.

Abstract

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yol güvenliğini artırmak ve acil durum müdahalesini iyileştirmek için, trafik olayları gerçek dünyadaki güvenlik kamerası görüntülerinde mümkün olan en kısa sürede tespit edilmelidir. Mevcut sistemler büyük ölçüde zaman alıcı ve hataya açık olan manuel izlemeye bağlıdır. Otomatik kaza tespiti, önemli sınıf dengesizliği nedeniyle zorlu olmaya devam ediyor: normal sürüş durumları aşırı temsil edilirken, kazalar nadir ve çeşitlidir. Bu gibi durumlarda, geleneksel bilgisayarla görme sistemleri genellikle normal ve anormal olaylar arasında güvenilir bir ayrım yapamaz. Bu çalışma, çift kodlayıcı-kod çözücü-kodlayıcı (EDE) çerçevesine dayalı bir derin öğrenme mimarisi geliştirerek sorunu ele almaktadır. Model, görüntü dağıtımlarını her iki yönde belirtilen gizli dağıtımlarla eşlemek için iki paylaşılan kodlayıcı-kod çözücü işlem hattı kullanır. Bu çerçeve, sistemin ortak trafik davranış kalıplarını modellemesini ve tehlikeli veya olağandışı olaylara işaret edebilecek değişikliklere karşı daha duyarlı hale gelmesini sağlar. Anomali tespitini daha da geliştirmek için iki aşamalı bir eğitim tekniği önerilmiştir. İlk aşamada, model, normal davranışı karakterize etmek için yeniden yapılandırma kaybını kullanarak normal sürüş görüntülerini yeniden yapılandırmayı öğrenir. İkinci aşamada, üretken bir çekişmeli mekanizma tanıtılır: bir EDE'den yeniden yapılandırılmış gizli vektörler diğerine geçirilir, sentetik görüntüler ve gizli boşluklar oluşturulur. Bu işlem, gerçek ve sentetik çıktılar arasındaki farkları artırarak, sistemi potansiyel anormalliklerin ince belirtilerine daha duyarlı hale getirir. Çift EDE mimarisi ve çekişmeli eğitim metodolojisi, hem normal hem de patolojik davranışı modelleyerek mevcut yöntemlere göre önemli bir ilerlemeyi temsil etmektedir. Gerçek dünya trafik gözetimi veri setleri üzerinde yapılan deneysel sonuçlar, önerilen yöntemin hem doğruluk hem de sağlamlık açısından kazaların ve güvenli olmayan sürüş davranışlarının tespitini önemli ölçüde iyileştirdiğini göstermektedir.

Introduction

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dünya Sağlık Örgütü'ne (2023) göre, karayolu trafik yaralanmaları 5-29 yaş arası çocuklar ve genç yetişkinler arasında önde gelen ölüm nedenidir ve her yıl dünya çapında yaklaşık 1,3 milyon ölüm bildirilmektedir. Bu endişe verici istatistik, karayolu trafiğini1 izleyebilen, anormallikleri gerçek zamanlı olarak tespit edebilen ve acil durum müdahalesindeki gecikmeleri azaltabilen otomatik sistemlere olan acil ihtiyacın altını çiziyor. Yapay zeka (AI) ve Nesnelerin İnterneti'nin (IoT) akıllı şehir altyapısına entegrasyonu, akıllı ulaşım sistemlerinin geliştirilmesini sağlamıştır. Kapalı devre televizyon (CCTV)2,3 ağları şehir trafiğinin sürekli gözetimini sağlarken, manuel izleme pratik değildir ve hataya açıktır. Bu nedenle, trafik olayı tespiti için ölçeklenebilir, otomatik çözümler çok önemlidir.

Trafik analizi için geleneksel bilgisayarla görme yöntemleri - araç algılama, izleme ve davranış sınıflandırması gibi - genellikle denetimli öğrenme yoluyla eğitilen evrişimli sinir ağlarını (CNN'ler) kullanır 4,5. Bu sistemler, kapsamlı açıklamalı veri kümeleri gerektirir ve genellikle gerçek dünyadaki kazaları karakterize eden nadir ve çeşitli senaryolar arasında genelleme yapamaz. Sonuç olarak, araştırmacılar etiketli anomali verilerine bağlı olmayan denetimsiz anomali algılama yaklaşımlarına yöneldiler. Bunlar arasında, otomatik kodlayıcılar (AE'ler) ve üretken çekişmeli ağlar (GAN'lar), normal modellerin modellenmesinde ve sapmaların belirlenmesinde umut vaat etmiştir 6,7,8.

Bununla birlikte, standart AE'ler girdileri çok sadık bir şekilde yeniden yapılandırma eğilimindedir - bu girdiler anormal olsa bile - yüksek yanlış negatif oranlarayol açar 9,10. Varyasyonel otomatik kodlayıcılar (VAE'ler)11 ve f-AnoGAN12, GANomaly13 ve OCGAN14 gibi GAN tabanlı modeller, gizli alan modellemesi ve çekişmeli öğrenmeyi bir araya getirerek bu sorunlardan bazılarını ele alır. Bununla birlikte, bu modeller genellikle görüntüden gizli alana15 tek yönlü eşlemelere dayanır ve bu da gerçek dünyadaki trafik anormalliklerindeki ince veya karmaşık tutarsızlıkları tespit etme yeteneklerini sınırlar.

ByteDance16, WHU17 ve USF18 tarafından AI City Challenge için geliştirilenler gibi denetimli sistemler, uzay-zamansal izleme19ve nesne merkezli tasarımlar aracılığıyla yüksek doğruluk elde eder. Bununla birlikte, etiketlenmiş kaza verilerine ve karmaşık izleme boru hatlarına ihtiyaç duyarlar, bu da ölçeklenebilirliği ve gerçek zamanlı olarak uygulanabilirliği azaltır.

ModelTürYararlı BilgilerSınırlamaPerformans (Açıklanan)
GANomaly (Türkçe)DenetimsizKodlayıcı–Kod Çözücü–Kodlayıcı; Çekişmeli eğitimAnormal girdileri bile çok iyi yeniden yapılandırma eğilimindedir, bu da yanlış negatiflere yol açarYüksek hassasiyet ve dengeli hatırlama ile genel olarak iyi
Öğr.DenetimsizKısıtlı gizli alana sahip tek sınıf GANİnce veya karmaşık anormallikleri tespit etmede zorlanırMetrikler arasında geliştirilmiş denge ile GANomaly'den biraz daha iyi
f-AnoGAN (İngilizce)DenetimsizGAN'ları kullanarak hızlı anomali algılama ve özellik eşleştirmeGizli uzayda karmaşık anomalileri yakalamak için sınırlı yetenekOrta düzeyde performans (belirli puanlar sağlanmamıştır)
Bayt DansıDenetimliNesne düzeyinde anomali lokalizasyonu ile uzay-zamansal izlemeEtiketlenmiş eğitim verileri gerektirir; Gerçek dünya ayarlarında sınırlı ölçeklenebilirlikÇok yüksek doğruluk ve hassasiyet; Biraz daha düşük hassasiyet
BADU (BADU)DenetimliArka plan modelleme ve araç takibini kullanırFarklı sahnelerde daha az etkili; İnce anormallikleri özlerSağlam doğruluk; İyi denge, ancak en iyi yöntemlerden daha düşük
WHU (Dünya Geneli)DenetimliÇift modalite yörünge izlemeZayıf genelleme ve düşük anomali hatırlamaÖzellikle anormallikleri tespit etmede genel olarak zayıf performans
Birleşik DevletlerDenetimliArka plan modellemesini yapısal benzerlik analizi ile birleştirirAnormallikleri doğru bir şekilde tanımlamada zayıfÇok düşük doğruluk ve hassasiyet
Önerilen (Çift EDE)DenetimsizÇift kodlayıcı-kod çözücü-kodlayıcı; Çekişmeli ve kontrastlı kayıp ile çift yönlü gizli haritalamaYüksek hesaplama yükü; RGB girişi ile sınırlıdırMükemmel performans; Metrikler arasında en yüksek hassasiyet, yüksek hatırlama ve güçlü denge

Tablo 1: Video tabanlı trafik anormalliği tespitinde ilgili çalışmanın özeti.

Tablo 1, trafik gözetiminde kullanılan temel anomali algılama yöntemlerini karşılaştırarak mimarilerini, avantajlarını, dezavantajlarını ve performanslarını vurgulamaktadır. GANomaly ve OCGAN gibi geleneksel GAN tabanlı modeller, etkili denetimsiz algılama gerçekleştirebilir, ancak ince anormalliklerle mücadele edebilir. Denetimli yöntemler, son derece doğru olsa da, büyük ölçüde etiketlenmiş verilere ve gelişmiş izlemeye bağlıdır. Önerilen Dual-EDE modeli, çift yönlü gizli alan kodlamasını çekişmeli ve kontrastlı eğitimle bütünleştirerek, etiketlenmiş veriler olmadan nadir ve ince trafik anormalliklerini tespit etmesini sağlayarak hem ölçeklenebilirlik hem de sağlamlık sunar.

Araştırma boşluğu ve hipotezi
Denetimsiz modeller etiketli anormalliklere olan ihtiyacı azaltsa da, nadir, ince ve yüksek etkili trafik olaylarını doğru bir şekilde tespit etmekte hala zorlanırlar. Mevcut yöntemler, mimari asimetri ve gizli alan tutarsızlıklarından tam olarak yararlanamama ile sınırlıdır. Birçoğu, son derece dinamik trafik ortamlarında karmaşık normal davranış ile gerçek anormallikler arasında sağlam bir ayrım yapmakta da başarısız oluyor.

Yalnızca normal trafik verileri üzerinde eğitilmiş bir çift kodlayıcı-kod çözücü-kodlayıcı (EDE) mimarisinin, iki aşamalı bir eğitim stratejisiyle birleştiğinde, çeşitli ve ince trafik anormalliklerini tespit etmede son teknoloji modellerden daha iyi performans gösterebileceğini varsayıyoruz. Sistem, çift yönlü gizli tutarlılığı zorlayarak ve çekişmeli yeniden yapılandırmayı entegre ederek, açıklamalı kaza verilerine ihtiyaç duymadan ani frenleme, düzensiz sapma veya çarpışma gibi beklenen davranıştan küçük sapmalara karşı daha hassas hale gelir.

Önerilen yöntem
Çift EDE mimarisi üzerine inşa edilmiş yeni bir denetimsiz anomali algılama çerçevesi öneriyoruz. Tek bir kodlama-kod çözme hattı kullanan geleneksel modellerin aksine, sistemimiz görüntüler ve gizli temsiller arasında çift yönlü eşleme gerçekleştiren iki EDE yolu kullanır. Bu tasarım, modelin normal trafik dinamiklerinin zengin özelliklerini öğrenmesini ve anormallikler meydana geldiğinde tutarsızlıkları artırmasını sağlar. Eğitim süreci iki aşamadan oluşmaktadır:

Birinci Aşama , standart otomatik kodlayıcı eğitimine benzer şekilde normal davranışı modellemek için yeniden yapılandırma kaybını kullanır.

İkinci Aşama , sentetik veriler oluşturmak için bir EDE'den gelen gizli vektörlerin ikinciye geçirildiği ve sistemi hem görüntü hem de gizli alanlarda gerçek ve sahte temsiller arasındaki ayrımları en üst düzeye çıkarmaya zorlayan üretken bir çekişmeli mekanizma sunar.

Önemli katkılar
Gelişmiş anomali algılama için çift yönlü eşleme yoluyla gizli tutarsızlıkları yakalayan bir çift EDE mimarisi sunuyoruz. İnce sapmalara karşı duyarlılığı artırmak için otomatik kodlayıcı yeniden yapılandırmasını çekişmeli öğrenme ile birleştiren iki aşamalı bir eğitim prosedürü geliştiriyoruz. AI City Challenge (Track 4) veri seti üzerinde yapılan deneyler yoluyla, modelin son teknoloji denetimli ve denetimsiz birkaç temel çizgiden daha iyi performans gösterdiğini ve gerçek dünyadaki kentsel ortamlarda sağlam ve ölçeklenebilir kaza tespiti sağladığını gösterdik. Özetle, bu çalışma trafik anormalliği tespitine ölçeklenebilir, doğru ve etiketsiz bir yaklaşım sunarak daha güvenli ve daha duyarlı akıllı ulaşım sistemlerine katkıda bulunur.

Access restricted. Please log in or start a trial to view this content.

Protocol

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Sistem

Kurulum
Önerilen trafik anormallik algılama sistemini, Intel Tiber Cloud ortamından yararlanarak hiyerarşik ve dağıtılmış bir bilgi işlem çerçevesi içinde devreye aldık. Bu mimari, düşük gecikmeli çıkarım, ölçeklenebilir eğitim ve bilgi işlem düğümleri arasında verimli kaynak tahsisi sağlamak için uç, sis ve bulut olmak üzere üç katmandan oluşur.

Edge Katmanı: Gerçek zamanlı anormallik algılama, hafif, GPU özellikli yerleşik cihazlar (ör. NVIDIA Jetson Nano veya entegre GPU'lara sahip eşdeğer Intel tabanlı platformlar) kullanılarak uçta gerçekleştirilir. Bu birimler, güvenlik kameralarıyla birlikte konumlandırıldı ve minimum gecikmeyle kare kare çıkarım gerçekleştirerek merkezi olmayan ve duyarlı trafik izlemeyi mümkün kıldı.

Sis Katmanı: Toplu çıkarım ve gerçek zamanlı model iyileştirme dahil olmak üzere daha yoğun bilgi işlem gerektiren görevler, Intel Tiber Bulutu içinde özel sanal makineler veya çıplak metal örnekler olarak sağlanan sis düğümleri tarafından gerçekleştirildi. Her sis düğümü, en az 16 GB RAM'e sahip bir Intel Xeon işlemci ile yapılandırıldı ve Intel ile entegre veya ayrı GPU hızlandırmasına erişimi vardı. Bu ara katman, merkezi sunuculardan özerkliği korurken veri kaynağının yakınında yüksek verimli işlemlere olanak tanıdı.

Bulut Katmanı: Büyük ölçekli eğitim ve arşivleme için bulut katmanı, Intel Tiber'ın yapay zeka için optimize edilmiş hizmetleri aracılığıyla sunulan ölçeklenebilir bilgi işlem kümelerini kullanır. Intel Habana Gaudi hızlandırıcıları veya Intel Xeon Ölçeklenebilir işlemcilerle donatılmış bulut sunucuları, kapsamlı video veri kümelerinde derin sinir ağlarını eğitmek, model sürümü oluşturmayı, uzun vadeli depolamayı ve sistem genelinde orkestrasyonu desteklemek için kullanılır.

Tam yazılım yığını, hızlandırılmış hesaplama için Intel tarafından optimize edilmiş kitaplıkları kullanarak Python 3.8+ ortamında çalıştırıldı. Birincil çerçeveler arasında PyTorch (PyTorch için Intel Uzantısı ile), görüntü ve video ön işleme için OpenCV ve değerlendirme için Scikit-learn bulunur. GPU hızlandırma, uygun oneAPI araç setleri ve DAAL optimizasyonları aracılığıyla etkinleştirilir.

Dağıtımdan sonra, çift EDE mimarisini içeren depoyu klonladık ve model bileşenlerini başlattık - iki kodlayıcı (E1, E2) ve iki kod çözücü (D1, D2). Yerel kaynak kullanılabilirliğine bağlı olarak bileşenleri dinamik olarak en uygun işlem birimine (CPU, GPU veya Gaudi hızlandırıcı) aktarmak için .to(device) yöntemini kullandı.

Dönem sayısı, öğrenme oranı, kayıp dengeleme katsayıları (γ, δ) ve anomali duyarlılık eşikleri (ω1, ω2) dahil olmak üzere eğitim ve değerlendirme parametrelerini bir yapılandırma betiğinde bildirdik. Eğitim için iki aşamalı bir protokol izledik: (1) normal trafik davranışını öğrenmek için standart otomatik kodlayıcı yeniden yapılandırması ve (2) çapraz EDE etkileşimlerini kullanarak anormallikleri yükseltmek için çekişmeli gizli yeniden yapılandırma.

Bu modüler ve bulut tabanlı sistem mimarisi, Intel Tiber Cloud aracılığıyla gerçek dünyadaki akıllı ulaşım ortamlarında sağlam, gerçek zamanlı anormallik tespiti, model ölçeklenebilirliği ve güvenilir dağıtım sağladı.

Dataset
Önerilen anormallik algılama sistemini eğitmek ve değerlendirmek için NVIDIA AI City Challenge 2021, Track 4 (Trafik Anomalisi) tarafından sağlanan veri kümesini kullandık. Veri seti, her biri ortalama 15 dakika süreli, 30 fps ve 410p çözünürlükte kaydedilmiş 100 eğitim videosu ve 150 test videosundan oluşur. Her video, yol türleri, kamera açıları, aydınlatma ve hava koşullarındaki farklılıklar nedeniyle farklı bir zorluk seviyesi sunar. Veri seti, çok çeşitli yol altyapısını (ör. çok şeritli otoyollar, kavşaklar), trafik yoğunluklarını ve hava koşullarını (ör. açık, yağmurlu, alacakaranlık) birden fazla kamera açısından yakalar. Bu öznitelikler, anomali algılama modellerinin genelleştirilebilirliğini değerlendirmek için ideal bir kıyaslama haline getirir.

Ön
Modeli denetimsiz koşullar altında eğitmek için, eğitim sırasında anormal olaylara maruz kalmaktan kaçınarak yalnızca normal (kaza olmayan) trafik sahnelerini kullanın. OpenCV kullanarak video önişleme gerçekleştirin. Yedekliliği azaltırken yeterli zamansal kapsama alanı sağlamak için çerçeveleri 5 fps'de eşit şekilde örnekleyin. Kareleri 128 x 128 piksel olarak yeniden boyutlandırın, çift EDE ağının giriş gereksinimlerini karşılayın ve görsel ayrıntıları hesaplama verimliliğiyle dengeleyin. Egzersiz kararlılığını artırmak için piksel değerlerini [−1, 1] aralığına normalleştirin.

Genelleştirmeyi geliştirmek ve gerçek dünya değişkenliğini simüle etmek için, rastgele olasılıkla her eğitim çerçevesine aşağıdaki büyütme tekniklerini uygulayın:

Rastgele kırpma ve ölçekleme: Rastgele alt bölgeleri kırpın ve bunları orijinal çözünürlüğe geri ölçeklendirin, böylece nesne boyutunda değişmezliği, kısmi görünürlüğü ve uzamsal konum kaymalarını teşvik edin, gözetim videosundaki yakınlaştırma efektlerini ve merkez dışı nesneleri taklit edin.

Parlaklık ve kontrast modülasyonu: Gölgeler, parlama, gün doğumu/gün batımı değişimleri ve yapay aydınlatma gibi aydınlatma varyasyonlarını taklit etmek için doğrusal veya gama tabanlı dönüştürmeler uygulayın. Bu, modelin günlük ve mevsimsel aydınlatma dalgalanmalarına karşı dayanıklılığını artırır.

Gauss gürültü enjeksiyonu ve hareket bulanıklığı: Sensör gürültüsünü ve sıkıştırma artefaktlarını simüle etmek için değişen standart sapmalarla Gauss gürültüsü ekleyin. Özellikle hızlı tempolu trafik sahnelerinde önemli olan, hareketli nesnelerin veya kamera sarsıntısının etkisini taklit etmek için farklı yönlere ve büyüklüklere yönlendirilmiş evrişimli çekirdekler kullanarak hareket bulanıklığını simüle edin.

Rastgele oklüzyon maskeleme: Çerçeve üzerine rastgele boyutlarda ve konumlarda siyah veya gri dikdörtgen yamalar yerleştirerek sentetik oklüzyonlar uygulayın. Bu büyütme, yayalar, altyapı öğeleri veya görüş alanını tıkayan geçen araçlar gibi gerçek dünyadaki engelleri simüle eder. Modeli bağlamdan öğrenmeye ve eksik veya bozuk bölgelere karşı sağlam kalmaya teşvik eder.

PyTorch dönüştürme işlem hatlarını kullanarak eğitim sırasında bu güçlendirmeleri dinamik olarak uygulayın ve her partinin çeşitli artırılmış çerçeveler içerdiğinden emin olun, farklı desenlere maruz kalmayı teşvik edin ve aşırı uyumu azaltın.

Toplu işleme, karıştırma ve paralel yüklemeyi yönetmek için PyTorch'un DataLoader'ı ile işlenmiş kareleri yükleyin. GPU kapasitesine bağlı olarak 32 ile 64 arasında toplu iş boyutlarıyla eğitin. Çıkarım ve anomali puanlaması için, hassas çerçeve düzeyinde algılamayı etkinleştirmek için çerçeveleri ayrı ayrı (toplu iş boyutu = 1) işleyin.

Bu ön işleme ve büyütme işlem hattı, sağlamlığı ve genelleştirmeyi geliştirerek modelin çeşitli ve gürültülü gerçek dünya trafik izleme ortamlarında anormal davranışları etkili bir şekilde algılamasına olanak tanır.

Önerilen yöntem:
Önerilen EDE sistemi, görüntü dağılımları ve gizli alanlar arasındaki çift yönlü eşlemeleri öğrenir. İki kodlayıcı ve iki kod çözücü, sağlam unsur ayıklama ve anormallik farklılaştırması sağlar. Ağlar hem yeniden yapılanma hem de çekişmeli aşamalarda eğitilmiştir. Kontrastlı öğrenme, düzenlileştirme ve gradyan cezası, mod çökmesini önlemek ve GAN eğitiminin sağlamlığını artırmak için kullanılır.

EDE çerçevesi şu şekilde çalışır: Kodlayıcı 1 (E1), görüntü özelliklerini gizli alana kodlar. İlk kod çözücü (D1), yeniden yapılandırma kaybını en aza indirmek için gizli vektörlerden gelen görüntüleri yeniden oluşturur. Yeniden oluşturulan görüntüler daha sonra tutarsızlıkları yakalamak için gizli alana geri eşlenir. İkinci kod çözücü (D2), modelin gerçek verileri sentetik verilerden ayırt etmesine yardımcı olmak için ikinci gizli alandan sentetik görüntüler üretir. Bu çift yönlü eşleme, piksel düzeyindeki farklılıklar yerine gizli alan tutarsızlıklarına dayalı olarak anormallikleri algılar.

Aşama 1: Rekonstrüksiyon Eğitimi: Otomatik kodlayıcı, normal trafik görüntülerini yeniden oluşturmak için eğitilmiştir, bu nedenle anormal girişler önemli yeniden yapılandırma hataları üretir. Kayıp işlevi, giriş görüntüsünü, gizli kodlamasını ve yeniden yapılandırılmış görüntüyü dikkate alır.

Çekişmeli Eğitim: Rekonstrüksiyon eğitimini takiben, çekişmeli öğrenme uygulanır. Yeniden yapılandırılmış gizli vektörler, sentetik görüntüler ve gizli vektörler üretmek için alternatif bir EDE yapısından geçirilir. Amaç, gerçek ve sentetik görüntüler arasındaki farkları en üst düzeye çıkarmaktır; Kodlayıcı 2 (E2) ile anomali algılamayı geliştirmek için gizli vektörleri değiştirin ve yeniden oluşturun; ve kodlayıcının çökmesini önleyin.

Eğitim, E1 ve E2'nin aynı eşlemelere yakınsamasını önlemek için tasarlanmıştır, bu da ayrımcı yeteneği azaltacaktır.

Karşılaştırmalı öğrenme: Bir kayıp fonksiyonu, unsurların ayrılmasını kontrol eden bir marj hiperparametresi ile gerçek ve yeniden yapılandırılmış temsilleri ayırt eder.
Düzenleme teknikleri şunları içerir:

Dropout: Aşırı uyumu önlemek için nöronların rastgele deaktivasyonu.
Ağırlık kaybı: Özellik öğrenmeyi stabilize etmek için büyük ağırlıkları cezalandırır.

Çekişmeli eğitim kararlılığı20 ve mod çökmesini önleme yöntemleri şunları içerir:
Gradyan cezası: Ayrımcı davranışı düzenler.
Veri artırma: Çeşitli koşulları simüle etmek için rastgele kırpma, ölçekleme ve ayarlanabilir aydınlatma.
Gürültü enjeksiyonu: Genellemeyi geliştirmek için gerçekçi gürültü, hareket bulanıklığı ve tıkanıklıklar ekleme.
Erken durdurma: Aşırı öğrenmeyi önlemek için doğrulama kaybı önemli ölçüde dalgalanırsa eğitimi durdurma.

Bu mimari geliştirmeler, eğitim yöntemleri ve dayanıklılık önlemleri, trafik anormalliğinin güvenilir şekilde algılanmasını sağlar.

Denetimsiz kaza tespit ağı, yalnızca normal numuneler üzerinde eğitilir ve hem normal hem de kaza numuneleri üzerinde test edilir. Resmen:

Tüm normal ve kaza videoları kümesinden, yalnızca F normal kareler (E = {x1, x2}) içeren büyük bir eğitim veri kümesi E düşünün. .., xM } ve hem normal hem de kaza fotoğraflarını içeren daha küçük bir test veri kümesi Ê (Ê=[( x̂1,y1), (x̂2,y2), (x̂F*,yF*)]),çerçeveler, burada yi figure-protocol-1[0, 1] çerçeve etiketi görüntüsüdür. F figure-protocol-2F* eğitimi için, eğitim veri kümesinin test veri kümesinden önemli ölçüde daha büyük olması gerekir. Veri kümesi manifoldunu (E) öğrendikten sonra, çıkarım sırasında Ê'deki kaza çerçevelerini aykırı değerler olarak tanımlayın. F modeli, öğrenilen normal veri dağılımına dayalı olarak bir kaza puanı Acc(x) hesaplar. Yüksek kaza puanına sahip bir test görüntüsü x bir kaza olabilir. Karar kriterleri, Acc(x) > φ ise kaza puanı eşiğine (φ) dayanmaktadır.

Ağ mimarisi:
Şekil 1'de gösterildiği gibi, GANomaly model21 iki kodlayıcı, bir kod çözücü ve bir ayırıcı içerir. Birçok araştırmacı, gizli vektörleri ayırt etmek ve görsel anormallikleri tespit etmek için bu yöntemi uyarlamıştır12,22. İki kodlayıcı ve tek kod çözücü, modeldeki resmi ve gizli vektörü karşılıklı olarak değiştirir. Bu anormal gerçekler dönüşüm sırasında belirtilir. Ayrımcı, oluşturulan görüntüleri orijinalinden ayırır. GANomaly kodlamaya, kod çözmeye ve yeniden kodlamaya dayanır.

figure-protocol-3
Şekil 1: Bilgi akışını gösteren GANomaly mimarisi. Mimari, üretken bir çekişmeli ağ içine entegre edilmiş bir kodlayıcı-kod çözücü-kodlayıcı çerçevesinden oluşur. İlk kodlayıcı, giriş video karesini gizli bir alan temsiline sıkıştırır ve bu daha sonra kod çözücü tarafından yeniden oluşturulur. İkinci bir kodlayıcı, yeniden oluşturulan çerçeveyi gizli alana geri eşler. Ayrımcı, anomali puanını hesaplamak için giriş ve yeniden yapılandırılmış özellikler arasındaki farkı değerlendirir. Oklar, ağ üzerinden yönlü veri akışını gösterir. Kısaltma: GAN = üretken çekişmeli ağ. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 2 , iki kodlayıcı ve bir kod çözücü ile EDE mimarisini göstermektedir. EDE yapısı, video aksiliklerini tespit etmek için parametreleri sürekli olarak değiştirmelidir. EDE yapısına ikinci bir kod çözücü ekledik ve Şekil 2'deki modeli iki ağ konfigürasyonu ile oluşturmak için kodlayıcıları paylaşmalarına izin verdik. İki kodlayıcının dört evrişimli katmanı vardır. Çıkışları -1 ile 1 arasında bağlamak için bir tanh aktivasyonu kullanan çıkış katmanı dışındaki tüm katmanlar için LeakyReLU aktivasyon fonksiyonlarını kullandık. Toplu normalleştirme, birden çok evrişimli katmandan sonra uygulandı. Kod çözücüler (Şekil 3 ve Şekil 4) kodlayıcılara benzer, ancak her katman yerine ConvTranspose ve ekstra toplu normalleştirme kullanır.

figure-protocol-4
Şekil 2: Bilgi akışı ile önerilen EDE tabanlı mimari. EDE mimarisi, video karelerinin akışını iki kodlayıcı ve bir kod çözücü aracılığıyla gösteren gösterilmiştir. İlk kodlayıcı (E1), giriş çerçevesini gizli bir temsile sıkıştırır ve bu daha sonra kod çözücü (D1) tarafından yeniden oluşturulur. Yeniden yapılandırılmış çıktı, ikinci bir gizli vektör elde etmek için ikinci kodlayıcıdan (E2) geçirilir. Gizli vektörler ve rekonstrüksiyon kalitesi arasındaki tutarsızlıklar, çekişmeli ve kontrastlı kayıp bileşenleri tarafından desteklenen anomali tespiti için kullanılır. Kısaltma: EDE = kodlayıcı-kod çözücü-kodlayıcı. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Ağ mimarisi ayrıntıları:
Çift EDE modeli, her biri aynı yapıya sahip ve eğitim sırasında ortaklaşa optimize edilmiş iki kodlayıcı-kod çözücü-kodlayıcı boru hattından oluşur.

Enkoder Mimarisi (E1, E2)

Giriş: 128×128×3 RGB çerçeve

Katman 1: Conv2D (64 filtre, 4×4 çekirdek, adım 2, dolgu 1) → LeakyReLU (α = 0.2)

Katman 2: Conv2D (128 filtre, 4×4, adım 2, dolgu 1) → BatchNorm → LeakyReLU

Katman 3: Conv2D (256 filtre, 4×4, adım 2, dolgu 1) → BatchNorm → LeakyReLU

Katman 4: Conv2D (512 filtre, 4×4, adım 2, dolgu 1) → BatchNorm → LeakyReLU

Katman 5: Düzleştir → Yoğundan gizli vektöre (z figure-protocol-5^100)

Kod Çözücü Mimarisi (D1, D2)

Giriş: z figure-protocol-6^ 100 → Yoğun → 8×8×512 olarak yeniden şekillendirilir

Katman 1: TransposedConv2D (256 filtre, 4×4, adım 2, dolgu 1) → BatchNorm → ReLU

Katman 2: TransposedConv2D (128 filtre, 4×4, adım 2, dolgu 1) → BatchNorm → ReLU

Katman 3: TransposedConv2D (64 filtre, 4×4, adım 2, dolgu 1) → BatchNorm → ReLU

Katman 4: TransposedConv2D (3 filtre, 4×4, adım 2, dolgu 1) → Tanh

Yeniden oluşturulan görüntü, gizli bir temsil elde etmek için ikinci kodlayıcı aracılığıyla yeniden kodlanır ve orijinal ile yeniden yapılandırılmış gizli vektörler arasındaki tutarsızlıklar anomali puanlaması için kullanılır.

Aktivasyon ve normalleştirme
Kodlayıcılar LeakyReLU aktivasyonu ve toplu normalleştirme kullanır. Kod çözücüler, çıktıları [-1, 1] aralığına normalleştirmek için Tanh uygulayan son katman dışında ReLU aktivasyonunu kullanır.

Kayıp Işlev
Görüntü rekonstrüksiyon kaybı: ǀǀ x −ǀǀ2
Gizli tutarlılık kaybı: ǀǀ z −ǀǀ2

Çekişmeli kayıp: Ağı gerçek gizli kodları yeniden yapılandırma sırasında üretilenlerden ayırt etmeye zorlayarak gerçek ve sentetik yeniden yapılandırmalar arasındaki farklılığı en üst düzeye çıkarmak için Aşama II'de tanıtıldı.

Bu mimari, hem piksel alanı hem de gizli alan düzensizliklerini yakalayarak anormal sürüş davranışını gösteren ince sapmaların algılanmasını sağlar.

İki aşamada eğitim
İki aşamalı bir ağ eğitim yöntemi kullanılmaktadır. Hem görüntü hem de gizli vektör rekonstrüksiyonu için iki EDE yapısı eğitilir. İkinci aşamada, Kodlayıcı 2, verileri gerçek veya yeniden yapılandırılmış olarak yanlış sınıflandırması için Kodlayıcı 1'i kandırmaya çalışır.

İlk rekonstrüksiyon eğitimi
EDE yapısı, giriş görüntüsünü ve gizli vektörü çoğaltmak için eğitilmiştir. x girişi, Enkoder E1 tarafından gizli vektör z'ye kodlanır. Hem D1 hem de D2, x1 ve x2 olmak üzere görüntüler üretmek için z'nin kodunu çözer. İki yeniden yapılandırılmış resmi (x1 ve x2) geçtikten sonra kodlayıcı E2'den iki gizli vektör (z1 ve z2) elde ettik. Bu aşama şu eğitim hedeflerini içerir:

LEDE1 = γ ǀǀ x −x1ǀǀ2+δ ǀǀ z −z1ǀǀ2 (1)
LEDE2 = γ ǀǀ x−x2ǀǀ2+δ ǀǀ z −z2ǀǀ2 (2)

Bu yeniden yapılandırılmış görüntüler, gizli vektörler z1 ve z2'yi elde etmek için Kodlayıcı E2'den geçirilir. Eğitim hedefleri:
Ağırlıklandırma faktörleri (γ, δ), kayıp bileşenlerinin amaç fonksiyonu üzerindeki etkisini önemli ölçüde etkiler.

İkinci olarak, iki Kodlayıcı-Kod Çözücü-Kodlayıcı yapısını çekişmeli yöntemler kullanarak eğittik.
Burada, γ ve δ, rekonstrüksiyon ve gizli tutarlılık kayıplarının katkılarını tartan parametrelerdir.

Çekişmeli eğitim
İki EDE yapısı rakip olarak eğitilir. Verilerden kodlayıcı 2'yi tanımayı öğrenir. EDE2, EDE1'i aldatmalıdır çünkü tam tersidir. D1, ilk adımdan itibaren z2'nin kodunu çözer ve x1'i yeniden oluşturur. E2 kodlayıcıya x1' tekrarlandığında z1' elde edilir. Aşama eğitim hedefleri aşağıdaki gibidir:

min maks γ ǀǀ x −x1'ǀǀ +δ ǀǀ z -z1'ǀǀ 2 (3)
EDE2 EDE1

İki EDE yapısı şu kayıp fonksiyonlarına sahiptir:
LEDE1 = −γ ǀǀ x -x1'ǀǀ 2 −δǀǀ z - z1'ǀǀ 2 (4)
LEDE2 = +γ ǀǀ x - x1'ǀǀ 2+δ ǀǀ z - z1'ǀǀ 2 (5)

γ ve δ değerleri daha önce belirtilen parametrelerle eşleşir.

figure-protocol-7
Şekil 3: Enkoder yapısı. Önerilen EDE mimarisinde kullanılan kodlayıcı ağı, giriş video karelerinden uzay-zamansal özellikleri çıkarır. Birden çok evrişimli katmandan oluşur ve ardından toplu normalleştirme ve ReLU aktivasyonu yapar ve hiyerarşik temsilleri yakalarken uzamsal boyutları aşamalı olarak azaltır. Son gizli vektör, anomali tespiti için gerekli olan üst düzey anlamsal bilgileri kodlar. Kısaltmalar: ReLU = Doğrultulmuş Doğrusal Birim, EDE = kodlayıcı-kod çözücü-kodlayıcı. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Her EDE, önerilen yapı için iki kayıp fonksiyonu sağlar. Faz 1'de, EDE1 x ve z rekonstrüksiyon kayıplarını azaltmalıdır. EDE1, gizli vektörler z ve z1' ve x ve x1' arasındaki faz 2 varyansını optimize etmelidir. EDE2 ve EDE1, faz 1 x ve z rekonstrüksiyon hatalarını azaltır. EDE1, faz 2'de z ve z1' ve x ve x1' arasındaki farkı azaltmalıdır, ancak bunun tersi olmalıdır.

figure-protocol-8
Şekil 4: Kod çözücü yapısı. Önerilen EDE mimarisinin kod çözücü bileşeni, gizli özelliklerden giriş çerçevelerini yeniden oluşturur. Unsur eşlemelerini orijinal kare çözünürlüğüne aşamalı olarak yükselten bir dizi devrik evrişimli katmandan oluşur. Kod çözücü, normal trafik sahnelerini doğru bir şekilde yeniden oluşturmayı öğrenerek, sistemin yeniden yapılandırma hatalarına dayalı anormallikleri tanımlamasını sağlar. Kısaltma: EDE = kodlayıcı-kod çözücü-kodlayıcı. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Her EDE modeli ikili eğitim hedefi, zaman içinde değişen ağırlıklara sahip kayıp fonksiyonlarını içerir:

LEDE1=(γ||xx1||2+δ||zz1||2)-(1)(γ||xx1''||2+δ||zz1''||2) (6)
LEDE2=(γ||xx1||2+δ||zz1||2)+(1-)(γ||xx1''||2+δ||zz1''||2) (7)

Eğitim dönemi sayısı n'dir.

Algoritma 1 iki aşamalı eğitimi gösterir:
Girdi:
Veri Kümesindeki tüm normal görüntüler E = {x1, x2, . . . , xF},
Çağlar N,
Ağırlıklı parametreler γ, δ
Çıktı:
Eğitimli Kodlayıcı-Kod Çözücü-Kodlayıcı 1,
Kodlayıcı-Kod Çözücü-Kodlayıcı 2
E1, E2, D1, D2 ← başlatılıyor
Ağırlık
n ←1
yinelemek
f = 1 için F do
ZF←E1(xF)
         figure-protocol-9←d1(zf)
         figure-protocol-10←D2(zF)
         figure-protocol-11← e2(figure-protocol-12)
         figure-protocol-13← e2(figure-protocol-14)
         figure-protocol-15←d1(figure-protocol-16)
         figure-protocol-17←e2(figure-protocol-18)'
LEDE1figure-protocol-19(γ||xffigure-protocol-20||2+δ||zffigure-protocol-21||2) −(1−figure-protocol-22)(γ||xffigure-protocol-23'||2+ δ||zffigure-protocol-24'||2)
LEDE2←(figure-protocol-25γ||xffigure-protocol-26||2+δ||zffigure-protocol-27||2) +(1-) (γfigure-protocol-28||xffigure-protocol-29'||2+ δ||zffigure-protocol-30'||2)
E1, E2, D1, D2←Güncelleme Ağırlıkları
LEDE1ve LEDE2 kullanarak
için bitir
n ←n + 1
n = N olana kadar

Eğitim aşamaları ve anomali tespit kriterleri
Eğitimi iki ardışık aşamaya bölün:

Aşama I - Rekonstrüksiyon Öğrenimi:
Her iki EDE boru hattı da yalnızca normal trafik sahnelerinde eğitilmiştir.

Giriş görüntüleri Kodlayıcı 1 → Kod Çözücü 1 → Kodlayıcı 2'den geçirilir (Şekil 5).

Model, görüntü rekonstrüksiyon kaybını ve gizli tutarlılık kaybını en aza indirir. Bu aşama, ağın normal davranış için kompakt, tutarlı bir gizli alan öğrenmesini sağlar.

Aşama II - Üretken Yüzleşme Öğrenmesi:

Kod Çözücü 1'den yeniden oluşturulan gizli vektörler, Kod Çözücü 2'ye girilir ve ardından Kodlayıcı 1 aracılığıyla yeniden kodlanır. Bu dairesel akış, modelin sentetik desenlerdeki tutarsızlıkları algılamasına yardımcı olur. Orijinal ve yeniden yapılandırılmış temsiller arasındaki küçük sapmaları abartmak için çekişmeli bir kayıp eklenir. Bir ayrımcı, isteğe bağlı olarak, gerçek gizli kodları yeniden yapılandırılmış olanlardan ayırt etmek için eğitilir ve gizli alanda daha keskin bir ayrım uygular.

Anomali algılama:
Çıkarım zamanında, çift EDE işlem hattından bir test çerçevesi geçirin. Üç metriği hesaplayın: piksel bazında yeniden yapılandırma hatası, gizli vektör tutarsızlığı ve çekişmeli ayrımcı puanı (kullanılıyorsa). Bileşik anomali puanını ağırlıklı toplam olarak hesaplayın:
figure-protocol-31

Kalibre edilmiş bir eşiğin üzerinde anomali puanlarına sahip çerçeveler olası anormal olaylar olarak işaretlenir. Bu mekanizma, modelin herhangi bir açıklamalı anomali etiketi gerektirmeden görsel ve gizli alan desenlerindeki ince sapmaları algılamasını sağlar.

figure-protocol-32
Şekil 5: EDE 1 ve EDE 2'yi entegre eden çekişmeli GANomaly modelinin mimarisi. Bu şekil, yeniden yapılandırma için EDE1 ve gizli özellik hizalaması için EDE2 olmak üzere iki EDE yapısını entegre eden çekişmeli anomali algılama modelinin tasarımını göstermektedir. Model, girdinin gizli temsilleri ile yeniden yapılandırılmış çerçeveler arasındaki benzerliği zorlamak için gizli bir vektör tutarlılık kaybı ve bir ayrımcı aracılığıyla çekişmeli eğitim kullanır. Bu mimari, normal trafik desenleri için sağlam özellik eklemelerini öğrenerek anomali algılamayı geliştirir. Kısaltmalar: EDE1 = Yeniden yapılandırma için ilk kodlayıcı-kod çözücü-kodlayıcı yapısı; EDE2 = Gizli özellik hizalaması için ikinci kodlayıcı-kod çözücü-kodlayıcı yapısı. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Algılama sırasında modelimiz şu anormal puanları kullandı:

Acc(x̂) = ω1||z−z2||22||z−z1'||2 (8)

Ağırlık parametrelerinin değiştirilmesi (ω1+ ω2= 1), gerçek pozitiflerin yanlış pozitiflere oranını ayarlayarak hassasiyeti değiştirebilir. Gerçek dünya uygulamalarında, bu iki parametrenin değiştirilmesi, tek bir deneyde çeşitli hassasiyetlere sahip kazaları tespit edebilir.

Eğitim sırasında, her bir giriş karesi x, gizli bir z vektörü oluşturmak için Enkoder E1'den geçirilir. Gizli vektör daha sonra Kod Çözücü D1 aracılığıyla yeniden yapılandırılır, daha sonra yeniden yapılandırılmış bir gizli vektör z elde etmek için Kodlayıcı E2'den geçirilen x̂1 görüntüsü üretilir. Paralel olarak, z, x̂2'yi üretmek için Kod Çözücü D2 tarafından çözülür ve bu da z2'yi elde etmek için E2 aracılığıyla yeniden kodlanır. Bu çift yönlü işlem, anomali algılama için hem piksel hem de gizli düzeydeki bilgileri korur.

Model test algoritması:
figure-protocol-33={( x̂1,y 1),( x̂2,y 2),...,( x̂M*,yM*)},
Eşik φ,

Ağırlıklandırma parametreleri ω1, ω2
Çıktı: Test veri kümesinin tahmin etiketi
Ere = {y1ön, y2ön, ..., yF*ön}
i =1 için F* do
Zi ← E1(XI)
x2i ← d2(zi)
Z2I ← E2(x2I)
Z1I' ← D1(Z2I)
Z1I' ← E2(Z1I')
Acc(x̂i) ←ω1||zi−z2i||22||zi−z1i'||2
ifAcc(x̂i) ≥φ sonra
YIPRE ←1
başka
yipre ←0
endif
son

EDE, modelin normal ve anormal olayları ayırt etme yeteneğini geliştirerek anomali algılama doğruluğunu artırmak için ayrımcıyı çekişmeli bir öğrenme bileşeni olarak kullanır. Performansı aşağıdaki gibi artırır:

Ayrımcılığı öğrenmek: Ayrımcı, sentetik ve ikili EDE yapısı yeniden yapılandırılmış temsilleri ayırt etmek için eğitilmiştir. Bu çekişmeli sürecin optimize edilmesi, modele son derece ayırt edici gizli özellikler vererek trafik sahnesi anormallik algılamasını iyileştirir.

Kötü rekonstrüksiyonların kaldırılması: Trafik modellerinden çok fazla saptıkları için, anormallikler genellikle yeniden yapılandırma sorunlarına neden olur. Ayrımcı, yanlış oluşturulmuş çerçeveleri cezalandırarak ağın normal/anormal olay algılamasını iyileştirir.

Çekişmeli eğitim ile özellik temsilini geliştirme: Ayrımcı, çekişmeli öğrenmeyi entegre ederek EDE ağının daha dayanıklı ve anlamlı gizli yerleştirmeler oluşturmasını sağlar. Bu, ani frenleme, çarpışmalar ve aracın savrulması gibi küçük değişiklikleri bile algılayarak anormallik algılamayı iyileştirir.

Yanlış pozitifleri kaldırma: Geleneksel otomatik kodlayıcılar anormallikleri aşırı genelleştirir ve normalleştirir, bu da yüksek yanlış pozitif oranlarına neden olur. Ayrımcı, normal ve anormal çerçeveler arasındaki gizli tutarsızlıkları belirleyerek rekonstrüksiyon sırasında anomalilerin niteliklerini korur.

İki aşamalı karar süreci ile sınıflandırmanın iyileştirilmesi: Normal veya anormal yeniden oluşturulan çerçeveler, ayrımcıdan güven puanları alır. Bu ek doğrulama aşamasında yanlış sınıflandırma hataları ve yeniden yapılandırma kaybı azaltılarak algılama doğruluğu artırılır.

23,24,25,26 stratejisini test etmek için kanıtlanmış kaza tespit yöntemlerini kullandık. Çok sınıflı bir veri setindeki bir sınıf normaldi ve diğer tüm kaza sınıfları, bire karşı tüm yaklaşımlar kullanılarak dikkatlice incelendi. Model sadece normal sınıf verileri kullanılarak eğitilirken, test seti kaza ve normal verileri kullandı. Eğitim ve test setleri iki şekilde ayrıldı.


Access restricted. Please log in or start a trial to view this content.

Results

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Önerilen trafik anormalliği algılama yönteminin etkinliğini değerlendirmek için modeli tek bir video klip üzerinde uyguladık ve sistemin zaman içindeki davranışını ve özellik alanı içindeki davranışını gösteren görselleştirmeler oluşturduk. Simüle edilmiş bir EDE boru hattı kullanılarak elde edilmesine rağmen, sonuçlar gerçek bir modelden beklenebilecek nitel sonuçları yakından yansıtır.

Anomali skoru zaman çizelgesi, modelin olağandışı oluşumları belirleme konusundaki kare kare güvenini göste...

Access restricted. Please log in or start a trial to view this content.

Discussion

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışma, gerçek dünyadaki gözetim videolarında hem tek hem de çok araçlı kazaları tanımlamak için denetimsiz bir şekilde eğitilmiş, bir EDE mimarisi kullanan derin öğrenme tabanlı bir trafik anormallik tespit sistemi sunmaktadır. Sistem, tipik trafik davranışını modelleyerek, etiketlenmiş anormallik verilerine ihtiyaç duymadan sapmaları olası anormallikler olarak algılar ve böylece akıllı trafik izlemede ölçeklenebilirlik ve veri seyrekliği zorluklarını ele alır. Araştırma, etkili uza...

Access restricted. Please log in or start a trial to view this content.

Disclosures

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarlar herhangi bir çıkar çatışması beyan etmemektedir.

Acknowledgements

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu araştırma hiçbir dış fon almadı. Yazarlar, bu çalışmanın yürütülmesinde gerekli donanımı ve paha biçilmez desteği sağladıkları için Hindistan'ın Coimbatore kentindeki Amrita School of Computing'e teşekkür eder.

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
AI City Challenge Track 4 Veri KümesiYapay Zeka Şehir Mücadelesi (https://www.aicitychallenge.org)Parça 4, 2021 Sürümü
CUDA Araç SetiNVIDIA GeliştiricisiSürüm 11.3
cuDNN KütüphanesiNVIDIA GeliştiricisiCUDA 11.3 ile uyumlu
GPU İş İstasyonu Kümesi (Eğitim)Amrita Bilgisayar Okulu
Yerel İş İstasyonu (Sis Düğümü)Amrita Bilgisayar Okulu
Matplotlibmatplotlib.orgSürüm 3.3+
NVIDIA Jetson Nano (Uç Cihaz)NVIDIA945-13450-0000-100
NVIDIA RTX 3060 GPU (İş İstasyonu)NVIDIAÜreticiye göre değişir
NumPynumpy.orgSürüm 1.19+
Açık CVOpenCV.orgSürüm 4.5+
Pandalarpandas.pydata.orgSürüm 1.1+
PitonPython Yazılım VakfıSürüm 3.8+
PyTorchPyTorch (https://pytorch.org)Sürüm 1.10+
Scikit-öğrenscikit-learn.orgSürüm 0.24+
Ubuntu Linux (İşletim Sistemi)Kanonik Ltd.Sürüm 20.04 LTS

References

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Gannina, A. R. K., et al. A new approach to road incident detection leveraging live traffic data: An empirical investigation. Procedia Comput Sci. 235, 2288-2296 (2024).
  2. Khaleghi, A., Moin, M. -S. Improved anomaly detection in surveillance videos based on a deep learning method. IEEE. , 73-81 (2018).
  3. Tripathy, A. K., Sarkar, M., Sahoo, J. P., Li, K. C., Chinara, S. Road accident detection and severity determination from CCTV surveillance. Advances in distributed computing and machine learning. Lect Notes Netw Syst. , Springer. Singapore. (2021).
  4. Pang, G., Shen, C., Cao, L., Van den Hengel, A. Deep learning for anomaly detection: A review. ACM Comput. Surv. 54 (1), 1-38 (2021).
  5. Chalapathy, F., Zhang, L., Liu, H., Wang, Y., Zhao, Y. Deep learning for video anomaly detection: A review. arXiv preprint. , (2024).
  6. Gupta, A., Verma, S. Wave-GANomaly: A GAN-based anomaly detector using multi-feature fusion and wavelet transform. PLoS ONE. 18 (6), 1-18 (2023).
  7. Roy, D., Uddin, M. S., Bappy, S. M. Deep learning-based anomaly detection in video surveillance: A comprehensive review. Sensors. 23 (11), 5024-5047 (2023).
  8. Generative adversarial nets. Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., et al. Proc 27th Int Conf Neural Inf Process Syst, Montreal, QC, , (2014).
  9. Alzahrani, A. B., et al. Unsupervised video anomaly detection in UAVs: A new approach. Front Sustain. Cities. 5, 1-10 (2023).
  10. Chalapathy, R., Chawla, S. Deep learning for anomaly detection: A survey. , Cornell University. (2019).
  11. Chen, H., Lin, J., Fang, M. Variational autoencoder for anomaly detection: A comparative study. arXiv preprint. , (2024).
  12. Schlegl, T., Seeböck, P., Waldstein, S. M., Langs, G., Schmidt-Erfurth, U. f-AnoGAN: Fast unsupervised anomaly detection with generative adversarial networks. Med Image Anal. 54, 30-44 (2019).
  13. Akcay, S., Atapour-Abarghouei, A., Breckon, T. P. Ganomaly: Semi-supervised anomaly detection via adversarial training. Comput Vis – ACCV 2018, Lect Notes Comput Sci. Jawahar, C., Li, H., Mori, G., Schindler, K. 11363, Springer. Cham. (2019).
  14. Ocgan: One-class novelty detection using GANs with constrained latent representations. Perera, P., Nallapati, R., Xiang, B. Proc IEEE/CVF Conf Comput Vis Pattern Recognit, Long Beach, CA, , 2898-2906 (2019).
  15. Nayak, R., Mishra, S. K., Dalai, A. K., Pati, U. C., Das, S. K. A panoramic review on cutting-edge methods for video anomaly localization. IEEE Access. 12, 186380-186412 (2024).
  16. He, Z., Xu, X., Deng, S. Discovering cluster-based local outliers. Pattern Recognit Lett. 24, 1641-1650 (2003).
  17. Tax, D. M. J., Duin, R. P. W. Support vector data description. Mach Learn. 54, 45-66 (2004).
  18. Anomaly detection with robust deep autoencoders. Zhou, C., Paffenroth, R. C. Proc. 23rd ACM SIGKDD Int Conf Knowl Discov Data Min, Halifax, NS, , 665-674 (2017).
  19. Hojjati, H., Ho, T. K. K., Armanfard, N. Self-supervised anomaly detection in computer vision and beyond: A survey and outlook. Neural Netw. 172, 106106(2024).
  20. Donahue, J., Krähenbühl, P., Darrell, T. Adversarial feature learning. , Cornell University. (2016).
  21. El-Sayed, H. A., El-Horbaty, A. A cutting-edge video anomaly detection method using image quality assessment and attention mechanisms. Alex Eng J. 72, 689-701 (2024).
  22. Kiran, B. R., Thomas, D. M., Parakkal, R. An overview of deep learning-based methods for unsupervised and semi-supervised anomaly detection in videos. J Imaging. 4, 36(2018).
  23. Chow, J. K., Su, Z., Wu, J., Tan, P., Mao, X., Wang, Y. Anomaly detection of defects on concrete structures with the convolutional autoencoder. Autom Constr. 45, 101105(2020).
  24. Siegel, B. Industrial anomaly detection: A comparison of unsupervised neural network architectures. IEEE Sens Lett. 4 (8), 1-4 (2020).
  25. Uchida, M., Ishida, S., Tabaru, T., Miyamoto, H. Anomaly detection of rotary vacuum pump using thin AE sensor and reconstruction error of autoencoder. SICE Trans. 54 (7), 599-605 (2018).
  26. Khan, M. A., Ahmad, T., Siddiqui, N. A. A novel unsupervised video anomaly detection framework based on spatiotemporal features. PLoS ONE. 18 (4), 1-20 (2023).
  27. Iowa DOT anomaly dataset. , https://www.aicitychallenge.org/2021-data-and-evaluation (2021).
  28. Lee, K., Jung, D. Unsupervised video anomaly detection based on similarity with text descriptions. Sensors. 23 (14), 6256(2023).
  29. Kingma, D. P., Welling, M. Auto-encoding variational bayes. arXiv preprint. , (2013).
  30. Masci, J., Meier, U., Cireşan, D., Schmidhuber, J. Stacked convolutional auto-encoders for hierarchical feature extraction. Int Conf Artif Neural Netw. Honkela, T., Duch, W., Girolami, M., Kaski, S. , Springer. Berlin. 52-59 (2011).
  31. Fan, J., Zhang, Q., Zhu, J., Zhang, M., Yang, Z., Cao, H. Robust deep auto-encoding Gaussian process regression for unsupervised anomaly detection. Neurocomputing. 376, 180-190 (2020).
  32. Shvetsova, N., Bakker, B., Fedulova, I., Schulz, H., Dylov, D. V. Anomaly detection in medical imaging with deep perceptual autoencoders. IEEE Access. 9, 118571-118583 (2021).
  33. Unsupervised anomaly detection with generative adversarial networks to guide marker discovery. Schlegl, T., Seeböck, P., Waldstein, S. M., Schmidt-Erfurth, U., Langs, G. Int Conf Inf Process Med Imaging, , Springer. Cham. 146-157 (2017).
  34. Tuluptceva, N., Bakker, B., Fedulova, I., Konushin, A. Perceptual image anomaly detection. arXiv preprint. , (2019).
  35. Chen, C., Yuan, W., Xie, Y., Qu, Y., Tao, Y., Song, H., et al. Novelty detection via non-adversarial generative network. arXiv preprint. , (2020).
  36. Salehi, M., Eftekhar, A., Sadjadi, N., Rohban, M. H., Rabiee, H. R. Puzzle-AE: Novelty detection in images through solving puzzles. arXiv preprint. , (2020).
  37. Support vector method for novelty detection. Schölkopf, B., Williamson, R. C., Smola, A. J., Shawe-Taylor, J., Platt, J. Proc 12th Int Conf Neural Inf Process, Denver, CO, , 582-588 (1999).
  38. Marvasti-Zadeh, S. M., Cheng, L., Ghanei-Yakhdan, H., Kasaei, S. Deep learning for visual tracking: A comprehensive survey. IEEE Trans Intell Transp Syst. , 1-26 (2021).
  39. Van den Oord, A., et al. Conditional image generation with PixelCNN decoders. Adv Neural Inf Process Syst. 29, Barcelona. (2016).
  40. Deep one-class classification. Proc 35th Int Conf Mach Learn. PMLR. Ruff, L., et al. , PMLR. Stockholm. 4393-4402 (2018).
  41. Pidhorskyi, S., Almohsen, R., Doretto, G. Generative probabilistic novelty detection with adversarial autoencoders. Adv Neural Inf Process Syst. 31, Montreal, QC. (2018).
  42. The 5th AI city challenge. Naphade, M., et al. IEEE Conf Comput Vis Pattern Recognit Work, , (2021).
  43. Good practices and a strong baseline for traffic anomaly detection. Zhao, Y., Wu, W., He, Y., Li, Y., Tan, X., Chen, S. Proc IEEE/CVF Conf Comput Vis Pattern Recognit, , 3993-4001 (2021).
  44. Box-level tube tracking and refinement for vehicles anomaly detection. Wu, J., Wang, X., Xiao, X., Wang, Y. Proc IEEE/CVF Conf Comput Vis Pattern Recognit, , 4112-4118 (2021).
  45. Dual-modality vehicle anomaly detection via bilateral trajectory tracing. Chen, J., et al. Proc IEEE/CVF Conf Comput Vis Pattern Recognit, , 4016-4025 (2021).
  46. An efficient approach for anomaly detection in traffic videos. Doshi, K., Yilmaz, Y. Proc IEEE/CVF Conf Comput Vis Pattern Recognit, , 4236-4244 (2021).
  47. A vision-based system for traffic anomaly detection using deep learning and decision trees. Aboah, A. Proc IEEE/CVF Conf Comput Vis Pattern Recognit, , 4207-4212 (2021).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Traffic Accident DetectionSurveillance VideosUnsupervised Anomaly DetectionDual Encoder DecoderAdversarial TrainingDeep Learning ArchitectureReconstruction LossGenerative Adversarial MechanismTraffic Behavior ModelingEmergency Response

Related Articles