$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Sistem
Kurulum
Önerilen trafik anormallik algılama sistemini, Intel Tiber Cloud ortamından yararlanarak hiyerarşik ve dağıtılmış bir bilgi işlem çerçevesi içinde devreye aldık. Bu mimari, düşük gecikmeli çıkarım, ölçeklenebilir eğitim ve bilgi işlem düğümleri arasında verimli kaynak tahsisi sağlamak için uç, sis ve bulut olmak üzere üç katmandan oluşur.
Edge Katmanı: Gerçek zamanlı anormallik algılama, hafif, GPU özellikli yerleşik cihazlar (ör. NVIDIA Jetson Nano veya entegre GPU'lara sahip eşdeğer Intel tabanlı platformlar) kullanılarak uçta gerçekleştirilir. Bu birimler, güvenlik kameralarıyla birlikte konumlandırıldı ve minimum gecikmeyle kare kare çıkarım gerçekleştirerek merkezi olmayan ve duyarlı trafik izlemeyi mümkün kıldı.
Sis Katmanı: Toplu çıkarım ve gerçek zamanlı model iyileştirme dahil olmak üzere daha yoğun bilgi işlem gerektiren görevler, Intel Tiber Bulutu içinde özel sanal makineler veya çıplak metal örnekler olarak sağlanan sis düğümleri tarafından gerçekleştirildi. Her sis düğümü, en az 16 GB RAM'e sahip bir Intel Xeon işlemci ile yapılandırıldı ve Intel ile entegre veya ayrı GPU hızlandırmasına erişimi vardı. Bu ara katman, merkezi sunuculardan özerkliği korurken veri kaynağının yakınında yüksek verimli işlemlere olanak tanıdı.
Bulut Katmanı: Büyük ölçekli eğitim ve arşivleme için bulut katmanı, Intel Tiber'ın yapay zeka için optimize edilmiş hizmetleri aracılığıyla sunulan ölçeklenebilir bilgi işlem kümelerini kullanır. Intel Habana Gaudi hızlandırıcıları veya Intel Xeon Ölçeklenebilir işlemcilerle donatılmış bulut sunucuları, kapsamlı video veri kümelerinde derin sinir ağlarını eğitmek, model sürümü oluşturmayı, uzun vadeli depolamayı ve sistem genelinde orkestrasyonu desteklemek için kullanılır.
Tam yazılım yığını, hızlandırılmış hesaplama için Intel tarafından optimize edilmiş kitaplıkları kullanarak Python 3.8+ ortamında çalıştırıldı. Birincil çerçeveler arasında PyTorch (PyTorch için Intel Uzantısı ile), görüntü ve video ön işleme için OpenCV ve değerlendirme için Scikit-learn bulunur. GPU hızlandırma, uygun oneAPI araç setleri ve DAAL optimizasyonları aracılığıyla etkinleştirilir.
Dağıtımdan sonra, çift EDE mimarisini içeren depoyu klonladık ve model bileşenlerini başlattık - iki kodlayıcı (E1, E2) ve iki kod çözücü (D1, D2). Yerel kaynak kullanılabilirliğine bağlı olarak bileşenleri dinamik olarak en uygun işlem birimine (CPU, GPU veya Gaudi hızlandırıcı) aktarmak için .to(device) yöntemini kullandı.
Dönem sayısı, öğrenme oranı, kayıp dengeleme katsayıları (γ, δ) ve anomali duyarlılık eşikleri (ω1, ω2) dahil olmak üzere eğitim ve değerlendirme parametrelerini bir yapılandırma betiğinde bildirdik. Eğitim için iki aşamalı bir protokol izledik: (1) normal trafik davranışını öğrenmek için standart otomatik kodlayıcı yeniden yapılandırması ve (2) çapraz EDE etkileşimlerini kullanarak anormallikleri yükseltmek için çekişmeli gizli yeniden yapılandırma.
Bu modüler ve bulut tabanlı sistem mimarisi, Intel Tiber Cloud aracılığıyla gerçek dünyadaki akıllı ulaşım ortamlarında sağlam, gerçek zamanlı anormallik tespiti, model ölçeklenebilirliği ve güvenilir dağıtım sağladı.
Dataset
Önerilen anormallik algılama sistemini eğitmek ve değerlendirmek için NVIDIA AI City Challenge 2021, Track 4 (Trafik Anomalisi) tarafından sağlanan veri kümesini kullandık. Veri seti, her biri ortalama 15 dakika süreli, 30 fps ve 410p çözünürlükte kaydedilmiş 100 eğitim videosu ve 150 test videosundan oluşur. Her video, yol türleri, kamera açıları, aydınlatma ve hava koşullarındaki farklılıklar nedeniyle farklı bir zorluk seviyesi sunar. Veri seti, çok çeşitli yol altyapısını (ör. çok şeritli otoyollar, kavşaklar), trafik yoğunluklarını ve hava koşullarını (ör. açık, yağmurlu, alacakaranlık) birden fazla kamera açısından yakalar. Bu öznitelikler, anomali algılama modellerinin genelleştirilebilirliğini değerlendirmek için ideal bir kıyaslama haline getirir.
Ön
Modeli denetimsiz koşullar altında eğitmek için, eğitim sırasında anormal olaylara maruz kalmaktan kaçınarak yalnızca normal (kaza olmayan) trafik sahnelerini kullanın. OpenCV kullanarak video önişleme gerçekleştirin. Yedekliliği azaltırken yeterli zamansal kapsama alanı sağlamak için çerçeveleri 5 fps'de eşit şekilde örnekleyin. Kareleri 128 x 128 piksel olarak yeniden boyutlandırın, çift EDE ağının giriş gereksinimlerini karşılayın ve görsel ayrıntıları hesaplama verimliliğiyle dengeleyin. Egzersiz kararlılığını artırmak için piksel değerlerini [−1, 1] aralığına normalleştirin.
Genelleştirmeyi geliştirmek ve gerçek dünya değişkenliğini simüle etmek için, rastgele olasılıkla her eğitim çerçevesine aşağıdaki büyütme tekniklerini uygulayın:
Rastgele kırpma ve ölçekleme: Rastgele alt bölgeleri kırpın ve bunları orijinal çözünürlüğe geri ölçeklendirin, böylece nesne boyutunda değişmezliği, kısmi görünürlüğü ve uzamsal konum kaymalarını teşvik edin, gözetim videosundaki yakınlaştırma efektlerini ve merkez dışı nesneleri taklit edin.
Parlaklık ve kontrast modülasyonu: Gölgeler, parlama, gün doğumu/gün batımı değişimleri ve yapay aydınlatma gibi aydınlatma varyasyonlarını taklit etmek için doğrusal veya gama tabanlı dönüştürmeler uygulayın. Bu, modelin günlük ve mevsimsel aydınlatma dalgalanmalarına karşı dayanıklılığını artırır.
Gauss gürültü enjeksiyonu ve hareket bulanıklığı: Sensör gürültüsünü ve sıkıştırma artefaktlarını simüle etmek için değişen standart sapmalarla Gauss gürültüsü ekleyin. Özellikle hızlı tempolu trafik sahnelerinde önemli olan, hareketli nesnelerin veya kamera sarsıntısının etkisini taklit etmek için farklı yönlere ve büyüklüklere yönlendirilmiş evrişimli çekirdekler kullanarak hareket bulanıklığını simüle edin.
Rastgele oklüzyon maskeleme: Çerçeve üzerine rastgele boyutlarda ve konumlarda siyah veya gri dikdörtgen yamalar yerleştirerek sentetik oklüzyonlar uygulayın. Bu büyütme, yayalar, altyapı öğeleri veya görüş alanını tıkayan geçen araçlar gibi gerçek dünyadaki engelleri simüle eder. Modeli bağlamdan öğrenmeye ve eksik veya bozuk bölgelere karşı sağlam kalmaya teşvik eder.
PyTorch dönüştürme işlem hatlarını kullanarak eğitim sırasında bu güçlendirmeleri dinamik olarak uygulayın ve her partinin çeşitli artırılmış çerçeveler içerdiğinden emin olun, farklı desenlere maruz kalmayı teşvik edin ve aşırı uyumu azaltın.
Toplu işleme, karıştırma ve paralel yüklemeyi yönetmek için PyTorch'un DataLoader'ı ile işlenmiş kareleri yükleyin. GPU kapasitesine bağlı olarak 32 ile 64 arasında toplu iş boyutlarıyla eğitin. Çıkarım ve anomali puanlaması için, hassas çerçeve düzeyinde algılamayı etkinleştirmek için çerçeveleri ayrı ayrı (toplu iş boyutu = 1) işleyin.
Bu ön işleme ve büyütme işlem hattı, sağlamlığı ve genelleştirmeyi geliştirerek modelin çeşitli ve gürültülü gerçek dünya trafik izleme ortamlarında anormal davranışları etkili bir şekilde algılamasına olanak tanır.
Önerilen yöntem:
Önerilen EDE sistemi, görüntü dağılımları ve gizli alanlar arasındaki çift yönlü eşlemeleri öğrenir. İki kodlayıcı ve iki kod çözücü, sağlam unsur ayıklama ve anormallik farklılaştırması sağlar. Ağlar hem yeniden yapılanma hem de çekişmeli aşamalarda eğitilmiştir. Kontrastlı öğrenme, düzenlileştirme ve gradyan cezası, mod çökmesini önlemek ve GAN eğitiminin sağlamlığını artırmak için kullanılır.
EDE çerçevesi şu şekilde çalışır: Kodlayıcı 1 (E1), görüntü özelliklerini gizli alana kodlar. İlk kod çözücü (D1), yeniden yapılandırma kaybını en aza indirmek için gizli vektörlerden gelen görüntüleri yeniden oluşturur. Yeniden oluşturulan görüntüler daha sonra tutarsızlıkları yakalamak için gizli alana geri eşlenir. İkinci kod çözücü (D2), modelin gerçek verileri sentetik verilerden ayırt etmesine yardımcı olmak için ikinci gizli alandan sentetik görüntüler üretir. Bu çift yönlü eşleme, piksel düzeyindeki farklılıklar yerine gizli alan tutarsızlıklarına dayalı olarak anormallikleri algılar.
Aşama 1: Rekonstrüksiyon Eğitimi: Otomatik kodlayıcı, normal trafik görüntülerini yeniden oluşturmak için eğitilmiştir, bu nedenle anormal girişler önemli yeniden yapılandırma hataları üretir. Kayıp işlevi, giriş görüntüsünü, gizli kodlamasını ve yeniden yapılandırılmış görüntüyü dikkate alır.
Çekişmeli Eğitim: Rekonstrüksiyon eğitimini takiben, çekişmeli öğrenme uygulanır. Yeniden yapılandırılmış gizli vektörler, sentetik görüntüler ve gizli vektörler üretmek için alternatif bir EDE yapısından geçirilir. Amaç, gerçek ve sentetik görüntüler arasındaki farkları en üst düzeye çıkarmaktır; Kodlayıcı 2 (E2) ile anomali algılamayı geliştirmek için gizli vektörleri değiştirin ve yeniden oluşturun; ve kodlayıcının çökmesini önleyin.
Eğitim, E1 ve E2'nin aynı eşlemelere yakınsamasını önlemek için tasarlanmıştır, bu da ayrımcı yeteneği azaltacaktır.
Karşılaştırmalı öğrenme: Bir kayıp fonksiyonu, unsurların ayrılmasını kontrol eden bir marj hiperparametresi ile gerçek ve yeniden yapılandırılmış temsilleri ayırt eder.
Düzenleme teknikleri şunları içerir:
Dropout: Aşırı uyumu önlemek için nöronların rastgele deaktivasyonu.
Ağırlık kaybı: Özellik öğrenmeyi stabilize etmek için büyük ağırlıkları cezalandırır.
Çekişmeli eğitim kararlılığı20 ve mod çökmesini önleme yöntemleri şunları içerir:
Gradyan cezası: Ayrımcı davranışı düzenler.
Veri artırma: Çeşitli koşulları simüle etmek için rastgele kırpma, ölçekleme ve ayarlanabilir aydınlatma.
Gürültü enjeksiyonu: Genellemeyi geliştirmek için gerçekçi gürültü, hareket bulanıklığı ve tıkanıklıklar ekleme.
Erken durdurma: Aşırı öğrenmeyi önlemek için doğrulama kaybı önemli ölçüde dalgalanırsa eğitimi durdurma.
Bu mimari geliştirmeler, eğitim yöntemleri ve dayanıklılık önlemleri, trafik anormalliğinin güvenilir şekilde algılanmasını sağlar.
Denetimsiz kaza tespit ağı, yalnızca normal numuneler üzerinde eğitilir ve hem normal hem de kaza numuneleri üzerinde test edilir. Resmen:
Tüm normal ve kaza videoları kümesinden, yalnızca F normal kareler (E = {x1, x2}) içeren büyük bir eğitim veri kümesi E düşünün. .., xM } ve hem normal hem de kaza fotoğraflarını içeren daha küçük bir test veri kümesi Ê (Ê=[( x̂1,y1), (x̂2,y2), (x̂F*,yF*)]),çerçeveler, burada yi
[0, 1] çerçeve etiketi görüntüsüdür. F
F* eğitimi için, eğitim veri kümesinin test veri kümesinden önemli ölçüde daha büyük olması gerekir. Veri kümesi manifoldunu (E) öğrendikten sonra, çıkarım sırasında Ê'deki kaza çerçevelerini aykırı değerler olarak tanımlayın. F modeli, öğrenilen normal veri dağılımına dayalı olarak bir kaza puanı Acc(x) hesaplar. Yüksek kaza puanına sahip bir test görüntüsü x bir kaza olabilir. Karar kriterleri, Acc(x) > φ ise kaza puanı eşiğine (φ) dayanmaktadır.
Ağ mimarisi:
Şekil 1'de gösterildiği gibi, GANomaly model21 iki kodlayıcı, bir kod çözücü ve bir ayırıcı içerir. Birçok araştırmacı, gizli vektörleri ayırt etmek ve görsel anormallikleri tespit etmek için bu yöntemi uyarlamıştır12,22. İki kodlayıcı ve tek kod çözücü, modeldeki resmi ve gizli vektörü karşılıklı olarak değiştirir. Bu anormal gerçekler dönüşüm sırasında belirtilir. Ayrımcı, oluşturulan görüntüleri orijinalinden ayırır. GANomaly kodlamaya, kod çözmeye ve yeniden kodlamaya dayanır.

Şekil 1: Bilgi akışını gösteren GANomaly mimarisi. Mimari, üretken bir çekişmeli ağ içine entegre edilmiş bir kodlayıcı-kod çözücü-kodlayıcı çerçevesinden oluşur. İlk kodlayıcı, giriş video karesini gizli bir alan temsiline sıkıştırır ve bu daha sonra kod çözücü tarafından yeniden oluşturulur. İkinci bir kodlayıcı, yeniden oluşturulan çerçeveyi gizli alana geri eşler. Ayrımcı, anomali puanını hesaplamak için giriş ve yeniden yapılandırılmış özellikler arasındaki farkı değerlendirir. Oklar, ağ üzerinden yönlü veri akışını gösterir. Kısaltma: GAN = üretken çekişmeli ağ. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 2 , iki kodlayıcı ve bir kod çözücü ile EDE mimarisini göstermektedir. EDE yapısı, video aksiliklerini tespit etmek için parametreleri sürekli olarak değiştirmelidir. EDE yapısına ikinci bir kod çözücü ekledik ve Şekil 2'deki modeli iki ağ konfigürasyonu ile oluşturmak için kodlayıcıları paylaşmalarına izin verdik. İki kodlayıcının dört evrişimli katmanı vardır. Çıkışları -1 ile 1 arasında bağlamak için bir tanh aktivasyonu kullanan çıkış katmanı dışındaki tüm katmanlar için LeakyReLU aktivasyon fonksiyonlarını kullandık. Toplu normalleştirme, birden çok evrişimli katmandan sonra uygulandı. Kod çözücüler (Şekil 3 ve Şekil 4) kodlayıcılara benzer, ancak her katman yerine ConvTranspose ve ekstra toplu normalleştirme kullanır.

Şekil 2: Bilgi akışı ile önerilen EDE tabanlı mimari. EDE mimarisi, video karelerinin akışını iki kodlayıcı ve bir kod çözücü aracılığıyla gösteren gösterilmiştir. İlk kodlayıcı (E1), giriş çerçevesini gizli bir temsile sıkıştırır ve bu daha sonra kod çözücü (D1) tarafından yeniden oluşturulur. Yeniden yapılandırılmış çıktı, ikinci bir gizli vektör elde etmek için ikinci kodlayıcıdan (E2) geçirilir. Gizli vektörler ve rekonstrüksiyon kalitesi arasındaki tutarsızlıklar, çekişmeli ve kontrastlı kayıp bileşenleri tarafından desteklenen anomali tespiti için kullanılır. Kısaltma: EDE = kodlayıcı-kod çözücü-kodlayıcı. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Ağ mimarisi ayrıntıları:
Çift EDE modeli, her biri aynı yapıya sahip ve eğitim sırasında ortaklaşa optimize edilmiş iki kodlayıcı-kod çözücü-kodlayıcı boru hattından oluşur.
Enkoder Mimarisi (E1, E2)
Giriş: 128×128×3 RGB çerçeve
Katman 1: Conv2D (64 filtre, 4×4 çekirdek, adım 2, dolgu 1) → LeakyReLU (α = 0.2)
Katman 2: Conv2D (128 filtre, 4×4, adım 2, dolgu 1) → BatchNorm → LeakyReLU
Katman 3: Conv2D (256 filtre, 4×4, adım 2, dolgu 1) → BatchNorm → LeakyReLU
Katman 4: Conv2D (512 filtre, 4×4, adım 2, dolgu 1) → BatchNorm → LeakyReLU
Katman 5: Düzleştir → Yoğundan gizli vektöre (z
^100)
Kod Çözücü Mimarisi (D1, D2)
Giriş: z
^ 100 → Yoğun → 8×8×512 olarak yeniden şekillendirilir
Katman 1: TransposedConv2D (256 filtre, 4×4, adım 2, dolgu 1) → BatchNorm → ReLU
Katman 2: TransposedConv2D (128 filtre, 4×4, adım 2, dolgu 1) → BatchNorm → ReLU
Katman 3: TransposedConv2D (64 filtre, 4×4, adım 2, dolgu 1) → BatchNorm → ReLU
Katman 4: TransposedConv2D (3 filtre, 4×4, adım 2, dolgu 1) → Tanh
Yeniden oluşturulan görüntü, gizli bir temsil elde etmek için ikinci kodlayıcı aracılığıyla yeniden kodlanır ve orijinal ile yeniden yapılandırılmış gizli vektörler arasındaki tutarsızlıklar anomali puanlaması için kullanılır.
Aktivasyon ve normalleştirme
Kodlayıcılar LeakyReLU aktivasyonu ve toplu normalleştirme kullanır. Kod çözücüler, çıktıları [-1, 1] aralığına normalleştirmek için Tanh uygulayan son katman dışında ReLU aktivasyonunu kullanır.
Kayıp Işlev
Görüntü rekonstrüksiyon kaybı: ǀǀ x −ǀǀ2
Gizli tutarlılık kaybı: ǀǀ z −ǀǀ2
Çekişmeli kayıp: Ağı gerçek gizli kodları yeniden yapılandırma sırasında üretilenlerden ayırt etmeye zorlayarak gerçek ve sentetik yeniden yapılandırmalar arasındaki farklılığı en üst düzeye çıkarmak için Aşama II'de tanıtıldı.
Bu mimari, hem piksel alanı hem de gizli alan düzensizliklerini yakalayarak anormal sürüş davranışını gösteren ince sapmaların algılanmasını sağlar.
İki aşamada eğitim
İki aşamalı bir ağ eğitim yöntemi kullanılmaktadır. Hem görüntü hem de gizli vektör rekonstrüksiyonu için iki EDE yapısı eğitilir. İkinci aşamada, Kodlayıcı 2, verileri gerçek veya yeniden yapılandırılmış olarak yanlış sınıflandırması için Kodlayıcı 1'i kandırmaya çalışır.
İlk rekonstrüksiyon eğitimi
EDE yapısı, giriş görüntüsünü ve gizli vektörü çoğaltmak için eğitilmiştir. x girişi, Enkoder E1 tarafından gizli vektör z'ye kodlanır. Hem D1 hem de D2, x1 ve x2 olmak üzere görüntüler üretmek için z'nin kodunu çözer. İki yeniden yapılandırılmış resmi (x1 ve x2) geçtikten sonra kodlayıcı E2'den iki gizli vektör (z1 ve z2) elde ettik. Bu aşama şu eğitim hedeflerini içerir:
LEDE1 = γ ǀǀ x −x1ǀǀ2+δ ǀǀ z −z1ǀǀ2 (1)
LEDE2 = γ ǀǀ x−x2ǀǀ2+δ ǀǀ z −z2ǀǀ2 (2)
Bu yeniden yapılandırılmış görüntüler, gizli vektörler z1 ve z2'yi elde etmek için Kodlayıcı E2'den geçirilir. Eğitim hedefleri:
Ağırlıklandırma faktörleri (γ, δ), kayıp bileşenlerinin amaç fonksiyonu üzerindeki etkisini önemli ölçüde etkiler.
İkinci olarak, iki Kodlayıcı-Kod Çözücü-Kodlayıcı yapısını çekişmeli yöntemler kullanarak eğittik.
Burada, γ ve δ, rekonstrüksiyon ve gizli tutarlılık kayıplarının katkılarını tartan parametrelerdir.
Çekişmeli eğitim
İki EDE yapısı rakip olarak eğitilir. Verilerden kodlayıcı 2'yi tanımayı öğrenir. EDE2, EDE1'i aldatmalıdır çünkü tam tersidir. D1, ilk adımdan itibaren z2'nin kodunu çözer ve x1'i yeniden oluşturur. E2 kodlayıcıya x1' tekrarlandığında z1' elde edilir. Aşama eğitim hedefleri aşağıdaki gibidir:
min maks γ ǀǀ x −x1'ǀǀ +δ ǀǀ z -z1'ǀǀ 2 (3)
EDE2 EDE1
İki EDE yapısı şu kayıp fonksiyonlarına sahiptir:
LEDE1 = −γ ǀǀ x -x1'ǀǀ 2 −δǀǀ z - z1'ǀǀ 2 (4)
LEDE2 = +γ ǀǀ x - x1'ǀǀ 2+δ ǀǀ z - z1'ǀǀ 2 (5)
γ ve δ değerleri daha önce belirtilen parametrelerle eşleşir.

Şekil 3: Enkoder yapısı. Önerilen EDE mimarisinde kullanılan kodlayıcı ağı, giriş video karelerinden uzay-zamansal özellikleri çıkarır. Birden çok evrişimli katmandan oluşur ve ardından toplu normalleştirme ve ReLU aktivasyonu yapar ve hiyerarşik temsilleri yakalarken uzamsal boyutları aşamalı olarak azaltır. Son gizli vektör, anomali tespiti için gerekli olan üst düzey anlamsal bilgileri kodlar. Kısaltmalar: ReLU = Doğrultulmuş Doğrusal Birim, EDE = kodlayıcı-kod çözücü-kodlayıcı. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Her EDE, önerilen yapı için iki kayıp fonksiyonu sağlar. Faz 1'de, EDE1 x ve z rekonstrüksiyon kayıplarını azaltmalıdır. EDE1, gizli vektörler z ve z1' ve x ve x1' arasındaki faz 2 varyansını optimize etmelidir. EDE2 ve EDE1, faz 1 x ve z rekonstrüksiyon hatalarını azaltır. EDE1, faz 2'de z ve z1' ve x ve x1' arasındaki farkı azaltmalıdır, ancak bunun tersi olmalıdır.

Şekil 4: Kod çözücü yapısı. Önerilen EDE mimarisinin kod çözücü bileşeni, gizli özelliklerden giriş çerçevelerini yeniden oluşturur. Unsur eşlemelerini orijinal kare çözünürlüğüne aşamalı olarak yükselten bir dizi devrik evrişimli katmandan oluşur. Kod çözücü, normal trafik sahnelerini doğru bir şekilde yeniden oluşturmayı öğrenerek, sistemin yeniden yapılandırma hatalarına dayalı anormallikleri tanımlamasını sağlar. Kısaltma: EDE = kodlayıcı-kod çözücü-kodlayıcı. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Her EDE modeli ikili eğitim hedefi, zaman içinde değişen ağırlıklara sahip kayıp fonksiyonlarını içerir:
LEDE1=(γ||x−x1||2+δ||z−z1||2)-(1−)(γ||x−x1''||2+δ||z−z1''||2) (6)
LEDE2=(γ||x−x1||2+δ||z−z1||2)+(1-)(γ||x−x1''||2+δ||z−z1''||2) (7)
Eğitim dönemi sayısı n'dir.
Algoritma 1 iki aşamalı eğitimi gösterir:
Girdi:
Veri Kümesindeki tüm normal görüntüler E = {x1, x2, . . . , xF},
Çağlar N,
Ağırlıklı parametreler γ, δ
Çıktı:
Eğitimli Kodlayıcı-Kod Çözücü-Kodlayıcı 1,
Kodlayıcı-Kod Çözücü-Kodlayıcı 2
E1, E2, D1, D2 ← başlatılıyor
Ağırlık
n ←1
yinelemek
f = 1 için F do
ZF←E1(xF)
←d1(zf)
←D2(zF)
← e2(
)
← e2(
)
←d1(
)
←e2(
)'
LEDE1←
(γ||xf−
||2+δ||zf−
||2) −(1−
)(γ||xf−
'||2+ δ||zf−
'||2)
LEDE2←(
γ||xf−
||2+δ||zf−
||2) +(1-) (γ
||xf−
'||2+ δ||zf−
'||2)
E1, E2, D1, D2←Güncelleme Ağırlıkları
LEDE1ve LEDE2 kullanarak
için bitir
n ←n + 1
n = N olana kadar
Eğitim aşamaları ve anomali tespit kriterleri
Eğitimi iki ardışık aşamaya bölün:
Aşama I - Rekonstrüksiyon Öğrenimi:
Her iki EDE boru hattı da yalnızca normal trafik sahnelerinde eğitilmiştir.
Giriş görüntüleri Kodlayıcı 1 → Kod Çözücü 1 → Kodlayıcı 2'den geçirilir (Şekil 5).
Model, görüntü rekonstrüksiyon kaybını ve gizli tutarlılık kaybını en aza indirir. Bu aşama, ağın normal davranış için kompakt, tutarlı bir gizli alan öğrenmesini sağlar.
Aşama II - Üretken Yüzleşme Öğrenmesi:
Kod Çözücü 1'den yeniden oluşturulan gizli vektörler, Kod Çözücü 2'ye girilir ve ardından Kodlayıcı 1 aracılığıyla yeniden kodlanır. Bu dairesel akış, modelin sentetik desenlerdeki tutarsızlıkları algılamasına yardımcı olur. Orijinal ve yeniden yapılandırılmış temsiller arasındaki küçük sapmaları abartmak için çekişmeli bir kayıp eklenir. Bir ayrımcı, isteğe bağlı olarak, gerçek gizli kodları yeniden yapılandırılmış olanlardan ayırt etmek için eğitilir ve gizli alanda daha keskin bir ayrım uygular.
Anomali algılama:
Çıkarım zamanında, çift EDE işlem hattından bir test çerçevesi geçirin. Üç metriği hesaplayın: piksel bazında yeniden yapılandırma hatası, gizli vektör tutarsızlığı ve çekişmeli ayrımcı puanı (kullanılıyorsa). Bileşik anomali puanını ağırlıklı toplam olarak hesaplayın:

Kalibre edilmiş bir eşiğin üzerinde anomali puanlarına sahip çerçeveler olası anormal olaylar olarak işaretlenir. Bu mekanizma, modelin herhangi bir açıklamalı anomali etiketi gerektirmeden görsel ve gizli alan desenlerindeki ince sapmaları algılamasını sağlar.

Şekil 5: EDE 1 ve EDE 2'yi entegre eden çekişmeli GANomaly modelinin mimarisi. Bu şekil, yeniden yapılandırma için EDE1 ve gizli özellik hizalaması için EDE2 olmak üzere iki EDE yapısını entegre eden çekişmeli anomali algılama modelinin tasarımını göstermektedir. Model, girdinin gizli temsilleri ile yeniden yapılandırılmış çerçeveler arasındaki benzerliği zorlamak için gizli bir vektör tutarlılık kaybı ve bir ayrımcı aracılığıyla çekişmeli eğitim kullanır. Bu mimari, normal trafik desenleri için sağlam özellik eklemelerini öğrenerek anomali algılamayı geliştirir. Kısaltmalar: EDE1 = Yeniden yapılandırma için ilk kodlayıcı-kod çözücü-kodlayıcı yapısı; EDE2 = Gizli özellik hizalaması için ikinci kodlayıcı-kod çözücü-kodlayıcı yapısı. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Algılama sırasında modelimiz şu anormal puanları kullandı:
Acc(x̂) = ω1||z−z2||2+ω2||z−z1'||2 (8)
Ağırlık parametrelerinin değiştirilmesi (ω1+ ω2= 1), gerçek pozitiflerin yanlış pozitiflere oranını ayarlayarak hassasiyeti değiştirebilir. Gerçek dünya uygulamalarında, bu iki parametrenin değiştirilmesi, tek bir deneyde çeşitli hassasiyetlere sahip kazaları tespit edebilir.
Eğitim sırasında, her bir giriş karesi x, gizli bir z vektörü oluşturmak için Enkoder E1'den geçirilir. Gizli vektör daha sonra Kod Çözücü D1 aracılığıyla yeniden yapılandırılır, daha sonra yeniden yapılandırılmış bir gizli vektör z elde etmek için Kodlayıcı E2'den geçirilen x̂1 görüntüsü üretilir. Paralel olarak, z, x̂2'yi üretmek için Kod Çözücü D2 tarafından çözülür ve bu da z2'yi elde etmek için E2 aracılığıyla yeniden kodlanır. Bu çift yönlü işlem, anomali algılama için hem piksel hem de gizli düzeydeki bilgileri korur.
Model test algoritması:
={( x̂1,y 1),( x̂2,y 2),...,( x̂M*,yM*)},
Eşik φ,
Ağırlıklandırma parametreleri ω1, ω2
Çıktı: Test veri kümesinin tahmin etiketi
Ere = {y1ön, y2ön, ..., yF*ön}
i =1 için F* do
Zi ← E1(XI)
x2i ← d2(zi)
Z2I ← E2(x2I)
Z1I' ← D1(Z2I)
Z1I' ← E2(Z1I')
Acc(x̂i) ←ω1||zi−z2i||2+ω2||zi−z1i'||2
ifAcc(x̂i) ≥φ sonra
YIPRE ←1
başka
yipre ←0
endif
son
EDE, modelin normal ve anormal olayları ayırt etme yeteneğini geliştirerek anomali algılama doğruluğunu artırmak için ayrımcıyı çekişmeli bir öğrenme bileşeni olarak kullanır. Performansı aşağıdaki gibi artırır:
Ayrımcılığı öğrenmek: Ayrımcı, sentetik ve ikili EDE yapısı yeniden yapılandırılmış temsilleri ayırt etmek için eğitilmiştir. Bu çekişmeli sürecin optimize edilmesi, modele son derece ayırt edici gizli özellikler vererek trafik sahnesi anormallik algılamasını iyileştirir.
Kötü rekonstrüksiyonların kaldırılması: Trafik modellerinden çok fazla saptıkları için, anormallikler genellikle yeniden yapılandırma sorunlarına neden olur. Ayrımcı, yanlış oluşturulmuş çerçeveleri cezalandırarak ağın normal/anormal olay algılamasını iyileştirir.
Çekişmeli eğitim ile özellik temsilini geliştirme: Ayrımcı, çekişmeli öğrenmeyi entegre ederek EDE ağının daha dayanıklı ve anlamlı gizli yerleştirmeler oluşturmasını sağlar. Bu, ani frenleme, çarpışmalar ve aracın savrulması gibi küçük değişiklikleri bile algılayarak anormallik algılamayı iyileştirir.
Yanlış pozitifleri kaldırma: Geleneksel otomatik kodlayıcılar anormallikleri aşırı genelleştirir ve normalleştirir, bu da yüksek yanlış pozitif oranlarına neden olur. Ayrımcı, normal ve anormal çerçeveler arasındaki gizli tutarsızlıkları belirleyerek rekonstrüksiyon sırasında anomalilerin niteliklerini korur.
İki aşamalı karar süreci ile sınıflandırmanın iyileştirilmesi: Normal veya anormal yeniden oluşturulan çerçeveler, ayrımcıdan güven puanları alır. Bu ek doğrulama aşamasında yanlış sınıflandırma hataları ve yeniden yapılandırma kaybı azaltılarak algılama doğruluğu artırılır.
23,24,25,26 stratejisini test etmek için kanıtlanmış kaza tespit yöntemlerini kullandık. Çok sınıflı bir veri setindeki bir sınıf normaldi ve diğer tüm kaza sınıfları, bire karşı tüm yaklaşımlar kullanılarak dikkatlice incelendi. Model sadece normal sınıf verileri kullanılarak eğitilirken, test seti kaza ve normal verileri kullandı. Eğitim ve test setleri iki şekilde ayrıldı.