Uydu Görüntüsü Değişimi Algısı için Seyrek Özellik Konvolüsyon Ağı ile İnteraktif Çok Ölçekli Dikkat Füzyonu

Summary

Bu çalışma, uydu görüntüsü değişimi algılamasını iyileştirmek için Seyrek Özellik Konvolüsyon Ağları ile İnteraktif Çok Ölçekli Dikkat füzyon modeli sunmaktadır. Bu yaklaşım, çok ölçekli özellik çıkarımı, dikkat üzerine seçici odaklanma ve seyrek konvolüsiyalardan yararlanarak, hesaplama karmaşıklığını azaltarak iki zamanlı uydu görüntülerindeki değişimi etkili şekilde tespit edip lokalize eder.

Abstract

Çift zamanlı uydu görüntüleri kullanılarak değişim tespiti, zaman kazanımı arasındaki yüzey değişikliklerini tanımlamak ve lokelize etmek ile mevsimsel döngüler, atmosfer faktörleri veya insan kaynaklı gelişmeler nedeniyle gerçek sahte değişiklikleri ayırt etmeyi amaçlayan Dünya izlemesinde önemli bir problemdir. Mevcut derin öğrenme yöntemleri genellikle zamansal modellemelerinde tek yönlü bir önyargıyla karşılaşır; bu da büyük ölçekli mekansal ilişkilerin kullanılabilirliğini kısıtlayarak değişim desenlerinin doğru karakterizasyonunu güçlendirir. Son zamanlarda transformatör tabanlı teknikler son derece hassas olsa da, hesaplama gereksinimleri de oldukça büyüktür ve bu nedenle kaynak kısıtlı görevlerde kullanımlarını sınırlar. Bu sınırlamalara yanıt olarak, etkili çok ölçekli özelliklerin çıkarılmasını sağlamak için Hayalet modüllere dayalı Seyrek Özellik Konvolüsyonu (SFC) ile Etkileşimli Çok Ölçekli Dikkat Füzyonu (IMAF) ağı önerilmektedir. Ağ, gelişmiş kodlayıcı-kodlayıcı mimarisi ve farklı ölçeklerde etkileşimli dikkat modülleriyle desteklenen bir sistem kullanır. Ağ, tamamlayıcı ileri ve geri dikkat akışlarıyla çalışır: ilki, ilerleyici zamansal değişimi kaydederken, ikincisi ters zamansal analizle değişikliklerin tutarlılığını doğrular. Bu etkileşimli yöntem, zaman ilişkilerinin dupleks modelinin hesaplama açısından engelleyici olmadan etkili temsillerini sağlar ve meşru arazi örtüsünün hareketlerini, gürültü kaynaklı varyasyon olmadan gürültüyle ayırt etmek için çok daha iyi yaklaşımları geliştirir. İki kıyaslama veri seti denenmiştir: Onera Uydu Değişim Algılama veri seti (OSCD) ve SZTAKI AirChange veri setleri. OSCD veri setleri üzerinde yapılan önemli deneyler, önerilen yaklaşımın sadece 2.13M parametre ve 19.6G FLOPS, 19 kat az parametre ve 5.6x çıkarım dönüşümü ile %58,14 (13 kanal) ve %50,68 (3 kanal) rekabetçi F1 oranlarına ulaştığını ortaya koymaktadır; bu, ChangeFormer'a kıyasla 19 kat az parametre ve 5,6x çıkarım dönüşümü ile gerçekleşmektedir. SZTAKI veri setinin Szada/1 ve Tiszadob/3 test seti örneklerindeki rekabetçi performans, F1 puanı sırasıyla %74,29 ve %92,86, operasyonel enerjinin doğrudan hesaplama enerjisine bağlı olduğu en uç cihazlarda gerçek zamanlı analitik ve kapsamlı haritalama sistemlerinin uygulanmasını mümkün kılar.

Introduction

Küresel çevrede eşi benzeri görülmemiş kentleşme seviyeleri, çevresel kaynak kaybı ve iklim nedeniyle peyzajda yapılan değişiklikler, Dünya yüzeyindeki değişiklikleri belirleyip ölçebilen kesin, zamanında ve otomatik bir izleme sistemi sağlama ihtiyacını doğrudan tetiklemiştir. Uydu uzaktan algılama, değişimin tam incelemesinde hayati önem sunmasının yanı sıra tutarlı zamansal ve mekansal kapsama sağladığı için kitlesel çevresel gözetimin temel yapı taşı haline gelmiştir. İki zamanlı uydu görüntüsü değişim tespiti, aynı coğrafi bölgenin iki ardışık alımı arasındaki yüzey değişikliklerinin karakterizasyonudur. Ancak bu karmaşık bir süreçtir; çünkü mevsimlerin değişmesi, hava koşulları, sensör özellikleri, geometrik bozulmalar ve gerçek arazi örtüsünü gölgede bırakabilecek veya benzeyebilecek fenomenolojik değişiklikler gibi çok sayıda kafa karıştırıcı değişken vardır. Şu anda kullanılan uydu görüntülerinin manuel görüntü yorumu zaman alıcı, öznel ve mevcut uydu takımyıldızları tarafından üretilen sürekli artan dünya gözlem bilgisi miktarıyla başa çıkmak için uygun değildir. Bu, otomatik değişim tespit çözümlerinin oluşturulmasına yol açan temel sınırlamadır. Geleneksel piksel^{tabanlı 1} ve nesne tabanlı değişim^{algılama 2} yöntemleri, bu karmaşıklıkların sınırları içinde çalışmak için uygun değildir ve geniş coğrafi birimler ve zaman ölçeklerine uygulanacak düşük bir dayanıklılık standardına sahiptir. Derin öğrenme mimarileri, özellikle konvolüsyon sinir ağları ve varyantları, düşük seviyeli spektral detayları ve değişiklikleri ayırt etmek için önemli yüksek seviyeli anlamsal desenleri temsil eden hiyerarşik özelliklerin çıkarılmasını sağlar. Derin öğrenme değişim tespit modelleri, uzaktan algılama verilerindeki gizli uzaylı-zaman değişikliklerini yakalamada ve gerçek arazi örtüsünü dış faktörlerin getirdiği sahte değişikliklerle karşılaştırmada son derece umut verici olduğunu kanıtlamıştır. Bu uçtan uca öğrenme yaklaşımları, özelliklerin çıkarılabileceği ve sınıflandırmanın aynı anda en iyi şekilde yapılabileceği gerçeğinden faydalanıyor. Değişim tespit doğruluğunda önemli ilerlemelere rağmen, mevcut yaklaşımların çoğu gerçek dünya operasyonel ortamlarında uygulanması zordur. Transformatör tabanlı^{yaklaşımlar 3}, küresel bağlamda verimli olmalarına rağmen, yüksek parametre sayısına, kuadratik hesaplama karmaşıklığına, çıkarım gecikmesine ve yüksek enerji tüketimine sahiptir. Öte yandan, Siam CNN tabanlı mimariler verimlilik açısından üstündür, ancak küçük alıcı alanlara sahiptir ve büyük ölçüde küresel bağlamsal modellemeden yoksundur, bu da performansı önemli ölçüde kötüleştirir. Bu kısıtlamalar, ölçeklenebilirlik ve operasyonel maliyetin kritik olduğu büyük ölçekli ve kaynak kısıtlı ortamlarda daha da kötüleşiyor. Ölçeklenebilirlik, enerji verimliliği ve çıkarımların hızı, acil müdahale ortamında sıklıkla hayati öneme sahiptir ve performans ile konuşlanabilirliği dengeleyen çözümler yaratma ihtiyacı vardır. Bu nedenle, doğruluk odaklı, hesaplama açısından yoğun modeller ile gerçek dünya dağıtımının pratik gereksinimleri arasında bir boşluk kalmaya devam etmektedir.

Bu tür sorunları aşmak için, yalnızca doğruluk optimizasyonu yerine verimli ve konuşlandırılabilir bir değişim algılama çerçevesinin tasarımına odaklanan Etkileşimli Çok Ölçekli Dikkat Füzyonu (IMAF) ve Seyrek Özellik Konvolüsyonu (SFC) Ağı önerilmiştir. Önerilen çözüm, genellikle uydular tarafından elde edilen RGB veya yüksek çözünürlüklü çok spektral görüntüler (0,5-30 m çözünürlük) optik uydu görüntü çiftlerine odaklanır; örneğin Landsat, Sentinel-2 veya WorldView gibi. Bu teknik, kayıt hatalarının tespit üzerinde de önemli bir etki yaratabileceği için, iki zamanlı çiftlerin kesin geometrik ortak kaydını öngörür. Bu sistem, çok sınıflı anlamsal değişimin aksine, ikili değişim algılamayla ilgilenir ve çeşitli değişim türlerini ayırt edemez. Bunun ötesinde, yöntem radyometrik olarak düzeltilmiş görüntüleri kullanarak mevsimsel, atmosfer ve aydınlatma değişikliklerinin etkilerini azaltıyor; bu değişiklikler arazi örtüsü değişikliği olarak yanlış anlaşılacaktır. Geleneksel Siyam CNN'lerinin aksine, basit bir bağlama yardımıyla iki zamanlı görüntüleri ayıran Siyam^CNN'leri 4'ün aksine, önerilen IMAF modülü hem küresel hem de yerel özelliklerin çok ölçekli bağlamsal birleşimini mümkün kılar. BIT⁵ ve ChangeFormer³ gibi son transformatör tabanlı yaklaşımlar çok iyi sonuçlar veriyor, ancak kendi kendine dikkat mekanizmaları O(N²) karmaşıklığına sahip. Önerilen çerçeve, ince değişiklikleri çift yönlü dikkatle yakalarak hesaplama karmaşıklığını ve çıkarım gecikmesini azaltır. Buna ek olarak, önerilen tasarım seyrekliğe duyarlıdır ve bu da UNet++^6,7 ve SNUNet⁸ gibi yoğun çok ölçekli füzyon tasarımlarından üstündür. Hayalet modülle yapılan seyrek özellik konvolüsyonu, FLOP'ları yaklaşık %50 azaltarak temsil kalitesini korur. Bu nedenle, önerilen çerçeve, kaynak kısıtlı ortamlarda güvenilir dağıtım için doğruluk-verimlilik dengesini savunur.

Bu çalışmanın başlıca katkıları şunlardır: (i) Trafo tabanlı muadillere kıyasla 19 kat daha az parametre kullanarak rekabetçi bir F1 puanı elde eden hafif bir değişim dedektörü. (ii) Geleneksel öz-dikkat mekanizmalarının kuadratik hesaplama maliyeti olmadan küresel bağlamsal bilgi elde eden Etkileşimli Çok Ölçekli Dikkat Füzyon modülü. (iii) Ghosts modüllerine dayalı özellik seyrekliğine sahip bir konvolüsyon şeması, bu da özellik temsili üzerinde kalite bozulması olmadan kayan nokta işlemlerini yüzde 49,4 oranında en aza indirir. (iv) Büyük bir kıyaslama veri seti setinde kapsamlı deneysel doğrulama, daha iyi verimlilik-doğruluk takasları ve gerçek dünyada uygulamanın makul uygulanabilirliği.

Bu makalenin geri kalanı aşağıdaki bölümlerden oluşmaktadır: Bölüm 2, ikili değişim tespit yöntemleri alanındaki son çalışmalara kapsamlı bir genel bakış sunar; özellikle derin öğrenme çözümleri ve bunların standart kıyaslamalar üzerindeki uygulanmasına özel önem verilir. Bölüm 3, önerilen çözümün teorik arka planı ve yapısal tasarımını, zamansal füzyon mekanizmasının ve dikkat unsurlarının matematiksel temsilini, deneysel kurulumun özelliklerini, veri setlerini, değerlendirme metriklerini ve tekrarlanabilir araştırma üretmek için gerekli uygulama detaylarını verir. 4. bölüm, OSCD ve SZTAKI Airchange veri setlerindeki çeşitli coğrafi alanlardaki kapasiteyi açıklayan ablasyon ve en son ikili değişim algılama algoritmalarıyla karşılaştırmaları içeren ayrıntılı deneysel bulguları göstermektedir. Bölüm 5, bulguların sonucunu, mevcut yaklaşımın sınırlamalarını ve değişim tespiti alanında gelecekteki araştırmaların olasılıklarını belirler.

Uzaktan algılamada değişim algılama algoritmalarının gelişimi, piksel tabanlı yöntemlerden derin öğrenme çerçevelerine büyük ölçüde değişmiştir. Erken değişim algılama prosedürleri esas olarak görüntü farklılaştırması, görüntü karnelendirmesi ve değişim vektör analizi gibi cebirsel süreçlere dayanıyordu; bu analizler piksel değerleri üzerinde doğrudan çalışarak zamansal^{değişiklikleri tespit ediyordu 9,10}. Sınıflandırma sonrası karşılaştırmayı içeren alternatif yöntemler geliştirildi; bu yöntemlerde her zamansal görüntü bağımsız olarak sınıflandırıldı ve ardından çapraz^{tablolama 11} ile karşılaştırıldı. Nesne tabanlı değişim algılama teknikleri, mekânsal bağlamın tanıtılması ve piksel düzeyindeki gürültünün azaltılması ile önemli bir ilerleme^{adımı oluşturuyordu 2,12}.

Derin öğrenme tekniklerinin ortaya çıkışı, uzaktan algılama değişim algılama alanını devrim niteliğinde değiştirdi ve geleneksel tekniklerde birçok kısıtlamanın aşılmasının yolunu açtı. Son zamanlarda, Konvolüsyon Sinir Ağları (CNN'ler) otomatik özellik çıkarma ve değişiklik sınıflandırması^{için standart mimari haline gelmiştir 13,14}. Siyam NestedUNet for Change Detection¹⁴ ve Siamese^{Swin-Unet 15}, yoğun bağlantılı Siam ağ topolojisi sayesinde önemli bir yenilik olarak ortaya çıkmıştır; bu topoloji, ağın hiyerarşisinde yerelleştirme bilgisini etkili bir şekilde korumaya yardımcı olur.

Yüksek çözünürlüklü optik uzaktan algılamada iki zamanlı değişim algılama sorunu, çeşitli karıştırıcı faktörler nedeniyle hâlâ çözülmesi zordur ve dikkat odaklı, çok ölçekli transformatör ağları ve karmaşık özelliklere sahip füzyon stratejileri^{önerilmiştir 16}. EGMT-CD çerçevesi, homolog görüntülerin bulut örtüsü nedeniyle erişilemeyen heterojen görüntü çiftlerinin kenar yönlendirmeli multimodal^{transformatörlerini önermiştir 17}. DASUNet gibi mimariler, CDD veri setinde SNUNet-24'e göre %0,85 daha yüksek F1 indeks iyileştirmesi ile tam ölçekli özellik birleşiminde manuel derin öğrenme darboğazlarını aşıyor; geliştirilmiş gradyan^{akışı 18} ile CDD veri setinde F1 indeks iyileştirmesi sağlanıyor. Hibrit CNN-Transformatör modelleri, yanlış negatif sorununu daha yüksek maliyetle ele alır; özellik öğrenme¹⁹ frekans bileşenlerine ek bir maliyet sağlar. Ancak hibrit U şeklindeki trafo^{ağları 20}, yerel-küresel özelliklerin entegrasyonunu ve bölgelerde periyodik olarak meydana gelen değişiklikleri sağlamak hâlâ zordur, küçük ölçekte bile. Çok görevli anlamsal değişim tespiti ve kesin konum ile sınıf tanımlama kullanımı, ikili görevlere kıyasla^{daha karmaşıktır 21,22}. İki zamanlı korelasyonlar, önemli mimari değişiklikler olmadan çapraz dikkat ile başarılı şekilde modellenebilir^14,23. Perspektif-dil paradigması ifadesi, CLIP tabanlı tasarımların metinsel açıklamaları değişim^{karşılıkları 24} ve yarı denetli desenlerle birleştirerek etiketlenmiş verilere^{bağımlılığı ortadan kaldırmasıyla yeni bir sınırdır.} Change Mamba, uzaylı-zaman modellerinin durum uzayı^{modellerini sunar 26,27}. Özel dikkat yöntemlerinin farklı uygulamaları gösterilmiştir: hiperspektral anomli^{tespiti 28}, çok alanlı hedef^{sınıflandırması 29} veya sınırlı etiketli segmentasyon³⁰ kullanımını ele almakta ve uzaktan algılama analitiğinde dikkat mekanizmalarının esnekliğini göstermek.

Yazarlar	Yöntem/Mimari	Teknik Özellikler	Ana Yenilik ve Bulgular / Veri Seti Performansı
Singh, A. [8]	Geleneksel Yöntemler	Piksel tabanlı farklılaştırma, CVA	Dijital değişim algılama çerçevesi, Çoklu veri setleri, Doğruluk: %65-80
Mas, J.F. [10]	Sınıflandırma sonrası	Bağımsız zamansal sınıflandırma	Karşılaştırmalı metodoloji analizi, Tropikal görüntüler, OA: %72-85
Lu ve ark. [9]	Geleneksel Yöntemler	Cebirsel operasyonlar, CVA, PCA	Kapsamlı teknik karşılaştırması, Çoklu kaynak, Doğruluk: %70-88
Benedek & Szirányi [23]	Karma Markov Modeli	Çok katmanlı koşullu çerçeve	Olasılıksal değişim modellemesi, Sztaki AirChange, DA: %92,1
Blaschke, T. [2]	Nesne tabanlı	Segmentasyon tabanlı analiz	Mekansal bağlam entegrasyonu, Çeşitli İK görüntüleri, SA: %85-92
Chen ve ark. [11]	Nesne tabanlı	Çok ölçekli segmentasyon	Hiyerarşik nesne analizi, İK imgeleri, OA: %87,3
Zhan ve ark. [12]	Siam CNN	5 katmanlı CNN, çekirdek boyutu 3×3	CD için derin siyam mimarisi, Hava görüntüleri, F1: 0.847, IoU: 0.735
Daudt ve ark. [4]	Siam FCN	FC-EF, FC-Siam-diff, FC-Siam-conc	Erken/geç füzyon stratejileri, OSCD, F1: 0.431, IoU: 0.276
Peng ve ark. [26]	UNet++	Nested U-Net, dense skip connections	Çok ölçekli özellik toplama, HR uydu, F1: 0.753, IoU: 0.604
Chen & Shi [25]	Mekansal-Zamansal Dikkat	Dikkat blokları, zamansal modelleme	Uzaylı-zamansal özellik öğrenmesi, LEVIR-CD, F1: 0.887, IoU: 0.797
Fang ve ark. [7]	SNUNet-CD	Siamese NestedUNet, yoğun bağlantılar	Bilgi iletim optimizasyonu, LEVIR: F1: 0.897, WHU: F1: 0.904
Chen ve ark. [5]	BIT-CD	ResNet18 + Transformatör kodlayıcı	İkili zamansal özellik öğrenmesi, OSCD: F1: 0.635, LEVIR: F1: 0.919
Bandara & Patel [3]	ChangeFormer	Hiyerarşik transformatör kodlayıcı	Çok ölçekli transformatör dikkati, OSCD: F1: 0.654, LEVIR: F1: 0.905
Song ve diğerleri [27]	ACANet	Eksenel dikkat + CNN omurgası	Verimli dikkat hesaplaması, LEVIR: F1: 0.901, WHU: F1: 0.913
Shi ve ark. [28]	İnceleme Makalesi	Kapsamlı yapay zeka yöntemleri anketi	Yapay zeka yaklaşımlarının sistematik analizi, 50+ veri seti analiz edildi
Li ve ark. [14]	AMST-Net	Çok ölçekli transformatör, piramit dikkati	Adaptif çok ölçekli özellik çıkarma, HR optik görüntüler, mIoU: 0.823
Xiang ve ark. [15]	EGMT-CD	Kenar yönlendirilmiş multimodal mimari	Çapraz modal özellik hizası, Heterojen çiftler, F1: 0.756
Miao ve ark. [16]	DASUNet	Yoğun denetim, tam ölçekli füzyon	Tüm kod çözücü seviyelerinde derin denetim, CDD: SNUNet'e göre %0,85 F1 iyileşmesi
Tang ve ark. [29]	Siamese Swin-UNet	Swin Transformer + Unet füzyonu	Hiyerarşik pencere dikkati, LEVIR: F1: 0.923, WHU: F1: 0.925
Wu ve ark. [18]	Hibrit U-Transformatör	UNet++ omurga + Transformatör blokları	Küresel-yerel özellik entegrasyonu, İK görüntüleri, IoU: 0.851, F1: 0.919
Dong ve ark. [20]	ChangeCLIP	CLIP tabanlı vizyon-dil	Çok modlu anlamsal anlayış, RS çiftleri, anlamsal doğruluk: %94,1
Li ve ark. [21]	SemiCD-VL	Yarı denetimli görme dili	Azaltılmış açıklama gereksinimleri, Sınırlı etiketler, F1: 0.889
Chen ve ark. [22]	ChangeMamba	Durum Uzayı Modelleri (SSM'ler)	Doğrusal karmaşıklık zamansal modellemesi, RS görüntüleri, verimlilik: 3 kat daha hızlı

Tablo 1: Uzaktan Algılamada Değişim Algılama Yöntemlerinin Özeti Bu Tabloyu indirmek için lütfen buraya tıklayın.

Önceki çalışmaların özeti Tablo 1'de sunulmaktadır. Geleneksel yöntemler, karmaşık mekansal-zamansal varyasyonlara uygun olmayan el yapımı^{özelliklere sahiptir 31} ve derin öğrenme mimarisi (UNet, FPN, PSPNet) hesaplama açısından pahalı yoğun konvolüsyasyonlar içerir. Mevcut modellerde verimli çok ölçekli birleştirme ve dinamik dikkat sistemleri bulunmamaktadır. Bu boşlukları doldurmak için, mevcut çalışma, özellikle kentsel ve insan kaynaklı yapısal değişimlerde uzaktan algılamada hesaplama açısından verimli olan, ölçekler arasındaki ince değişiklikleri yakalamayı amaçlayan Etkileşimli Çok Ölçekli Dikkat Füzyonu ile Seyrek Özellik Konvolüsyon Ağı önermektedir.

Protocol

1. Etik beyanı

1. Bu çalışmada kullanılan Onera Uydu Değişim Tespiti (OSCD) ve SZTAKI AirChange veri setleri, çeşitli coğrafi özellikleri kapsayan halka açık RGB ve multispektral görüntülerden oluşmaktadır. Bu veri setleri herhangi bir kısıtlı veya hassas veri içermez. Bu nedenle, bu iş için etik bir onay gerekmemektedir.

2. Malzemeler ve ekipmanlar

1. Intel Core i7 10870H işlemci, 4GB VRAM özellikli NVIDIA GeForce GTX 1650 Ti çipi ve 32GB RAM içeren bir Windows 11 bilgisayarında test yapın.
   NOT: Programlama ortamı Python 3.8'dir ve programlama ortamı, derin öğrenmeyi uygulamak için PyTorch framework (sürüm 1.12.1) ve Torchvision (sürüm 0.13.1) üzerine kuruludur.
2. Makine öğrenimi aracı içeren scikit-learn (sürüm 1.0.2) ve sayısal işlemler içeren NumPy (sürüm 1.21.0) gibi kütüphaneleri indirip kurun.
3. NVIDIA Corporation tarafından sağlanan CUDA Toolkit sürüm 11.3 ve cuDNN sürüm 8.2'yi yükleyerek ekran kartının hızlandırmasını kullanabilmek için mutlaka kurun.
4. Halka açık OSCD ve SZTAKI Airchange veri setini kullanarak performansı eğitin ve değerlendirin.

3. Veri seti hazırlama

1. Optik RGB uydu hava görüntüleri ve her biri 10 m çözünürlüklü çok spektral görüntülerden oluşan OSCD^4'ü ve her biri 952 x 640 piksel olan 1,5 m/piksel çözünürlüklü 13 optik hava görüntü çiftinden oluşan SZTAKI AirChange³² veri setini seçin.
2. OSCD veri setindeki 24 şehri sabit, önceden tanımlanmış 14 eğitim için ve 10 şehir test için ayrılır.
3. SZTAKI AirChange veri setinden sabit, rastgele olmayan Szada/1 ve Tiszadob/3 görüntü çiftlerini test setine, kalan görüntü çiftlerini ise geleneksel bir kıyaslama olarak eğitim seti olarak atayın.
4. Test setinde değişim algılamasını gerçekleştirin ve her veri setinden notasyonlu görüntü çiftlerini kullanarak tek bir denemede performansı niceleştirin.

4. Ön İşleme

1. Yama tabanlı ön işleme uygulayın.
   1. Yüksek çözünürlüklü uydu görüntülerini verimli bir şekilde yönetmek için zamansal görüntü yamalarını bağımsız olarak aynı konumlarda anında çıkarın.
   2. Her görüntüyü 64 piksellik adımla 128 × 128 piksellik örtüşen yamalara ayırın.
   3. Sınır tutarlılığını korumak ve kenar bilgisini korumak için bitişik yamalar arasında örtüşen bölgeleri hizalayın.
2. Sınıf bazında veri artırımı gerçekleştirin.
   1. Eğitim sırasında her iki yamada, "değişim" ve "değişmemiş" bölgeler arasındaki sınıf dengesizliğini yönetmek için değişen piksel oranına göre diferansiyel artırma uygulanır.
   2. Augment değişim yama çifti (%1 piksel değişimi >olanlar) altı kez aşağıdaki dönüşümlerle yapılır: Yatay ve dikey flipler, 90° dönüşler, renk titremesi (parlaklık, kontrast ve doygunluk ± 30%), Afin dönüşümler (15° ±, dönüşüm 10 ±piksel, ölçekleme %95-105).
   3. Veri seti dengesizliğini önlemek için değişimsiz yama çiftini sadece bir kez artırın.
      NOT: Sınıflara dayalı bu artırma stratejisi, değişim ve değişim olmayan bölgelerde dengeli eğitim sağlar.
3. Görüntü kalitesini normalleştirin ve iyileştirin.
   1. Tüm yamaları ImageNet ortalama ve standart sapma kullanarak normalleştirin: Ortalama = (0,485, 0,456, 0,406), Std = (0,229, 0,224, 0,225).
      1. LAB Renk Uzayı'nda (Sadece L Kanal) düşük kontrastlı alanların kontrastlarını aydınlatmak için klip limiti = 2.0, kart ızgarası boyutu=8 x 8 ile kontrast sınırlı adaptif histogram eleştirme (CLAHE) kullanın; böylece görüntüde özellikler ayırt edilebilir ve yoğunluklar [0,255] olarak normalleştirilmiştir.
      2. 128 x 128 pikselden küçük yamaları temizleyin ve küçük yamaları büyük yamalarla aynı boyutta olacak şekilde doldurun ve model eğitimi sırasında mekansal bütünlüklerini koruyun.

5. Model yapımı

1. Giriş ve çıkışı tanımlayın.
   1. Önerilen çerçeve, farklı zamansal örneklerde elde edilen I_{1, I 2} ∈ R^H×W×C ortak kayıtlı uydu görüntülerini girdi olarak alır ve değişen ve değişmeyen bölgeleri doğru şekilde ayırt eden ikili bir değişim haritası M ∈ R^H×W×2 oluşturur.
2. Önerilen çerçeve
   1. Önerilen çerçeveyi üç aşamalı işleme boru hattı olarak işleyin. İlk aşamada, zaman içindeki değişimi yakalamak için giriş dizilerinde zaman gösteri modellemesi yapılabilir.
   2. Zaman dikkat modelleme aşamasında iki zamanlı özellikler arasında simetrik zaman bağımlılıklarını yakalamak için etkileşimli çapraz dikkat kullanın.
   3. İkinci aşamada, mekansal çözünürlüğün kademeli olarak azaldığı ve özellik boyutu arttığı seyrek özellik tabanlı kodlayıcı mimarisi kullanılarak zamansal modellenmiş bir görüntüden ilgili özelliklerin hiyerarşik temsillerini çıkarmak.
   4. Yeniden yapılandırma aşamasında yüksek çözünürlüklü değişim haritaları oluşturmak için adaptif upsampling özellikli atlama bağlantılı bir kodlayıcı kullanın; ancak daha düşük ölçekli mekansal detaylar korunur.
      NOT: Şekil 1 , giriş çift zamanlı uydu görüntülerinden paylaşılan kodlayıcıya, orta çapraz dikkat işleme bloklarına ve kod çözücüye giden toplam veri akışını gösterir; bunların hepsi değişim tespit haritasına yol açar.
3. Sparse feature encoder
   1. Ghost konvolüsyon bloklardan oluşturulmuş, oran=2 ile toplu normalizasyon ve ReLU aktivasyon fonksiyonu ardışık uygulanarak hesaplama karmaşıklığını azaltarak temsil kalitesini koruyor.
   2. Kodlayıcıyı aşağıdaki üç blok türünden sıralı olarak birleştirin.
      Blok₁: Ghost(in_channels → 32) → BN → ReLU → Ghost(32 → 64) → BN → ReLU → MaxPool(2×2)
      _{Blok 2}: Ghost(64 → 96) → BN → ReLU → Ghost(96 → 128) → BN → ReLU → MaxPool(2×2)
      _{Blok 3}: Ghost(128 → 128) → BN → ReLU
   3. Blokları bağlayarak kodlayıcıda özellik akışını akıcı şekilde sürdürün ve sonraki aşamalar için mekansal çözünürlüğü korun.
      NOT: Bu yaklaşımın temel yeniliği, iki zamanlı görüntüler arasında simetrik özellik etkileşimini mümkün kılan etkileşimli çapraz dikkat mekanizmasında yatmaktadır. Her görüntü çifti için, derin özellikler F₁,_{F 2}∈^{R B×C×H'×W'} çıkarılır; burada H' = H/4, W'=W/4, C=128 özellik boyutunu temsil eder. Bu mekansal özellikler, uzamsal dizis uzunluğunu, D=C ise özellik boyutunu temsil eden bir dizi formatına dönüştürülür.
4. Zamansal dikkat modellemesi
   1. Şekil 2'de gösterildiği gibi standart ölçekli nokta-çarpım dikkat formülasyonu kullanarak çapraz dikkat operasyonunu uygulayın
      
      burada Q, K ve V sırasıyla sorgu, anahtar ve değer matrislerini temsil eder ve d_k anahtar vektörlerin boyutunu gösterir.
      NOT: Farklı tür zamansal ilişkileri aynı anda yakalamak için h = 8 başlık çoklu başlık dikkat, her ölçekte bağımsız olarak kullanılır. Her dikkat başı, özellik temsillerinin farklı bir alt uzayını işler ve modelin zamansal değişimlerin çeşitli yönlerine odaklanmasını sağlar.
   2. Çok başlı dikkat çıktısını şu şekilde hesaplayın:
      MultiHead (Q,K,V) = Concat (baş₁,...,_{baş h} ) W^O
      her biri öğrenilen projeksiyon matrisleridir.
5. Simetrik etkileşimli dikkat
   1. Etkileşimli dikkat stratejisi, simetrik değişim bilgisini ileri ve geri işlemlerle yakalar ( Şekil 3'te gösterilmiştir). İleriye dikkat etme, ilk zamansal görüntüden özelliklerin ikinci zaman görüntüsünden gelen özelliklere odaklanmasını sağlar ve şu şekilde hesaplanır:
      
      burada ilk zamansal özellikler sorgu olarak hizmet ederken, ikinci zamansal özellikler anahtarlar ve değerler sağlar.
   2. Buna karşılık, geriye doğru dikkat ikinci zaman görüntüsünden gelen özelliklerin, birinci zamansal imgedeki özelliklere odaklanmasını sağlar ve bu şekilde formüle edilir:
      
      Her iki yönden gelen özellikler, birbirine bağlanır ve doğrusal dönüşümle projeksiyona girerek nihai izimli temsil elde edilir:
      
      NOT: Bu etkileşimli mekanizma, zamansal ilişkilerin simetrik olarak yakalanmasını sağlar ve böylece ağın giriş görüntülerinin sırasına karşı değişmez hale gelir; bu, zaman dizisi algılama sonuçlarını yanlışlaştırmaması gereken değişim algılama uygulamaları için kritik öneme sahiptir.
6. Kod çözücü ve değişiklik haritası rekonstrüksiyonu
   1. Takip edilen özellikleri, atlama bağlantıları aracılığıyla kodlayıcı çıktılarıyla birleştirerek mekânsal detayları koruyun.
   2. Adaptif boyutlandırma için tüm dekoder aşamalarında aynı parametrelerle bilinear interpolasyon uygulayın; böylece atlama bağlantıları arasında mükemmel hizalanma sağlanır.
   3. Birinci aşamada, H/4×W/4'te Ghost konvolüsiyalarıyla kanalları 256 pikselden 96 piksele indirin ve H/2×W/2'ye yükseltin ve ilgili kodlayıcı özellikleriyle birleştirin.
   4. İkinci aşamada, Ghost konvolüsyonları ile işlem özellikleri kullanılarak kanalları 160 pikselden 64 piksele düşürür ve tam çözünürlüklü H×W'ye yükseltilir ve kodlayıcı seviyesinde atlama özellikleriyle entegre edilir.
   5. Son olarak, Ghost konvolüsyonları uygulayarak kanalları 32'ye indirin ve son 1 × 1 konvolüsyonu kullanarak iki kanallı ikili değişim haritasını oluşturun.
   6. Tüm mimari bileşenleri bütünleşmiş bir değişim algılama sistemine entegre eden aşağıdaki algoritmik çerçeve aracılığıyla tam işleme boru hattını özetleyin.
      NOT: Gösterim: E^k_i , i ∈ {1,2} seviyesinde olan görüntü i koder özelliklerini gösterir; F_i son kodlanmış özelliktir; düzleştirilmiş versiyonudur; dikkat artıran özelliktir; A dikkat matrisidir; D_j kod çözücü çıktılarıdır; φ_{k,ψ j} kodlayıcı/kodlayıcı bloklarıdır; [·;·] kanal bazında birleştirmeyi ifade eder; W_out çıkış katmanı çekirdeğidir.
      "Etkileşimli Çok Ölçekli Dikkat Füzyon Tabanlı Değişim Tespiti" için Ek Dosya Algoritması 1'e bakınız

Şekil 1: Önerilen Metodoloji Bu şeklin daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 2: Çapraz Dikkat Mimarisi Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 3: Etkileşimli Çapraz Dikkat Mimarisi Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

6. Eğitim prosedürü

1. Kayıp fonksiyonu
   NOT: Eğitim süreci, değişim tespit veri setlerinde sıkça karşılaşılan sınıf dengesizliğini gidermek için odak tversky kaybı fonksiyonu kullanır.
   1. Kayıp fonksiyonunu şu şekilde formüle edin: p_i ∈ [0,1] piksel i için tahmin edilen olasılık ve g_i ∊ {0,1} karşılık gelen temel doğruluk olsun. Tversky indeksi (TI) şu şekilde tanımlanır:
      
      burada α ve β sırasıyla yanlış pozitif ve yanlış negatif için cezayı kontrol eder ve ε bir yumuşatıcı terimdir.
   2. Sonra Fokal Tversky Kaybını şu şekilde ifade edin:
      
      γ modülasyonuyla sınıflandırması zor piksellere odaklanıyor.
2. Hiperparametre yapılandırması
   1. Tren setinde optimal değerleri seçmek için 5 katlı çapraz doğrulama tabanlı sistematik ızgara araması uygulayın.
   2. Değişim tespit görevi için kayıp ağırlık katsayılarını α = 0.3, β = 0.7, γ = 1.0 ve ε = 1.0 olarak ayarlayın. Bu değerler, yanlış pozitiflere göre kaçırılmış algılamaların en aza indirilmesini vurgular; bu, değişikliklerin nispeten nadir olduğu dengesiz veri setleri için önemlidir.
      NOT: β > α ile asimetrik ağırlık, geri çağırmaya odaklanır; bu da yanlış negatiflerin yanlış pozitiflerden daha fazla ağırlıklandırıldığı anlamına gelir ve özellikle afet izleme uygulamalarında tasarımla tutarlıdır.
3. Optimize edici ve öğrenme stratejisi
   1. AdamW optimizer'i 1×10⁻⁴ ağırlık düşüşü ile kullanın; böylece düzenlenmeyi iyileştirin ve aşırı uyumu önleyin.
   2. Öğrenme hızını 1×10⁻³'de başlatın ve eğitim sırasında sorunsuz ve stabil yakınsamayı sağlamak için kosinüs tavlama programı uygulayın.
   3. 4 GB GPU bellek ortamıyla uyumluluğu korumak için 8 toplu toplu boyut kullanın.
4. Antrenman programı
   1. Modeli OSCD'de ayrı ayrı eğitin; eğitim için 14 önceden tanımlanmış çift ve test için 10 çiftten oluşuyordu, ardından SZTAKI Airchange veri setinde Szada/1 ve Tiszabob/3 standart test seti kıyaslamaları olarak kullanıldı.
   2. Eğitim çiftlerini beş kata ayırın, her iterasyonda bir katı doğrulama seti olarak kullanın ve en fazla 100 dönem boyunca antrenmana devam edin.
   3. Her katın sonunda doğrulama kaybını izleyin ve yakınsamaya sabitleştikten sonra 10 dönemlik erken durdurma kriterlerini uygulayarak aşırı uyumu önleyin ve gereksiz hesaplamaları azaltın.
   4. Tüm katlamalar boyunca en iyi ortalama doğrulama performansına göre hiperparametreleri seçin.
   5. Test setinde değişim algılamasını gerçekleştirin ve her veri setinden notasyonlu görüntü çiftlerini kullanarak tek bir denemede performansı nicelikle ölçebilirsiniz.
5. Bellek optimizasyonu
   1. GPU bellek kullanımını yaklaşık %40 azaltmak için gradyan kontrol noktasını etkinleştirin; bu, geriye geçiş sırasında ara aktivasyonların yeniden hesaplanmasıyla elde edilir.
   2. Sayısal olarak kararlı olan FP16 işlemlerini kullanmak için karma hassasiyetli eğitimi etkinleştirin, böylece hızı artırır ve bellek yükünü azaltır.
   3. Maksimum GPU verimliliği için bellek kullanımını dinamik olarak ayarlamak için adaptif toplu boyut ölçeklendirme kullanın.

7. Değerlendirme

1. Test şehirlerinden gelen yamaların veri sızıntısını önlemek için eğitim veya doğrulamaya dahil edilmediğinden emin olun.
2. Toplu değerlendirme için görüntü yamalarını ve ilgili gerçek haritalarını düzenleyin.
3. Eğitilen model ağırlıklarını, doğrulama kaybıyla belirlenen en iyi performans döneminden yükleyin.
4. Olasılık haritalarını ikili değişim haritalarına dönüştürmek için 0.5 eşik seçin.
5. Değişim algılama performansını ölçmek için piksel bazında değerlendirme metriklerini^{hesaplayın 10}
   Hassasiyet (P): Gerçek değişim pikseli olan tahmin edilen değişim piksellerinin bir kısmı.
   Hatırlama (R): Doğru şekilde tespit edilen gerçek değişim piksellerinin kısrı.
   F1-puan: Hassasiyet ve hatırlama için harmonik ortalama.
6. 128 x 128 piksel boyutlarında ve 64 piksel adımda modelleri eğitip değerlendirirken gerçek zamanlı görüntü yaması üretin.
   NOT: Böyle dinamik üretim, hem bellek etkinliğini hem de sınırların tutarlılığını garanti eder.
7. Ön işleme ve yama yerleştirme doğruluğunu, oluşturulan yamaların temsil eden bir örneğini inceleyerek kontrol edin, anlaşılır veya orta seviye özellik görüntüleri.
   NOT: CNN tabanlı kodlayıcı tarafından oluşturulan kodlanmış özellik temsilleri, özelliklerin doğrulanırken kontrol noktası olarak hizmet veren tensorlar şeklinde bellekte saklanır. Üretilen değişiklik haritaları, tespit edilen değişiklikleri değerlendirmek için görsel olarak görüntülenmek üzere normal görüntü dosyaları (e.g. PNG veya TIFF) olarak saklanır.
8. Model eğitiminde yakınsama göstergelerini (kayıp eğrileri, doğruluk metrikleri) kaydedin ve modelin noktalarının belirli aralıklarla kaydedilip kaydedilmediğini kontrol edin; böylece tüm eğitim süreci tekrarlanabilir, geliştirilebilir veya geri kazanılabilir.
   NOT: Çıktı formatının, doğrulama adımlarının ve kontrol noktası detaylarının açık sunumu şeffaflığın sağlanmasına yardımcı olur; doğrulamanın adım adım gerçekleşmesine ve protokolün diğer araştırmacılar tarafından yeniden üretilip doğrulanmasına olanak tanır. Bu protokol, veri setinin nasıl hazırlanacağına ve ön işleme aşamasına, ağ inşasına, eğitime ve değerlendirmeye nasıl geçileceğine dair derinlemesine ve detaylı bir iş akışı sunar. Adımlara uyarak, önerilen yöntemi belirtilen koşullar altında tekrarlanabilir şekilde uygulayabilecektir. Böyle bir prosedürün sonuçları aşağıdaki Sonuçlar bölümünde verilmiştir.

Results

Önerilen değişim tespit yöntemi, farklı spektral çözünürlükler ve çevresel koşullarda performansını değerlendirmek için iki kamuya açık kıyaslama veri seti kullanılarak belirlenmiş temel yaklaşımlara göre değerlendirildi. Deneysel sonuçlar, tespit doğruluğu ile yanlış pozitif kontrolü dengelemede önemli gelişmeleri ortaya koymakta; özellikle yöntemin yüksek hatırlama oranlarını koruyup hassasiyeti geleneksel yaklaşımlara kıyasla önemli ölçüde artırdığını göstermektedir.

Discussion

Bu çalışma, iki zamanlı uydu görüntülerindeki değişiklikleri tespit etmek için etkileşimli, çok ölçekli dikkat füzyon tabanlı değişim algılama ağı sunmaktadır. Çift yönlü dikkat mekanizmasının entegrasyonu, tek yönlü yöntemlerin aksine, tamamlayıcı ileri ve geri dikkat sinyalleriyle tam zamanlar arası özellik etkileşimini kolaylaştırır. İleriye dikkat akışının ilerleyici zamansal değişiklikleri, dikkat farkı ile yakalanırken, eski ve yeni zaman edinimleri arasındaki değişim tutarlılığı p...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CUDA Araç Seti	NVIDIA Corporation	Sürüm 11.3	Derin öğrenme hesaplamaları için GPU hızlandırma
cuDNN	NVIDIA Corporation	Sürüm 8.2	Optimize edilmiş GPU derin öğrenme kütüphanesi
Intel  işlemci	Intel Corporation	Core i7 10870H	Önerilen derin öğrenme modelinin eğitimi ve değerlendirilmesi için kullanılan hesaplamalı platform
NumPy	Açık Kaynak	Sürüm 1.21.0	Sayısal dizi işleme
NVIDIA GeForce	NVIDIA Corporation	GTX 1650 Ti (4 GB VRAM)	Hızlandırılmış model eğitimi için kullanılan grafik işlem birimi
Onera Uydu Değişim Algılama (OSCD) Veri Seti	ONERA	Eğitim ve değerlendirme için kullanılan kamuya açık optik RGB ve Çok spektral görüntü veri seti.	https://rcdaudt.github.io/oscd/
Python	Python Yazılım Vakfı	Sürüm 3.8	Algoritma uygulaması için kullanılan programlama dili
PyTorch	Meta AI (Açık Kaynak)	Sürüm 1.12.1	Önerilen modeli geliştirmek ve eğitmek için kullanılan açık kaynaklı derin öğrenme çerçevesi
Scikit-learn	Açık Kaynak	Sürüm 1.0.2	Performans değerlendirme metrikleri
SZTAKI AirChange Benchmark Dataset	SZTAKI	Eğitim ve değerlendirme için kullanılan halka açık optik RGB hava görüntüsü veri seti.	http://web.eee.sztaki.hu/remotesensing/airchange_benchmark.html
Torchvision	Meta AI (Açık Kaynak)	Version 0.13.1	Veri seti yükleme ve görüntü dönüşümleri
Windows işletim sistemi	Microsoft	11	İşletim Sistemi