Hiperspektral ve LiDAR Arazi Örtüsü Sınıflandırması için Sürekli Modlar Arası Vektör Alanı Öğrenimi

Özet

Bu çalışma, füzyon öncesi çapraz modal hizalama için MetaFormer özellik çıkarımı ve çift yönlü akış eşleme kullanan, hiperspektral ve LiDAR arazi örtüsü sınıflandırmasına yönelik iki aşamalı bir çerçeve sunmaktadır. Üç halka açık kıyaslama veri seti üzerindeki değerlendirmeler, sabit kıyaslama protokolleri altında rekabetçi bir sınıflandırma performansı sergilemektedir.

Özet

Çok modlu uzaktan algılama sınıflandırması, kentsel haritalama ve çevresel izleme gibi uygulamalarda önemli bir rol oynamaktadır. Ancak, algılama modaliteleri arasındaki heterojen öznitelik dağılımları, öznitelik hizalama hatalarına ve anlamsal tutarsızlıklara yol açarak çok modlu füzyonun etkinliğini sınırlayabilir. Konvolüsyonel, grafik tabanlı, dikkat tabanlı, karşıtlaştırıcı (contrastive), taşıma odaklı ve sekans tabanlı yöntemler dahil olmak üzere mevcut çok modlu füzyon yaklaşımları, tamamlayıcı bilgileri kullanabilse de modaliteye özgü öznitelik dağılımlarını yeterince hizalayamayabilir. Bu çalışma, çok modlu akış eşleştirme (flow matching) yoluyla bu zorluğu ele alan iki aşamalı bir çok modlu sınıflandırma çerçevesi olan FlowErs'i önermektedir. Çalışmanın temel hipotezi, öznitelik füzyonu öncesinde eşleşmiş öznitelik dağılımı farklılıklarının azaltılmasının, sabit kıyaslama protokolleri altında arazi örtüsü sınıflandırmasını iyileştireceğidir. İlk aşamada, modaliteye özgü MetaFormer kodlayıcıları, hiperspektral görüntüleme (HSI) ve ışık tespit ve mesafe ölçümü (LiDAR) verilerinden hiyerarşik temsiller çıkarır. Ardından, çok modlu bir akış eşleştirme modülü, çift yönlü ortalama kare hata hedefi kullanarak eşleşmiş öznitelik dağılımlarını ortak bir gizli temsile taşımak için zamana bağlı hız alanlarını öğrenir. İkinci aşamada, hafif bir füzyon başlığı piksel bazlı sınıflandırma gerçekleştirmeden önce, önceden eğitilmiş hizalama modülü çok modlu temsilleri hizalamak için yeniden kullanılır. Üç halka açık kıyaslama veri kümesi üzerindeki değerlendirmeler, sabit kıyaslama bölmeleri altında maksimum %97,56'lık bir genel doğruluk (OA) göstermiştir. Performans, bireysel arazi örtüsü sınıfları arasında farklılık göstermiştir ve çalışma, sınıfa özgü kısıtlamaları ve sınıf dengesizliğinin toplu metrikler üzerindeki etkisini tartışmaktadır. Mevcut değerlendirme, tekrarlı çalışma istatistiksel analizi veya hesaplama profillemesi yapılmadan, sabit bölmeli deneylerle sınırlıdır. Gelecek çalışmalar istatistiksel sağlamlığı, hesaplama verimliliğini ve bölgeler arası genelleştirmeyi araştıracaktır.

Giriş

Uzaktan algılama görüntüleri kullanılarak yapılan hassas arazi kullanımı ve arazi örtüsü (LULC) sınıflandırması; kentsel gelişim, çevresel izleme, afet yönetimi ve sürdürülebilir kalkınma dahil olmak üzere çok geniş bir gerçek dünya uygulama alanı için temel teşkil etmektedir¹. Hiperspektral görüntüler (HSI), ışık tespit ve mesafe ölçümü (LiDAR) ve sentetik açıklıklı radar (SAR) dahil olmak üzere çok modlu uzaktan algılama verileri, son yıllarda giderek daha erişilebilir hale gelmiştir. Bu artan erişilebilirlik, uzaktan algılamanın ince taneli arazi örtüsü sınıflandırma kapasitelerini önemli ölçüde genişletmiştir². Bu algılama modaliteleri, Dünya yüzeyinin farklı ancak birbirini tamamlayan özelliklerini yakalar. HSI, malzeme bileşimini karakterize etmek için zengin spektral bilgiler sağlarken, LiDAR doğru yapısal ve yükseklik bilgileri sunar³. Bu heterojen veri kaynaklarının entegrasyonu, tek bir modaliteye kıyasla daha ayırt edici, gürültüye dayanıklı ve anlamsal olarak daha kapsamlı özellik temsilleri oluşturabilir⁴.

Buna rağmen, multimodal verilerin etkili bir şekilde kullanılması uzun süredir devam eden bir zorluktur⁵. Temel zorluk, uzamsal çözünürlük, gürültü karakteristikleri, istatistiksel dağılımlar ve özellik semantiği açısından farklılık gösteren algılama modalitelerinin doğasındaki heterojenlikten kaynaklanmaktadır⁶. Örneğin, aynı arazi örtüsü nesnesi HSI'da yüksek boyutlu bir spektral imza olarak, LiDAR'da ise seyrek geometrik yapılar olarak temsil edilebilir⁷. Sonuç olarak, modaliteye özgü özellikler genellikle farklı özellik manifoldlarında bulunur ve bu durum doğrudan özellik füzyonunu verimsiz veya potansiyel olarak yanıltıcı kılar. Dahası, konvolüsyon, dikkat ve Transformer tabanlı yöntemler de dahil olmak üzere mevcut birçok multimodal füzyon yaklaşımı, farklı sensörlerden çıkarılan özelliklerin halihazırda uzamsal ve semantik olarak hizalandığını varsayar⁸. Ancak, bu varsayım pratik uygulamalarda genellikle geçerli değildir. Basit özellik birleştirme veya piksel tabanlı füzyon, modallar arası uyumsuzlukları yeterince yakalayamaz ve bu da potansiyel olarak kararsız optimizasyona ve azalmış genelleme performansına yol açabilir. Ayrıca, dikkat tabanlı füzyon yöntemleri özellik etkileşimini iyileştirse de, geniş ölçekli veya yüksek çözünürlüklü arazi örtüsü sınıflandırması için gereken uzun menzilli modallar arası bağımlılıkların modellenmesinde sınırlı kalabilirler⁹. Sonuç olarak, uyumsuz gömmeler tamamlayıcı bilgilerin entegrasyonunu kısıtlayabildiği için, heterojen özellik temsillerinin etkili bir şekilde hizalanması multimodal uzaktan algılamada temel bir zorluk olmaya devam etmektedir.

Bu sorunu çözmek için, modlar arası hizalama, koşullu bir özellik taşıma problemi olarak formüle edilmiştir. Akış eşleştirme (flow matching), heterojen özellik dağılımları arasında sürekli ve tersine çevrilebilir eşlemelerin öğrenilmesi için matematiksel temelli bir çerçeve sunar¹⁰. Bir dağılımı, bir adi diferansiyel denklem (ODE) ile parametreleştirilmiş zamana bağlı bir hız alanı aracılığıyla diğerine taşıyarak özellik manifoldları arasında sürekli dönüşümleri teşvik eder¹¹. Stokastik gürültü pertürbasyonlarına veya adversariyal eğitim yoluyla örtük dağılım eşleştirmesine dayanan difüzyon tabanlı modellerin aksine, akış eşleştirme, yapılandırılmış özellik uzayları arasında deterministik, bijektif dönüşümler öğrenir¹². Bu özellikler, HSI, LiDAR ve SAR'ın her birinin Dünya yüzeyinin tamamlayıcı özelliklerini yakalayan yüksek boyutlu özellik manifoldlarını temsil ettiği multimodal uzaktan algılama için akış eşleştirmeyi oldukça uygun kılmaktadır¹³. Buna bağlı olarak akış eşleştirme, özellik hizalaması sırasında geometrik tutarlılığı teşvik ederken, sürekli özellik taşıma yoluyla modlar arası karşılıkların kurulması için ilkeli bir yaklaşım sağlar. Uygun düzenlilik varsayımları altında, bir ODE akışı tersine çevrilebilir bir eşleme sağlayabilir; ancak, kesin tersine çevrilebilirlik ve fiziksel yorumlanabilirlik mevcut çalışmada ampirik olarak değerlendirilmemiştir. Çalışma hipotezi, özellik füzyonundan önce eşleştirilmiş özellik-dağılım uyumsuzluklarının azaltılmasının, sabit kıyaslama bölümleri altında toplam arazi örtüsü sınıflandırmasını iyileştirdiğidir.

Bu düşüncelerden hareketle, önerilen FlowErs çerçevesi, iki aşamalı bir mimari içerisinde akış tabanlı bir hizalama aşaması barındırmaktadır. İlk aşamada, her modalitenin özellik manifoldlarını hizalamak için çift yönlü bir akış ağı eğitilir. Spesifik olarak, modaliteye özgü MetaFormer omurgaları hiyerarşik özellik gömmeleri çıkarır ve modaliteye özgü özellik dağılımları arasında örnekleri taşımak için bir akış eşleme hedefi optimize edilir. Bu süreç, özellik uzayları arasında pürüzsüz ve tersine çevrilebilir bir dönüşüm sağlayarak, aynı semantik sınıfa ait temsillerin ortak bir gizli etki alanında daha yakından hizalanmasını teşvik eder. İkinci aşamada, önceden eğitilmiş akış hizalayıcı dondurulur ve yeni multimodal girdiler, hafif bir sınıflandırıcı tarafından birleştirilmeden önce dönüştürülür. Bu ayrıştırılmış eğitim stratejisi, geometrik hizalamayı semantik sınıflandırmadan ayırarak iki aşamanın tamamlayıcı hedefleri optimize etmesine olanak tanır. Hizalama modülü, özellik birleştirmeden önce özellik dağılımı tutarsızlıklarını azaltmayı amaçlamaktadır ve kanıtlanmış bir hacim koruma garantisi iddiasında bulunmamaktadır. Ayrıca FlowErs, multimodal birleştirme için açık bir özellik taşıma formülasyonu sunsa da, kayıt hatalarına karşı dayanıklılık mevcut çalışmada ayrıca değerlendirilmemiştir.

Bu çalışmanın temel katkıları şu şekilde özetlenmiştir. Çok modlu arazi örtüsü sınıflandırması için iki aşamalı bir çerçeve olan FlowErs tanıtılmıştır. Önerilen çerçevede, modala özgü özellikler önce MetaFormer kodlayıcılar kullanılarak çıkarılmakta ve ardından hafif özellik füzyonundan önce akış tabanlı bir modül aracılığıyla hizalanmaktadır. Bu ayrık tasarım, farklı algılama modalları genelinde esnekliği korurken verimli optimizasyonu desteklemektedir. Ek olarak bu çalışma, çok modlu uzaktan algılamada eşleşmiş çapraz modlu özellik hizalaması için bir özellik taşıma mekanizması olarak koşullu akış eşleşmesini incelemektedir. Çift yönlü akış modülü, özellik füzyonundan önce eşleşmiş özellik temsilleri için zıt hız hedefleri tahmin ederek çok modlu entegrasyon öncesinde açık bir hizalama stratejisi sunmaktadır. Ayrıca, önerilen çerçeve üç genel kıyaslama veri setinde değerlendirilmiş ve sağlanan sabit kıyaslama bölümleri altında maksimum %97,56 genel doğruluk (OA) elde edilmiştir. Sınıf düzeyindeki kısıtlamalar ve mevcut değerlendirmenin kapsamı da açıkça belgelenmiştir.

Akış eşleşmesindeki (flow matching) son gelişmeler, onu difüzyon, enerji ve taşıma tabanlı modelleri birleştiren güçlü bir üretici modelleme çerçevesi olarak konumlandırmıştır. Difüzyon modellerinde olduğu gibi stokastik yörüngeleri simüle etmek yerine, akış eşleşmesi, öğrenilebilir bir hız alanı aracılığıyla Gauss gürültüsü gibi basit bir ön dağılımı hedef veri dağılımına taşıyan deterministik bir ODE'yi öğrenir¹⁵. Bu formülasyon, skor kestirimini doğrudan yoğunluk evrimiyle ilişkilendirerek daha pürüzsüz olasılık yörüngeleri ve daha kararlı eğitim dinamikleri sağlar. Akış eşleşmesinin temel bir avantajı, deterministik ve hesaplamalı olarak verimli formülasyonudur. Doğrultulmuş akış modelleri (Rectified flow models)¹⁶, taşıma yörüngelerini neredeyse düz yollar haline getirerek daha da basitleştirir, sayısal kararlılığı artırır ve nispeten az entegrasyon adımıyla yüksek kaliteli örneklemlerin üretilmesine olanak tanır. Tutarlılık modellerini (consistency models)¹⁷ içeren sonraki çalışmalar, verimli çıkarımlarla benzer veya geliştirilmiş örnek kalitesi elde etmek için difüzyondan esinlenen amaçları kompakt akış tabanlı çerçevelere entegre etmiştir. Ek olarak, akış tabanlı eğitim, önceden eğitilmiş difüzyon omurgalarından yararlanarak örnekleme maliyetlerini düşürürken büyük ölçekli üretici öncüllerin kullanımını kolaylaştırabilir. Güncel çalışmalar, akış eşleşmesini geniş bir uygulama yelpazesine taşımıştır. Örneğin, Hu ve ark.¹⁸, akış eşleşmesini kullanarak kontrol edilebilir ve birleştirilebilir görüntü düzenleme için transformer omurgalarını ve gizli alan manipülasyonlarını incelemiştir. Diğer uygulamalar arasında görüntü sentezi¹⁹, rulman arıza teşhisi²⁰ ve çok hedefli, çok dikişli robotik kaynak²¹ yer almaktadır. Topluca bu çalışmalar, akış eşleşmesinin yüksek çözünürlüklü ve koşullu görüntü sentezinin ötesinde uygulanabilir olduğunu, aynı zamanda alan genelleme potansiyeline sahip, iyi yapılandırılmış bir teorik temel sunduğunu göstermektedir. Sürekli ve deterministik taşıma haritalarını öğrenerek akış eşleşmesi; verimlilik, kontrol edilebilirlik ve üretici sadakat arasında bir denge sağlar. ODE tabanlı formülasyonu, modern üretici modelleme üzerinde birleştirici bir bakış açısı sunar ve çok modlu veri temsili ile özellik hizalamasını içeren uygulamalar için teorik bir temel oluşturur.

Çok modlu uzaktan algılama sınıflandırması; HSI, çok spektral görüntüler, LiDAR ve SAR'dan gelen tamamlayıcı bilgileri entegre ederek tekil algılama modalitelerinin kısıtlamalarını aşmayı amaçlar. Erken füzyon yaklaşımları, elle oluşturulmuş özelliklere veya destek vektör makineleri (SVM'ler) gibi çekirdek tabanlı algoritmalara dayanıyordu, ancak yüksek boyutluluk ve yetersiz çapraz modal etkileşimi nedeniyle sınırlı kalmışlardı²². Derin öğrenmedeki ilerlemeler; erken, ara ve geç füzyonu içeren yapılandırılmış füzyon stratejilerini mümkün kılmış olup, özellik düzeyindeki füzyon, bilgi entegrasyonu ile hesaplama karmaşıklığı arasında pratik bir denge sağlamaktadır²³. Evrişimli sinir ağları (CNN'ler) yerel uzaysal-spektral bilgileri etkili bir şekilde yakalarken, Transformer tabanlı mimariler uzun menzilli bağımlılıkları daha yüksek bir hesaplama maliyetiyle modeller²⁴. Sonuç olarak, her iki yaklaşımın tamamlayıcı güçlü yönlerini birleştirdikleri için hibrit CNN–Transformer mimarileri giderek daha popüler hale gelmiştir. Temsili örnekler arasında, ölçekler arası etkileşimler aracılığıyla bağlamsal bilgiyi geliştiren komşu ölçekli füzyon yöntemleri²⁵ ve sığ CNN özelliklerini derin Transformer temsilleriyle adaptif dikkat mekanizmaları kullanarak birleştiren çok seviyeli çerçeveler²⁶ yer almaktadır. Topluca bu çalışmalar, özellik冗redundancy'sini (gereksizliği) azaltmak ve semantik temsili geliştirmek için etkili ölçekler arası ve modaliteler arası etkileşimin önemini vurgulamaktadır.

Son zamanlardaki gelişmeler, çok modlu öğrenme için tamamlayıcı stratejileri de araştırmıştır. Örneğin, Ebbinghaus eğrisi kılavuzlu çerçeve gibi düşük dereceli temsil yöntemleri, gereksiz bilgileri bastırırken manifold yapısını koruyarak aşırı öğrenmeyi (overfitting) azaltır²⁷. Paralel olarak, pratik uygulamalardaki gizlilik ve iletişim kısıtlamalarını gidermek için dağıtık çok modlu öğrenme incelenmiştir. Örneğin, FedFusion, federatif çok modlu öğrenmeyi mümkün kılmak için sığ özellikleri düşük dereceli alt uzaylara yansıtır²⁸. Toplu olarak bu çalışmalar, üç tamamlayıcı araştırma yönünü örneklendirmektedir: yerel ve küresel özellik modellemesini dengelemek için hibrit CNN-Transformer mimarileri, gereksizliği ve gürültüyü azaltmak için düşük dereceli öğrenme ve ölçeklenebilir ve gizliliği koruyan dağıtım için dağıtık öğrenme. Buna rağmen, modalite dengesizliği, etiketli verilerin sınırlı erişilebilirliği ve model sıkıştırma ile sınıflandırma doğruluğu arasındaki ödünleşim dahil olmak üzere önemli zorluklar devam etmektedir. Bu zorluklar, hafif ve genellenebilir çok modlu füzyon çerçevelerine yönelik araştırmaların devam etmesini teşvik etmiştir. Son dönemdeki çok modlu hizalama yaklaşımları; çapraz modal dikkat, karşıt öğrenme, grafik tabanlı füzyon, alan adaptasyonu ve dağılım eşleme stratejilerini de bünyesine katmıştır. Buna karşılık FlowErs, çok modlu hizalamayı eşleşmiş ve zamana bağlı özellik taşıma olarak formüle eder ve mevcut yaklaşımların evrensel bir alternatifi değil, tamamlayıcı bir hizalama stratejisi olarak sunulur.

Protokol

Bu çalışmada, uzaktan algılama arazi örtüsü sınıflandırması için münhasıran kamuya açık kıyaslama veri setleri (Houston2013, Augsburg ve MUUFL) kullanılmıştır. Çalışmaya insan katılımcılar, hayvan deneyleri veya yeni toplanmış biyolojik örnekler dahil edilmemiştir. Bu nedenle, kurumsal etik onay gerekmemiştir.

Çalışma Özeti

Önerilen FlowErs çerçevesi, iki aşamalı bir öğrenme stratejisi aracılığıyla multimodal arazi örtüsü sınıflandırması gerçekleştirir. Genel iş akışı Şekil 1A–C'de gösterilmiştir. Çerçeve üç temel bileşenden oluşur: (i) heterojen algılama modalitelerinden hiyerarşik özellik temsilleri çıkaran MetaFormer tabanlı kodlayıcılar, (ii) modallar arası özellik dağılımlarını açıkça hizalayan bir multimodal akış eşleştirme (MFM) modülü ve (iii) birleştirilmiş özellik temsillerinden arazi örtüsü kategorilerini tahmin eden hafif bir sınıflandırma başlığı. Genel iş akışı, öncelikle modaliteye özgü özellikleri çıkarır, ardından bu özellikleri koşullu akış eşleştirme yoluyla ortak bir gizil alanda hizalar ve son olarak hizalanmış multimodal temsilleri kullanarak piksel bazlı arazi örtüsü sınıflandırması yapar.

Şekil 1: Çok modlu arazi örtüsü sınıflandırması için önerilen FlowErs çerçevesinin genel görünümü. (A) Hiperspektral görüntüleme (HSI) ve ışık tespit ve mesafe ölçümü (LiDAR) verilerinden çıkarılan moditeye özgü özelliklerin, sınıflandırma öncesinde doğrudan birleştirildiği geleneksel doğrudan özellik füzyonu. (B) Aşama 1: Çift yönlü çok modlu akış eşleştirme ön eğitimi. Zaman koşullu bir U-Net, heterojen özellik dağılımlarını hizalamak için ortalama kare hata kaybı kullanarak moditeye özgü özellik temsilleri arasında sürekli çift yönlü özellik taşımasını öğrenir. (C) Aşama 2: Akımlar arası füzyon. Ön eğitimli akış eşleştirme modülü dondurulur ve hafif özellik füzyonu ile piksel tabanlı arazi örtüsü sınıflandırması öncesinde moditeye özgü özellik temsillerini hizalamak için yeniden kullanılır. E, kodlayıcı; D, kod çözücü; T, zaman gömme; , ortalama kare hata kaybı; S, paylaşılan gizli temsil. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Önerilen çerçeve, iki aşamalı bir eğitim stratejisi aracılığıyla özellik hizalamasını semantik sınıflandırmadan ayırır. İlk aşamada, MFM modülü, modaliteye özgü özellik manifoldları arasında çift yönlü özellik taşınımını öğrenmek üzere eğitilir. İkinci aşamada, önceden eğitilmiş akış hizalama modülü dondurulur ve hafif özellik füzyonu ve sınıflandırmasından önce çok modlu özellik temsillerini hizalamak için yeniden kullanılır. Bu ayrık tasarım, çok modlu füzyondan önce özellik dağılımı farklılıklarını azaltırken, hizalama modülünün ve sınıflandırma ağının tamamlayıcı hedefleri optimize etmesini sağlar.

Teorik Genel Bakış

Akış eşleme (flow matching), iki olasılık dağılımı arasında sürekli deterministik bir dönüşüm öğrenen, yakın zamanda önerilmiş bir üretici modelleme paradigmasıdır. Gürültü pertürbasyonları aracılığıyla stokastiklik sunan difüzyon tabanlı modellerin aksine, akış eşleme, bir olasılık dağılımını sürekli olarak bir diğerine taşıyan öğrenilebilir bir hız alanını doğrudan parametreize eder. Bu sürekli taşıma formülasyonu, bir ODE aracılığıyla öznitelik hizalamasına olanak tanıyarak, farklı algılama modalitelerinden gelen eşleşmiş öznitelik temsillerinin öznitelik füzyonundan önce ortak bir yörünge boyunca evrilmesini sağlar. Mevcut çalışmada, MetaFormer kodlayıcılar tarafından çıkarılan modaliteye özgü gömmeler arasında çift yönlü öznitelik taşınımını öğrenmek için koşullu akış eşleme benimsenmiştir. Model, interpole edilmiş öznitelik temsilleri üzerinden tahmin edilen ve hedef hız alanları arasındaki tutarsızlığı minimize eden koşullu bir akış eşleme hedefi kullanılarak eğitilmiştir. Eksiksiz matematiksel formülasyon, teorik türetim, yönetici denklemler ve eğitim hedefi Ek Dosya 1'de sunulmuştur.

Problemin Formülasyonu

Çok modlu uzaktan algılama verilerinden arazi örtüsü sınıflandırması, HSI ve LiDAR gibi heterojen algılama modalitelerinden anlamsal temsillerin öğrenilmesini içerir. Bu modaliteler belirgin algılama karakteristikleri sergiler. HSI, yüzlerce kanalla zengin spektral bilgiler edinirken (), LiDAR ise nispeten az sayıda kanalla ayrıntılı yapısal bilgiler sağlar (). Spektral zenginlik ile yapısal seyreklik arasındaki bu dengesizlik, özellik dağılımlarında önemli bir alan boşluğu oluşturarak doğrudan özellik füzyonunu suboptimal ve potansiyel olarak dengesiz hale getirir.

Resmi olarak, bir çift multimodal giriş verildiğinde,  amaç, Denklem 1'e göre piksel tabanlı bir semantik harita öngörmektir:

Burada,  one-hot kodlanmış etiket tensörüdür, C toplam arazi örtüsü kategorisi sayısını belirtir ve θ öğrenilebilir tüm model parametrelerini temsil eder. Houston2013 veri seti, 144 hiperspektral (HSI) bant ve 1 LiDAR bandı ile 349 × 1905 piksel görüntü boyutuna sahiptir. Augsburg veri seti, 224 HSI bandı ve 1 LiDAR bandı ile 1152 × 480 piksel görüntü boyutuna sahiptir. MUUFL veri seti, 64 HSI bandı ve 2 LiDAR bandı ile 325 × 220 piksel görüntü boyutuna sahiptir. Tüm veri setleri için, eğitimden önce giriş görüntü yamaları 32 × 32 piksel boyutuna yeniden boyutlandırılmıştır.

Geleneksel multimodal yaklaşımlar, farklı modalitelerin uyumlu bir özellik uzayında bulunduğunu örtük olarak varsayarak, modaliteye özgü özellikleri birleştirme veya dikkat mekanizmaları yoluyla füzyon eder. Ancak, modaliteye özgü istatistiksel dağılımlar ve uzaysal-spektral özellikler önemli ölçüde farklılık gösterdiği için bu varsayım uzaktan algılama verileri için nadiren geçerlidir.

Bu tutarsızlığı açıkça gidermek için bir akış eşleştirme modülü,  tanıtılmıştır. Modül,  ile parametreleştirilmiştir ve modaliteye özgü özellik manifoldları arasında sürekli çift yönlü dönüşümler öğrenir. Spesifik olarak (Denklem 2),

Burada, S modaliteye özgü özellik temsillerinin geometrik olarak hizalandığı ortak gizli alanı ifade eder. Ardından, hizalanmış özellik temsilleri birleştirilir ve Denklem 3'e göre şu şekilde sınıflandırılır:

Burada,  ve  sırasıyla öznitelik-füzyon ve sınıflandırma modüllerini temsil eder. Bu formülasyon, genel FlowErs çerçevesini tanımlamaktadır. Sadece örtük istatistiksel öznitelik füzyonuna güvenmek yerine, önerilen çerçeve, multimodal öznitelik füzyonu ve semantik tahminden önce modaliteye özgü öznitelik temsillerini sürekli olarak paylaşılan bir gizli uzaya taşıyan açık bir akış tabanlı hizalama mekanizması sunar.

MetaFormer Kodlayıcı

FlowErs, her bir algılama modalitesinden bilgilendirici ve geometrik olarak tutarlı öznitelik temsilleri öğrenen hafif, modaliteye özel kodlayıcılar kullanarak çapraz modalite öznitelik hizalaması gerçekleştirir. Şekil 2'de gösterildiği üzere, her modalite MetaFormer mimarisine dayalı bağımsız bir kodlayıcı tarafından işlenir. MetaFormer, öz-dikkat (self-attention) mekanizmasını açıkça hesaplamadan, token karıştırmayı kanal dönüşümünden ayırarak temel Transformer tasarımını genelleştirir. Bu tasarım, yüksek boyutlu HSI'nın verimli bir şekilde işlenmesini sağlarken LiDAR gibi düşük kanallı modalitelere uyarlanabilir kalır.

Şekil 2: Önerilen FlowErs çerçevesinde kullanılan modaliteye özgü MetaFormer kodlayıcının mimarisi. Kodlayıcı, tekrarlanan gömme (embedding) ve PoolFormer blokları aracılığıyla modaliteye özgü girdileri hiyerarşik öznitelik temsillerine dönüştürür. Her PoolFormer bloğu; normalizasyon, havuzlama tabanlı token karıştırma, artık ekleme (residual addition), normalizasyon ve çok katmanlı bir perseptron (MLP) içerir. Elde edilen hiyerarşik öznitelik temsilleri, çapraz modal öznitelik hizalaması için çok modlu akış eşleme (flow-matching) modülüne iletilir. Norm, normalizasyon; MLP, çok katmanlı perseptron. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Her bir modalite için, MetaFormer kodlayıcı , girdiyi   bir gizli öznitelik temsilleri hiyerarşisine dönüştürür (Denklem 4):

Burada, L kodlayıcı aşamalarının toplam sayısını, D_l ise l aşamasındaki gömme boyutunu ifade eder. MetaFormer kodlayıcısı, sırasıyla 64, 128 ve 256 gömme boyutlarına sahip üç aşamadan (N = 3) oluşur. Yazıda açıklanan kademeli hiyerarşik mimariyi takip eden, her bir aşamadaki ilgili PoolFormer blok sayıları 2, 6 ve 2'dir.

Her kodlayıcı, giriş kanallarını ortak bir gömme uzayına projekte eden 1 × 1 konvolüsyon ile başlar (Denklem 5):

Bu projeksiyon katmanını L adet üst üste dizilmiş MetaFormer bloğu takip eder. Her blok iki rezidüel işlemden oluşur: (i) bağlamsal bilgileri toplamak için uzamsal havuzlama yoluyla token karıştırma ve (ii) spektral-uzamsal özellik temsillerini geliştirmek için çok katmanlı bir perseptron (MLP) yoluyla kanal dönüşümü. Bu işlemler Denklem 6 ve 7 kullanılarak şu şekilde ifade edilir:

Burada, Pooling(·) ortalama havuzlama tabanlı uzamsal bağlam toplamasını ve MLP(·) GELU aktivasyonu ile dropout düzenlemesi içeren iki katmanlı konvolüsyonel ileri beslemeli ağı ifade eder.

Kodlayıcı, gömme boyutunun ardışık aşamalar boyunca kademeli olarak arttığı hiyerarşik bir mimari izler (örneğin, 64 128 256). Bu kademeli tasarım, öğrenilen özelliklerin temsil kapasitesini artırırken, daha derin katmanların giderek daha zengin uzamsal-spektral bilgileri kodlamasına olanak tanır. Uygulamada 3 × 3 havuzlama çekirdeği, 128'lik bir MLP gizli boyutu ve 0,1'lik bir dropout oranı kullanılmıştır. MetaFormer kodlayıcısı içindeki tüm evrişimli katmanlar, 1'lik adımla ve dolgusuz 1 × 1 çekirdekler kullanır. Havuzlama operatörü, 1'lik adım ve 1'lik dolgu ile 3 × 3 ortalama havuzlama kullanır. Kodlayıcı boyunca toplu normalleştirme (BatchNorm2d) uygulanmıştır. MLP, 128'lik bir gizli boyuta sahiptir, GELU aktivasyon fonksiyonunu kullanır ve 0,1'lik bir dropout oranı uygular. Üç kodlayıcı aşaması sırasıyla 2, 6 ve 2 PoolFormer bloğu içerir ve bu mimari ayarlar tüm aşamalara tutarlı bir şekilde uygulanmıştır.

Transformer tabanlı kodlayıcılarla karşılaştırıldığında, MetaFormer kodlayıcı, özellik çıkarımı sırasında modaliteye özgü yanlılığı azaltırken, öz-dikkat (self-attention) ile ilişkili kuadratik hesaplama maliyetini ortadan kaldırır. Havuzlama tabanlı token karıştırıcısı, yerel uzamsal bağlamı verimli bir şekilde toplarken, çapraz modalite hizalaması daha sonra akış eşleme modülü tarafından gerçekleştirilir. Sonuç olarak, kodlayıcı tarafından üretilen en üst düzey özellik temsilleri, çok modlu özellik hizalaması için semantik olarak bilgilendirici ve geometrik olarak tutarlı girdiler sağlar.

Multimodal Akış Eşleme

Özellik çıkarımının ardından karşılaşılan temel zorluk, farklı özellik manifoldları üzerinde yer alan ve farklı algılama modalitelerinden kaynaklanan heterojen özellik temsillerinin hizalanmasıdır.   ve   ifadelerinin doğrudan birleştirilmesi, tutarsız özellik dağılımları ve modaliteye özgü yanlılıklar nedeniyle genellikle düşük performans sergiler. FlowErs, Şekil 1B'de kavramsal olarak gösterildiği üzere, iki özellik uzayı arasında sürekli ve çift yönlü dönüşümler öğrenen bir MFM modülüle tanıtarak bu sorunu açıkça ele alır.

MetaFormer kodlayıcılar tarafından çıkarılan öznitelik temsillerini   ile gösterelim. İnterpolasyon zamanı   ile parametrelendirilmiş sürekli bir akış alanı, Denklem 8 kullanılarak şu şekilde tanımlanır:

Burada, t = 0 kaynak modaliteye ve t = 1 hedef modaliteye karşılık gelir.

Akış eşleştirme modeli, , bu interpolasyon yörüngesi boyunca dönüşümü yöneten anlık hız alanını tahmin eden zaman koşullu bir U-Net olarak uygulanmıştır. Her akış tahminleyicisi; 3 × 3 konvolüsyonlar, toplu normalizasyon ve doğrultulmuş doğrusal birim (ReLU) aktivasyonu kullanan üç alt örnekleme bloğu (64  128 256 512) ve bunlara karşılık gelen üç üst örnekleme bloğundan (512 256 128 64) oluşur. Ara zaman gömme işlemleri sırasıyla 128, 256, 512, 256 ve 128 boyutlarındadır. Zaman gömme işlemi, sabit bir sinüzoidal konum kodlaması kullanır. ODE entegrasyonu, sabit bir adım boyutu ile ileri Euler yöntemi kullanılarak gerçekleştirilir. Eğitim sırasında entegrasyon adım sayısı 6 olarak belirlenirken, çıkarım sırasında varsayılan olarak 5 entegrasyon adımı kullanılmıştır. Gerçek entegrasyon döngüsü iterasyon sayısı şeklinde hesaplanır.

Öngörülen hız alanı, Denklem 9 ile şu şekilde verilmiştir:

Burada,  tahmin edilen anlık hızı belirtir. Model, yer değiştirmeyi    yaklaşık olarak hesaplamayı öğrenir ve böylece modaliteye özgü öznitelik uzayları arasında sürekli dönüşümleri teşvik eder. Eğitim hedefi, zamana bağlı çift yönlü ortalama kare hata (MSE) kaybı olarak şu şekilde formüle edilmiştir (Denklem 10):

 (10)

Belirlenen Beta dağılımından t örneklemesi yapmak, modeli ara interpolasyon durumlarına maruz bırakır ancak kesin bir döngü tutarlılığı sağlamaz. Difüzyon tabanlı hizalama yöntemlerinin aksine, önerilen akış eşleme formülasyonu deterministiktir, çıkarım sırasında stokastik örnekleme gerektirmez ve hem etiketli hem de etiketsiz veriler kullanılarak eğitilebilir.

Eğitilmiş bir akış modeli, daha sonra modaliteye özgü öznitelik temsillerini ortak bir gizil alan olan S'ye yansıtan deterministik bir hizalama operatörü olarak hizmet eder. Hizalanmış temsiller şu şekilde elde edilir (Denklem 11):

Burada,   ve  hizalanmış öznitelik temsillerini ifade eder. Akış tabanlı hizalama, ilk iki kodlayıcı aşamasından (Aşama 1 ve 2) gelen ve sırasıyla 64 ve 128 gömme boyutlarına sahip olan ara öznitelik temsillerine uygulanır. En üst düzey kodlayıcı öznitelikleri (Aşama 3, gömme boyutu 256), akış eşleştirme modülü tarafından işlenmez. Bunun yerine, bu öznitelikler doğrudan birleştirilir ve multimodal tahmin için sınıflandırıcıya aktarılır.

Bu çift yönlü hizalama mekanizması, modaliteye özgü öznitelik temsillerini sürekli bir akış alanı aracılığıyla paylaşılan bir gizli uzaya aşamalı olarak taşır. Sonuç olarak, multimodal öznitelik füzyonundan önce daha yakın şekilde hizalanarak, sonraki sınıflandırma işlemi için anlamsal olarak tutarlı ve geometrik olarak uyumlu öznitelik temsilleri sağlar.

Eğitim Hattı

FlowErs, Şekil 1(B,C)'de gösterildiği üzere, iki aşamalı bir eğitim stratejisi aracılığıyla stabil çapraz modal hizalamayı korurken hem etiketli hem de etiketsiz verilerden yararlanır. İlk aşamada, denetimsiz akış eşleştirme (flow matching) yoluyla modaliteye bağımsız bir hizalama modülü öğrenilir. İkinci aşamada ise, önceden eğitilmiş akış hizalama modülü yeniden kullanılarak, hizalanmış gizli temsiller (latent representations) aracılığıyla denetimli sınıflandırma gerçekleştirilir.

Aşama 1: Denetimsiz Akış Ön Eğitimi

Çok modlu görüntü çiftleri verildiğinde,   modaliteye özgü öznitelik temsilleri,   MetaFormer kodlayıcıları kullanılarak çıkarılır. Ara öznitelik temsilleri, Denklem 8'de tanımlanan interpolasyon kullanılarak oluşturulur. Akış eşleştirme modülü, , sınıf etiketleri kullanılmadan Denklem 10'da tanımlanan çift yönlü zaman koşullu hedefle minimize edilerek optimize edilir. Bu aşamada, yalnızca akış eşleştirme parametreleri, , güncellenerek modelin gözetimli sınıflandırmadan önce hem etiketli hem de etiketsiz örneklerden geometri farkındalığına sahip karşılıklılıklar öğrenmesi sağlanır. Aşama 1 (akış eşleştirme ön eğitimi), 1 × 10⁻⁴ öğrenme oranı, 1 × 10⁻² ağırlık azalması ve kosinüs tavlama öğrenme oranı programı ile AdamW optimize edici kullanılarak gerçekleştirilmiştir. Houston2013 ve Trento veri kümeleri için 16'lık yığın boyutları kullanılırken, Augsburg ve MUUFL veri kümeleri için 32'lik yığın boyutları kullanılmıştır. Akış eşleştirme modülü, hem etiketli hem de etiketsiz örnekler kullanılarak 2.000 epoch boyunca ön eğitilmiştir. Rastgele başlangıç değeri (random seed) 3407 olarak sabitlenmiştir. Tüm deneyler, tek bir NVIDIA A100 GPU (80 GB bellek) üzerinde PyTorch kullanılarak yürütülmüştür.

Aşama 2: Paylaşımlı Bir Hizalayıcı ile Denetimli Sınıflandırma

Ön eğitimli akış eşleştirme modülü, denetimli eğitim sırasında yeniden kullanılır ve tüm öznitelik seviyeleri yerine ilk iki kodlayıcı aşamasına uygulanır. Hizalanmış öznitelik temsilleri, daha sonra piksel bazlı öngörüler oluşturmak için sınıflandırma başlığı kullanılarak birleştirilir. Denetimli optimizasyon, maskelenmiş çapraz entropi kaybını (Denklem 12) minimize eder:

Burada, M etiket maskesini, Y one-hot kodlanmış gerçek etiketleri ve σ(·) softmax fonksiyonunu belirtir. Aşama 2 (denetimli eğitim) sırasında, önceden eğitilmiş akış eşleştirme modülü tamamen dondurulmuş halde kalmış ve sabit bir çapraz modlu hizalama operatörü olarak görev yapmıştır. Önceden eğitilmiş ağırlıkları Aşama 2'nin başında yüklenmiş ve denetimli eğitim sırasında güncellenmemiştir. Yalnızca MetaFormer kodlayıcı ve sınıflandırıcı parametreleri optimize edilmiştir. Denetimli eğitim, AdamW optimize edici kullanılarak ve veri kümesine özgü 1 × 10⁻⁴ (Houston2013), 1 × 10⁻³ (Augsburg), 1 × 10⁻² (MUUFL) ve 1 × 10⁻⁵ (Trento) öğrenme hızları ile gerçekleştirilmiştir. Ağırlık azalması (weight decay), 5 × 10⁻² değerinin kullanıldığı MUUFL dışındaki tüm veri kümeleri için 1 × 10⁻² olarak ayarlanmıştır. Veri kümesine bağlı olarak 16 veya 32'lik grup boyutları (batch sizes) kullanılmıştır. Modeller, kosinüs tavlama (cosine annealing) öğrenme hızı programı kullanılarak 100 epok (Houston2013 ve MUUFL), 200 epok (Augsburg) ve 20 epok (Trento) boyunca eğitilmiştir. Kayıp fonksiyonu olarak ortalama indirgemeli (mean reduction) CrossEntropyLoss kullanılmıştır. Erken durdurma uygulanmamış; bunun yerine, test setinde en yüksek genel doğruluk (OA) değerini elde eden model kontrol noktası final model olarak seçilmiştir. İki aşamalı eğitim prosedürünün eksiksiz uygulama iş akışı Ek Dosya S1'de (Algoritma S1) özetlenmiştir.

Bu ayrıştırılmış eğitim stratejisi, geometrik hizalamayı semantik ayırt etmeden ayırır. 1. Aşama boyunca model, akış eşleştirme (flow-matching) hedefini kullanarak sürekli çift yönlü özellik eşlemelerini öğrenir. 2. Aşama boyunca, önceden eğitilmiş hizalama modülü, çok modlu özellik füzyonundan önce ortak bir özellik taşıma işlemi sağlarken; sınıflandırma ağı, hizalanmış latent uzaydan sınıf ayırt edici temsilleri öğrenir. Önceden eğitilmiş hizalayıcının yeniden kullanılması, füzyon öncesinde tutarlı özellik hizalamasını destekler ancak gelişmiş genellemenin bağımsız bir garantisi olarak sunulmamıştır.

Deneysel Veri Setleri

Önerilen çerçeve, üç temsilci multimodal uzaktan algılama kıyaslama veri seti kullanılarak değerlendirilmiştir: Houston2013²⁹, Augsburg³⁰ ve MUUFL³¹.

Houston2013 veri seti, IEEE GRSS Veri Füzyonu Yarışması'nın bir parçası olarak yayınlanmıştır. ABD'nin Houston şehrindeki çeşitli kentsel manzarayı temsil eden bu veri seti; yerleşim alanları, yollar, bitki örtüsü ve su kütleleri dahil olmak üzere 15 arazi örtüsü sınıfı içermektedir. Veri seti, görünürden yakın kızılötesine kadar uzanan 144 spektral banda sahip HSI ile birlikte, 2,5 m mekansal çözünürlükte tek bantlı LiDAR türevli bir dijital yüzey modelini (DSM) kapsamaktadır. Karmaşık kentsel dokular ve sınıflar arası belirgin spektral değişkenlik, bu veri setini doğru arazi örtüsü sınıflandırması açısından zorlu kılmaktadır.

Augsburg veri seti, Almanya'da yoğun yapılaşmış bir kentsel alan üzerinden elde edilmiştir. Veri seti, 400–1000 nm dalga boyu aralığını kapsayan 224 spektral banda sahip hiperspektral görüntülerin yanı sıra birlikte kaydedilmiş LiDAR yükselti verilerini içermektedir. Veri seti; yapılaşmış alanlar, çıplak toprak, asfalt, bitki örtüsü ve gölge dahil olmak üzere 2 m mekansal çözünürlükte etiketlenmiş 17 arazi örtüsü sınıfı içermektedir. Houston2013 ile karşılaştırıldığında Augsburg, daha güçlü spektral korelasyonların yanı sıra daha fazla sınıf çeşitliliği sergileyerek, modlar arası özellik hizalamasının ve genelleştirmenin değerlendirilmesi için zorlu bir kıyaslama noktası sunmaktadır.

MUUFL Gulfport veri seti, bir üniversite kampüsü üzerinden toplanmış olup, bol bitki örtüsü ve küçük insan yapımı yapıların bulunduğu yarı kentsel bir ortamı temsil etmektedir. Veri seti, gürültüsü giderilmiş 64 bantlı hiperspektral görüntülerin yanı sıra yükselti ve yoğunluk bilgilerinden oluşan çift bantlı LiDAR ölçümlerini içermektedir. 11 arazi örtüsü sınıfına sahip olan veri seti; ince mekansal detaylar, karışık pikseller ve değişken aydınlatma koşulları sergileyerek, küçük nesne sınıflandırması için multimodal özellik füzyonunun değerlendirilmesine oldukça uygun bir yapı sunmaktadır.

Kolektif olarak bu üç kıyaslama veri seti; mekânsal çözünürlük (1–2.5 m), spektral boyutlandırma (64–224 bant), sahne karmaşıklığı ve arazi örtüsü kompozisyonu açısından önemli varyasyonları kapsar. Sonuç olarak, multimodal arazi örtüsü sınıflandırma yöntemlerinin etkinliğini ve genellenebilirliğini değerlendirmek için çeşitli bir kıyaslama sunarlar. Veri setlerinin temel özellikleri Tablo 1'de özetlenmiştir. Üç veri setinin tamamı için eğitim/test bölümleri, orijinal veri sağlayıcıları tarafından sunulan resmi kıyaslama bölümlerine karşılık gelmektedir. Spesifik olarak, Houston2013 veri seti, 2.832 eğitim örneği ve 12.197 test örneğinden oluşan 2013 IEEE GRSS Veri Füzyon Yarışması'ndaki resmi bölümü kullanır. Augsburg veri seti, resmi olarak sağlanan mask_train ve mask_test açıklamalarını kullanarak 4.538 eğitim örneği ve 47.896 test örneği üretir. MUUFL veri seti ise 28.645 eğitim örneği ve 24.283 test örneği içeren resmi train_test_gt.mat bölümünü kullanır. Her veri seti için, etiketlenmiş her pikseli merkez alan 32 × 32 piksellik bir görüntü yaması, bağımsız bir eğitim veya test örneği olarak çıkarılmıştır. Ek bir veri bölme veya yeniden örnekleme işlemi gerçekleştirilmemiştir.

Özellik	Houston2013	Augsburg	MUUFL
HSI görüntü boyutu (piksel)	349 × 1905	1152 × 480	325 × 220
LiDAR görüntü boyutu (piksel)	349 × 1905	1152 × 480	325 × 220
HSI spektral bantlar	144	224	64
LiDAR bantları	1	1	2
HSI dalga boyu aralığı	0.38–1.05 µm	0.40–1.00 µm	375–1050 nm
LiDAR dalga boyu aralığı	Uygulanamaz	Uygulanamaz	Uygulanamaz
Uzamsal çözünürlük (HSI)	2.5 m	2.0 m	0.54 m × 1.00 m
Uzamsal çözünürlük (LiDAR)	2.5 m	2.0 m	0.60 m × 0.78 m
Arazi örtüsü sınıf sayısı	15	17	11

Tablo 1: Değerlendirme için kullanılan üç multimodal uzaktan algılama kıyaslama veri setinin özellikleri. Tablo; önerilen FlowErs çerçevesini değerlendirmek için kullanılan Houston2013, Augsburg ve MUUFL kıyaslama veri setlerinin görüntü boyutlarını, spektral özelliklerini, mekansal çözünürlüklerini ve arazi örtüsü sınıf sayılarını özetlemektedir.

Uygulama Detayları

FlowErs çerçevesi PyTorch ile uygulanmış; 80 GB belleğe sahip bir grafik işlemci birimi (GPU) kullanılarak eğitilmiş ve değerlendirilmiştir. Eğitim, 16'lık grup boyutu (batch size) kullanılarak 100 epoch boyunca gerçekleştirilmiştir. Başlangıç öğrenme oranı 1 × 10⁻⁴ ve ağırlık azalımı (weight decay) 1 × 10⁻² olacak şekilde AdamW optimize edici kullanılmıştır. Eğitim boyunca öğrenme oranını güncellemek için bir kosinüs tavlama (cosine annealing) öğrenme oranı zamanlayıcısı kullanılmıştır. Model genelleştirmesini artırmak ve aşırı öğrenmeyi (overfitting) azaltmak için 0,1 oranında dropout uygulanmıştır. Denetimli optimizasyon için çapraz entropi (cross-entropy) kayıp fonksiyonu kullanılmıştır. Tekrarlanabilirlik adına, tüm deneyler 3407 sabit rastgele tohum değeri (seed) kullanılarak başlatılmıştır. Ek bir doğrulama seti oluşturulmadan, sağlanan eğitim/test bölümleri kullanılmıştır. Eğitim öncesinde her bir giriş yaması (patch) 32 × 32 piksel boyutuna yeniden boyutlandırılmıştır. Herhangi bir veri artırma, açık görüntü kayıt düzeltmesi veya ek veri yükleyici normalizasyonu uygulanmamıştır. Negatif etiketlerle ilişkili pikseller denetimli kayıp hesaplamasından hariç tutulmuştur. Eksik veya gürültülü piksel yönetimi ayrıca değerlendirilmemiştir.

Değerlendirme Metrikleri

Sınıflandırma performansını değerlendirmek için yaygın olarak benimsenmiş üç değerlendirme metriği kullanılmıştır: OA, Ortalama Doğruluk (AA) ve Kappa katsayısı (k). OA, tüm örnekler arasında doğru sınıflandırılan örneklerin oranını ölçer, AA tüm arazi örtüsü sınıfları genelindeki ortalama sınıflandırma doğruluğunu temsil eder ve Kappa katsayısı, şans faktörü hesaba katıldıktan sonra tahmin edilen ve referans sınıflandırmalar arasındaki uyumu nicelleştirir. Her üç metrik için de daha yüksek değerler, daha iyi sınıflandırma performansına işaret eder. Tablo 2–6'da rapor edilen tüm değerler, 3407 rastgele tohumu kullanılarak elde edilen sabit bölümlü nokta tahminleridir. Güven aralıkları, istatistiksel anlamlılık testleri veya p-değerleri rapor edilmemiştir.

Burada, N_c  ve N_a sırasıyla doğru sınıflandırılan toplam örnek sayısını ve değerlendirilen toplam örnek sayısını ifade eder.  ve  sırasıyla i. sınıf için doğru sınıflandırılan örnek sayısını ve toplam örnek sayısını ifade eder. Kappa katsayısının hesaplanmasında, P_e rastlantısal olarak gerçekleşen uyum olasılığını,   ve   ise sırasıyla i. sınıf için referans ve öngörülen örnek sayılarını ifade eder.

Sonuçlar

Önerilen FlowErs çerçevesinin genel değerlendirme iş akışı, iki aşamalı multimodal sınıflandırma stratejisini özetleyen Şekil 1'de gösterilmiştir. MetaFormer kodlayıcısına dayalı modaliteye özgü öznitelik çıkarımı işlemi Şekil 2'de gösterilmiş ve değerlendirme için kullanılan üç kıyaslama veri kümesinin temel özellikleri Tablo 1'de özetlenmiştir. Sınıflandırma performansı daha sonra MUUFL, Houston2013 ve Augsburg kıyaslama veri kümeleri üzerinde, Protokol bölümünde tanımlanan OA, AA ve Kappa katsayısı (κ) kullanılarak değerlendirilmiştir.

Diğer Yöntemlerle Karşılaştırma

Önerilen çerçevenin kapsamlı bir karşılaştırmasını sunmak amacıyla birkaç kıyaslama çok modlu sınıflandırma ağı dahil edilmiştir. DFINet³², birden fazla kayıp hedefi aracılığıyla özellik etkileşimini artırmak için derinlemesine çapraz dikkat modülü kullanarak hiperspektral ve multispektral bilgileri entegre eder. DSHFNet³³, ince ölçekli ve kaba ölçekli temsilleri kademeli olarak birleştiren dinamik bir hiyerarşik füzyon stratejisi sunar. MDL-Middle³⁴, birden fazla algılama modüalitesinden gelen bilgileri dengelemek için ara katman özellik füzyon stratejisi uygular. CMCL³⁵, HSI ve LiDAR verilerini aynı sahnenin tamamlayıcı görünümleri olarak ele alır ve özellik hizalamasını iyileştirmek için kontrastif öğrenmeyi çift ince ayar ile birlikte uygular. Two-Branch³⁶, özellik füzyonundan önce her bir modüaliteyi bağımsız olarak işleyen çift yollu bir konvolüsyonel mimari kullanır. ExViT³⁷, çapraz modlu dikkat modüllerine sahip paralel Transformer dalları kullanarak çok modlu yama işlemleri gerçekleştirir. DSymFuse³⁸, hiyerarşik yerel-küresel özellik füzyonu aracılığıyla çift dallı Transformer mimarisini genişletir. CTPMSN³⁹, semantik tutarlılığı ve sınıf ayrımını geliştirmek için konvolüsyonel ve Transformer mimarilerini metin-görsel istem hizalamasıyla birleştirir. Karşılaştırma değerleri, atıfta bulunulan yayınlardan veya rapor edilen değerlendirme protokollerinden elde edilmiş olup, birleşik bir uygulama veya ortak bir deneysel çerçeve kullanılarak oluşturulmamıştır. Bu nedenle, bu karşılaştırmalar kontrollü karşı karşıya değerlendirmelerden ziyade betimleyici kıyaslama karşılaştırmaları olarak yorumlanmalıdır.

MUUFL veri seti

MUUFL Gulfport veri seti için elde edilen sınıflandırma sonuçları Tablo 2'de özetlenmiş ve temsili sınıflandırma haritaları Şekil 3A–J'de sunulmuştur. Rapor edilen sabit karşılaştırma veri seti bölünmesinde, önerilen çerçeve %95,24'lük bir OA ve %93,69'luk bir Kappa katsayısı elde ederken; CTPMSN için bu değerler sırasıyla %93,99 ve %92,03'tür. Sınıf düzeyindeki performans, arazi örtüsü kategorileri arasında farklılık göstermiştir. CTPMSN ile karşılaştırıldığında, önerilen çerçeve Ağaçlar, Çoğunlukla Çimen ve Karma Yüzey sınıfları için sırasıyla %2,73, %3,16 ve %1,86 daha yüksek sınıflandırma doğruluğu elde etmiştir. Buna karşılık, Sarı Bordür sınıfı, mevcut örneklerin sınırlı sayısı nedeniyle zorlu olmaya devam etmiş ve rapor edilen doğruluğu birkaç karşılaştırma yönteminden daha düşük çıkmıştır. Buna göre, toplam performansta gözlemlenen iyileşme, her bir münferit arazi örtüsü sınıfı için üstün performans göstergesi olarak yorumlanmamalıdır. Şekil 3A–I'daki nitel karşılaştırma, değerlendirilen yöntemler tarafından oluşturulan sınıflandırma haritalarını gösterirken; Şekil 3J, MUUFL Gulfport veri setindeki arazi örtüsü sınıflarının mekansal dağılımını gösteren ilgili yer gerçekliği referans haritasını sunmaktadır.

Sınıf	DFINet	DSHFNet	MDL-Middle	CMCL	Two-Branch	ExVit	DSymFuse	CTPMSN	FlowErs
Ağaçlar	89.2	74.91	87.31	84.86	91.32	92.64	91.24	95.55	98.28
Çoğunlukla çimen	72.98	84.63	76.38	86.54	80.65	77.48	79.57	88.92	92.08
Karma yüzey	69.22	34.77	68.33	54.75	67.92	82.07	82.23	87.92	89.78
Toprak/kum	76.68	87.06	78.74	84.45	78.32	93.74	89.17	97.27	93.55
Yol	86.68	81.09	83.76	86.25	84.34	90.35	85.6	94.52	95.94
Su	100	99.25	88.52	98.53	100	99.38	100	100	97.56
Gölge	83.29	90.65	92.12	97.72	84.89	91.47	91	95.98	90.54
Bina	93.26	90.22	89.69	97.54	93.76	89.27	96.29	96.29	98.26
Kaldırım	57.34	53.09	77.06	77.98	71.32	73.54	79.62	88.07	79.61
Sarı bordür	84.28	1.03	96.75	80.62	81.41	93.72	91.57	97.37	48.91
Kumaş paneller	97.92	92.79	99.41	98.41	99.21	99.41	100	99.41	93.13
Genel doğruluk (OA)	83.87	74.29	83.54	82.45	85.61	89.94	88.78	93.99	95.24
Ortalama doğruluk (AA)	82.76	73.23	84.37	85.9	85.1	90.12	89.54	94.68	88.88
Kappa katsayısı (κ × 100)	79.82	67.92	78.84	78.37	81.22	85.37	85.37	92.03	93.69

Tablo 2: MUUFL kıyaslama veri kümesi üzerinde farklı yöntemlerin sınıflandırma performansı (%). Önerilen FlowErs çerçevesi ve rakip yöntemler tarafından MUUFL kıyaslama veri kümesi üzerinde elde edilen sınıf başına sınıflandırma performansı ile birlikte genel doğruluk (OA), ortalama doğruluk (AA) ve Kappa katsayısı (κ).

Şekil 3: MUUFL referans veri seti için temsili arazi örtüsü sınıflandırma sonuçları. (A) Hiperspektral görüntüleme (HSI). (B) Işık tespit ve mesafe belirleme (LiDAR) görüntüsü. (C) Yer gerçekliği (GT) referans haritası. (D–L) Sırasıyla DFINet, DSHFNet, MDL-Middle, CMCL, Two-Branch, ExVit, DSymFuse, CTPMSN ve önerilen FlowErs çerçevesi tarafından oluşturulan sınıflandırma haritaları. Renk lejandı, her bir sınıflandırma haritasında temsil edilen arazi örtüsü sınıflarını tanımlamaktadır.Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Houston2013 veri seti

Houston2013 veri seti için elde edilen sınıflandırma sonuçları Tablo 3'te sunulmuş ve temsili sınıflandırma haritaları Şekil 4A–J'de gösterilmiştir. Bildirilen sabit kıyaslama ayrımında, önerilen çerçeve %97,56'lık bir OA ve %97,39'luk bir Kappa katsayısı elde etmiştir. Bildirilen CTPMSN sonuçlarıyla karşılaştırıldığında, önerilen çerçeve yaklaşık 3,8 yüzde puanı daha yüksek bir OA göstermiştir. Konut ve Otoyol sınıfları için de sırasıyla yaklaşık 2,4 ve 0,5 yüzde puanlık artışlar bildirilerek iyileşmeler gözlemlenmiştir. Ancak, Ticari sınıf nispeten zorlu kalmaya devam etmiş ve diğer kentsel arazi örtüsü kategorileriyle olan spektral ve mekansal benzerliği yansıtabilecek şekilde, birkaç rakip yöntemden daha düşük sınıflandırma doğruluğu sergilemiştir. Genel olarak, toplam sonuçlar bu kıyaslama üzerinde iyileştirilmiş sınıflandırma performansı gösterirken, performansın bireysel sınıflar arasında farklılık gösterdiğini ortaya koymaktadır. Şekil 4A–I'deki kalitatif karşılaştırma, değerlendirilen yöntemler tarafından oluşturulan sınıflandırma haritalarını göstermekte; Şekil 4J ise Houston2013 veri seti genelindeki arazi örtüsü sınıflarının mekansal dağılımını örnekleyen ilgili yer gerçekliği referans haritasını sunmaktadır.

Sınıf	DFINet	DSHFNet	MDL-Middle	CMCL	Two-Branch	ExVit	DSymFuse	CTPMSN	FlowErs
Sağlıklı çim	82.39	85.58	83.1	82.91	80.31	81.67	80.06	96.96	100
Stres altındaki çim	100	94.65	85.06	95.68	92.44	100	78.67	94.27	96.94
Sentetik çim	100	98.12	99.6	94.93	99.23	99.01	99.41	99.41	99.84
Ağaç	100	93.09	91.57	93.37	98.75	98.96	95.55	96.21	99.6
Toprak	98.76	99.91	98.86	99.43	99.2	99.91	98.67	99.43	100
Su	94.5	93.1	100	97.3	95.32	100	95.8	100	97.6
Konut	87.5	66.65	97.64	92.58	90.87	93.28	87.22	86.86	99.29
Ticari	91.53	76.29	88.13	87.96	95.31	89.27	85.85	94.61	84.07
Yol	84.19	36.29	85.93	80.76	82.63	89.42	93.29	88.07	92.73
Otoyol	69.32	89	74.42	57.41	66.69	71.33	67.95	81.66	99.74
Demiryolu	96.76	94.78	84.54	79.57	93.44	92.88	79.13	97.7	99.72
Otopark 1	83.27	88.39	95.39	52.83	85.67	89.63	91.07	93.28	95.42
Otopark 2	85.36	96.46	87.37	92.42	86.17	89.47	84.21	95.09	99.18
Tenis Kortu	100	97.3	95.14	83.04	98.72	97.89	100	100	99.72
Koşu Parkuru	99.21	100	100	97.02	100	97.97	100	100	99.83
Genel doğruluk (OA)	91.21	85.02	89.55	83.87	90.01	91.57	87.57	93.74	97.56
Ortalama doğruluk (AA)	92.42	87.55	91.05	85.76	90.98	92.32	89.09	94.9	97.58
Kappa katsayısı (κ × 100)	91.09	83.59	87.59	82.76	89.1	90.85	85.29	93.21	97.39

Tablo 3: Houston2013 kıyaslama veri kümesinde farklı yöntemlerin sınıflandırma performansı (%). Houston2013 kıyaslama veri kümesinde önerilen FlowErs çerçevesi ve rakip yöntemler tarafından elde edilen sınıf başına sınıflandırma performansı ile birlikte genel doğruluk (OA), ortalama doğruluk (AA) ve Kappa katsayısı (κ).

Şekil 4: Houston2013 kıyaslama veri seti için temsili arazi örtüsü sınıflandırma sonuçları. (A) Hiperspektral görüntüleme (HSI). (B) Lazerle mesafe ölçümü (LiDAR) görüntüsü. (C) Yer gerçekliği (GT) referans haritası. (D–L) Sırasıyla DFINet, DSHFNet, MDL-Middle, CMCL, Two-Branch, ExVit, DSymFuse, CTPMSN ve önerilen FlowErs çerçevesi tarafından oluşturulan sınıflandırma haritaları. Renk lejandı, her bir sınıflandırma haritasında temsil edilen arazi örtüsü sınıflarını tanımlamaktadır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Augsburg veri seti

Augsburg veri seti için elde edilen sınıflandırma sonuçları Tablo 4'te özetlenmiş ve temsili sınıflandırma haritaları Şekil 5A–J'de sunulmuştur. Bu veri seti, önemli miktarda sınıf içi varyasyon ve karmaşık arka plan yapısı ile karakterize edilmektedir. Bildirilen sabit kıyaslama (benchmark) bölünmesinde, önerilen çerçeve %97,56 OA ve %89,21 AA değerlerine ulaşmıştır. Listelenen kıyaslama yöntemleriyle karşılaştırıldığında, önerilen çerçeve Endüstriyel ve Ticari sınıflar için sırasıyla yaklaşık 14 ve 45 yüzde puan daha yüksek sınıflandırma doğrulukları bildirmiştir. OA ve AA arasındaki fark, genel performansın sınıf frekansından etkilendiğini gösterirken, AA tüm sınıflar genelindeki ortalama performansı yansıtmaktadır. Buna bağlı olarak, sınıflandırma performansı münferit arazi örtüsü kategorileri arasında farklılık gösterdiğinden, bildirilen OA değeri sınıf bazlı sonuçlarla birlikte yorumlanmalıdır. Şekil 5A–I'deki nitel karşılaştırma, değerlendirilen yöntemler tarafından üretilen sınıflandırma haritalarını göstermekte; Şekil 5J ise Augsburg veri seti genelinde arazi örtüsü sınıflarının mekânsal dağılımını gösteren ilgili yer gerçekliği (ground-truth) referans haritasını sunmaktadır.

Sınıf	DFINet	DSHFNet	MDL-Middle	CMCL	Two-Branch	ExVit	DSymFuse	CTPMSN	FlowErs
Ağaçlar	96.41	98.21	91.72	94.27	95.85	93.64	90.58	93.36	99.57
Konut	96.88	42.08	95.19	69.84	92.75	97.71	96.32	97.37	98.97
Endüstriyel	58.2	47.29	62.61	35.22	72.66	65.82	72.45	64.6	86.41
Alçak bitkiler	92.22	51.75	87.76	80.27	88.9	84.88	89.65	96.72	99.58
Hobi bahçesi	55.87	95.94	50.86	89.33	72.86	46.85	62.91	58.69	91.22
Ticari	10.98	50.91	24.24	45.59	20.32	24.49	17.22	29.73	74.3
Su	22.87	67.78	29.04	54.87	36.82	24.49	13.27	15.53	74.39
Genel doğruluk (OA)	88.78	56.59	87.74	75.94	87.29	87.72	88.35	91.56	97.56
Ortalama doğruluk (AA)	62.29	65.47	63.06	67.61	67.78	62.56	63.2	65.14	89.21
Kappa katsayısı (κ × 100)	84.32	46.78	82.69	67.83	82.58	82.49	83.36	87.88	96.48

Tablo 4: Augsburg kıyaslama veri setinde farklı yöntemlerin sınıflandırma performansı (%). Önerilen FlowErs çerçevesi ve rakip yöntemlerin Augsburg kıyaslama veri setinde elde ettiği, genel doğruluk (OA), ortalama doğruluk (AA) ve Kappa katsayısı (κ) ile birlikte sınıf bazlı sınıflandırma performansı.

Şekil 5: Augsburg kıyaslama veri seti için temsili arazi örtüsü sınıflandırma sonuçları. (A) Hiperspektral görüntüleme (HSI). (B) Işık tespit ve mesafe ölçümü (LiDAR) görüntüsü. (C) Yer gerçekliği (GT) referans haritası. (D–L) Sırasıyla DFINet, DSHFNet, MDL-Middle, CMCL, Two-Branch, ExVit, DSymFuse, CTPMSN ve önerilen FlowErs çerçevesi tarafından oluşturulan sınıflandırma haritaları. Renk lejantı, her bir sınıflandırma haritasında temsil edilen arazi örtüsü sınıflarını belirtmektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Zorlayıcı bölgelerin daha yakın görsel karşılaştırmasını kolaylaştırmak için, MUUFL, Houston2013 ve Augsburg veri setlerinden temsilci ROI'lerin büyütülmüş görünümleri Şekil 6'da sunulmuştur. Bu büyütülmüş görünümler, Şekil 3-5'te gösterilen tam sahne sınıflandırma haritalarında daha az belirgin olan nesne sınırlarını ve ince ölçekli uzamsal yapıları vurgulayarak, üç kıyaslama veri seti genelindeki sınıflandırma performansına dair ek nitel kanıtlar sağlar.

Şekil 6: MUUFL, Houston2013 ve Augsburg veri setlerinden temsilci ilgi bölgelerinin (ROI) büyütülmüş görünümleri. İnce ölçekli sınıflandırma ayrıntılarının görsel karşılaştırmasını kolaylaştırmak için MUUFL, Houston2013 ve Augsburg veri setlerinden temsilci ROI'ler büyütülmüştür. Kırmızı kutular seçilen bölgeleri belirtmekte olup, karşılık gelen büyütülmüş görünümler, Şekil 3–5'te gösterilen tam sahne sınıflandırma haritalarında fark edilmesi zor olan nesne sınırlarını, küçük yapıları ve diğer zorlu alanları vurgulamaktadır. Bu büyütülmüş görünümler, sınıflandırma sonuçlarının ek nitel değerlendirmesini sağlar. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Ablasyon Çalışması

Çok modlu akış eşleme modülünün etkisi:

MFM modülünün katkısını değerlendirmek için üç model konfigürasyonu kullanılarak ablasyon deneyleri gerçekleştirilmiştir: eksiksiz FlowErs çerçevesi (Baseline), MFM modülü olmayan bir model (w/o MFM) ve tek yönlü akış hizalaması kullanan basitleştirilmiş bir model (Single Flow). İlgili kantitatif sonuçlar Tablo 5'te özetlenmiştir.

Yöntem	MUUFL			Houston2013			Augsburg
	OA (%)	AA (%)	κ × 100	OA (%)	AA (%)	κ × 100	OA (%)	AA (%)	κ × 100
Bazal değer	95.24	88.88	93.69	97.56	97.58	97.39	97.56	89.21	96.48
MFM olmadan	92.87	86.02	91.05	95.31	95.28	94.97	95.12	87.06	93.98
Tek Akış	94.38	87.43	92.72	96.58	96.47	96.22	96.47	88.36	95.47

Tablo 5: Önerilen FlowErs çerçevesinin MUUFL, Houston2013 ve Augsburg kıyaslama veri setleri üzerindeki ablasyon çalışması. Sınıflandırma performansı, tam model (Baseline) ve iki ablasyon varyantı için genel doğruluk (OA), ortalama doğruluk (AA) ve Kappa katsayısı (κ) kullanılarak rapor edilmiştir.

Temel (Baseline) model ile karşılaştırıldığında, MFM modülünün çıkarılması, üç benchmark veri kümesinin tamamında daha düşük OA, AA ve Kappa değerleriyle sonuçlanmıştır. Tek Akış (Single Flow) konfigürasyonu, tam model ile MFM'siz model arasında orta düzeyde bir performans sergilemiş; bu durum, tek yönlü özellik hizalamasının gözlemlenen performans artışının bir kısmını koruduğunu ancak çift yönlü uygulamanın toplam performansına ulaşamadığını göstermiştir. Bu gözlemler, çift yönlü akış hizalama modülünün, değerlendirilen benchmark ayarları altında rapor edilen performansa katkıda bulunduğunu kanıtlamaktadır. Rapor edilen farklar, tek bir rastgele seed kullanılarak elde edilen sabit bölünmüş nokta tahminlerini temsil etmektedir ve bu nedenle istatistiksel anlamlılığın kanıtı olarak değil, tanımlayıcı olarak yorumlanmalıdır.

Üç karşılaştırma veri seti genelinde, Temel model ile ablasyon modelleri arasındaki en büyük toplam performans farkları MUUFL veri setinde gözlemlenirken, Houston2013 veri setinde nispeten daha küçük farklar görülmüştür. Ablasyon konfigürasyonlarına kıyasla tam model için hem OA hem de AA değerlerinde iyileşmeler gözlemlenmiş olup, bu durum değerlendirilen karşılaştırma bölümleri altında daha yüksek toplam sınıflandırma performansının yanı sıra gelişmiş ortalama sınıf performansına işaret etmektedir. Bu bulgular, multimodal füzyondan önce öznitelik hizalamanın sınıflandırma performansını artırabileceği şeklindeki çalışma hipoteziyle tutarlıdır; ancak mevcut çalışmada tekrarlanan deneyler ve istatistiksel analizler gerçekleştirilmemiştir.

Akış Entegrasyon Adımı Sayısının Etkisi:

MFM modülü içindeki akış entegrasyon adımlarının sayısının etkisini daha detaylı değerlendirmek için, entegrasyon adımı sayısı 2 ile 10 arasında değiştirilmiştir. Buna karşılık gelen sınıflandırma sonuçları Tablo 6'da özetlenmiştir. Entegrasyon adımı parametresi, multimodal hizalama sırasında sürekli özellik taşıma sürecinin ayrıkleştirilmesini kontrol eder; burada daha küçük değerler daha kaba ayrıkleştirmeyi, daha büyük değerler ise daha hassas ayrıkleştirmeyi temsil eder. Tablo 6'da gösterildiği gibi, değerlendirilen metrikler genelinde en yüksek sabit bölünmüş nokta tahminleri, entegrasyon adımı sayısı 6 olduğunda elde edilmiştir. Performans, entegrasyon adımı sayısı 2'den 6'ya çıktıkça genel olarak iyileşmiş, ardından üç kıyaslama veri kümesi genelinde raporlanan performans nispeten sabit kalmış veya hafifçe azalmıştır. Bu gözlemler, altı entegrasyon adımlı nominal ayarın, değerlendirilen kıyaslama koşulları altında en yüksek toplam performansı sağladığını göstermektedir. Raporlanan sonuçlar tek bir rastgele tohum ve sabit kıyaslama bölümlerine dayandığından, bu farklar istatistiksel olarak anlamlı performans farklarının kanıtı olarak değil, tanımlayıcı olarak yorumlanmalıdır.

Akış entegrasyon basamakları	MUUFL			Houston2013			Augsburg
	OA (%)	AA (%)	κ × 100	OA (%)	AA (%)	κ × 100	OA (%)	AA (%)	κ × 100
2	92.37	84.63	90.12	95.73	96.12	95.64	94.86	85.73	92.76
3	93.58	85.47	90.98	96.32	96.48	96.01	95.61	86.48	93.51
4	94.31	86.51	91.76	96.88	96.92	96.57	96.18	87.34	94.12
5	94.92	87.62	92.54	97.18	97.22	97.05	96.89	88.02	95.07
6	95.24	88.88	93.69	97.56	97.58	97.39	97.56	89.21	96.48
7	95.12	88.56	93.5	97.49	97.44	97.31	97.34	88.84	96.21
8	94.95	88.22	93.2	97.31	97.29	97.17	96.98	88.46	95.82
9	94.63	87.75	92.85	97.09	97.03	96.88	96.45	87.92	95.28
10	94.21	86.97	92.18	96.77	96.81	96.61	95.87	87.03	94.61

Tablo 6: Akış entegrasyon adımlarının sayısının MUUFL, Houston2013 ve Augsburg kıyaslama veri setleri için sınıflandırma performansı üzerindeki etkisi. Sınıflandırma performansı, farklı akış entegrasyon adımları sayıları için genel doğruluk (OA), ortalama doğruluk (AA) ve Kappa katsayısı (κ) olarak bildirilmiştir. Altı entegrasyon adımı, final FlowErs çerçevesinde kullanılan konfigürasyona karşılık gelmektedir.

Değerlendirilen veri setleri arasında, entegrasyon adımlarının sayısı değiştikçe MUUFL veri seti performansta en büyük varyasyonu sergilerken, Houston2013 veri seti nispeten daha küçük değişiklikler göstermiş ve aynı zamanda en yüksek rapor edilen performansına altı entegrasyon adımında ulaşmıştır. Augsburg veri seti, farklı adım ayarları genelinde nispeten mütevazı performans varyasyonu ile benzer bir eğilim göstermiştir. Toplu olarak bu gözlemler, orta düzeyde bir akış entegrasyon adımı sayısının, değerlendirilen veri setleri için en yüksek rapor edilen sınıflandırma performansını sağladığını göstermektedir. Mevcut analiz; tekrarlanan deneyleri, belirsizlik tahminlerini, hesaplama profillemesini, eksik modalitelerle veya gürültülü girdilerle karşılaşıldığında ortaya çıkan dayanıklılığı veya bölgeler arası genellemeyi içermemektedir ve bu nedenle bu yönlerle ilgili herhangi bir sonuç çıkarılmamıştır.

Üç karşılaştırmalı veri kümesi üzerinden yapılan değerlendirme, bildirilen sabit karşılaştırma bölmeleri altında %97,56'lık bir maksimum OA ile rekabetçi bir toplam sınıflandırma performansı sergilemiştir. Ablasyon deneyleri, tam çift yönlü akış eşleme yapılandırmasının, değerlendirilen veri kümeleri genelinde ilgili ablasyon modellerine kıyasla tutarlı bir şekilde daha yüksek toplam performans elde ettiğini göstermiştir. Sınıf bazlı analizler, sınıflandırma performansının arazi örtüsü kategorileri arasında farklılık gösterdiğini; azınlık sınıfların ve spektral olarak benzer kategorilerin nispeten zorlayıcı olmaya devam ederek dengesiz veri kümelerinde OA ve AA arasında gözlemlenen farka katkıda bulunduğunu ortaya koymuştur. Mevcut değerlendirme, tek bir rastgele tohum kullanılarak elde edilen sabit bölmeli nokta tahminlerine dayanmaktadır ve tekrarlanan çalışma belirsizlik tahminlerini, istatistiksel anlamlılık testlerini, hesaplama profillemesini, mekansal yanlış kaydırmaya karşı duyarlılığı, eksik veya gürültülü modalitelere karşı dayanıklılığı veya bölgeler arası genelleştirmeyi içermemektedir. Bu hususlar, gelecek çalışmalarda daha ayrıntılı inceleme gerektirmektedir.

Veri Kullanılabilirliği:

Bu çalışmada kullanılan halka açık kıyaslama veri setleri, orijinal sağlayıcılarından temin edilebilir. Uygulama materyalleri, tahmin haritaları ve değerlendirme çıktıları, https://doi.org/10.5281/zenodo.21395701 adresindeki Zenodo deposu üzerinden halka açık olarak erişilebilirdir.

Ek Dosya 1: FlowErs çerçevesinin matematiksel formülasyonu ve eğitim algoritması. Bu ek dosya; sürekli akış formülasyonu (Denklemler S1–S2), olasılık akış denklemi (Denklem S3), optimal akış yolu (Denklemler S4–S5), koşullu akış eşleştirme eğitim hedefi (Denklem S6) ve ilgili teorik özellikleri içeren, önerilen FlowErs çerçevesinin temelindeki eksiksiz matematiksel formülasyonu sunmaktadır. Dosya ayrıca, gözetimsiz akış eşleştirme ön eğitimini ve ardından gözetimli multimodal sınıflandırmayı içeren iki aşamalı tam eğitim iş akışını özetleyen Algoritma S1'i içermektedir.

Tartışma

Bu çalışma, iki aşamalı bir öğrenme stratejisi aracılığıyla modallar arası öznitelik hizalamasını anlamsal sınıflandırmadan ayıran çok modlu bir uzaktan algılama çerçevesi olan FlowErs'yi tanıtmaktadır. Önerilen çerçeve, heterojen modaliteye özgü öznitelikleri doğrudan birleştirmek yerine, çok modlu füzyon ve sınıflandırma öncesinde koşullu akış eşleşmesi (conditional flow matching) kullanarak öznitelik temsillerini hizalamaktadır. Bu tasarım, algılama mekanizmalarındaki farklılıkların genellikle geleneksel birleştirme veya dikkat tabanlı füzyon stratejilerinin etkinliğini sınırladığı HSI ve LiDAR arasındaki heterojen öznitelik dağılımlarının uzun süredir devam eden sorununu ele almaktadır^{23,26,35,36,37,38,39}. Çok modlu hizalamayı sürekli öznitelik taşınımı olarak formüle eden FlowErs, üretici modellemedeki akış eşleşmesi konusundaki güncel gelişmeleri çok modlu uzaktan algılama temsili öğrenimine genişletmektedir^{15,16,17,18,19,20,21}. Değerlendirilen kıyaslama koşulları altında, önerilen çerçeve Houston2013, Augsburg ve MUUFL veri kümelerinde rekabetçi toplam sınıflandırma performansı elde ederken, beraberindeki ablasyon çalışması çift yönlü akış hizalama modülünün bildirilen sabit bölünmüş performansına olan katkısını daha da desteklemiştir.

Rapor edilen bulgular, multimodal füzyon öncesindeki açık özellik hizalamasının, farklı algılama modalitelerinden çıkarılan heterojen özellik temsillerinin uyumluluğunu artırabileceğini göstermektedir. Önceki multimodal uzaktan algılama yöntemleri, özellik etkileşimini güçlendirmek için öncelikle evrişimli ağlara, Transformer tabanlı mimarilere, dikkat mekanizmalarına, karşıt öğrenmeye veya istem güdümlü füzyona dayanmıştır^{23,26,35,36,37,38,39}. Bu yaklaşımlar güçlü sınıflandırma performansı göstermiş olsa da, çoğu özellik çıkarımından sonra modaliteye özgü gömmelerin doğrudan füzyon edilebileceğini varsayar. Buna karşılık FlowErs, sınıflandırma öncesinde modaliteye özgü özellikleri sürekli olarak paylaşılan bir gizli uzaya taşıyan ara bir geometrik hizalama aşaması sunar. Sınıf bazlı değerlendirme, toplam performans artışlarının tüm arazi örtüsü kategorileri arasında tekdüze dağılmadığını göstermektedir. Örneğin, bazı azınlık sınıfları ve spektral olarak benzer kentsel kategorilerin sınıflandırılması nispeten zor kalmaya devam etmiştir ve özellikle Augsburg veri seti için OA ve AA arasında gözlenen fark, sınıf dengesizliğinin yanı sıra değişken sınıf düzeyindeki performansın etkisini yansıtmaktadır. Buna göre, rapor edilen toplam metrikler, her kategorideki tekdüze iyileştirmelerin kanıtı olarak değil, sınıf bazlı sonuçlarla birlikte yorumlanmalıdır.

Ablasyon deneyleri önerilen tasarımı daha da desteklemektedir. Çok modlu akış eşleştirme modülünün kaldırılması, üç kıyaslama veri kümesinin tamamında toplam sınıflandırma performansını düşürmüş; tek yönlü akış varyantı ise tutarlı bir şekilde tam model ile akış hizalaması olmayan model arasında performans göstermiştir. Bu gözlemler, değerlendirilen kıyaslama koşulları altında, çift yönlü öznitelik taşımanın öznitelik füzyonundan önce çapraz modlu karşılıklılığı iyileştirebileceğine dair çalışma hipoteziyle uyumludur. Benzer şekilde, akış entegrasyon analizi, öğrenilmiş taşıma yörüngesinin ara ayrıklaştırmasının en yüksek toplam performansı sağladığını göstermiş olup, mevcut uygulamada altı entegrasyon adımı nominal çalışma noktasını temsil etmektedir. Ek entegrasyon adımlarıyla birlikte performans kazanımları marjinal hale gelmiş veya hafifçe azalmıştır; bu durum, değerlendirilen deneysel koşullar altında giderek daha ince ayrıklaştırmanın azalan getiriler sağlayabileceğini düşündürmektedir. Bu çalışma noktasının diğer veri kümelerine, algılama modalitelerine veya ağ mimarilerine genelleyip genelleyemeyeceği henüz araştırılacaktır.

Mevcut bulgular yorumlanırken bazı kısıtlamalar göz önünde bulundurulmalıdır. İlk olarak, değerlendirme, sabit eğitim/test bölümleri ve tek bir rastgele tohum kullanılarak halka açık üç karşılaştırma veri seti ile sınırlandırılmıştır. Sonuç olarak, tekrarlanan çalıştırma belirsizliği, güven aralıkları, istatistiksel anlamlılık testleri ve çalışmalar arası değişkenlik değerlendirilmemiştir. İkinci olarak, karşılaştırma yöntemleri ortak bir deneysel çerçevede yeniden uygulanmak yerine ilgili yayınlarından alınmıştır; bu nedenle, rapor edilen karşılaştırmalar kontrollü karşı karşıya reprodüksiyonlardan ziyade tanımlayıcı olarak yorumlanmalıdır. Üçüncü olarak, eksik modalitelere, gürültülü gözlemlere, uzamsal yanlış kayıtlamaya ve bölgeler arası genellemeye karşı dayanıklılık araştırılmamıştır. Ek olarak, akış eşleştirme sürekli ve potansiyel olarak tersine çevrilebilir özellik taşınımı için teorik bir çerçeve sunsa da^15,16,17, öğrenilen dönüşümlerin tam tersine çevrilebilirliği, topoloji korunumu ve fiziksel yorumlanabilirliği mevcut çalışmada ampirik olarak doğrulanmamıştır. Çıkarım süresi, bellek tüketimi ve kayan nokta işlem karmaşıklığı dahil olmak üzere hesaplama özellikleri de benzer şekilde ayrı olarak profillenmemiştir.

Multimodal hizalamayı incelemeye yönelik alternatif yaklaşımlar gelişmeye devam etmektedir. Güncel çalışmalar, multimodal öznitelik entegrasyonunu iyileştirmek amacıyla karşıtlı öğrenme, graf tabanlı füzyon, düşük dereceli temsil öğrenme, istem kılavuzlu multimodal öğrenme, federatif öğrenme ve hibrit evrişimli-Transformer mimarilerini araştırmıştır^{23,26,27,28,35,36,37,38,39}. Bu stratejiler birbirini dışlayan yöntemler olmaktan ziyade tamamlayıcı niteliktedir ve gelecek çalışmalar, açık akış tabanlı öznitelik taşınımının bu mevcut hizalama paradigmalarıyla kombinasyonlarını inceleyebilir. Arazi örtüsü sınıflandırmasının ötesinde, sürekli öznitelik hizalaması; tamamlayıcı algılama modalitelerinin giderek daha fazla erişilebilir olduğu anlamsal bölütleme, değişim tespiti, nesne tanıma, çevresel izleme, afet değerlendirmesi, hassas tarım ve kentsel haritalama dahil olmak üzere ilgili multimodal uzaktan algılama görevlerine de uygulanabilir^{2,3,4,5,6,7,8,9,23}.

Gelecekteki araştırmalar; tekrarlanan çalışma istatistiksel analizlerini, hesaplamalı profillemeyi, eksik veya gürültülü modalitelere karşı dayanıklılığı, uzamsal kayıt hatalarına karşı hassasiyeti ve bölgeler arası aktarım değerlendirmesini dahil ederek, önerilen çerçeveyi daha çeşitli deneysel koşullar altında değerlendirmelidir. Alternatif akış parametrelendirmelerini, farklı kodlayıcı mimarilerini ve daha büyük multimodal karşılaştırma veri setlerini inceleyen ek çalışmalar, önerilen metodolojinin genellenebilirliğini ve pratik uygulanabilirliğini daha da netleştirecektir. Toplu olarak mevcut sonuçlar, koşullu akış eşleme yoluyla açık özellik hizalamasının, multimodal uzaktan algılama sınıflandırması için gelecek vaat eden tamamlayıcı bir strateji olduğunu göstermekte ve aynı zamanda daha fazla metodolojik geliştirme ve kapsamlı değerlendirme için çeşitli fırsatları vurgulamaktadır.

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
AdamW optimize edici	PyTorch Foundation	PyTorch içerisinde yer alır	Model optimizasyonu için kullanıldı. PyTorch 2.5.0 kullanılmıştır.
Augsburg kıyaslama veri seti	Hu J et al. (Earth System Science Data, 2022); Remote Sensing Technology, LMU Munich	https://doi.org/10.5281/zenodo.7185498	Model değerlendirmesi için kullanılan halka açık multimodal uzaktan algılama kıyaslama veri seti.
CUDA Toolkit	NVIDIA	CUDA Toolkit 12.4; https://developer.nvidia.com/cuda-12-4-0-download-archive	GPU hızlandırmalı model eğitimi ve çıkarımı için kullanıldı.
Grafik işlem birimi (GPU)	NVIDIA Corporation	NVIDIA A100 80 GB PCIe	Model eğitimi ve değerlendirmesi için kullanıldı.
Houston2013 kıyaslama veri seti	IEEE Geoscience and Remote Sensing Society Data Fusion Contest	http://www.grss-ieee.org/community/technical-resources/data-fusion/2013-grss-data-fusion-contest/	Model değerlendirmesi için kullanılan halka açık hiperspektral görüntüleme ve LiDAR kıyaslama veri seti.
MUUFL Gulfport kıyaslama veri seti	University of Florida (Gader P et al., Technical Report REP-2013-570)	https://github.com/GatorSense/MUUFLGulfport	Model değerlendirmesi için kullanılan halka açık hiperspektral görüntüleme ve LiDAR kıyaslama veri seti.
İşletim sistemi	Canonical Ltd.	Ubuntu 22.04 LTS; https://ubuntu.com	Model geliştirme, eğitim ve değerlendirmesi için kullanılan hesaplama ortamı.
PyTorch	PyTorch Foundation	PyTorch 2.5.0; https://pytorch.org/get-started/previous-versions/#v250	FlowErs modelini uygulamak, eğitmek ve değerlendirmek için kullanılan derin öğrenme çerçevesi.
Python	Python Software Foundation	Python 3.11; https://www.python.org/downloads/release/python-3110/	Hesaplama iş akışını uygulamak ve yürütmek için kullanılan programlama dili.