Hiperspektral ve LiDAR Arazi Örtüsü Sınıflandırması için Sürekli Modlar Arası Vektör Alanı Öğrenimi

Özet

Bu çalışma, füzyon öncesi çapraz modal hizalama için MetaFormer özellik çıkarımı ve çift yönlü akış eşleme kullanan, hiperspektral ve LiDAR arazi örtüsü sınıflandırmasına yönelik iki aşamalı bir çerçeve sunmaktadır. Üç halka açık kıyaslama veri seti üzerindeki değerlendirmeler, sabit kıyaslama protokolleri altında rekabetçi bir sınıflandırma performansı sergilemektedir.

Özet

Çok modlu uzaktan algılama sınıflandırması, kentsel haritalama ve çevresel izleme gibi uygulamalarda önemli bir rol oynamaktadır. Ancak, algılama modaliteleri arasındaki heterojen öznitelik dağılımları, öznitelik hizalama hatalarına ve anlamsal tutarsızlıklara yol açarak çok modlu füzyonun etkinliğini sınırlayabilir. Konvolüsyonel, grafik tabanlı, dikkat tabanlı, karşıtlaştırıcı (contrastive), taşıma odaklı ve sekans tabanlı yöntemler dahil olmak üzere mevcut çok modlu füzyon yaklaşımları, tamamlayıcı bilgileri kullanabilse de modaliteye özgü öznitelik dağılımlarını yeterince hizalayamayabilir. Bu çalışma, çok modlu akış eşleştirme (flow matching) yoluyla bu zorluğu ele alan iki aşamalı bir çok modlu sınıflandırma çerçevesi olan FlowErs'i önermektedir. Çalışmanın temel hipotezi, öznitelik füzyonu öncesinde eşleşmiş öznitelik dağılımı farklılıklarının azaltılmasının, sabit kıyaslama protokolleri altında arazi örtüsü sınıflandırmasını iyileştireceğidir. İlk aşamada, modaliteye özgü MetaFormer kodlayıcıları, hiperspektral görüntüleme (HSI) ve ışık tespit ve mesafe ölçümü (LiDAR) verilerinden hiyerarşik temsiller çıkarır. Ardından, çok modlu bir akış eşleştirme modülü, çift yönlü ortalama kare hata hedefi kullanarak eşleşmiş öznitelik dağılımlarını ortak bir gizli temsile taşımak için zamana bağlı hız alanlarını öğrenir. İkinci aşamada, hafif bir füzyon başlığı piksel bazlı sınıflandırma gerçekleştirmeden önce, önceden eğitilmiş hizalama modülü çok modlu temsilleri hizalamak için yeniden kullanılır. Üç halka açık kıyaslama veri kümesi üzerindeki değerlendirmeler, sabit kıyaslama bölmeleri altında maksimum %97,56'lık bir genel doğruluk (OA) göstermiştir. Performans, bireysel arazi örtüsü sınıfları arasında farklılık göstermiştir ve çalışma, sınıfa özgü kısıtlamaları ve sınıf dengesizliğinin toplu metrikler üzerindeki etkisini tartışmaktadır. Mevcut değerlendirme, tekrarlı çalışma istatistiksel analizi veya hesaplama profillemesi yapılmadan, sabit bölmeli deneylerle sınırlıdır. Gelecek çalışmalar istatistiksel sağlamlığı, hesaplama verimliliğini ve bölgeler arası genelleştirmeyi araştıracaktır.

Giriş

Uzaktan algılama görüntüleri kullanılarak yapılan hassas arazi kullanımı ve arazi örtüsü (LULC) sınıflandırması; kentsel gelişim, çevresel izleme, afet yönetimi ve sürdürülebilir kalkınma dahil olmak üzere çok geniş bir gerçek dünya uygulama alanı için temel teşkil etmektedir¹. Hiperspektral görüntüler (HSI), ışık tespit ve mesafe ölçümü (LiDAR) ve sentetik açıklıklı radar (SAR) dahil olmak üzere çok modlu uzaktan algılama verileri, son yıllarda giderek daha erişilebilir hale gelmiştir. Bu artan erişilebilirlik, uzaktan algılamanın ince taneli arazi örtüsü sınıflandırma kapasitelerini önemli ölçüde genişletmiştir². Bu algılama modaliteleri, Dünya yüzeyinin farklı ancak birbirini tamamlayan özelliklerini yakalar. HSI, malzeme bileşimini karakterize etmek için zengin spektral bilgiler sağlarken, LiDAR doğru yapısal ve yükseklik bilgileri sunar³. Bu heterojen veri kaynaklarının entegrasyonu, tek bir modaliteye kıyasla daha ayırt edici, gürültüye dayanıklı ve anlamsal olarak daha kapsamlı özellik temsilleri oluşturabilir⁴.

Buna rağmen, multimodal verilerin etkili bir şekilde kullanılması uzun süredir devam eden bir zorluktur⁵. Temel zorluk, uzamsal çözünürlük, gürültü karakteristikleri, istatistiksel dağılımlar ve özellik semantiği açısından farklılık gösteren algılama modalitelerinin doğasındaki heterojenlikten kaynaklanmaktadır⁶. Örneğin, aynı arazi örtüsü nesnesi HSI'da yüksek boyutlu bir spektral imza olarak, LiDAR'da ise seyrek geometrik yapılar olarak temsil edilebilir⁷. Sonuç olarak, modaliteye özgü özellikler genellikle farklı özellik manifoldlarında bulunur ve bu durum doğrudan özellik füzyonunu verimsiz veya potansiyel olarak yanıltıcı kılar. Dahası, konvolüsyon, dikkat ve Transformer tabanlı yöntemler de dahil olmak üzere mevcut birçok multimodal füzyon yaklaşımı, farklı sensörlerden çıkarılan özelliklerin halihazırda uzamsal ve semantik olarak hizalandığını varsayar⁸. Ancak, bu varsayım pratik uygulamalarda genellikle geçerli değildir. Basit özellik birleştirme veya piksel tabanlı füzyon, modallar arası uyumsuzlukları yeterince yakalayamaz ve bu da potansiyel olarak kararsız optimizasyona ve azalmış genelleme performansına yol açabilir. Ayrıca, dikkat tabanlı füzyon yöntemleri özellik etkileşimini iyileştirse de, geniş ölçekli veya yüksek çözünürlüklü arazi örtüsü sınıflandırması için gereken uzun menzilli modallar arası bağımlılıkların modellenmesinde sınırlı kalabilirler⁹. Sonuç olarak, uyumsuz gömmeler tamamlayıcı bilgilerin entegrasyonunu kısıtlayabildiği için, heterojen özellik temsillerinin etkili bir şekilde hizalanması multimodal uzaktan algılamada temel bir zorluk olmaya devam etmektedir.

Bu sorunu çözmek için, modlar arası hizalama, koşullu bir özellik taşıma problemi olarak formüle edilmiştir. Akış eşleştirme (flow matching), heterojen özellik dağılımları arasında sürekli ve tersine çevrilebilir eşlemelerin öğrenilmesi için matematiksel temelli bir çerçeve sunar¹⁰. Bir dağılımı, bir adi diferansiyel denklem (ODE) ile parametreleştirilmiş zamana bağlı bir hız alanı aracılığıyla diğerine taşıyarak özellik manifoldları arasında sürekli dönüşümleri teşvik eder¹¹. Stokastik gürültü pertürbasyonlarına veya adversariyal eğitim yoluyla örtük dağılım eşleştirmesine dayanan difüzyon tabanlı modellerin aksine, akış eşleştirme, yapılandırılmış özellik uzayları arasında deterministik, bijektif dönüşümler öğrenir¹². Bu özellikler, HSI, LiDAR ve SAR'ın her birinin Dünya yüzeyinin tamamlayıcı özelliklerini yakalayan yüksek boyutlu özellik manifoldlarını temsil ettiği multimodal uzaktan algılama için akış eşleştirmeyi oldukça uygun kılmaktadır¹³. Buna bağlı olarak akış eşleştirme, özellik hizalaması sırasında geometrik tutarlılığı teşvik ederken, sürekli özellik taşıma yoluyla modlar arası karşılıkların kurulması için ilkeli bir yaklaşım sağlar. Uygun düzenlilik varsayımları altında, bir ODE akışı tersine çevrilebilir bir eşleme sağlayabilir; ancak, kesin tersine çevrilebilirlik ve fiziksel yorumlanabilirlik mevcut çalışmada ampirik olarak değerlendirilmemiştir. Çalışma hipotezi, özellik füzyonundan önce eşleştirilmiş özellik-dağılım uyumsuzluklarının azaltılmasının, sabit kıyaslama bölümleri altında toplam arazi örtüsü sınıflandırmasını iyileştirdiğidir.

Bu düşüncelerden hareketle, önerilen FlowErs çerçevesi, iki aşamalı bir mimari içerisinde akış tabanlı bir hizalama aşaması barındırmaktadır. İlk aşamada, her modalitenin özellik manifoldlarını hizalamak için çift yönlü bir akış ağı eğitilir. Spesifik olarak, modaliteye özgü MetaFormer omurgaları hiyerarşik özellik gömmeleri çıkarır ve modaliteye özgü özellik dağılımları arasında örnekleri taşımak için bir akış eşleme hedefi optimize edilir. Bu süreç, özellik uzayları arasında pürüzsüz ve tersine çevrilebilir bir dönüşüm sağlayarak, aynı semantik sınıfa ait temsillerin ortak bir gizli etki alanında daha yakından hizalanmasını teşvik eder. İkinci aşamada, önceden eğitilmiş akış hizalayıcı dondurulur ve yeni multimodal girdiler, hafif bir sınıflandırıcı tarafından birleştirilmeden önce dönüştürülür. Bu ayrıştırılmış eğitim stratejisi, geometrik hizalamayı semantik sınıflandırmadan ayırarak iki aşamanın tamamlayıcı hedefleri optimize etmesine olanak tanır. Hizalama modülü, özellik birleştirmeden önce özellik dağılımı tutarsızlıklarını azaltmayı amaçlamaktadır ve kanıtlanmış bir hacim koruma garantisi iddiasında bulunmamaktadır. Ayrıca FlowErs, multimodal birleştirme için açık bir özellik taşıma formülasyonu sunsa da, kayıt hatalarına karşı dayanıklılık mevcut çalışmada ayrıca değerlendirilmemiştir.

Bu çalışmanın temel katkıları şu şekilde özetlenmiştir. Çok modlu arazi örtüsü sınıflandırması için iki aşamalı bir çerçeve olan FlowErs tanıtılmıştır. Önerilen çerçevede, modala özgü özellikler önce MetaFormer kodlayıcılar kullanılarak çıkarılmakta ve ardından hafif özellik füzyonundan önce akış tabanlı bir modül aracılığıyla hizalanmaktadır. Bu ayrık tasarım, farklı algılama modalları genelinde esnekliği korurken verimli optimizasyonu desteklemektedir. Ek olarak bu çalışma, çok modlu uzaktan algılamada eşleşmiş çapraz modlu özellik hizalaması için bir özellik taşıma mekanizması olarak koşullu akış eşleşmesini incelemektedir. Çift yönlü akış modülü, özellik füzyonundan önce eşleşmiş özellik temsilleri için zıt hız hedefleri tahmin ederek çok modlu entegrasyon öncesinde açık bir hizalama stratejisi sunmaktadır. Ayrıca, önerilen çerçeve üç genel kıyaslama veri setinde değerlendirilmiş ve sağlanan sabit kıyaslama bölümleri altında maksimum %97,56 genel doğruluk (OA) elde edilmiştir. Sınıf düzeyindeki kısıtlamalar ve mevcut değerlendirmenin kapsamı da açıkça belgelenmiştir.

Akış eşleşmesindeki (flow matching) son gelişmeler, onu difüzyon, enerji ve taşıma tabanlı modelleri birleştiren güçlü bir üretici modelleme çerçevesi olarak konumlandırmıştır. Difüzyon modellerinde olduğu gibi stokastik yörüngeleri simüle etmek yerine, akış eşleşmesi, öğrenilebilir bir hız alanı aracılığıyla Gauss gürültüsü gibi basit bir ön dağılımı hedef veri dağılımına taşıyan deterministik bir ODE'yi öğrenir¹⁵. Bu formülasyon, skor kestirimini doğrudan yoğunluk evrimiyle ilişkilendirerek daha pürüzsüz olasılık yörüngeleri ve daha kararlı eğitim dinamikleri sağlar. Akış eşleşmesinin temel bir avantajı, deterministik ve hesaplamalı olarak verimli formülasyonudur. Doğrultulmuş akış modelleri (Rectified flow models)¹⁶, taşıma yörüngelerini neredeyse düz yollar haline getirerek daha da basitleştirir, sayısal kararlılığı artırır ve nispeten az entegrasyon adımıyla yüksek kaliteli örneklemlerin üretilmesine olanak tanır. Tutarlılık modellerini (consistency models)¹⁷ içeren sonraki çalışmalar, verimli çıkarımlarla benzer veya geliştirilmiş örnek kalitesi elde etmek için difüzyondan esinlenen amaçları kompakt akış tabanlı çerçevelere entegre etmiştir. Ek olarak, akış tabanlı eğitim, önceden eğitilmiş difüzyon omurgalarından yararlanarak örnekleme maliyetlerini düşürürken büyük ölçekli üretici öncüllerin kullanımını kolaylaştırabilir. Güncel çalışmalar, akış eşleşmesini geniş bir uygulama yelpazesine taşımıştır. Örneğin, Hu ve ark.¹⁸, akış eşleşmesini kullanarak kontrol edilebilir ve birleştirilebilir görüntü düzenleme için transformer omurgalarını ve gizli alan manipülasyonlarını incelemiştir. Diğer uygulamalar arasında görüntü sentezi¹⁹, rulman arıza teşhisi²⁰ ve çok hedefli, çok dikişli robotik kaynak²¹ yer almaktadır. Topluca bu çalışmalar, akış eşleşmesinin yüksek çözünürlüklü ve koşullu görüntü sentezinin ötesinde uygulanabilir olduğunu, aynı zamanda alan genelleme potansiyeline sahip, iyi yapılandırılmış bir teorik temel sunduğunu göstermektedir. Sürekli ve deterministik taşıma haritalarını öğrenerek akış eşleşmesi; verimlilik, kontrol edilebilirlik ve üretici sadakat arasında bir denge sağlar. ODE tabanlı formülasyonu, modern üretici modelleme üzerinde birleştirici bir bakış açısı sunar ve çok modlu veri temsili ile özellik hizalamasını içeren uygulamalar için teorik bir temel oluşturur.

Çok modlu uzaktan algılama sınıflandırması; HSI, çok spektral görüntüler, LiDAR ve SAR'dan gelen tamamlayıcı bilgileri entegre ederek tekil algılama modalitelerinin kısıtlamalarını aşmayı amaçlar. Erken füzyon yaklaşımları, elle oluşturulmuş özelliklere veya destek vektör makineleri (SVM'ler) gibi çekirdek tabanlı algoritmalara dayanıyordu, ancak yüksek boyutluluk ve yetersiz çapraz modal etkileşimi nedeniyle sınırlı kalmışlardı²². Derin öğrenmedeki ilerlemeler; erken, ara ve geç füzyonu içeren yapılandırılmış füzyon stratejilerini mümkün kılmış olup, özellik düzeyindeki füzyon, bilgi entegrasyonu ile hesaplama karmaşıklığı arasında pratik bir denge sağlamaktadır²³. Evrişimli sinir ağları (CNN'ler) yerel uzaysal-spektral bilgileri etkili bir şekilde yakalarken, Transformer tabanlı mimariler uzun menzilli bağımlılıkları daha yüksek bir hesaplama maliyetiyle modeller²⁴. Sonuç olarak, her iki yaklaşımın tamamlayıcı güçlü yönlerini birleştirdikleri için hibrit CNN–Transformer mimarileri giderek daha popüler hale gelmiştir. Temsili örnekler arasında, ölçekler arası etkileşimler aracılığıyla bağlamsal bilgiyi geliştiren komşu ölçekli füzyon yöntemleri²⁵ ve sığ CNN özelliklerini derin Transformer temsilleriyle adaptif dikkat mekanizmaları kullanarak birleştiren çok seviyeli çerçeveler²⁶ yer almaktadır. Topluca bu çalışmalar, özellik冗redundancy'sini (gereksizliği) azaltmak ve semantik temsili geliştirmek için etkili ölçekler arası ve modaliteler arası etkileşimin önemini vurgulamaktadır.

Son zamanlardaki gelişmeler, çok modlu öğrenme için tamamlayıcı stratejileri de araştırmıştır. Örneğin, Ebbinghaus eğrisi kılavuzlu çerçeve gibi düşük dereceli temsil yöntemleri, gereksiz bilgileri bastırırken manifold yapısını koruyarak aşırı öğrenmeyi (overfitting) azaltır²⁷. Paralel olarak, pratik uygulamalardaki gizlilik ve iletişim kısıtlamalarını gidermek için dağıtık çok modlu öğrenme incelenmiştir. Örneğin, FedFusion, federatif çok modlu öğrenmeyi mümkün kılmak için sığ özellikleri düşük dereceli alt uzaylara yansıtır²⁸. Toplu olarak bu çalışmalar, üç tamamlayıcı araştırma yönünü örneklendirmektedir: yerel ve küresel özellik modellemesini dengelemek için hibrit CNN-Transformer mimarileri, gereksizliği ve gürültüyü azaltmak için düşük dereceli öğrenme ve ölçeklenebilir ve gizliliği koruyan dağıtım için dağıtık öğrenme. Buna rağmen, modalite dengesizliği, etiketli verilerin sınırlı erişilebilirliği ve model sıkıştırma ile sınıflandırma doğruluğu arasındaki ödünleşim dahil olmak üzere önemli zorluklar devam etmektedir. Bu zorluklar, hafif ve genellenebilir çok modlu füzyon çerçevelerine yönelik araştırmaların devam etmesini teşvik etmiştir. Son dönemdeki çok modlu hizalama yaklaşımları; çapraz modal dikkat, karşıt öğrenme, grafik tabanlı füzyon, alan adaptasyonu ve dağılım eşleme stratejilerini de bünyesine katmıştır. Buna karşılık FlowErs, çok modlu hizalamayı eşleşmiş ve zamana bağlı özellik taşıma olarak formüle eder ve mevcut yaklaşımların evrensel bir alternatifi değil, tamamlayıcı bir hizalama stratejisi olarak sunulur.

Protokol

Bu çalışmada, uzaktan algılama arazi örtüsü sınıflandırması için münhasıran kamuya açık kıyaslama veri setleri (Houston2013, Augsburg ve MUUFL) kullanılmıştır. Çalışmaya insan katılımcılar, hayvan deneyleri veya yeni toplanmış biyolojik örnekler dahil edilmemiştir. Bu nedenle, kurumsal etik onay gerekmemiştir.

Çalışma Özeti

Önerilen FlowErs çerçevesi, iki aşamalı bir öğrenme stratejisi aracılığıyla multimodal arazi örtüsü sınıflandırması gerçekleştirir. Genel iş akışı Şekil 1A–C'de gösterilmiştir. Çerçeve üç temel bileşenden oluşur: (i) heterojen algılama modalitelerinden hiyerarşik özellik temsilleri çıkaran MetaFormer tabanlı kodlayıcılar, (ii) modallar arası özellik dağılımlarını açıkça hizalayan bir multimodal akış eşleştirme (MFM) modülü ve (iii) birleştirilmiş özellik temsillerinden arazi örtüsü kategorilerini tahmin eden hafif bir sınıflandırma başlığı. Genel iş akışı, öncelikle modaliteye özgü özellikleri çıkarır, ardından bu özellikleri koşullu akış eşleştirme yoluyla ortak bir gizil alanda hizalar ve son olarak hizalanmış multimodal temsilleri kullanarak piksel bazlı arazi örtüsü sınıflandırması yapar.

Şekil 1: Çok modlu arazi örtüsü sınıflandırması için önerilen FlowErs çerçevesinin genel görünümü. (A) Hiperspektral görüntüleme (HSI) ve ışık tespit ve mesafe ölçümü (LiDAR) verilerinden çıkarılan moditeye özgü özelliklerin, sınıflandırma öncesinde doğrudan birleştirildiği geleneksel doğrudan özellik füzyonu. (B) Aşama 1: Çift yönlü çok modlu akış eşleştirme ön eğitimi. Zaman koşullu bir U-Net, heterojen özellik dağılımlarını hizalamak için ortalama kare hata kaybı kullanarak moditeye özgü özellik temsilleri arasında sürekli çift yönlü özellik taşımasını öğrenir. (C) Aşama 2: Akımlar arası füzyon. Ön eğitimli akış eşleştirme modülü dondurulur ve hafif özellik füzyonu ile piksel tabanlı arazi örtüsü sınıflandırması öncesinde moditeye özgü özellik temsillerini hizalamak için yeniden kullanılır. E, kodlayıcı; D, kod çözücü; T, zaman gömme; , ortalama kare hata kaybı; S, paylaşılan gizli temsil. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Önerilen çerçeve, iki aşamalı bir eğitim stratejisi aracılığıyla özellik hizalamasını semantik sınıflandırmadan ayırır. İlk aşamada, MFM modülü, modaliteye özgü özellik manifoldları arasında çift yönlü özellik taşınımını öğrenmek üzere eğitilir. İkinci aşamada, önceden eğitilmiş akış hizalama modülü dondurulur ve hafif özellik füzyonu ve sınıflandırmasından önce çok modlu özellik temsillerini hizalamak için yeniden kullanılır. Bu ayrık tasarım, çok modlu füzyondan önce özellik dağılımı farklılıklarını azaltırken, hizalama modülünün ve sınıflandırma ağının tamamlayıcı hedefleri optimize etmesini sağlar.

Teorik Genel Bakış

Akış eşleme (flow matching), iki olasılık dağılımı arasında sürekli deterministik bir dönüşüm öğrenen, yakın zamanda önerilmiş bir üretici modelleme paradigmasıdır. Gürültü pertürbasyonları aracılığıyla stokastiklik sunan difüzyon tabanlı modellerin aksine, akış eşleme, bir olasılık dağılımını sürekli olarak bir diğerine taşıyan öğrenilebilir bir hız alanını doğrudan parametreize eder. Bu sürekli taşıma formülasyonu, bir ODE aracılığıyla öznitelik hizalamasına olanak tanıyarak, farklı algılama modalitelerinden gelen eşleşmiş öznitelik temsillerinin öznitelik füzyonundan önce ortak bir yörünge boyunca evrilmesini sağlar. Mevcut çalışmada, MetaFormer kodlayıcılar tarafından çıkarılan modaliteye özgü gömmeler arasında çift yönlü öznitelik taşınımını öğrenmek için koşullu akış eşleme benimsenmiştir. Model, interpole edilmiş öznitelik temsilleri üzerinden tahmin edilen ve hedef hız alanları arasındaki tutarsızlığı minimize eden koşullu bir akış eşleme hedefi kullanılarak eğitilmiştir. Eksiksiz matematiksel formülasyon, teorik türetim, yönetici denklemler ve eğitim hedefi Ek Dosya 1'de sunulmuştur.

Problemin Formülasyonu

Çok modlu uzaktan algılama verilerinden arazi örtüsü sınıflandırması, HSI ve LiDAR gibi heterojen algılama modalitelerinden anlamsal temsillerin öğrenilmesini içerir. Bu modaliteler belirgin algılama karakteristikleri sergiler. HSI, yüzlerce kanalla zengin spektral bilgiler edinirken (), LiDAR ise nispeten az sayıda kanalla ayrıntılı yapısal bilgiler sağlar (). Spektral zenginlik ile yapısal seyreklik arasındaki bu dengesizlik, özellik dağılımlarında önemli bir alan boşluğu oluşturarak doğrudan özellik füzyonunu suboptimal ve potansiyel olarak dengesiz hale getirir.

Resmi olarak, bir çift multimodal giriş verildiğinde,  amaç, Denklem 1'e göre piksel tabanlı bir semantik harita öngörmektir:

Burada,  one-hot kodlanmış etiket tensörüdür, C toplam arazi örtüsü kategorisi sayısını belirtir ve θ öğrenilebilir tüm model parametrelerini temsil eder. Houston2013 veri seti, 144 hiperspektral (HSI) bant ve 1 LiDAR bandı ile 349 × 1905 piksel görüntü boyutuna sahiptir. Augsburg veri seti, 224 HSI bandı ve 1 LiDAR bandı ile 1152 × 480 piksel görüntü boyutuna sahiptir. MUUFL veri seti, 64 HSI bandı ve 2 LiDAR bandı ile 325 × 220 piksel görüntü boyutuna sahiptir. Tüm veri setleri için, eğitimden önce giriş görüntü yamaları 32 × 32 piksel boyutuna yeniden boyutlandırılmıştır.

Geleneksel multimodal yaklaşımlar, farklı modalitelerin uyumlu bir özellik uzayında bulunduğunu örtük olarak varsayarak, modaliteye özgü özellikleri birleştirme veya dikkat mekanizmaları yoluyla füzyon eder. Ancak, modaliteye özgü istatistiksel dağılımlar ve uzaysal-spektral özellikler önemli ölçüde farklılık gösterdiği için bu varsayım uzaktan algılama verileri için nadiren geçerlidir.

Bu tutarsızlığı açıkça gidermek için bir akış eşleştirme modülü,  tanıtılmıştır. Modül,  ile parametreleştirilmiştir ve modaliteye özgü özellik manifoldları arasında sürekli çift yönlü dönüşümler öğrenir. Spesifik olarak (Denklem 2),

Burada, S modaliteye özgü özellik temsillerinin geometrik olarak hizalandığı ortak gizli alanı ifade eder. Ardından, hizalanmış özellik temsilleri birleştirilir ve Denklem 3'e göre şu şekilde sınıflandırılır:

Burada,  ve  sırasıyla öznitelik-füzyon ve sınıflandırma modüllerini temsil eder. Bu formülasyon, genel FlowErs çerçevesini tanımlamaktadır. Sadece örtük istatistiksel öznitelik füzyonuna güvenmek yerine, önerilen çerçeve, multimodal öznitelik füzyonu ve semantik tahminden önce modaliteye özgü öznitelik temsillerini sürekli olarak paylaşılan bir gizli uzaya taşıyan açık bir akış tabanlı hizalama mekanizması sunar.

MetaFormer Kodlayıcı

FlowErs, her bir algılama modalitesinden bilgilendirici ve geometrik olarak tutarlı öznitelik temsilleri öğrenen hafif, modaliteye özel kodlayıcılar kullanarak çapraz modalite öznitelik hizalaması gerçekleştirir. Şekil 2'de gösterildiği üzere, her modalite MetaFormer mimarisine dayalı bağımsız bir kodlayıcı tarafından işlenir. MetaFormer, öz-dikkat (self-attention) mekanizmasını açıkça hesaplamadan, token karıştırmayı kanal dönüşümünden ayırarak temel Transformer tasarımını genelleştirir. Bu tasarım, yüksek boyutlu HSI'nın verimli bir şekilde işlenmesini sağlarken LiDAR gibi düşük kanallı modalitelere uyarlanabilir kalır.

Şekil 2: Önerilen FlowErs çerçevesinde kullanılan modaliteye özgü MetaFormer kodlayıcının mimarisi. Kodlayıcı, tekrarlanan gömme (embedding) ve PoolFormer blokları aracılığıyla modaliteye özgü girdileri hiyerarşik öznitelik temsillerine dönüştürür. Her PoolFormer bloğu; normalizasyon, havuzlama tabanlı token karıştırma, artık ekleme (residual addition), normalizasyon ve çok katmanlı bir perseptron (MLP) içerir. Elde edilen hiyerarşik öznitelik temsilleri, çapraz modal öznitelik hizalaması için çok modlu akış eşleme (flow-matching) modülüne iletilir. Norm, normalizasyon; MLP, çok katmanlı perseptron. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Her bir modalite için, MetaFormer kodlayıcı , girdiyi   bir gizli öznitelik temsilleri hiyerarşisine dönüştürür (Denklem 4):

Burada, L kodlayıcı aşamalarının toplam sayısını, D_l ise l aşamasındaki gömme boyutunu ifade eder. MetaFormer kodlayıcısı, sırasıyla 64, 128 ve 256 gömme boyutlarına sahip üç aşamadan (N = 3) oluşur. Yazıda açıklanan kademeli hiyerarşik mimariyi takip eden, her bir aşamadaki ilgili PoolFormer blok sayıları 2, 6 ve 2'dir.

Her kodlayıcı, giriş kanallarını ortak bir gömme uzayına projekte eden 1 × 1 konvolüsyon ile başlar (Denklem 5):

Bu projeksiyon katmanını L adet üst üste dizilmiş MetaFormer bloğu takip eder. Her blok iki rezidüel işlemden oluşur: (i) bağlamsal bilgileri toplamak için uzamsal havuzlama yoluyla token karıştırma ve (ii) spektral-uzamsal özellik temsillerini geliştirmek için çok katmanlı bir perseptron (MLP) yoluyla kanal dönüşümü. Bu işlemler Denklem 6 ve 7 kullanılarak şu şekilde ifade edilir:

Burada, Pooling(·) ortalama havuzlama tabanlı uzamsal bağlam toplamasını ve MLP(·) GELU aktivasyonu ile dropout düzenlemesi içeren iki katmanlı konvolüsyonel ileri beslemeli ağı ifade eder.

Kodlayıcı, gömme boyutunun ardışık aşamalar boyunca kademeli olarak arttığı hiyerarşik bir mimari izler (örneğin, 64 128 256). Bu kademeli tasarım, öğrenilen özelliklerin temsil kapasitesini artırırken, daha derin katmanların giderek daha zengin uzamsal-spektral bilgileri kodlamasına olanak tanır. Uygulamada 3 × 3 havuzlama çekirdeği, 128'lik bir MLP gizli boyutu ve 0,1'lik bir dropout oranı kullanılmıştır. MetaFormer kodlayıcısı içindeki tüm evrişimli katmanlar, 1'lik adımla ve dolgusuz 1 × 1 çekirdekler kullanır. Havuzlama operatörü, 1'lik adım ve 1'lik dolgu ile 3 × 3 ortalama havuzlama kullanır. Kodlayıcı boyunca toplu normalleştirme (BatchNorm2d) uygulanmıştır. MLP, 128'lik bir gizli boyuta sahiptir, GELU aktivasyon fonksiyonunu kullanır ve 0,1'lik bir dropout oranı uygular. Üç kodlayıcı aşaması sırasıyla 2, 6 ve 2 PoolFormer bloğu içerir ve bu mimari ayarlar tüm aşamalara tutarlı bir şekilde uygulanmıştır.

Transformer tabanlı kodlayıcılarla karşılaştırıldığında, MetaFormer kodlayıcı, özellik çıkarımı sırasında modaliteye özgü yanlılığı azaltırken, öz-dikkat (self-attention) ile ilişkili kuadratik hesaplama maliyetini ortadan kaldırır. Havuzlama tabanlı token karıştırıcısı, yerel uzamsal bağlamı verimli bir şekilde toplarken, çapraz modalite hizalaması daha sonra akış eşleme modülü tarafından gerçekleştirilir. Sonuç olarak, kodlayıcı tarafından üretilen en üst düzey özellik temsilleri, çok modlu özellik hizalaması için semantik olarak bilgilendirici ve geometrik olarak tutarlı girdiler sağlar.

Multimodal Akış Eşleme

Özellik çıkarımının ardından karşılaşılan temel zorluk, farklı özellik manifoldları üzerinde yer alan ve farklı algılama modalitelerinden kaynaklanan heterojen özellik temsillerinin hizalanmasıdır.   ve   ifadelerinin doğrudan birleştirilmesi, tutarsız özellik dağılımları ve modaliteye özgü yanlılıklar nedeniyle genellikle düşük performans sergiler. FlowErs, Şekil 1B'de kavramsal olarak gösterildiği üzere, iki özellik uzayı arasında sürekli ve çift yönlü dönüşümler öğrenen bir MFM modülüle tanıtarak bu sorunu açıkça ele alır.

MetaFormer kodlayıcılar tarafından çıkarılan öznitelik temsillerini   ile gösterelim. İnterpolasyon zamanı   ile parametrelendirilmiş sürekli bir akış alanı, Denklem 8 kullanılarak şu şekilde tanımlanır:

Burada, t = 0 kaynak modaliteye ve t = 1 hedef modaliteye karşılık gelir.

Akış eşleştirme modeli, , bu interpolasyon yörüngesi boyunca dönüşümü yöneten anlık hız alanını tahmin eden zaman koşullu bir U-Net olarak uygulanmıştır. Her akış tahminleyicisi; 3 × 3 konvolüsyonlar, toplu normalizasyon ve doğrultulmuş doğrusal birim (ReLU) aktivasyonu kullanan üç alt örnekleme bloğu (64  128 256 512) ve bunlara karşılık gelen üç üst örnekleme bloğundan (512 256 128 64) oluşur. Ara zaman gömme işlemleri sırasıyla 128, 256, 512, 256 ve 128 boyutlarındadır. Zaman gömme işlemi, sabit bir sinüzoidal konum kodlaması kullanır. ODE entegrasyonu, sabit bir adım boyutu ile ileri Euler yöntemi kullanılarak gerçekleştirilir. Eğitim sırasında entegrasyon adım sayısı 6 olarak belirlenirken, çıkarım sırasında varsayılan olarak 5 entegrasyon adımı kullanılmıştır. Gerçek entegrasyon döngüsü iterasyon sayısı şeklinde hesaplanır.

Öngörülen hız alanı, Denklem 9 ile şu şekilde verilmiştir:

Burada,  tahmin edilen anlık hızı belirtir. Model, yer değiştirmeyi    yaklaşık olarak hesaplamayı öğrenir ve böylece modaliteye özgü öznitelik uzayları arasında sürekli dönüşümleri teşvik eder. Eğitim hedefi, zamana bağlı çift yönlü ortalama kare hata (MSE) kaybı olarak şu şekilde formüle edilmiştir (Denklem 10):

 (10)

Belirlenen Beta dağılımından t örneklemesi yapmak, modeli ara interpolasyon durumlarına maruz bırakır ancak kesin bir döngü tutarlılığı sağlamaz. Difüzyon tabanlı hizalama yöntemlerinin aksine, önerilen akış eşleme formülasyonu deterministiktir, çıkarım sırasında stokastik örnekleme gerektirmez ve hem etiketli hem de etiketsiz veriler kullanılarak eğitilebilir.

Eğitilmiş bir akış modeli, daha sonra modaliteye özgü öznitelik temsillerini ortak bir gizil alan olan S'ye yansıtan deterministik bir hizalama operatörü olarak hizmet eder. Hizalanmış temsiller şu şekilde elde edilir (Denklem 11):

Burada,   ve  hizalanmış öznitelik temsillerini ifade eder. Akış tabanlı hizalama, ilk iki kodlayıcı aşamasından (Aşama 1 ve 2) gelen ve sırasıyla 64 ve 128 gömme boyutlarına sahip olan ara öznitelik temsillerine uygulanır. En üst düzey kodlayıcı öznitelikleri (Aşama 3, gömme boyutu 256), akış eşleştirme modülü tarafından işlenmez. Bunun yerine, bu öznitelikler doğrudan birleştirilir ve multimodal tahmin için sınıflandırıcıya aktarılır.

Bu çift yönlü hizalama mekanizması, modaliteye özgü öznitelik temsillerini sürekli bir akış alanı aracılığıyla paylaşılan bir gizli uzaya aşamalı olarak taşır. Sonuç olarak, multimodal öznitelik füzyonundan önce daha yakın şekilde hizalanarak, sonraki sınıflandırma işlemi için anlamsal olarak tutarlı ve geometrik olarak uyumlu öznitelik temsilleri sağlar.

Eğitim Hattı

FlowErs, Şekil 1(B,C)'de gösterildiği üzere, iki aşamalı bir eğitim stratejisi aracılığıyla stabil çapraz modal hizalamayı korurken hem etiketli hem de etiketsiz verilerden yararlanır. İlk aşamada, denetimsiz akış eşleştirme (flow matching) yoluyla modaliteye bağımsız bir hizalama modülü öğrenilir. İkinci aşamada ise, önceden eğitilmiş akış hizalama modülü yeniden kullanılarak, hizalanmış gizli temsiller (latent representations) aracılığıyla denetimli sınıflandırma gerçekleştirilir.

Aşama 1: Denetimsiz Akış Ön Eğitimi

Çok modlu görüntü çiftleri verildiğinde,   modaliteye özgü öznitelik temsilleri,   MetaFormer kodlayıcıları kullanılarak çıkarılır. Ara öznitelik temsilleri, Denklem 8'de tanımlanan interpolasyon kullanılarak oluşturulur. Akış eşleştirme modülü, , sınıf etiketleri kullanılmadan Denklem 10'da tanımlanan çift yönlü zaman koşullu hedefle minimize edilerek optimize edilir. Bu aşamada, yalnızca akış eşleştirme parametreleri, , güncellenerek modelin gözetimli sınıflandırmadan önce hem etiketli hem de etiketsiz örneklerden geometri farkındalığına sahip karşılıklılıklar öğrenmesi sağlanır. Aşama 1 (akış eşleştirme ön eğitimi), 1 × 10⁻⁴ öğrenme oranı, 1 × 10⁻² ağırlık azalması ve kosinüs tavlama öğrenme oranı programı ile AdamW optimize edici kullanılarak gerçekleştirilmiştir. Houston2013 ve Trento veri kümeleri için 16'lık yığın boyutları kullanılırken, Augsburg ve MUUFL veri kümeleri için 32'lik yığın boyutları kullanılmıştır. Akış eşleştirme modülü, hem etiketli hem de etiketsiz örnekler kullanılarak 2.000 epoch boyunca ön eğitilmiştir. Rastgele başlangıç değeri (random seed) 3407 olarak sabitlenmiştir. Tüm deneyler, tek bir NVIDIA A100 GPU (80 GB bellek) üzerinde PyTorch kullanılarak yürütülmüştür.

Aşama 2: Paylaşımlı Bir Hizalayıcı ile Denetimli Sınıflandırma

Ön eğitimli akış eşleştirme modülü, denetimli eğitim sırasında yeniden kullanılır ve tüm öznitelik seviyeleri yerine ilk iki kodlayıcı aşamasına uygulanır. Hizalanmış öznitelik temsilleri, daha sonra piksel bazlı öngörüler oluşturmak için sınıflandırma başlığı kullanılarak birleştirilir. Denetimli optimizasyon, maskelenmiş çapraz entropi kaybını (Denklem 12) minimize eder:

Burada, M etiket maskesini, Y one-hot kodlanmış gerçek etiketleri ve σ(·) softmax fonksiyonunu belirtir. Aşama 2 (denetimli eğitim) sırasında, önceden eğitilmiş akış eşleştirme modülü tamamen dondurulmuş halde kalmış ve sabit bir çapraz modlu hizalama operatörü olarak görev yapmıştır. Önceden eğitilmiş ağırlıkları Aşama 2'nin başında yüklenmiş ve denetimli eğitim sırasında güncellenmemiştir. Yalnızca MetaFormer kodlayıcı ve sınıflandırıcı parametreleri optimize edilmiştir. Denetimli eğitim, AdamW optimize edici kullanılarak ve veri kümesine özgü 1 × 10⁻⁴ (Houston2013), 1 × 10⁻³ (Augsburg), 1 × 10⁻² (MUUFL) ve 1 × 10⁻⁵ (Trento) öğrenme hızları ile gerçekleştirilmiştir. Ağırlık azalması (weight decay), 5 × 10⁻² değerinin kullanıldığı MUUFL dışındaki tüm veri kümeleri için 1 × 10⁻² olarak ayarlanmıştır. Veri kümesine bağlı olarak 16 veya 32'lik grup boyutları (batch sizes) kullanılmıştır. Modeller, kosinüs tavlama (cosine annealing) öğrenme hızı programı kullanılarak 100 epok (Houston2013 ve MUUFL), 200 epok (Augsburg) ve 20 epok (Trento) boyunca eğitilmiştir. Kayıp fonksiyonu olarak ortalama indirgemeli (mean reduction) CrossEntropyLoss kullanılmıştır. Erken durdurma uygulanmamış; bunun yerine, test setinde en yüksek genel doğruluk (OA) değerini elde eden model kontrol noktası final model olarak seçilmiştir. İki aşamalı eğitim prosedürünün eksiksiz uygulama iş akışı Ek Dosya S1'de (Algoritma S1) özetlenmiştir.

Bu ayrıştırılmış eğitim stratejisi, geometrik hizalamayı semantik ayırt etmeden ayırır. 1. Aşama boyunca model, akış eşleştirme (flow-matching) hedefini kullanarak sürekli çift yönlü özellik eşlemelerini öğrenir. 2. Aşama boyunca, önceden eğitilmiş hizalama modülü, çok modlu özellik füzyonundan önce ortak bir özellik taşıma işlemi sağlarken; sınıflandırma ağı, hizalanmış latent uzaydan sınıf ayırt edici temsilleri öğrenir. Önceden eğitilmiş hizalayıcının yeniden kullanılması, füzyon öncesinde tutarlı özellik hizalamasını destekler ancak gelişmiş genellemenin bağımsız bir garantisi olarak sunulmamıştır.

Deneysel Veri Setleri

Önerilen çerçeve, üç temsilci multimodal uzaktan algılama kıyaslama veri seti kullanılarak değerlendirilmiştir: Houston2013²⁹, Augsburg³⁰ ve MUUFL³¹.

Houston2013 veri seti, IEEE GRSS Veri Füzyonu Yarışması'nın bir parçası olarak yayınlanmıştır. ABD'nin Houston şehrindeki çeşitli kentsel manzarayı temsil eden bu veri seti; yerleşim alanları, yollar, bitki örtüsü ve su kütleleri dahil olmak üzere 15 arazi örtüsü sınıfı içermektedir. Veri seti, görünürden yakın kızılötesine kadar uzanan 144 spektral banda sahip HSI ile birlikte, 2,5 m mekansal çözünürlükte tek bantlı LiDAR türevli bir dijital yüzey modelini (DSM) kapsamaktadır. Karmaşık kentsel dokular ve sınıflar arası belirgin spektral değişkenlik, bu veri setini doğru arazi örtüsü sınıflandırması açısından zorlu kılmaktadır.

Augsburg veri seti, Almanya'da yoğun yapılaşmış bir kentsel alan üzerinden elde edilmiştir. Veri seti, 400–1000 nm dalga boyu aralığını kapsayan 224 spektral banda sahip hiperspektral görüntülerin yanı sıra birlikte kaydedilmiş LiDAR yükselti verilerini içermektedir. Veri seti; yapılaşmış alanlar, çıplak toprak, asfalt, bitki örtüsü ve gölge dahil olmak üzere 2 m mekansal çözünürlükte etiketlenmiş 17 arazi örtüsü sınıfı içermektedir. Houston2013 ile karşılaştırıldığında Augsburg, daha güçlü spektral korelasyonların yanı sıra daha fazla sınıf çeşitliliği sergileyerek, modlar arası özellik hizalamasının ve genelleştirmenin değerlendirilmesi için zorlu bir kıyaslama noktası sunmaktadır.

MUUFL Gulfport veri seti, bir üniversite kampüsü üzerinden toplanmış olup, bol bitki örtüsü ve küçük insan yapımı yapıların bulunduğu yarı kentsel bir ortamı temsil etmektedir. Veri seti, gürültüsü giderilmiş 64 bantlı hiperspektral görüntülerin yanı sıra yükselti ve yoğunluk bilgilerinden oluşan çift bantlı LiDAR ölçümlerini içermektedir. 11 arazi örtüsü sınıfına sahip olan veri seti; ince mekansal detaylar, karışık pikseller ve değişken aydınlatma koşulları sergileyerek, küçük nesne sınıflandırması için multimodal özellik füzyonunun değerlendirilmesine oldukça uygun bir yapı sunmaktadır.

Kolektif olarak bu üç kıyaslama veri seti; mekânsal çözünürlük (1–2.5 m), spektral boyutlandırma (64–224 bant), sahne karmaşıklığı ve arazi örtüsü kompozisyonu açısından önemli varyasyonları kapsar. Sonuç olarak, multimodal arazi örtüsü sınıflandırma yöntemlerinin etkinliğini ve genellenebilirliğini değerlendirmek için çeşitli bir kıyaslama sunarlar. Veri setlerinin temel özellikleri Tablo 1'de özetlenmiştir. Üç veri setinin tamamı için eğitim/test bölümleri, orijinal veri sağlayıcıları tarafından sunulan resmi kıyaslama bölümlerine karşılık gelmektedir. Spesifik olarak, Houston2013 veri seti, 2.832 eğitim örneği ve 12.197 test örneğinden oluşan 2013 IEEE GRSS Veri Füzyon Yarışması'ndaki resmi bölümü kullanır. Augsburg veri seti, resmi olarak sağlanan mask_train ve mask_test açıklamalarını kullanarak 4.538 eğitim örneği ve 47.896 test örneği üretir. MUUFL veri seti ise 28.645 eğitim örneği ve 24.283 test örneği içeren resmi train_test_gt.mat bölümünü kullanır. Her veri seti için, etiketlenmiş her pikseli merkez alan 32 × 32 piksellik bir görüntü yaması, bağımsız bir eğitim veya test örneği olarak çıkarılmıştır. Ek bir veri bölme veya yeniden örnekleme işlemi gerçekleştirilmemiştir.

Özellik	Houston2013	Augsburg	MUUFL
HSI görüntü boyutu (piksel)	349 × 1905	1152 × 480	325 × 220
LiDAR görüntü boyutu (piksel)	349 × 1905	1152 × 480	325 × 220
HSI spektral bantlar	144	224	64
LiDAR bantları	1	1	2
HSI dalga boyu aralığı	0.38–1.05 µm	0.40–1.00 µm	375–1050 nm
LiDAR dalga boyu aralığı	Uygulanamaz	Uygulanamaz	Uygulanamaz
Uzamsal çözünürlük (HSI)	2.5 m	2.0 m	0.54 m × 1.00 m
Uzamsal çözünürlük (LiDAR)	2.5 m	2.0 m	0.60 m × 0.78 m
Arazi örtüsü sınıf sayısı	15	17	11

Tablo 1: Değerlendirme için kullanılan üç multimodal uzaktan algılama kıyaslama veri setinin özellikleri. Tablo; önerilen FlowErs çerçevesini değerlendirmek için kullanılan Houston2013, Augsburg ve MUUFL kıyaslama veri setlerinin görüntü boyutlarını, spektral özelliklerini, mekansal çözünürlüklerini ve arazi örtüsü sınıf sayılarını özetlemektedir.

Uygulama Detayları

FlowErs çerçevesi PyTorch ile uygulanmış; 80 GB belleğe sahip bir grafik işlemci birimi (GPU) kullanılarak eğitilmiş ve değerlendirilmiştir. Eğitim, 16'lık grup boyutu (batch size) kullanılarak 100 epoch boyunca gerçekleştirilmiştir. Başlangıç öğrenme oranı 1 × 10⁻⁴ ve ağırlık azalımı (weight decay) 1 × 10⁻² olacak şekilde AdamW optimize edici kullanılmıştır. Eğitim boyunca öğrenme oranını güncellemek için bir kosinüs tavlama (cosine annealing) öğrenme oranı zamanlayıcısı kullanılmıştır. Model genelleştirmesini artırmak ve aşırı öğrenmeyi (overfitting) azaltmak için 0,1 oranında dropout uygulanmıştır. Denetimli optimizasyon için çapraz entropi (cross-entropy) kayıp fonksiyonu kullanılmıştır. Tekrarlanabilirlik adına, tüm deneyler 3407 sabit rastgele tohum değeri (seed) kullanılarak başlatılmıştır. Ek bir doğrulama seti oluşturulmadan, sağlanan eğitim/test bölümleri kullanılmıştır. Eğitim öncesinde her bir giriş yaması (patch) 32 × 32 piksel boyutuna yeniden boyutlandırılmıştır. Herhangi bir veri artırma, açık görüntü kayıt düzeltmesi veya ek veri yükleyici normalizasyonu uygulanmamıştır. Negatif etiketlerle ilişkili pikseller denetimli kayıp hesaplamasından hariç tutulmuştur. Eksik veya gürültülü piksel yönetimi ayrıca değerlendirilmemiştir.

Değerlendirme Metrikleri

Sınıflandırma performansını değerlendirmek için yaygın olarak benimsenmiş üç değerlendirme metriği kullanılmıştır: OA, Ortalama Doğruluk (AA) ve Kappa katsayısı (k). OA, tüm örnekler arasında doğru sınıflandırılan örneklerin oranını ölçer, AA tüm arazi örtüsü sınıfları genelindeki ortalama sınıflandırma doğruluğunu temsil eder ve Kappa katsayısı, şans faktörü hesaba katıldıktan sonra tahmin edilen ve referans sınıflandırmalar arasındaki uyumu nicelleştirir. Her üç metrik için de daha yüksek değerler, daha iyi sınıflandırma performansına işaret eder. Tablo 2–6'da rapor edilen tüm değerler, 3407 rastgele tohumu kullanılarak elde edilen sabit bölümlü nokta tahminleridir. Güven aralıkları, istatistiksel anlamlılık testleri veya p-değerleri rapor edilmemiştir.

Burada, N_c  ve N_a sırasıyla doğru sınıflandırılan toplam örnek sayısını ve değerlendirilen toplam örnek sayısını ifade eder.  ve  sırasıyla i. sınıf için doğru sınıflandırılan örnek sayısını ve toplam örnek sayısını ifade eder. Kappa katsayısının hesaplanmasında, P_e rastlantısal olarak gerçekleşen uyum olasılığını,   ve   ise sırasıyla i. sınıf için referans ve öngörülen örnek sayılarını ifade eder.

Sonuçlar

Önerilen FlowErs çerçevesinin genel değerlendirme iş akışı, iki aşamalı multimodal sınıflandırma stratejisini özetleyen Şekil 1'de gösterilmiştir. MetaFormer kodlayıcısına dayalı modaliteye özgü öznitelik çıkarımı işlemi Şekil 2'de gösterilmiş ve değerlendirme için kullanılan üç kıyaslama veri kümesinin temel özellikleri Tablo 1'de özetlenmiştir. Sınıflandırma performansı daha sonra MUUFL, Houston2013 ve Augsburg kıyaslama veri kümeleri üzerinde...

Tartışma

Bu çalışma, iki aşamalı bir öğrenme stratejisi aracılığıyla modallar arası öznitelik hizalamasını anlamsal sınıflandırmadan ayıran çok modlu bir uzaktan algılama çerçevesi olan FlowErs'yi tanıtmaktadır. Önerilen çerçeve, heterojen modaliteye özgü öznitelikleri doğrudan birleştirmek yerine, çok modlu füzyon ve sınıflandırma öncesinde koşullu akış eşleşmesi (conditional flow matching) kullanarak öznitelik temsillerini hizalamaktadır. Bu tasarım, algılama mekanizmalarındaki farklılıkların genellikle geleneksel birleştirme v...

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
AdamW optimize edici	PyTorch Foundation	PyTorch içerisinde yer alır	Model optimizasyonu için kullanıldı. PyTorch 2.5.0 kullanılmıştır.
Augsburg kıyaslama veri seti	Hu J et al. (Earth System Science Data, 2022); Remote Sensing Technology, LMU Munich	https://doi.org/10.5281/zenodo.7185498	Model değerlendirmesi için kullanılan halka açık multimodal uzaktan algılama kıyaslama veri seti.
CUDA Toolkit	NVIDIA	CUDA Toolkit 12.4; https://developer.nvidia.com/cuda-12-4-0-download-archive	GPU hızlandırmalı model eğitimi ve çıkarımı için kullanıldı.
Grafik işlem birimi (GPU)	NVIDIA Corporation	NVIDIA A100 80 GB PCIe	Model eğitimi ve değerlendirmesi için kullanıldı.
Houston2013 kıyaslama veri seti	IEEE Geoscience and Remote Sensing Society Data Fusion Contest	http://www.grss-ieee.org/community/technical-resources/data-fusion/2013-grss-data-fusion-contest/	Model değerlendirmesi için kullanılan halka açık hiperspektral görüntüleme ve LiDAR kıyaslama veri seti.
MUUFL Gulfport kıyaslama veri seti	University of Florida (Gader P et al., Technical Report REP-2013-570)	https://github.com/GatorSense/MUUFLGulfport	Model değerlendirmesi için kullanılan halka açık hiperspektral görüntüleme ve LiDAR kıyaslama veri seti.
İşletim sistemi	Canonical Ltd.	Ubuntu 22.04 LTS; https://ubuntu.com	Model geliştirme, eğitim ve değerlendirmesi için kullanılan hesaplama ortamı.
PyTorch	PyTorch Foundation	PyTorch 2.5.0; https://pytorch.org/get-started/previous-versions/#v250	FlowErs modelini uygulamak, eğitmek ve değerlendirmek için kullanılan derin öğrenme çerçevesi.
Python	Python Software Foundation	Python 3.11; https://www.python.org/downloads/release/python-3110/	Hesaplama iş akışını uygulamak ve yürütmek için kullanılan programlama dili.