Kontinuierliches crossmodales Vektorfeld-Lernen für die hyperspektrale und LiDAR-basierte Landbedeckungsklassifizierung

Zusammenfassung

Diese Studie stellt einen zweistufigen Rahmen für die Klassifizierung von Hyperspektral- und LiDAR-Landbedeckungsdaten mithilfe der MetaFormer-Feature-Extraktion und bidirektionalen Flussanpassung zur Quermodus-Alignierung vor der Fusion vor. Die Bewertung anhand von drei öffentlichen Benchmark-Datensätzen zeigt einen wettbewerbsfähigen Klassifizierungsansatz unter festgelegten Benchmark-Protokollen.

Zusammenfassung

Die multimodale Fernerkundungsklassifizierung spielt eine wichtige Rolle bei Anwendungen wie der städtischen Kartierung und Umweltüberwachung. Heterogene Merkmalsverteilungen zwischen verschiedenen Sensormodalitäten können jedoch zu einer fehlerhaften Merkmalsausrichtung und semantischen Inkonsistenzen führen, was die Effektivität der multimodalen Fusion einschränkt. Bestehende Ansätze zur multimodalen Fusion – darunter faltungs-, graphen-, attention-, kontrastbasierte, transportorientierte und sequenzbasierte Methoden – können komplementäre Informationen nutzen, jedoch möglicherweise die modalitysspezifischen Merkmalsverteilungen nicht ausreichend angleichen. Diese Studie schlägt FlowErs vor, ein zweistufiges multimodales Klassifizierungsframework, das diese Herausforderung durch multimodale Flussanpassung (flow matching) angeht. Die Arbeitshypothese lautet, dass die Verringerung der Unterschiede zwischen gepaarten Merkmalsverteilungen vor der Merkmalsfusion die Klassifizierung der Landnutzung unter festgelegten Benchmark-Protokollen verbessert. In der ersten Stufe extrahieren modalitysspezifische MetaFormer-Encoder hierarchische Repräsentationen aus hyperspektralen Bilddaten (HSI) und Lidar-Daten (light detection and ranging, LiDAR). Ein multimodulares Flussanpassungsmodul lernt anschließend zeitabhängige Geschwindigkeitsfelder, um gepaarte Merkmalsverteilungen mithilfe einer bidirektionalen quadratischen Fehlerminimierung (mean-squared-error objective) in eine gemeinsame latente Repräsentation zu überführen. In der zweiten Stufe wird das vortrainierte Alignierungsmodul wiederverwendet, um multimodale Repräsentationen auszurichten, bevor ein leichtgewichtiger Fusionskopf eine pixelweise Klassifizierung durchführt. Die Evaluierung an drei öffentlichen Benchmark-Datensätzen ergab eine maximale Gesamtgenauigkeit (OA) von 97,56 % bei festgelegten Benchmark-Aufteilungen. Die Leistung variierte zwischen einzelnen Landnutzungsklassen; die Studie diskutiert klassenspezifische Limitationen sowie den Einfluss von Klassenungleichgewicht auf aggregierte Metriken. Die aktuelle Evaluierung beschränkt sich auf Experimente mit festen Aufteilungen, ohne statistische Analyse wiederholter Durchläufe oder eine Analyse des Rechenaufwands. Zukünftige Arbeiten werden die statistische Robustheit, die Recheneffizienz sowie die Generalisierbarkeit über verschiedene Regionen hinweg untersuchen.

Einleitung

Eine präzise Klassifizierung der Landnutzung und Landbedeckung (LULC) mithilfe fernerkundlicher Aufnahmen ist für eine Vielzahl praktischer Anwendungen unerlässlich, darunter städtische Entwicklung, Umweltüberwachung, Katastrophenmanagement und nachhaltige Entwicklung¹. Multimodale Fernerkundungsdaten, einschließlich hyperspektraler Bilder (HSI), Lichtdetektion und -entfernungsmessung (LiDAR) sowie synthetischer Apertur-Radar (SAR), sind in den letzten Jahren zunehmend verfügbar geworden. Diese verbesserte Verfügbarkeit hat die Fähigkeiten der Fernerkundung zur detaillierten Klassifizierung der Landbedeckung erheblich erweitert². Diese Erfassungsmodalitäten erfassen unterschiedliche, aber sich ergänzende Merkmale der Erdoberfläche. HSI liefert umfangreiche spektrale Informationen zur Charakterisierung der Materialzusammensetzung, während LiDAR präzise strukturelle und Höheninformationen bereitstellt³. Die Integration dieser heterogenen Datenquellen kann diskriminierendere, störunempfänglichere und semantisch umfassendere Merkmalsdarstellungen hervorbringen als jede einzelne Modalität für sich genommen⁴.

Dennoch stellt die effektive Nutzung multimodaler Daten nach wie vor eine langjährige Herausforderung dar⁵. Eine zentrale Schwierigkeit ergibt sich aus der inhärenten Heterogenität der Erfassungsmodalitäten, die sich in räumlicher Auflösung, Rauschverhalten, statistischen Verteilungen und semantischen Merkmalen unterscheiden⁶. Beispielsweise kann dasselbe Landbedeckungsobjekt in HSI als hochdimensionale Spektralsignatur und in LiDAR als spärliche geometrische Struktur dargestellt sein⁷. Folglich liegen modalitysspezifische Merkmale oft in unterschiedlichen Merkmalsmannigfaltigkeiten, wodurch eine direkte Merkmalsfusion ineffizient oder potenziell irreführend wird. Zudem gehen viele bestehende multimodale Fusionsansätze – einschließlich Methoden basierend auf Faltung, Aufmerksamkeit und Transformatoren – implizit davon aus, dass aus verschiedenen Sensoren extrahierte Merkmale bereits räumlich und semantisch ausgerichtet sind⁸. Diese Annahme ist jedoch in praktischen Anwendungen häufig nicht gültig. Einfache Merkmalsverkettung oder pixelweise Fusion können querschnittliche modale Unterschiede nicht ausreichend erfassen und führen möglicherweise zu instabiler Optimierung und verringerter Generalisierungsleistung. Darüber hinaus verbessern zwar aufmerksamkeitsbasierte Fusionsverfahren die Interaktion zwischen Merkmalen, bieten jedoch möglicherweise nur eine begrenzte Modellierung langreichweitiger querschnittlicher Abhängigkeiten, die für die Landbedeckungsklassifizierung in großem Maßstab oder mit hoher Auflösung erforderlich sind⁹. Daher bleibt eine effektive Ausrichtung heterogener Merkmalsrepräsentationen eine zentrale Herausforderung in der multimodalen Fernerkundung, da inkompatible Einbettungen die Integration komplementärer Informationen einschränken können.

Um diese Herausforderung zu bewältigen, wird die multimodale Ausrichtung als bedingtes Merkmals-Transportproblem formuliert. Das Fluss-Matching bietet einen mathematisch fundierten Rahmen, um kontinuierliche und umkehrbare Abbildungen zwischen heterogenen Merkmalsverteilungen zu erlernen¹⁰. Es transportiert eine Verteilung in Richtung einer anderen mithilfe eines zeitabhängigen Geschwindigkeitsfeldes, das durch eine gewöhnliche Differentialgleichung (ODE) parametrisiert ist, wodurch kontinuierliche Transformationen zwischen Merkmalsmannigfaltigkeiten ermöglicht werden¹¹. Im Gegensatz zu diffusionsbasierten Modellen, die auf stochastischen Rauschstörungen oder implizitem Verteilungsabgleich durch adversarielles Training beruhen, lernt das Fluss-Matching deterministische, bijektive Transformationen zwischen strukturierten Merkmalsräumen¹². Diese Eigenschaften machen das Fluss-Matching besonders geeignet für multimodale Fernerkundung, bei der HSI, LiDAR und SAR jeweils hochdimensionale Merkmalsmannigfaltigkeiten darstellen, die komplementäre Eigenschaften der Erdoberfläche erfassen¹³. Demnach bietet das Fluss-Matching einen systematischen Ansatz, um multimodale Korrespondenzen durch kontinuierlichen Merkmals-Transport herzustellen und gleichzeitig geometrische Konsistenz während der Merkmalsausrichtung zu gewährleisten. Unter geeigneten Regularitätsannahmen kann ein ODE-Fluss eine invertierbare Abbildung liefern; die exakte Invertierbarkeit und physikalische Interpretierbarkeit wurden in der vorliegenden Studie jedoch nicht empirisch überprüft. Die zugrundeliegende Arbeitshypothese lautet, dass die Verringerung von Diskrepanzen zwischen gepaarten Merkmalsverteilungen vor der Merkmalsfusion die Gesamtklassifizierung von Landnutzungsklassen bei festgelegten Benchmark-Aufteilungen verbessert.

Angesichts dieser Überlegungen integriert das vorgeschlagene Framework FlowErs eine auf Flussberechnung basierende Ausrichtungsstufe in eine zweistufige Architektur. In der ersten Stufe wird ein bidirektionales Flussnetzwerk trainiert, um die Merkmalsmannigfaltigkeiten jeder Modalität auszurichten. Konkret extrahieren modalitysspezifische MetaFormer-Backbones hierarchische Merkmalseinbettungen, und ein Fluss-Abstimmungsziel wird optimiert, um Proben zwischen modalitysspezifischen Merkmalsverteilungen zu übertragen. Dieser Prozess ermöglicht eine glatte und invertierbare Transformation zwischen den Merkmalsräumen und sorgt dafür, dass Repräsentationen derselben semantischen Klasse innerhalb eines gemeinsamen latenten Bereichs stärker zusammenrücken. In der zweiten Stufe wird der vortrainierte Flussausrichter fixiert, und neue multimodale Eingaben werden vor der Fusion durch einen leichten Klassifikator transformiert. Diese entkoppelte Trainingsstrategie trennt die geometrische Ausrichtung von der semantischen Klassifikation und ermöglicht es den beiden Stufen, komplementäre Ziele zu optimieren. Das Ausrichtungsmodul soll Merkmalsverteilungsunterschiede vor der Merkmalsfusion verringern, macht jedoch keinen Anspruch auf einen nachgewiesenen Volumenerhaltungsgarantie. Darüber hinaus bietet FlowErs eine explizite Formulierung des Merkmalstransports für die multimodale Fusion, wobei die Robustheit gegenüber Registrierungsfehlern in der vorliegenden Studie jedoch nicht separat bewertet wurde.

Die Hauptbeiträge dieser Studie lassen sich wie folgt zusammenfassen. FlowErs wird als zweistufiges Framework für die multimodale Klassifizierung von Landnutzungsflächen eingeführt. In dem vorgeschlagenen Framework werden zuerst modalitysspezifische Merkmale mithilfe von MetaFormer-Encodern extrahiert und anschließend durch ein auf Flussberechnungen basierendes Modul ausgerichtet, bevor eine effiziente Merkmalsfusion erfolgt. Dieses entkoppelte Design ermöglicht eine effiziente Optimierung und behält gleichzeitig Flexibilität über verschiedene Sensormodalitäten hinweg. Zusätzlich untersucht diese Studie das bedingte Fluss-Matching als Mechanismus zum Merkmals-Transport für die paarweise, krossmodale Merkmalsausrichtung in der multimodalen Fernerkundung. Das bidirektionale Flussmodul prognostiziert entgegengesetzte Geschwindigkeitsziele für gepaarte Merkmalsrepräsentationen vor der Merkmalsfusion und bietet somit eine explizite Ausrichtungsstrategie vor der multimodalen Integration. Darüber hinaus wird das vorgeschlagene Framework auf drei öffentlichen Benchmark-Datensätzen evaluiert und erreicht dabei eine maximale Gesamtgenauigkeit (OA) von 97,56 % gemäß den vorgegebenen festen Benchmark-Aufteilungen. Klassenspezifische Einschränkungen sowie der Umfang der vorliegenden Evaluation werden ebenfalls ausdrücklich dokumentiert.

Neuere Fortschritte im Bereich des Flow-Matchings haben es als leistungsstarkes generatives Modellierungsframework etabliert, das Diffusions-, Energie- und Transport-basierte Modelle vereint. Anstatt stochastische Trajektorien wie bei Diffusionsmodellen zu simulieren, lernt das Flow-Matching eine deterministische ODE, die eine einfache A-priori-Verteilung, beispielsweise Gaußsches Rauschen, mithilfe eines lernbaren Geschwindigkeitsfelds¹⁵ zur Ziel-Datenverteilung transportiert. Diese Formulierung stellt eine direkte Beziehung zwischen Score-Schätzung und Dichteentwicklung her, was zu glatteren Wahrscheinlichkeitstrajectorien und stabileren Trainingsdynamiken führt. Ein wesentlicher Vorteil des Flow-Matchings ist seine deterministische und recheneffiziente Formulierung. Rektifizierte Flow-Modelle¹⁶ vereinfachen die Transporttrajektorien weiter zu nahezu geraden Pfaden, verbessern dadurch die numerische Stabilität und ermöglichen die Erzeugung hochwertiger Stichproben mit vergleichsweise wenigen Integrationschritten. Nachfolgende Studien, darunter Konsistenzmodelle¹⁷, haben diffusionsinspirierte Lernziele in kompakte, auf Flows basierende Frameworks integriert, um bei effizienter Inferenz vergleichbare oder verbesserte Stichprobenqualität zu erreichen. Zudem kann das Training auf Basis von Flows auf vortrainierten Diffusions-Backbones aufbauen, wodurch die Nutzung großskaliger generativer A-priori-Modelle erleichtert und die Kosten für das Generieren von Stichproben reduziert werden. Jüngste Arbeiten haben das Flow-Matching auf eine breite Palette von Anwendungen ausgedehnt. Hu et al.¹⁸ untersuchten beispielsweise Transformer-Backbones und Manipulationen im Latentraum für steuerbare und kombinierbare Bildbearbeitung mittels Flow-Matching. Weitere Anwendungen umfassen die Bildsynthese¹⁹, die Diagnose von Lagerdefekten²⁰ und das mehrzielige, mehrnähtige Roboterschweißen²¹. Insgesamt zeigen diese Studien, dass das Flow-Matching über hochauflösende und bedingte Bildsynthese hinaus anwendbar ist und gleichzeitig eine fundierte theoretische Grundlage bietet, die auch eine Generalisierung auf verschiedene Anwendungsgebiete ermöglicht. Durch das Lernen kontinuierlicher, deterministischer Transportabbildungen bietet das Flow-Matching ein ausgewogenes Verhältnis zwischen Effizienz, Steuerbarkeit und generativer Genauigkeit. Die auf ODEs basierende Formulierung liefert eine einheitliche Perspektive auf moderne generative Modellierung und schafft eine theoretische Grundlage für Anwendungen, die multimodale Datenrepräsentation und Merkmalsausrichtung beinhalten.

Die multimodale Fernerkundungsklassifizierung zielt darauf ab, die Einschränkungen einzelner Sensormodalitäten zu überwinden, indem komplementäre Informationen aus HSI, multispektralen Aufnahmen, LiDAR und SAR integriert werden. Frühe Fusionsansätze basierten auf manuell erstellten Merkmalen oder kernbasierten Algorithmen wie Support-Vektor-Maschinen (SVMs), waren jedoch durch hohe Dimensionalität und unzureichende intermodale Interaktion begrenzt²². Fortschritte im Bereich des Deep Learnings haben strukturierte Fusionsstrategien ermöglicht, darunter frühe, intermediäre und späte Fusion, wobei die Merkmalsfusion ein praktikables Gleichgewicht zwischen Informationsintegration und rechnerischer Komplexität bietet²³. Faltungsneuronale Netze (CNNs) erfassen effektiv lokale räumlich-spektrale Informationen, während auf Transformatoren basierende Architekturen langreichweitige Abhängigkeiten modellieren, allerdings mit höherem Rechenaufwand²⁴. Infolgedessen haben sich hybride CNN–Transformer-Architekturen zunehmend durchgesetzt, da sie die komplementären Stärken beider Ansätze vereinen. Repräsentative Beispiele umfassen Fusionsverfahren auf benachbarten Skalen, die kontextuelle Informationen durch inter-skale Interaktionen verbessern²⁵, sowie mehrstufige Frameworks, die flache CNN-Merkmale mit tiefen Transformer-Darstellungen unter Verwendung adaptiver Aufmerksamkeitsmechanismen kombinieren²⁶. Insgesamt unterstreichen diese Studien die Bedeutung effektiver inter-skalarer und intermodaler Interaktionen zur Reduzierung von Merkmalsredundanz und zur Verbesserung der semantischen Repräsentation.

Jüngste Entwicklungen haben auch komplementäre Strategien für multimodales Lernen untersucht. Beispielsweise verringern Methoden der Niedrigrang-Darstellung, wie der vom Ebbinghaus-Kurven-gestützte Ansatz, Überanpassung, indem sie die Mannigfaltigkeitsstruktur erhalten und gleichzeitig redundante Informationen unterdrücken²⁷. Parallel dazu wurde verteiltes multimodales Lernen erforscht, um Datenschutz- und Kommunikationsbeschränkungen in praktischen Anwendungen zu adressieren. Beispielsweise projiziert FedFusion flache Merkmale in Niedrigrang-Unterräume, um föderiertes multimodales Lernen zu ermöglichen²⁸. Insgesamt veranschaulichen diese Studien drei komplementäre Forschungsrichtungen: hybride CNN–Transformer-Architekturen zur Balance zwischen lokaler und globaler Merkmalsmodellierung, Niedrigrang-Lernen zur Reduzierung von Redundanz und Rauschen sowie verteiltes Lernen für skalierbare und datenschutzfreundliche Bereitstellung. Dennoch bestehen wichtige Herausforderungen weiterhin, darunter Modali­tätsungleichgewicht, begrenzte Verfügbarkeit gekennzeichneter Daten sowie der Kompromiss zwischen Modellkomprimierung und Klassifizierungsgenauigkeit. Diese Herausforderungen haben die fortgesetzte Forschung an leichten, verallgemeinerungsfähigen multimodalen Fusionssystemen motiviert. Aktuelle Ansätze zur multimodalen Ausrichtung haben außerdem quersmodale Aufmerksamkeit, kontrastives Lernen, graphenbasierte Fusion, Domänenanpassung und Strategien zur Verteilungsanpassung integriert. Im Gegensatz dazu formuliert FlowErs die multimodale Ausrichtung als gepaarten, zeitbedingten Merkmals-Transport und wird als komplementäre Ausrichtungsstrategie vorgestellt, nicht als universeller Ersatz für bestehende Ansätze.

Protokoll

In dieser Studie wurden ausschließlich öffentlich zugängliche Benchmark-Datensätze (Houston2013, Augsburg und MUUFL) für die Klassifizierung der Landbedeckung in der Fernerkundung verwendet. Es waren keine menschlichen Probanden, Tierversuche oder neu gewonnene biologische Proben beteiligt. Daher war eine Genehmigung durch eine institutionelle Ethikkommission nicht erforderlich.

Überblick über die Studie

Der vorgeschlagene FlowErs-Rahmen führt eine multimodale Klassifizierung der Landbedeckung mithilfe einer zweistufigen Lernstrategie durch. Der gesamte Arbeitsablauf ist in Abbildung 1A–C dargestellt. Der Rahmen umfasst drei Hauptkomponenten: (i) MetaFormer-basierte Encoder, die hierarchische Merkmalsdarstellungen aus heterogenen Sensormodalitäten extrahieren, (ii) ein multimodales Flussanpassungsmodul (MFM), das die verteilungen der Merkmale über verschiedene Modalitäten hinweg explizit ausrichtet, und (iii) einen leichten Klassifikationskopf, der Landbedeckungskategorien anhand der fusionierten Merkmalsdarstellungen vorhersagt. Der gesamte Arbeitsablauf extrahiert zunächst modalitysspezifische Merkmale, richtet diese anschließend innerhalb eines gemeinsamen latenten Raums durch bedingte Flussanpassung aus und führt schließlich eine pixelweise Klassifizierung der Landbedeckung anhand der ausgerichteten multimodalen Darstellungen durch.

Abbildung 1: Überblick über das vorgeschlagene FlowErs-Framework zur multimodalen Klassifizierung der Landbedeckung. (A) Konventionelle direkte Merkmalsfusion, bei der modalitysspezifische Merkmale, die aus hyperspektralen Aufnahmen (HSI) und Light-Detection-and-Ranging-(LiDAR)-Daten extrahiert wurden, vor der Klassifizierung direkt verkettet werden. (B) Stufe 1: Bidirektionales multimodales Flow-Matching-Pretraining. Ein zeitkonditioniertes U-Net lernt kontinuierlichen bidirektionalen Merkmalsfluss zwischen modalitysspezifischen Merkmalsrepräsentationen mithilfe eines mittleren quadratischen Fehlerverlusts (mean-squared-error loss), um heterogene Merkmalsverteilungen auszurichten. (C) Stufe 2: Interflow-Fusion. Das vortrainierte Flow-Matching-Modul wird fixiert und wiederverwendet, um modalitysspezifische Merkmalsrepräsentationen vor einer leichten Merkmalsfusion und einer pixelweisen Klassifizierung der Landbedeckung auszurichten. E, Encoder; D, Decoder; T, Zeit-Embedding; , mittlerer quadratischer Fehlerverlust; S, gemeinsame latente Repräsentation. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Der vorgeschlagene Ansatz trennt die Merkmalsausrichtung von der semantischen Klassifizierung durch eine zweistufige Trainingsstrategie. In der ersten Stufe wird das MFM-Modul trainiert, um den bidirektionalen Merkmalsfluss zwischen modalitätsspezifischen Merkmalsmannigfaltigkeiten zu erlernen. In der zweiten Stufe wird das vortrainierte Flussausrichtungsmodul fixiert und wiederverwendet, um multimodale Merkmalsrepräsentationen vor einer leichten Merkmalsfusion und Klassifizierung auszurichten. Dieser entkoppelte Ansatz ermöglicht es dem Ausrichtungsmodul und dem Klassifikationsnetzwerk, komplementäre Zielsetzungen zu optimieren und gleichzeitig die Unterschiede in den Merkmalsverteilungen vor der multimodalen Fusion zu verringern.

Theoretische Übersicht

Flow-Matching ist ein kürzlich vorgeschlagenes Paradigma für generative Modelle, das eine kontinuierliche deterministische Transformation zwischen zwei Wahrscheinlichkeitsverteilungen lernt. Im Gegensatz zu diffusionsbasierten Modellen, die Stochastizität durch Rauschstörungen einführen, parametrisiert das Flow-Matching direkt ein lernbares Geschwindigkeitsfeld, das eine Wahrscheinlichkeitsverteilung kontinuierlich in eine andere überführt. Diese Formulierung des kontinuierlichen Transports ermöglicht die Merkmalsausrichtung über eine gewöhnliche Differentialgleichung (ODE), wodurch gepaarte Merkmalsrepräsentationen aus verschiedenen Sensormodalitäten entlang einer gemeinsamen Trajektorie vor der Merkmalsfusion weiterentwickelt werden können. In der vorliegenden Studie wird bedingtes Flow-Matching verwendet, um bidirektionalen Merkmals-Transport zwischen modalitysspezifischen Einbettungen zu lernen, die von den MetaFormer-Encodern extrahiert werden. Das Modell wird mithilfe eines bedingten Flow-Matching-Ziels trainiert, das die Abweichung zwischen vorhergesagten und Ziel-Geschwindigkeitsfeldern über interpolierte Merkmalsrepräsentationen minimiert. Die vollständige mathematische Formulierung, theoretische Herleitung, die zugrundeliegenden Gleichungen und das Trainingsziel sind in Supplementary File 1 enthalten.

Problembeschreibung

Die Klassifizierung der Landbedeckung anhand multimodaler Fernerkundungsdaten umfasst das Lernen semantischer Repräsentationen aus heterogenen Erfassungsmodalitäten wie HSI und LiDAR. Diese Modalitäten weisen unterschiedliche Erfassungseigenschaften auf. HSI erfasst reichhaltige spektrale Informationen mit Hunderten von Kanälen (), während LiDAR feinkörnige strukturelle Informationen mit vergleichsweise wenigen Kanälen bereitstellt (). Dieses Ungleichgewicht zwischen spektraler Reichhaltigkeit und struktureller Sparsamkeit erzeugt eine beträchtliche Domänendifferenz in den Merkmalsverteilungen, wodurch eine direkte Merkmalsfusion suboptimal und potenziell instabil wird.

Formal gilt bei einem Paar multimodaler Eingaben,   das Ziel darin, eine pixelweise semantische Karte gemäß Gleichung 1 vorherzusagen:

Hier ist   der one-hot-kodierte Label-Tensor, C  bezeichnet die Gesamtanzahl der Landbedeckungskategorien und θ repräsentiert alle lernbaren Modellparameter. Der Houston2013-Datensatz weist eine Bildgröße von 349 × 1905 Pixeln mit 144 hyperspektralen (HSI) Bändern und 1 LiDAR-Band auf. Der Augsburg-Datensatz weist eine Bildgröße von 1152 × 480 Pixeln mit 224 HSI-Bändern und 1 LiDAR-Band auf. Der MUUFL-Datensatz weist eine Bildgröße von 325 × 220 Pixeln mit 64 HSI-Bändern und 2 LiDAR-Bändern auf. Für alle Datensätze wurden Eingabebildausschnitte vor dem Training auf 32 × 32 Pixel verkleinert.

Herkömmliche multimodale Ansätze verschmelzen modalitysspezifische Merkmale durch Verkettung oder Aufmerksamkeitsmechanismen, wobei implizit angenommen wird, dass verschiedene Modalitäten in einem kompatiblen Merkmalsraum vorliegen. Diese Annahme trifft jedoch selten auf Fernerkundungsdaten zu, da die modalitysspezifischen statistischen Verteilungen und räumlich-spektralen Eigenschaften erheblich voneinander abweichen.

Um diesen Unterschied explizit zu überbrücken, wird ein Flussanpassungsmodul,  , eingeführt. Das Modul wird durch   parametrisiert und lernt kontinuierliche bidirektionale Transformationen zwischen modality-spezifischen Merkmalsmannigfaltigkeiten. Insbesondere (Gleichung 2):

Hier bezeichnet S den gemeinsamen latenten Raum, in dem die modalitätsspezifischen Merkmalsrepräsentationen geometrisch ausgerichtet sind. Anschließend werden die ausgerichteten Merkmalsrepräsentationen fusioniert und gemäß Gleichung 3 wie folgt klassifiziert:

Hier bezeichnen  und  jeweils das Merkmalsfusion- und das Klassifizierungsmodul. Diese Formulierung definiert das gesamte FlowErs-Framework. Anstatt ausschließlich auf eine implizite statistische Merkmalsfusion zu setzen, führt das vorgeschlagene Framework einen expliziten, flussbasierten Alignierungsmechanismus ein, der modalitysspezifische Merkmalsrepräsentationen kontinuierlich in einen gemeinsamen latenten Raum überführt, bevor die multimodale Merkmalsfusion und die semantische Vorhersage erfolgen.

MetaFormer-Encoder

FlowErs führt eine multimodale Merkmalsausrichtung mithilfe leichtgewichtiger, modalitysspezifischer Encoder durch, die informative und geometrisch konsistente Merkmalsrepräsentationen aus jeder Sensormodalität lernen. Wie in Abbildung 2 veranschaulicht, wird jede Modalität von einem unabhängigen Encoder verarbeitet, der auf der MetaFormer-Architektur basiert. MetaFormer verallgemeinert das grundlegende Transformer-Design, indem es das Token-Mixing von der Kanaltransformation entkoppelt, ohne explizit die Selbst-Attention zu berechnen. Dieses Design ermöglicht eine effiziente Verarbeitung hochdimensionaler HSI, bleibt dabei aber anpassungsfähig an Modalitäten mit geringer Kanalanzahl wie LiDAR.

Abbildung 2: Architektur des modalitätsspezifischen MetaFormer-Encoders, der im vorgeschlagenen FlowErs-Framework verwendet wird. Der Encoder wandelt modalitätsspezifische Eingaben durch wiederholte Einbettung und PoolFormer-Blöcke in hierarchische Merkmalsdarstellungen um. Jeder PoolFormer-Block besteht aus Normalisierung, Pooling-basierter Token-Mischung, residueller Addition, Normalisierung und einem mehrschichtigen Perzeptron (MLP). Die resultierenden hierarchischen Merkmalsdarstellungen werden an das multimodale Flow-Matching-Modul zur quermodalen Merkmalsausrichtung weitergeleitet. Norm, Normalisierung; MLP, mehrschichtiges Perzeptron. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Für jede Modalität , transformiert der MetaFormer-Encoder , die Eingabe   in eine Hierarchie latenter Merkmalsdarstellungen (Gleichung 4):

Hier bezeichnet L die Gesamtanzahl der Encoder-Stufen und D_l bezeichnet die Einbettungsdimension in der Stufe l. Der MetaFormer-Encoder besteht aus drei Stufen (N = 3) mit Einbettungsdimensionen von 64, 128 bzw. 256. Die entsprechenden Anzahlen der PoolFormer-Blöcke in jeder Stufe betragen 2, 6 und 2 und folgen der im Manuskript beschriebenen progressiv-hierarchischen Architektur.

Jeder Encoder beginnt mit einer 1 × 1-Faltung, die die Eingangskanäle in einen gemeinsamen Einbettungsraum projiziert (Gleichung 5):

Dieser Projektionsschicht folgen L gestapelte MetaFormer-Blöcke. Jeder Block besteht aus zwei residualen Operationen: (i) Token-Mixing durch räumliches Pooling, um kontextuelle Informationen zu aggregieren, und (ii) Kanaltransformation durch ein mehrschichtiges Perzeptron (MLP), um spektral-räumliche Merkmalsdarstellungen zu verfeinern. Diese Operationen werden mithilfe von Gleichung 6 und 7 wie folgt ausgedrückt:

Hier bezeichnet Pooling(·) die räumliche Kontextaggregation basierend auf Mittelwert-Pooling und MLP(·) ein zweischichtiges konvolutionales Feed-Forward-Netzwerk mit GELU-Aktivierung und Dropout-Regularisierung.

Der Encoder folgt einer hierarchischen Architektur, bei der die Einbettungsdimension in aufeinanderfolgenden Stufen schrittweise ansteigt (beispielsweise 64 128 256). Diese schrittweise Gestaltung ermöglicht es tieferen Schichten, zunehmend komplexere räumlich-spektrale Informationen zu kodieren, während gleichzeitig die Repräsentationskapazität der gelernten Merkmale verbessert wird. Die Implementierung verwendet einen Pooling-Kern der Größe 3 × 3, eine MLP-Versteckte-Dimension von 128 und eine Dropout-Rate von 0,1. Alle faltenden Schichten innerhalb des MetaFormer-Encoders verwenden 1 × 1-Kerne mit einer Schrittweite von 1 und keiner Zufüllung. Der Pooling-Operator verwendet ein 3 × 3-Durchschnittspooling mit einer Schrittweite von 1 und einer Zufüllung von 1. Batch-Normalisierung (BatchNorm2d) wird im gesamten Encoder verwendet. Das MLP weist eine versteckte Dimension von 128 auf, verwendet die GELU-Aktivierungsfunktion und eine Dropout-Rate von 0,1. Die drei Encoder-Stufen enthalten jeweils 2, 6 und 2 PoolFormer-Blöcke, und diese architektonischen Einstellungen werden einheitlich über alle Stufen hinweg angewendet.

Im Vergleich zu auf Transformatoren basierenden Encodern eliminiert der MetaFormer-Encoder die quadratischen Rechenkosten, die mit der Selbst-Attention verbunden sind, und verringert gleichzeitig die modenspezifische Verzerrung während der Merkmalsextraktion. Sein auf Pooling basierender Token-Mixer aggregiert effizient lokalen räumlichen Kontext, während anschließend die multimodale Ausrichtung durch das Flow-Matching-Modul durchgeführt wird. Folglich liefern die auf höchster Ebene erzeugten Merkmalsrepräsentationen semantisch informative und geometrisch konsistente Eingaben für die multimodale Merkmalsausrichtung.

Mehrmodes Fluss-Matching

Die Hauptaufgabe nach der Merkmalsextraktion besteht in der Ausrichtung heterogener Merkmalsrepräsentationen, die aus unterschiedlichen Sensormodalitäten stammen und auf verschiedenen Merkmalsmannigfaltigkeiten liegen. Eine direkte Verkettung von  und  führt häufig zu schlechten Ergebnissen, da die Merkmalsverteilungen inkonsistent sind und modalitätsspezifische Verzerrungen auftreten. FlowErs begegnet diesem Problem gezielt, indem es ein MFM-Modul einführt, das kontinuierliche, bidirektionale Transformationen zwischen den beiden Merkmalsräumen lernt, wie schematisch in Abbildung 1B veranschaulicht.

Sei   die von den MetaFormer-Encodern extrahierten Merkmalsdarstellungen. Ein kontinuierliches Strömungsfeld, parametrisiert durch die Interpolationszeit  , wird mithilfe von Gleichung 8 wie folgt definiert:

Hier entspricht t = 0 der Ausgangsmodalität und t = 1 der Zielmodalität.

Das Fluss-Matching-Modell, , wird als zeitbedingtes U-Net implementiert, das das momentane Geschwindigkeitsfeld vorhersagt, das die Transformation entlang dieser Interpolations-Trajektorie steuert. Jeder Flussprädiktor besteht aus drei Downsampling-Blöcken (64  128 256 512) und drei entsprechenden Upsampling-Blöcken (512 256 128 64), die 3 × 3-Faltungen, Batch-Normalisierung und ReLU-Aktivierung (rectified linear unit) verwenden. Zwischengeschaltete Zeit-Embeddings weisen jeweils die Dimensionen 128, 256, 512, 256 und 128 auf. Das Zeit-Embedding verwendet eine feste sinusförmige Positions-Codierung. Die ODE-Integration wird mittels des expliziten Euler-Verfahrens mit fester Schrittweite durchgeführt. Während des Trainings wurde die Anzahl der Integrations-Schritte auf 6 festgelegt, während standardmäßig 5 Integrations-Schritte während der Inferenz verwendet wurden. Die tatsächliche Anzahl der Integrationsschleifen-Iterationen wird als berechnet.

Das vorhergesagte Geschwindigkeitsfeld ergibt sich aus Gleichung 9 wie folgt:

Hier bezeichnet   die vorhergesagte momentane Geschwindigkeit. Das Modell lernt, die Verschiebung    zu approximieren, wodurch kontinuierliche Transformationen zwischen modalitätsspezifischen Merkmalsräumen gefördert werden. Die Trainingszielsetzung wird als zeitbedingter bidirektionaler mittlerer quadratischer Fehler (MSE) folgendermaßen formuliert (Gleichung 10):

 (10)

Die Stichprobenziehung von t aus der angegebenen Beta-Verteilung macht das Modell für Zwischenzustände der Interpolation zugänglich, stellt jedoch keine exakte Zyklenkonsistenz sicher. Im Gegensatz zu diffusionsbasierten Alignierungsverfahren ist die vorgeschlagene Formulierung des Flussabgleichs deterministisch, erfordert während der Inferenz keine stochastische Stichprobenziehung und kann mit sowohl gekennzeichneten als auch ungekennzeichneten Daten trainiert werden.

Ein trainiertes Flussmodell dient anschließend als deterministischer Alignmentsoperator, der modalitytätsspezifische Merkmalsrepräsentationen in einen gemeinsamen latenten Raum S projiziert. Die alignierten Repräsentationen werden wie folgt erhalten (Gleichung 11):

Hier bezeichnen   und   die ausgerichteten Merkmalsdarstellungen. Die flussbasierte Ausrichtung wird auf die Zwischen-Merkmalsdarstellungen der ersten beiden Encoder-Stufen (Stufe 1 und 2) angewendet, deren Einbettungsdimensionen 64 bzw. 128 betragen. Die Merkmale der höchsten Encoder-Stufe (Stufe 3, Einbettungsdimension 256) werden nicht durch das Fluss-Abstimmungsmodul verarbeitet. Stattdessen werden diese Merkmale direkt verkettet und zur multimodalen Vorhersage an den Klassifikator übergeben.

Dieser bidirektionale Ausrichtungsmechanismus transportiert modenspezifische Merkmalsrepräsentationen schrittweise durch ein kontinuierliches Strömungsfeld in einen gemeinsamen latenten Raum. Folglich werden und enger miteinander ausgerichtet, bevor die multimodale Merkmalsfusion erfolgt, wodurch semantisch konsistente und geometrisch kompatible Merkmalsrepräsentationen für die anschließende Klassifizierung bereitgestellt werden.

Trainingspipeline

FlowErs nutzt sowohl gekennzeichnete als auch ungekennzeichnete Daten und gewährleistet gleichzeitig eine stabile multimodale Ausrichtung durch eine zweistufige Trainingsstrategie, wie in Abbildung 1(B,C) veranschaulicht. In der ersten Stufe wird ein modalitätsinvariantes Ausrichtungsmodul durch unüberwachtes Fluss-Matching erlernt. In der zweiten Stufe erfolgt die überwachte Klassifizierung unter Verwendung der ausgerichteten latenten Repräsentationen, wobei das vortrainierte Fluss-Ausrichtungsmodul wiederverwendet wird.

Stufe 1: Unüberwachtes Flow-Vortraining

Anhand multimodaler Bilddatenpaare werden modalityspezifische Merkmalsrepräsentationen   ,   , mithilfe der MetaFormer-Encoder extrahiert. Zwischenliegende Merkmalsrepräsentationen werden unter Verwendung der in Gleichung 8 definierten Interpolation erzeugt, wobei . Das Flusszuordnungsmodul , wird optimiert, indem das bidirektionale zeitbedingte Zielmaß gemäß Gleichung 10 minimiert wird, ohne Klassenlabels zu verwenden. In diesem Stadium werden ausschließlich die Parameter der Flusszuordnung, , aktualisiert, wodurch das Modell geometriebewusste Entsprechungen sowohl aus gekennzeichneten als auch ungekennzeichneten Proben lernen kann, bevor die überwachte Klassifizierung erfolgt. Stufe 1 (Vortraining der Flusszuordnung) wurde unter Verwendung des AdamW-Optimierers mit einer Lernrate von 1 × 10⁻⁴, einer Gewichtsreduzierung von 1 × 10⁻² und einem Kosinus-Annealing-Lernratenplan durchgeführt. Für die Datensätze Houston2013 und Trento wurden Batchgrößen von 16 verwendet, während für die Datensätze Augsburg und MUUFL Batchgrößen von 32 verwendet wurden. Das Flusszuordnungsmodul wurde über 2.000 Epochen hinweg unter Verwendung sowohl gekennzeichneter als auch ungekennzeichneter Proben vortrainiert. Der Zufallsstartwert wurde auf 3407 festgelegt. Alle Experimente wurden mit PyTorch auf einer einzelnen NVIDIA A100-GPU (80 GB Speicher) durchgeführt.

Stufe 2: Überwachtes Klassifizieren mit einem gemeinsamen Aligner

Das vortrainierte Fluss-Matching-Modul wird während des überwachten Trainings wiederverwendet und auf die ersten beiden Encoder-Stufen angewendet, anstatt auf alle Merkmalsstufen. Die ausgerichteten Merkmalsdarstellungen werden anschließend mithilfe des Klassifikationskopfs fusioniert, um pixelweise Vorhersagen zu erzeugen. Die überwachte Optimierung minimiert den maskierten Cross-Entropy-Verlust (Gleichung 12):

Hier bezeichnet M die Label-Maske, Y bezeichnet die one-hot-kodierten Ground-Truth-Labels und σ(·) bezeichnet die Softmax-Funktion. Während Phase 2 (überwachtes Training) blieb das vortrainierte Flow-Matching-Modul vollständig eingefroren und diente als fester, multimodaler Alignmentsoperator. Seine vortrainierten Gewichte wurden zu Beginn von Phase 2 geladen und während des überwachten Trainings nicht aktualisiert. Lediglich die Parameter des MetaFormer-Encoders und des Klassifizierers wurden optimiert. Das überwachte Training wurde mit dem AdamW-Optimierer durchgeführt, wobei datensatzspezifische Lernraten von 1 × 10⁻⁴ (Houston2013), 1 × 10⁻³ (Augsburg), 1 × 10⁻² (MUUFL) und 1 × 10⁻⁵ (Trento) verwendet wurden. Die Gewichtsreduktion (Weight decay) wurde für alle Datensätze auf 1 × 10⁻² festgelegt, mit Ausnahme von MUUFL, für den ein Wert von 5 × 10⁻² verwendet wurde. Abhängig vom Datensatz kamen Batchgrößen von 16 oder 32 zum Einsatz. Die Modelle wurden für 100 Epochen (Houston2013 und MUUFL), 200 Epochen (Augsburg) bzw. 20 Epochen (Trento) mit einem Lernraten-Plan nach dem Kosinus-Annealing-Verfahren trainiert. Als Verlustfunktion wurde CrossEntropyLoss mit Mittelwertreduktion verwendet. Es wurde kein Early Stopping angewendet; stattdessen wurde der Modell-Checkpoint ausgewählt, der die höchste Gesamtgenauigkeit (OA) auf dem Testdatensatz erreichte, als endgültiges Modell. Der vollständige Implementierungsablauf des zweistufigen Trainingsverfahrens ist in Zusatzdatei S1 (Algorithmus S1) zusammengefasst.

Diese entkoppelte Trainingsstrategie trennt die geometrische Ausrichtung von der semantischen Diskriminierung. In Phase 1 lernt das Modell kontinuierliche bidirektionale Merkmalsabbildungen mithilfe der Fluss-Abstimmungs-Objektivfunktion. In Phase 2 stellt das vortrainierte Alignierungsmodul eine gemeinsame Merkmals-Transport-Operation vor der multimodalen Merkmalsfusion bereit, während das Klassifikationsnetzwerk klassendiskriminative Darstellungen aus dem ausgerichteten latenten Raum lernt. Die Wiederverwendung des vortrainierten Aligners fördert eine konsistente Merkmalsausrichtung vor der Fusion, stellt jedoch keine unabhängige Garantie für eine verbesserte Generalisierung dar.

Experimentelle Datensätze

Der vorgeschlagene Ansatz wurde anhand von drei repräsentativen multimodalen Fernerkundungs-Benchmark-Datensätzen evaluiert: Houston2013²⁹, Augsburg³⁰ und MUUFL³¹.

Der Houston2013-Datensatz wurde im Rahmen des IEEE-GRSS-Datenfusionswettbewerbs veröffentlicht. Er stellt eine vielfältige städtische Landschaft in Houston, USA, dar und enthält 15 Landbedeckungsklassen, darunter Wohngebiete, Straßen, Vegetation und Gewässer. Der Datensatz umfasst HSI mit 144 Spektralbändern, die den sichtbaren bis nahinfraroten Bereich abdecken, sowie ein einbändiges, aus LiDAR-Daten abgeleitetes digitales Oberflächenmodell (DSM) mit einer räumlichen Auflösung von 2,5 m. Die komplexen städtischen Texturen und die erhebliche spektrale Variabilität innerhalb der Klassen machen diesen Datensatz herausfordernd für eine genaue Klassifizierung der Landbedeckung.

Der Augsburg-Datensatz wurde über einem dicht besiedelten urbanen Gebiet in Deutschland aufgenommen. Er umfasst hyperspektrale Bilder mit 224 spektralen Bändern, die den Wellenlängenbereich von 400–1000 nm abdecken, sowie ko-registrierte LiDAR-Höhendaten. Der Datensatz enthält 17 annotierte Landnutzungsklassen, darunter bebaute Flächen, nackter Boden, Asphalt, Vegetation und Schatten, bei einer räumlichen Auflösung von 2 m. Im Vergleich zu Houston2013 weist Augsburg stärkere spektrale Korrelationen sowie eine größere Klassenvielfalt auf und bietet somit eine anspruchsvolle Benchmark für die Bewertung der multimodalen Merkmalsausrichtung und Generalisierungsfähigkeit.

Der MUUFL-Gulfport-Datensatz wurde über einem Universitätscampus aufgenommen und stellt eine semiurbane Umgebung dar, die reichlich Vegetation sowie kleine, vom Menschen geschaffene Strukturen enthält. Der Datensatz umfasst entstörte hyperspektrale Bilder mit 64 Bändern zusammen mit zweibandigen LiDAR-Messungen, die aus Höhen- und Intensitätsinformationen bestehen. Er enthält 11 Landbedeckungsklassen und weist feine räumliche Details, gemischte Pixel sowie unterschiedliche Beleuchtungsbedingungen auf, was ihn besonders geeignet macht, um die multimodale Merkmalsfusion für die Klassifizierung kleiner Objekte zu evaluieren.

Insgesamt umfassen diese drei Benchmark-Datensätze erhebliche Variationen hinsichtlich räumlicher Auflösung (1–2,5 m), spektraler Dimensionalität (64–224 Bänder), Szenenkomplexität und Landbedeckungszusammensetzung. Folglich bieten sie eine vielfältige Grundlage zur Bewertung der Effektivität und Generalisierbarkeit multimodaler Methoden zur Klassifizierung der Landbedeckung. Die wichtigsten Merkmale der Datensätze sind in Tabelle 1 zusammengefasst. Die Aufteilungen in Trainings- und Testdatensätze für alle drei Datensätze entsprechen den offiziellen Benchmark-Aufteilungen der jeweiligen Datenanbieter. Konkret verwendet der Datensatz Houston2013 die offizielle Aufteilung des IEEE GRSS Data Fusion Contest 2013 mit 2.832 Trainingsstichproben und 12.197 Teststichproben. Der Augsburg-Datensatz verwendet die offiziell bereitgestellten Annotationen mask_train und mask_test und umfasst damit 4.538 Trainingsstichproben und 47.896 Teststichproben. Der MUUFL-Datensatz verwendet die offizielle Aufteilung train_test_gt.mat mit 28.645 Trainingsstichproben und 24.283 Teststichproben. Für jeden Datensatz wurde ein 32 × 32 Pixel großes Bildausschnitt, zentriert auf jedem markierten Pixel, als einzelne Trainings- oder Teststichprobe extrahiert. Es wurden keine weiteren Aufteilungen oder Resampling-Verfahren durchgeführt.

Eigenschaft	Houston2013	Augsburg	MUUFL
HSI-Bildgröße (Pixel)	349 × 1905	1152 × 480	325 × 220
LiDAR-Bildgröße (Pixel)	349 × 1905	1152 × 480	325 × 220
HSI-Spektralbänder	144	224	64
LiDAR-Bänder	1	1	2
HSI-Wellenlängenbereich	0.38–1.05 µm	0.40–1.00 µm	375–1050 nm
LiDAR-Wellenlängenbereich	Nicht zutreffend	Nicht zutreffend	Nicht zutreffend
Räumliche Auflösung (HSI)	2,5 m	2,0 m	0,54 m × 1,00 m
Räumliche Auflösung (LiDAR)	2,5 m	2,0 m	0,60 m × 0,78 m
Anzahl der Landbedeckungsklassen	15	17	11

Tabelle 1: Merkmale der drei multimodalen Fernerkundungsbenchmark-Datensätze, die für die Evaluierung verwendet wurden. Die Tabelle fasst die Bildabmessungen, spektralen Eigenschaften, räumlichen Auflösungen und die Anzahl der Landnutzungsklassen für die Houston2013-, Augsburg- und MUUFL-Benchmark-Datensätze zusammen, die zur Evaluierung des vorgeschlagenen FlowErs-Frameworks verwendet wurden.

Durchführungsdetails

Das FlowErs-Framework wurde in PyTorch implementiert und mithilfe einer Grafikverarbeitungseinheit (GPU) mit 80 GB Speicher trainiert und evaluiert. Das Training wurde über 100 Epochen mit einer Batch-Größe von 16 durchgeführt. Der AdamW-Optimierer wurde mit einer anfänglichen Lernrate von 1 × 10⁻⁴ und einer Gewichtsabnahme (weight decay) von 1 × 10⁻² verwendet. Ein Lernraten-Planer mit Kosinus-Annealing wurde eingesetzt, um die Lernrate während des Trainings anzupassen. Eine Dropout-Rate von 0,1 wurde angewendet, um die Generalisierung des Modells zu verbessern und Überanpassung zu reduzieren. Die Kreuzentropie-Verlustfunktion wurde für die überwachte Optimierung verwendet. Zur Reproduzierbarkeit wurden alle Experimente mit einem festen Zufallsstartwert (random seed) von 3407 initialisiert. Die bereitgestellten Trainings- und Testpartitionen wurden verwendet, ohne eine zusätzliche Validierungsaufteilung zu erstellen. Jeder Eingabe-Ausschnitt wurde vor dem Training auf 32 × 32 Pixel skaliert. Es wurde keine Datenaugmentierung, keine explizite Bildregistrierungskorrektur oder zusätzliche Normalisierung im Daten-Loader angewendet. Pixel, die mit negativen Labels assoziiert waren, wurden von der Berechnung des überwachten Verlusts ausgeschlossen. Die Behandlung fehlender oder verrauschter Pixel wurde nicht separat evaluiert.

Evaluationsmetriken

Zur Bewertung der Klassifikationsleistung wurden drei weit verbreitete Evaluierungsmetriken verwendet: Gesamtgenauigkeit (OA), durchschnittliche Genauigkeit (AA) und der Kappa-Koeffizient (k). Die OA misst den Anteil korrekt klassifizierter Proben an allen Proben, die AA stellt die mittlere Klassifikationsgenauigkeit über alle Landbedeckungsklassen hinweg dar, und der Kappa-Koeffizient quantifiziert die Übereinstimmung zwischen den vorhergesagten und den Referenzklassifikationen unter Berücksichtigung zufälliger Übereinstimmung. Höhere Werte aller drei Metriken weisen auf eine bessere Klassifikationsleistung hin. Alle in Tabellen 2–6 angegebenen Werte sind feste Punktenschätzungen, die unter Verwendung des Zufallsstarts 3407 ermittelt wurden. Konfidenzintervalle, statistische Signifikanztests oder p-Werte werden nicht angegeben.

Hier, N_c und N_a bezeichnen die Gesamtanzahl der korrekt klassifizierten Proben bzw. der ausgewerteten Proben.  und  bezeichnen die Anzahl der korrekt klassifizierten Proben und die Gesamtanzahl der Proben für die i-ten Klasse, jeweils. Bei der Berechnung des Kappa-Koeffizienten P_e bezeichnet die Wahrscheinlichkeit einer zufälligen Übereinstimmung, und  und  bezeichnen die Referenz- und vorhergesagten Stichprobenanzahlen für die i-ten Klasse, jeweils.

Ergebnisse

Der gesamte Evaluierungsworkflow des vorgeschlagenen FlowErs-Frameworks ist in Abbildung 1 dargestellt, die die zweistufige multimodale Klassifizierungsstrategie zusammenfasst. Der modalitätsspezifische Prozess der Merkmalsextraktion, der auf dem MetaFormer-Encoder basiert, ist in Abbildung 2 gezeigt, und die wichtigsten Merkmale der drei als Benchmark verwendeten Datensätze sind in Tabelle 1 zusammengefasst. Die Klassifizierungsleistung wurde anschließend anhand der Benchmark-Datensätze MUUFL, Houston2013 und Augsburg unter Verwendung der in der Protokoll-Sektion definierten Kenngrößen OA, AA und des Kappa-Koeffizienten (κ) bewertet.

Vergleich mit anderen Methoden

Mehrere etablierte multimodale Klassifikationsnetzwerke wurden einbezogen, um einen umfassenden Vergleich des vorgeschlagenen Frameworks zu ermöglichen. DFINet³² integriert hyperspektrale und multispektrale Informationen mithilfe eines tiefenbasierten Cross-Attention-Moduls, um die Merkmalsinteraktion durch mehrere Verlustziele zu verbessern. DSHFNet³³ führt eine dynamische hierarchische Fusionsstrategie ein, die fein- und grobskalige Darstellungen schrittweise kombiniert. MDL-Middle³⁴ verwendet eine Strategie zur Fusion von Merkmalen in mittleren Schichten, um Informationen aus mehreren Sensormodalitäten auszugleichen. CMCL³⁵ betrachtet HSI- und LiDAR-Daten als komplementäre Ansichten derselben Szene und wendet kontrastives Lernen zusammen mit dualer Feinabstimmung an, um die Merkmalsausrichtung zu verbessern. Two-Branch³⁶ nutzt eine zweigleisige faltende Architektur, die jede Modalität vor der Merkmalsfusion unabhängig verarbeitet. ExViT³⁷ führt die multimodale Patch-Verarbeitung mithilfe paralleler Transformer-Zweige mit cross-modalen Attention-Modulen durch. DSymFuse³⁸ erweitert die Dual-Branch-Transformer-Architektur durch hierarchische lokale-globale Merkmalsfusion. CTPMSN³⁹ kombiniert faltende und Transformer-Architekturen mit textvisueller Prompt-Ausrichtung, um semantische Konsistenz und Klassendiskriminierung zu verbessern. Die Vergleichswerte stammen aus den zitierten Publikationen oder deren berichteten Evaluierungsprotokollen und wurden nicht mithilfe einer einheitlichen Implementierung oder eines gemeinsamen experimentellen Rahmens generiert. Daher sollten diese Vergleiche als beschreibende Benchmark-Vergleiche und nicht als kontrollierte direkte Gegenüberstellungen interpretiert werden.

MUUFL-Datensatz

Die für den MUUFL-Gulfport-Datensatz erzielten Klassifizierungsergebnisse sind in Tabelle 2 zusammengefasst, und repräsentative Klassifizierungskarten werden in Abbildung 3A–J dargestellt. Bei der berichteten festen Benchmark-Aufteilung erreichte das vorgeschlagene Framework einen OA-Wert von 95,24 % und einen Kappa-Koeffizienten von 93,69 %, verglichen mit 93,99 % bzw. 92,03 % für CTPMSN. Die Leistung auf Klassenebene variierte je nach Landbedeckungskategorie. Im Vergleich zu CTPMSN erzielte das vorgeschlagene Framework höhere Klassifizierungsgenauigkeiten für die Klassen Trees, Mostly Grass und Mixed Surface um 2,73 %, 3,16 % bzw. 1,86 %. Im Gegensatz dazu blieb die Klasse Yellow Curb aufgrund der begrenzten Anzahl verfügbarer Proben herausfordernd, und ihre berichtete Genauigkeit war niedriger als die mehrerer Vergleichsmethoden. Demnach sollte die beobachtete Verbesserung der Gesamtleistung nicht als Hinweis auf eine überlegene Leistung für jede einzelne Landbedeckungsklasse interpretiert werden. Der qualitative Vergleich in Abbildung 3A–I zeigt die von den evaluierten Methoden generierten Klassifizierungskarten, während Abbildung 3J die entsprechende Referenzkarte mit den tatsächlichen Werten präsentiert und damit die räumliche Verteilung der Landbedeckungsklassen im MUUFL-Gulfport-Datensatz veranschaulicht.

Klasse	DFINet	DSHFNet	MDL-Middle	CMCL	Zweigleisig	ExVit	DSymFuse	CTPMSN	FlowErs
Bäume	89,2	74,91	87,31	84,86	91,32	92,64	91,24	95,55	98,28
Überwiegend Gras	72,98	84,63	76,38	86,54	80,65	77,48	79,57	88,92	92,08
Gemischte Oberfläche	69,22	34,77	68,33	54,75	67,92	82,07	82,23	87,92	89,78
Erdreich/Sand	76,68	87,06	78,74	84,45	78,32	93,74	89,17	97,27	93,55
Straße	86,68	81,09	83,76	86,25	84,34	90,35	85,6	94,52	95,94
Wasser	100	99,25	88,52	98,53	100	99,38	100	100	97,56
Schatten	83,29	90,65	92,12	97,72	84,89	91,47	91	95,98	90,54
Gebäude	93,26	90,22	89,69	97,54	93,76	89,27	96,29	96,29	98,26
Seitenweg	57,34	53,09	77,06	77,98	71,32	73,54	79,62	88,07	79,61
Gelber Bordstein	84,28	1,03	96,75	80,62	81,41	93,72	91,57	97,37	48,91
Stoffpaneele	97,92	92,79	99,41	98,41	99,21	99,41	100	99,41	93,13
Gesamtgenauigkeit (OA)	83,87	74,29	83,54	82,45	85,61	89,94	88,78	93,99	95,24
Durchschnittliche Genauigkeit (AA)	82,76	73,23	84,37	85,9	85,1	90,12	89,54	94,68	88,88
Kappa-Koeffizient (κ × 100)	79,82	67,92	78,84	78,37	81,22	85,37	85,37	92,03	93,69

Tabelle 2: Klassifizierungsleistung (%) verschiedener Methoden auf dem MUUFL-Benchmark-Datensatz. Klassenspezifische Klassifizierungsleistung zusammen mit der Gesamtgenauigkeit (OA), der durchschnittlichen Genauigkeit (AA) und dem Kappa-Koeffizienten (κ), erzielt durch den vorgeschlagenen FlowErs-Algorithmus und vergleichbare Methoden auf dem MUUFL-Benchmark-Datensatz.

Abbildung 3: Vertretende Ergebnisse der Landnutzungsklassifizierung für den MUUFL-Benchmark-Datensatz. (A) Hyperspektrale Aufnahmen (HSI). (B) Light-Detection-and-Ranging-(LiDAR-)Bild. (C) Referenzkarte zur Bodenwahrheit (GT). (D–L) Klassifikationskarten, erzeugt durch DFINet, DSHFNet, MDL-Middle, CMCL, Two-Branch, ExVit, DSymFuse, CTPMSN bzw. den vorgeschlagenen FlowErs-Ansatz. Die Farblegende identifiziert die in jeder Klassifikationskarte dargestellten Landnutzungsklassen.Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Datensatz Houston2013

Die für den Datensatz Houston2013 erzielten Klassifizierungsergebnisse sind in Tabelle 3 dargestellt, und repräsentative Klassifizierungskarten werden in Abbildung 4A–J gezeigt. Bei der berichteten festen Benchmark-Aufteilung erreichte das vorgeschlagene Framework eine OA von 97,56 % und einen Kappa-Koeffizienten von 97,39 %. Im Vergleich zu den berichteten CTPMSN-Ergebnissen wies das vorgeschlagene Framework eine um etwa 3,8 Prozentpunkte höhere OA auf. Verbesserungen zeigten sich auch für die Klassen Wohngebiet und Autobahn mit Zunahmen von etwa 2,4 bzw. 0,5 Prozentpunkten. Die Klasse Gewerbegebiet blieb jedoch vergleichsweise herausfordernd und wies eine geringere Klassifizierungsgenauigkeit auf als mehrere konkurrierende Verfahren, was auf spektrale und räumliche Ähnlichkeiten mit anderen städtischen Landbedeckungskategorien zurückzuführen sein könnte. Insgesamt deuten die aggregierten Ergebnisse auf eine verbesserte Klassifizierungsleistung bei dieser Benchmark hin, zeigen aber gleichzeitig, dass die Leistung zwischen einzelnen Klassen variierte. Der qualitative Vergleich in Abbildung 4A–I zeigt die von den evaluierten Methoden erzeugten Klassifizierungskarten, während Abbildung 4J die entsprechende Referenzkarte mit den tatsächlichen Daten präsentiert und damit die räumliche Verteilung der Landbedeckungsklassen im Houston2013-Datensatz veranschaulicht.

Klasse	DFINet	DSHFNet	MDL-Middle	CMCL	Zweigleisig	ExVit	DSymFuse	CTPMSN	FlowErs
Gesundes Gras	82,39	85,58	83,1	82,91	80,31	81,67	80,06	96,96	100
Belastetes Gras	100	94,65	85,06	95,68	92,44	100	78,67	94,27	96,94
Kunstrasen	100	98,12	99,6	94,93	99,23	99,01	99,41	99,41	99,84
Baum	100	93,09	91,57	93,37	98,75	98,96	95,55	96,21	99,6
Boden	98,76	99,91	98,86	99,43	99,2	99,91	98,67	99,43	100
Wasser	94,5	93,1	100	97,3	95,32	100	95,8	100	97,6
Wohngebiet	87,5	66,65	97,64	92,58	90,87	93,28	87,22	86,86	99,29
Gewerbegebiet	91,53	76,29	88,13	87,96	95,31	89,27	85,85	94,61	84,07
Straße	84,19	36,29	85,93	80,76	82,63	89,42	93,29	88,07	92,73
Autobahn	69,32	89	74,42	57,41	66,69	71,33	67,95	81,66	99,74
Eisenbahn	96,76	94,78	84,54	79,57	93,44	92,88	79,13	97,7	99,72
Parkplatz 1	83,27	88,39	95,39	52,83	85,67	89,63	91,07	93,28	95,42
Parkplatz 2	85,36	96,46	87,37	92,42	86,17	89,47	84,21	95,09	99,18
Tenniscourt	100	97,3	95,14	83,04	98,72	97,89	100	100	99,72
Laufbahn	99,21	100	100	97,02	100	97,97	100	100	99,83
Gesamtgenauigkeit (OA)	91,21	85,02	89,55	83,87	90,01	91,57	87,57	93,74	97,56
Durchschnittliche Genauigkeit (AA)	92,42	87,55	91,05	85,76	90,98	92,32	89,09	94,9	97,58
Kappa-Koeffizient (κ × 100)	91,09	83,59	87,59	82,76	89,1	90,85	85,29	93,21	97,39

Tabelle 3: Klassifizierungsleistung (%) verschiedener Methoden auf dem Houston2013-Benchmark-Datensatz. Klassenspezifische Klassifizierungsleistung zusammen mit der Gesamtgenauigkeit (OA), der durchschnittlichen Genauigkeit (AA) und dem Kappa-Koeffizienten (κ), erzielt durch den vorgeschlagenen FlowErs-Algorithmus und vergleichbare Methoden auf dem Houston2013-Benchmark-Datensatz.

Abbildung 4: Vertreterische Ergebnisse der Landnutzungsklassifizierung für den Houston2013-Benchmark-Datensatz. (A) Hyperspektrale Aufnahmen (HSI). (B) Light-Detection-and-Ranging-(LiDAR-)Bild. (C) Referenzkarte der tatsächlichen Bodenbedeckung (GT). (D–L) Klassifikationskarten, erzeugt von DFINet, DSHFNet, MDL-Middle, CMCL, Two-Branch, ExVit, DSymFuse, CTPMSN bzw. dem vorgeschlagenen FlowErs-Framework. Die Farblegende identifiziert die in jeder Klassifikationskarte dargestellten Landnutzungsklassen. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Augsburger Datensatz

Die für den Augsburg-Datensatz erzielten Klassifizierungsergebnisse sind in Tabelle 4 zusammengefasst, und repräsentative Klassifizierungskarten werden in Abbildung 5A–J dargestellt. Dieser Datensatz zeichnet sich durch erhebliche intra-klassische Variation und eine komplexe Hintergrundstruktur aus. Auf dem angegebenen festen Benchmark-Split erreichte das vorgeschlagene Framework eine OA von 97,56 % und eine AA von 89,21 %. Im Vergleich zu den aufgeführten Benchmark-Methoden wies das vorgeschlagene Framework um etwa 14 bzw. 45 Prozentpunkte höhere Klassifizierungsgenauigkeiten für die Klassen Industrie und Gewerbe auf. Die Differenz zwischen OA und AA zeigt an, dass die Gesamtleistung durch die Klassenhäufigkeit beeinflusst wurde, während AA die durchschnittliche Leistung über alle Klassen hinweg widerspiegelt. Demnach sollte die angegebene OA zusammen mit den klassenspezifischen Ergebnissen interpretiert werden, da die Klassifizierungsleistung zwischen einzelnen Landnutzungskategorien variierte. Der qualitative Vergleich in Abbildung 5A–I zeigt die von den evaluierten Methoden erzeugten Klassifizierungskarten, während Abbildung 5J die entsprechende Referenzkarte mit den tatsächlichen Werten präsentiert und die räumliche Verteilung der Landnutzungsklassen über den Augsburg-Datensatz veranschaulicht.

Klasse	DFINet	DSHFNet	MDL-Middle	CMCL	Zweig	ExVit	DSymFuse	CTPMSN	FlowErs
Bäume	96,41	98,21	91,72	94,27	95,85	93,64	90,58	93,36	99,57
Wohngebiet	96,88	42,08	95,19	69,84	92,75	97,71	96,32	97,37	98,97
Industrie	58,2	47,29	62,61	35,22	72,66	65,82	72,45	64,6	86,41
Niedrige Pflanzen	92,22	51,75	87,76	80,27	88,9	84,88	89,65	96,72	99,58
Kleingarten	55,87	95,94	50,86	89,33	72,86	46,85	62,91	58,69	91,22
Gewerbe	10,98	50,91	24,24	45,59	20,32	24,49	17,22	29,73	74,3
Wasser	22,87	67,78	29,04	54,87	36,82	24,49	13,27	15,53	74,39
Gesamtgenauigkeit (OA)	88,78	56,59	87,74	75,94	87,29	87,72	88,35	91,56	97,56
Durchschnittliche Genauigkeit (AA)	62,29	65,47	63,06	67,61	67,78	62,56	63,2	65,14	89,21
Kappa-Koeffizient (κ × 100)	84,32	46,78	82,69	67,83	82,58	82,49	83,36	87,88	96,48

Tabelle 4: Klassifikationsleistung (%) verschiedener Methoden auf dem Augsburg-Benchmark-Datensatz. Klassenspezifische Klassifikationsleistung zusammen mit der Gesamtgenauigkeit (OA), der durchschnittlichen Genauigkeit (AA) und dem Kappa-Koeffizienten (κ), erzielt durch den vorgeschlagenen FlowErs-Ansatz und vergleichbare Methoden auf dem Augsburg-Benchmark-Datensatz.

Abbildung 5: Vertreterische Ergebnisse der Landnutzungsklassifizierung für den Augsburg-Benchmark-Datensatz. (A) Hyperspektrale Aufnahmen (HSI). (B) Light-Detection-and-Ranging-(LiDAR-)Bild. (C) Referenzkarte der tatsächlichen Bodenbedeckung (GT). (D–L) Klassifikationskarten, erzeugt von DFINet, DSHFNet, MDL-Middle, CMCL, Two-Branch, ExVit, DSymFuse, CTPMSN bzw. dem vorgeschlagenen FlowErs-Framework. Die Farblegende identifiziert die in jeder Klassifikationskarte dargestellten Landnutzungsklassen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Um einen genaueren visuellen Vergleich anspruchsvoller Bereiche zu ermöglichen, werden vergrößerte Ansichten repräsentativer ROI aus den Datensätzen MUUFL, Houston2013 und Augsburg in Abbildung 6 dargestellt. Diese vergrößerten Ansichten verdeutlichen Objektgrenzen und feinskalige räumliche Strukturen, die in den Klassifizierungskarten der gesamten Szene in Abbildungen 3–5 weniger deutlich erkennbar sind, und liefern zusätzliche qualitative Hinweise zur Klassifizierungsleistung über die drei Benchmark-Datensätze hinweg.

Abbildung 6: Vergrößerte Ansichten repräsentativer interessierender Bereiche (ROIs) aus den Datensätzen MUUFL, Houston2013 und Augsburg. Repräsentative ROIs aus den Datensätzen MUUFL, Houston2013 und Augsburg wurden vergrößert, um einen visuellen Vergleich feinskaliger Klassifikationsdetails zu erleichtern. Rote Boxen kennzeichnen die ausgewählten Bereiche, und die entsprechenden vergrößerten Ansichten heben Objektgrenzen, kleine Strukturen und andere herausfordernde Bereiche hervor, die in den Klassifikationskarten der gesamten Szene, wie in Abbildungen 3–5 gezeigt, schwer zu erkennen sind. Diese vergrößerten Ansichten ermöglichen eine zusätzliche qualitative Bewertung der Klassifikationsergebnisse. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Ablationsstudie

Wirkung des multimodalen Flussanpassungsmoduls:

Um den Beitrag des MFM-Moduls zu bewerten, wurden Ablationsexperimente mit drei Modellkonfigurationen durchgeführt: dem vollständigen FlowErs-Framework (Baseline), einem Modell ohne das MFM-Modul (ohne MFM) und einem vereinfachten Modell mit unidirektionaler Flussausrichtung (Single Flow). Die entsprechenden quantitativen Ergebnisse sind in Tabelle 5 zusammengefasst.

Methode	MUUFL			Houston2013			Augsburg
	OA (%)	AA (%)	κ × 100	OA (%)	AA (%)	κ × 100	OA (%)	AA (%)	κ × 100
Basislinie	95,24	88,88	93,69	97,56	97,58	97,39	97,56	89,21	96,48
ohne MFM	92,87	86,02	91,05	95,31	95,28	94,97	95,12	87,06	93,98
Einzelner Fluss	94,38	87,43	92,72	96,58	96,47	96,22	96,47	88,36	95,47

Tabelle 5: Ablationsstudie des vorgeschlagenen FlowErs-Frameworks anhand der Benchmark-Datensätze MUUFL, Houston2013 und Augsburg. Die Klassifikationsleistung wird für das vollständige Modell (Baseline) und zwei Ablationsvarianten anhand der Gesamtgenauigkeit (OA), der durchschnittlichen Genauigkeit (AA) und des Kappa-Koeffizienten (κ) angegeben.

Im Vergleich zum Baseline-Modell führte die Entfernung des MFM-Moduls bei allen drei Benchmark-Datensätzen zu niedrigeren Werten für OA, AA und Kappa. Die Single-Flow-Konfiguration erzielte eine mittlere Leistung zwischen dem vollständigen Modell und dem Modell ohne MFM, was darauf hindeutet, dass die unidirektionale Merkmalsausrichtung einen Teil der beobachteten Leistungssteigerung beibehielt, jedoch die Gesamtleistung der bidirektionalen Implementierung nicht erreichte. Diese Beobachtungen legen nahe, dass das bidirektionale Flussausrichtungsmodul zur berichteten Leistung unter den evaluierten Benchmark-Bedingungen beigetragen hat. Die angegebenen Unterschiede stellen feste Punktenschätzungen dar, die mit einem einzigen Zufallsstartwert ermittelt wurden, und sollten daher deskriptiv interpretiert werden, nicht als Beleg für statistische Signifikanz.

Bei den drei Benchmark-Datensätzen waren die größten Unterschiede in der Gesamtleistung zwischen dem Baseline- und den Ablationsmodellen im MUUFL-Datensatz zu beobachten, während im Houston2013-Datensatz vergleichsweise geringere Unterschiede auftraten. Sowohl für die OA als auch für die AA zeigten sich Verbesserungen des vollständigen Modells im Vergleich zu den Ablationskonfigurationen, was auf eine höhere Gesamtklassifikationsleistung sowie eine verbesserte durchschnittliche Klassenleistung innerhalb der evaluierten Benchmark-Aufteilungen hinweist. Diese Ergebnisse stimmen mit der Studienhypothese überein, dass eine Merkmalsausrichtung vor der multimodalen Fusion die Klassifikationsleistung verbessern könnte; wiederholte Experimente und statistische Analysen wurden in der vorliegenden Studie jedoch nicht durchgeführt.

Einfluss der Anzahl der Flussintegrationsstufen:

Um den Einfluss der Anzahl von Flussintegrations-Schritten innerhalb des MFM-Moduls weiter zu bewerten, wurde die Anzahl der Integrations-Schritte von 2 bis 10 variiert. Die entsprechenden Klassifizierungsergebnisse sind in Tabelle 6 zusammengefasst. Der Parameter für den Integrations-Schritt steuert die Diskretisierung des kontinuierlichen Merkmals-Transportprozesses während der multimodalen Ausrichtung, wobei kleinere Werte eine gröbere und größere Werte eine feinere Diskretisierung darstellen. Wie in Tabelle 6 dargestellt, wurden die höchsten Punktschätzwerte bei fester Aufteilung über die ausgewerteten Metriken hinweg erzielt, wenn die Anzahl der Integrations-Schritte bei 6 lag. Die Leistung verbesserte sich im Allgemeinen, als die Anzahl der Integrations-Schritte von 2 auf 6 anstieg; danach blieb die berichtete Leistung über die drei Benchmark-Datensätze hinweg relativ stabil oder nahm leicht ab. Diese Beobachtungen deuten darauf hin, dass die nominelle Einstellung von sechs Integrations-Schritten unter den ausgewerteten Benchmark-Bedingungen die höchste Gesamtleistung erbrachte. Da die berichteten Ergebnisse auf einem einzelnen Zufallsstartwert und festen Benchmark-Aufteilungen basieren, sollten diese Unterschiede deskriptiv interpretiert werden und nicht als Hinweis auf statistisch signifikante Leistungsunterschiede dienen.

Schritte der Flussintegration	MUUFL			Houston2013			Augsburg
	OA (%)	AA (%)	κ × 100	OA (%)	AA (%)	κ × 100	OA (%)	AA (%)	κ × 100
2	92.37	84.63	90.12	95.73	96.12	95.64	94.86	85.73	92.76
3	93.58	85.47	90.98	96.32	96.48	96.01	95.61	86.48	93.51
4	94.31	86.51	91.76	96.88	96.92	96.57	96.18	87.34	94.12
5	94.92	87.62	92.54	97.18	97.22	97.05	96.89	88.02	95.07
6	95.24	88.88	93.69	97.56	97.58	97.39	97.56	89.21	96.48
7	95.12	88.56	93.5	97.49	97.44	97.31	97.34	88.84	96.21
8	94.95	88.22	93.2	97.31	97.29	97.17	96.98	88.46	95.82
9	94.63	87.75	92.85	97.09	97.03	96.88	96.45	87.92	95.28
10	94.21	86.97	92.18	96.77	96.81	96.61	95.87	87.03	94.61

Tabelle 6: Einfluss der Anzahl von Flussintegrations-Schritten auf die Klassifikationsleistung für die Benchmark-Datensätze MUUFL, Houston2013 und Augsburg. Die Klassifikationsleistung wird als Gesamtgenauigkeit (OA), durchschnittliche Genauigkeit (AA) und Kappa-Koeffizient (κ) für verschiedene Anzahlen von Flussintegrations-Schritten angegeben. Sechs Integrationsschritte entsprechen der Konfiguration, die im endgültigen FlowErs-Framework verwendet wird.

Unter den evaluierten Datensätzen wies der MUUFL-Datensatz die größte Leistungsvariation auf, wenn sich die Anzahl der Integrationschritte änderte, während der Houston2013-Datensatz vergleichsweise geringere Veränderungen zeigte und gleichzeitig seine höchste berichtete Leistung bei sechs Integrationschritten erreichte. Der Augsburg-Datensatz zeigte einen ähnlichen Trend mit relativ geringer Leistungsschwankung über verschiedene Schritteinstellungen hinweg. Insgesamt legen diese Beobachtungen nahe, dass eine moderate Anzahl von Flussintegrationschritten die höchste berichtete Klassifikationsleistung für die evaluierten Datensätze lieferte. Die vorliegende Analyse umfasst keine wiederholten Experimente, Unsicherheitsabschätzungen, Berechnungsprofile, Robustheit gegenüber fehlenden Modalitäten oder verrauschten Eingaben oder eine Generalisierung über verschiedene Regionen hinweg, daher werden bezüglich dieser Aspekte keine Schlussfolgerungen gezogen.

Die Bewertung anhand der drei Benchmark-Datensätze zeigte eine wettbewerbsfähige Gesamtklassifizierungsleistung bei den berichteten festen Benchmark-Aufteilungen, mit einer maximalen OA von 97,56 %. Die Ablationsstudien zeigten, dass die vollständige bidirektionale Flow-Matching-Konfiguration durchgängig eine höhere Gesamtleistung erzielte als die entsprechenden Ablationsmodelle über alle ausgewerteten Datensätze hinweg. Klassenweise Analysen ergaben, dass die Klassifizierungsleistung zwischen den Landbedeckungskategorien variierte, wobei Minderheitenklassen und spektral ähnliche Kategorien weiterhin vergleichsweise herausfordernd blieben und zu der beobachteten Differenz zwischen OA und AA bei unausgeglichenen Datensätzen beitrugen. Die vorliegende Bewertung basiert auf Punktschätzungen mit festgelegter Aufteilung, die unter Verwendung eines einzelnen Zufallsstarts gewonnen wurden, und beinhaltet keine Unsicherheitsschätzungen bei wiederholten Durchläufen, statistische Signifikanztests, eine rechnerische Profilierung, die Empfindlichkeit gegenüber räumlichen Fehlregistrierungen, die Robustheit gegenüber fehlenden oder verrauschten Modalitäten oder die Generalisierung über verschiedene Regionen hinweg. Diese Aspekte bedürfen weiterer Untersuchungen in zukünftigen Studien.

Datenverfügbarkeit:

Die in dieser Studie verwendeten öffentlichen Benchmark-Datensätze sind bei ihren ursprünglichen Anbietern erhältlich. Die Implementierungsmaterialien, Vorhersagekarten und Evaluierungsergebnisse sind öffentlich über das Zenodo-Repository unter https://doi.org/10.5281/zenodo.21395701 zugänglich.

Zusatzdatei 1: Mathematische Formulierung und Trainingsalgorithmus des FlowErs-Frameworks. Diese Zusatzdatei enthält die vollständige mathematische Formulierung des vorgeschlagenen FlowErs-Frameworks, einschließlich der kontinuierlichen Flussformulierung (Gleichungen S1–S2), der Wahrscheinlichkeitsflussgleichung (Gleichung S3), des optimalen Flusspfads (Gleichungen S4–S5), des bedingten Fluss-Matching-Trainingsziels (Gleichung S6) sowie der zugehörigen theoretischen Eigenschaften. Die Datei enthält außerdem Algorithmus S1, der den kompletten zweistufigen Trainingsworkflow zusammenfasst, bestehend aus einem unüberwachten Fluss-Matching-Vortraining gefolgt von einer überwachten multimodalen Klassifizierung.

Diskussion

Die vorliegende Studie stellt FlowErs vor, ein multimodales Fernerkundungs-Framework, das die kreuzmodale Merkmalsausrichtung von der semantischen Klassifizierung durch eine zweistufige Lernstrategie trennt. Anstatt heterogene, modalitysspezifische Merkmale direkt zu fusionieren, richtet das vorgeschlagene Framework zunächst die Merkmalsrepräsentationen mithilfe des bedingten Flussabgleichs aus, bevor die multimodale Fusion und Klassifizierung erfolgt. Dieser Ansatz adressiert die langjährige Herausforderung unterschiedlicher heterogener Merkmalsverteilungen zwischen HSI und LiDAR, bei denen Unterschiede in den Erfassungsmechanismen häufig die Wirksamkeit herkömmlicher, auf Verkettung oder Aufmerksamkeit basierender Fusionsstrategien einschränken^{23,26,35,36,37,38,39}. Indem die multimodale Ausrichtung als kontinuierlicher Merkmals-Transport formuliert wird, erweitert FlowErs aktuelle Entwicklungen im Flussabgleich von der generativen Modellierung hin zum multimodalen Lernen von Fernerkundungsrepräsentationen^{15,16,17,18,19,20,21}. Unter den evaluierten Benchmark-Bedingungen erzielte das vorgeschlagene Framework einen konkurrenzfähigen Gesamtklassifizierungsleistung auf den Datensätzen Houston2013, Augsburg und MUUFL, während die begleitende Ablationsstudie zusätzlich den Beitrag des bidirektionalen Flussausrichtungsmoduls zur berichteten Leistung bei festgelegten Datenaufteilungen untermauerte.

Die berichteten Ergebnisse deuten darauf hin, dass eine explizite Merkmalsausrichtung vor der multimodalen Fusion die Kompatibilität heterogener Merkmalsrepräsentationen verbessern kann, die aus verschiedenen Sensormodalitäten extrahiert wurden. Bisherige multimodale Fernerkundungsmethoden stützten sich hauptsächlich auf faltungs-basierte Netzwerke, Architekturen auf Basis von Transformatoren, Attention-Mechanismen, kontrastives Lernen oder durch Prompts gesteuerte Fusion, um die Interaktion der Merkmale zu verstärken^{23,26,35,36,37,38,39}. Obwohl diese Ansätze eine starke Klassifikationsleistung gezeigt haben, gehen die meisten davon aus, dass modalitysspezifische Einbettungen direkt nach der Merkmalsextraktion fusioniert werden können. Im Gegensatz dazu führt FlowErs eine Zwischenstufe zur geometrischen Ausrichtung ein, die modalitysspezifische Merkmale kontinuierlich in einen gemeinsamen latenten Raum überführt, bevor die Klassifikation erfolgt. Die klassenweise Auswertung zeigt, dass die Verbesserungen der Gesamtleistung nicht gleichmäßig auf alle Landnutzungskategorien verteilt waren. Beispielsweise blieben mehrere Minderheitenklassen und spektral ähnliche urbane Kategorien vergleichsweise schwer zu klassifizieren, und die beobachtete Differenz zwischen OA und AA, insbesondere beim Augsburg-Datensatz, spiegelt den Einfluss der Klassenungleichgewichte zusammen mit der variablen Leistung auf Klassenebene wider. Daher sollten die angegebenen aggregierten Metriken stets im Zusammenhang mit den klassenweisen Ergebnissen interpretiert werden, anstatt als Beleg für gleichmäßige Verbesserungen über alle Kategorien hinweg zu gelten.

Die Ablationsexperimente stützen die vorgeschlagene Architektur weiter. Das Entfernen des multimodalen Fluss-Matching-Moduls führte zu einer verringerten Gesamtklassifizierungsleistung über alle drei Benchmark-Datensätze hinweg, während die Variante mit einseitigem Fluss durchgängig zwischen dem vollständigen Modell und dem Modell ohne Flussausrichtung abschnitt. Diese Beobachtungen stimmen mit der Arbeitshypothese überein, dass ein bidirektionaler Merkmalsaustausch die intermodale Korrespondenz vor der Merkmalsfusion unter den evaluierten Benchmark-Bedingungen verbessern könnte. Ebenso zeigte die Flussintegrationsanalyse, dass die intermediäre Diskretisierung der gelernten Transporttrajektorie die höchste Gesamtleistung erzielte, wobei sechs Integrationsschritte den nominalen Betriebspunkt in der vorliegenden Implementierung darstellen. Die Leistungssteigerungen wurden bei zusätzlichen Integrationsschritten marginal oder nahmen leicht ab, was darauf hindeutet, dass eine immer feinere Diskretisierung unter den evaluierten experimentellen Bedingungen abnehmende Erträge liefert. Ob dieser Betriebspunkt auf andere Datensätze, Sensormodalitäten oder Netzwerkarchitekturen übertragbar ist, bleibt zu untersuchen.

Mehrere Einschränkungen sollten bei der Interpretation der vorliegenden Ergebnisse berücksichtigt werden. Erstens beschränkte sich die Evaluierung auf drei öffentlich verfügbare Benchmark-Datensätze mit festen Trainings-/Test-Aufteilungen und einem einzigen Zufallsstartwert. Daher wurden Unsicherheiten bei wiederholten Durchläufen, Konfidenzintervalle, statistische Signifikanztests und die Variabilität zwischen Durchläufen nicht untersucht. Zweitens stammten die verglichenen Methoden aus den jeweiligen Publikationen und wurden nicht innerhalb eines gemeinsamen experimentellen Rahmens neu implementiert; die angegebenen Vergleiche sollten daher deskriptiv verstanden werden und nicht als kontrollierte direkte Wiederholungen. Drittens wurde die Robustheit gegenüber fehlenden Modalitäten, verrauschten Beobachtungen, räumlichen Fehlregistrierungen und der Generalisierung über verschiedene Regionen hinweg nicht untersucht. Außerdem wurden im vorliegenden Studie die exakte Invertierbarkeit, die Erhaltung der Topologie und die physikalische Interpretierbarkeit der gelernten Transformationen nicht empirisch überprüft, obwohl das Flow-Matching einen theoretischen Rahmen für kontinuierlichen und potenziell invertierbaren Merkmals-Transport^15,16,17 bietet. Berechnungsbezogene Eigenschaften wie Inferenzzeit, Speicherverbrauch und die Komplexität der Gleitkommaoperationen wurden ebenfalls nicht separat analysiert.

Alternative Ansätze zur Untersuchung der multimodalen Ausrichtung entwickeln sich weiter. Kürzlich durchgeführte Studien haben kontrastives Lernen, graphbasierte Fusion, Lernverfahren mit niedrigem Rang, durch Prompts gesteuertes multimodales Lernen, föderiertes Lernen sowie hybride faltungs-basierte und Transformer-Architekturen untersucht, um die Integration multimodaler Merkmale zu verbessern^{23,26,27,28,35,36,37,38,39}. Diese Strategien ergänzen sich gegenseitig, anstatt sich auszuschließen, und zukünftige Arbeiten könnten Kombinationen aus expliziten, flussbasierten Merkmalsübertragungen mit diesen bestehenden Paradigmen der Ausrichtung untersuchen. Über die Klassifizierung von Landnutzung hinaus könnte die kontinuierliche Merkmalsausrichtung auch auf verwandte multimodale Fernerkundungsaufgaben anwendbar sein, darunter semantische Segmentierung, Veränderungserkennung, Objekterkennung, Umweltüberwachung, Katastrophenbewertung, Präzisionslandwirtschaft und städtische Kartierung, bei denen komplementäre Sensormodalitäten zunehmend verfügbar sind^{2,3,4,5,6,7,8,9,23}.

Zukünftige Untersuchungen sollten den vorgeschlagenen Rahmen unter vielfältigeren experimentellen Bedingungen evaluieren, indem wiederholte statistische Analysen, computergestützte Profilierung, Robustheit gegenüber fehlenden oder verrauschten Modalitäten, Empfindlichkeit gegenüber räumlichen Registrierungsfehlern sowie die Übertragbarkeit zwischen verschiedenen Regionen einbezogen werden. Weitere Studien, die alternative Parametrisierungen des Flusses, unterschiedliche Encoder-Architekturen und umfangreichere multimodale Benchmark-Datensätze untersuchen, würden die Generalisierbarkeit und praktische Anwendbarkeit der vorgeschlagenen Methodik weiter erhellen. Insgesamt deuten die vorliegenden Ergebnisse darauf hin, dass eine explizite Merkmalsausrichtung mittels bedingter Flussanpassung eine aussichtsreiche ergänzende Strategie für die multimodale Fernerkundungsklassifizierung darstellt und gleichzeitig mehrere Ansatzpunkte für weitere methodische Entwicklungen und umfassende Evaluierungen aufzeigt.

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
AdamW-Optimierer	PyTorch Foundation	In PyTorch enthalten	Wird für die Modell-Optimierung verwendet. PyTorch 2.5.0 wurde verwendet.
Augsburg-Benchmark-Datensatz	Hu J et al. (Earth System Science Data, 2022); Remote Sensing Technology, LMU München	https://doi.org/10.5281/zenodo.7185498	Öffentlicher multimodaler Fernerkundungs-Benchmark-Datensatz, verwendet zur Modellbewertung.
CUDA Toolkit	NVIDIA	CUDA Toolkit 12.4; https://developer.nvidia.com/cuda-12-4-0-download-archive	Wird für GPU-beschleunigtes Modelltraining und -inferenz verwendet.
Graphikprozessor (GPU)	NVIDIA Corporation	NVIDIA A100 80 GB PCIe	Wird für das Modelltraining und die -bewertung verwendet.
Houston2013-Benchmark-Datensatz	IEEE Geoscience and Remote Sensing Society Data Fusion Contest	http://www.grss-ieee.org/community/technical-resources/data-fusion/2013-grss-data-fusion-contest/	Öffentlicher Hyperspektralbild- und LiDAR-Benchmark-Datensatz, verwendet zur Modellbewertung.
MUUFL Gulfport-Benchmark-Datensatz	University of Florida (Gader P et al., Technical Report REP-2013-570)	https://github.com/GatorSense/MUUFLGulfport	Öffentlicher Hyperspektralbild- und LiDAR-Benchmark-Datensatz, verwendet zur Modellbewertung.
Betriebssystem	Canonical Ltd.	Ubuntu 22.04 LTS; https://ubuntu.com	Rechenumgebung, verwendet für die Modellentwicklung, das Training und die Bewertung.
PyTorch	PyTorch Foundation	PyTorch 2.5.0; https://pytorch.org/get-started/previous-versions/#v250	Tiefenlern-Framework, verwendet zur Implementierung, zum Training und zur Bewertung des FlowErs-Modells.
Python	Python Software Foundation	Python 3.11; https://www.python.org/downloads/release/python-3110/	Programmiersprache, verwendet zur Implementierung und Ausführung des rechnerischen Workflows.