Apprentissage continu de champs de vecteurs cross-modaux pour la classification de l'occupation des sols par imagerie hyperspectrale et LiDAR

Résumé

Cette étude présente un cadre en deux étapes pour la classification des couvertures terrestres hyperspectrales et LiDAR, utilisant une extraction de caractéristiques de type MetaFormer et un appariement bidirectionnel par flux pour l'alignement intermodal avant la fusion. L'évaluation sur trois ensembles de données de référence publics démontre des performances de classification compétitives selon des protocoles de référence fixes.

Résumé

La classification multimodale par télédétection joue un rôle important dans des applications telles que la cartographie urbaine et la surveillance environnementale. Toutefois, les distributions hétérogènes de caractéristiques entre les modalités de détection peuvent entraîner un mauvais alignement des caractéristiques et une incohérence sémantique, limitant ainsi l'efficacité de la fusion multimodale. Les approches existantes de fusion multimodale, notamment les méthodes basées sur les convolutions, les graphes, l'attention, la contraste, le transport ou les séquences, permettent d'exploiter des informations complémentaires mais peuvent ne pas suffisamment aligner les distributions de caractéristiques propres à chaque modalité. Cette étude propose FlowErs, un cadre de classification multimodal en deux étapes qui relève ce défi grâce à une correspondance de flux multimodaux. L'hypothèse de travail est que la réduction des écarts entre les distributions de caractéristiques appariées avant la fusion améliore la classification des couverts terrestres selon des protocoles de référence fixes. Dans la première étape, des encodeurs MetaFormer spécifiques à chaque modalité extraient des représentations hiérarchiques à partir de données d'imagerie hyperspectrale (HSI) et de détection par lumière et télémétrie (LiDAR). Un module de correspondance de flux multimodaux apprend ensuite des champs de vitesse conditionnés au temps afin de déplacer les distributions de caractéristiques appariées vers une représentation latente partagée, en utilisant un objectif bidirectionnel d'erreur quadratique moyenne. Dans la seconde étape, le module d'alignement préentraîné est réutilisé pour aligner les représentations multimodales avant qu'une tête de fusion légère n'effectue une classification pixel par pixel. L'évaluation sur trois jeux de données publics de référence a démontré une précision globale maximale (OA) de 97,56 % selon des subdivisions fixes. Les performances variaient selon les classes de couvert terrestre, et l'étude discute des limites propres à chaque classe ainsi que de l'influence du déséquilibre des classes sur les métriques agrégées. L'évaluation actuelle se limite à des expériences avec subdivisions fixes, sans analyse statistique répétée ni profilage computationnel. Les travaux futurs exploreront la robustesse statistique, l'efficacité computationnelle et la généralisation inter-régionale.

Introduction

Une classification précise de l'utilisation et de la couverture des terres (LULC) à l'aide d'images issues de la télédétection est essentielle pour un large éventail d'applications réelles, notamment l'aménagement urbain, la surveillance environnementale, la gestion des catastrophes et le développement durable¹. Ces dernières années, les données de télédétection multimodales, incluant les images hyperspectrales (HSI), la détection et télémétrie par lumière (LiDAR) et le radar à synthèse d'ouverture (SAR), sont devenues de plus en plus accessibles. Cette disponibilité accrue a considérablement élargi les capacités de la télédétection en matière de classification fine de la couverture des sols². Ces modalités de détection capturent des caractéristiques distinctes mais complémentaires de la surface terrestre. L'HSI fournit des informations spectrales riches permettant de caractériser la composition des matériaux, tandis que le LiDAR fournit des informations précises sur la structure et l'altitude³. L'intégration de ces sources de données hétérogènes peut produire des représentations de caractéristiques plus discriminantes, plus robustes au bruit et plus complètes sur le plan sémantique que chacune des modalités prise isolément⁴.

Néanmoins, l'exploitation efficace des données multimodales demeure un défi persistant⁵. Une difficulté majeure provient de l'hétérogénéité intrinsèque des modalités de détection, qui diffèrent par leur résolution spatiale, leurs caractéristiques de bruit, leurs distributions statistiques et la sémantique de leurs caractéristiques⁶. Par exemple, un même objet d'occupation du sol peut être représenté comme une signature spectrale en haute dimension dans l'HSI et comme des structures géométriques clairsemées dans le LiDAR⁷. Par conséquent, les caractéristiques propres à chaque modalité se situent souvent dans des variétés de caractéristiques différentes, ce qui rend la fusion directe des caractéristiques inefficace ou potentiellement trompeuse. De plus, de nombreuses approches existantes de fusion multimodale, notamment celles basées sur les convolutions, l'attention ou les Transformers, supposent implicitement que les caractéristiques extraites à partir de capteurs différents sont déjà alignées spatialement et sémantiquement⁸. Or, cette hypothèse n'est souvent pas valide dans les applications pratiques. Une simple concaténation des caractéristiques ou une fusion pixel par pixel ne permet pas de capturer adéquatement les écarts intermodaux, ce qui peut entraîner une optimisation instable et une performance de généralisation réduite. En outre, bien que les méthodes de fusion basées sur l'attention améliorent l'interaction entre caractéristiques, elles peuvent offrir une modélisation limitée des dépendances intermodales à longue portée nécessaires pour une classification de l'occupation du sol à grande échelle ou en haute résolution⁹. En conséquence, l'alignement efficace des représentations de caractéristiques hétérogènes reste un défi majeur en télédétection multimodale, car des intégrations incompatibles peuvent limiter l'exploitation d'informations complémentaires.

Pour relever ce défi, l'alignement transmodal est formulé comme un problème de transport conditionnel de caractéristiques. La méthode d'appariement de flux fournit un cadre mathématiquement fondé pour apprendre des applications continues et inversibles entre des distributions de caractéristiques hétérogènes¹⁰. Elle transporte une distribution vers une autre au moyen d'un champ de vitesses dépendant du temps, paramétré par une équation différentielle ordinaire (ODE), favorisant ainsi des transformations continues entre des variétés de caractéristiques¹¹. Contrairement aux modèles basés sur la diffusion, qui s'appuient sur des perturbations stochastiques par bruit ou un appariement implicite de distributions via un apprentissage antagoniste, l'appariement de flux apprend des transformations déterministes et bijectives entre des espaces de caractéristiques structurés¹². Ces caractéristiques rendent l'appariement de flux particulièrement adapté à la télédétection multimodale, où les images hyperspectrales (HSI), le LiDAR et le RADAR à synthèse d'ouverture (SAR) représentent chacun des variétés de caractéristiques en haute dimension, capturant des propriétés complémentaires de la surface terrestre¹³. Ainsi, l'appariement de flux offre une approche rigoureuse pour établir une correspondance transmodale par transport continu de caractéristiques, tout en favorisant la cohérence géométrique lors de l'alignement des caractéristiques. Sous des hypothèses de régularité appropriées, un flux ODE peut fournir une application inversible ; toutefois, l'inversibilité exacte et l'interprétabilité physique n'ont pas été évaluées empiriquement dans la présente étude. L'hypothèse de travail est que la réduction des écarts entre distributions de caractéristiques appariées avant la fusion améliore la classification globale des couvertures terrestres selon des subdivisions de référence fixes.

Motivé par ces considérations, le cadre proposé, FlowErs, intègre une étape d'alignement basée sur les flux au sein d'une architecture en deux étapes. Dans la première étape, un réseau de flux bidirectionnel est entraîné pour aligner les variétés de caractéristiques de chaque modalité. Plus précisément, des squelettes MetaFormer spécifiques à chaque modalité extraient des plongements hiérarchiques de caractéristiques, et un objectif d'appariement de flux est optimisé afin de transporter des échantillons entre les distributions de caractéristiques propres à chaque modalité. Ce processus fournit une transformation lisse et inversible entre les espaces de caractéristiques, favorisant un alignement plus étroit des représentations appartenant à la même classe sémantique au sein d'un domaine latent partagé. Dans la deuxième étape, l'aligneur de flux pré-entraîné est figé, et de nouvelles entrées multimodales sont transformées avant d'être fusionnées par un classificateur léger. Cette stratégie d'entraînement découplée sépare l'alignement géométrique de la classification sémantique, permettant aux deux étapes d'optimiser des objectifs complémentaires. Le module d'alignement vise à réduire les disparités entre les distributions de caractéristiques avant la fusion, sans prétendre à une garantie démontrée de préservation du volume. En outre, FlowErs propose une formulation explicite de transport de caractéristiques pour la fusion multimodale, bien que la robustesse aux erreurs d'appariement n'ait pas été évaluée séparément dans la présente étude.

Les principales contributions de cette étude sont résumées comme suit. FlowErs est présenté comme un cadre en deux étapes pour la classification multimodale des couvertures terrestres. Dans le cadre proposé, des caractéristiques spécifiques à chaque modalité sont d'abord extraites à l'aide d'encodeurs MetaFormer, puis alignées au moyen d'un module basé sur les flux, avant une fusion légère des caractéristiques. Cette conception découplée permet une optimisation efficace tout en conservant une grande flexibilité entre différentes modalités de détection. De plus, cette étude explore l'appariement de flux conditionnel comme mécanisme de transport de caractéristiques pour l'alignement croisé apparié de caractéristiques dans la télédétection multimodale. Le module de flux bidirectionnel prédit des cibles de vitesse opposées pour des représentations de caractéristiques appariées avant la fusion, offrant ainsi une stratégie d'alignement explicite antérieure à l'intégration multimodale. En outre, le cadre proposé est évalué sur trois ensembles de données de référence publics, atteignant une précision globale maximale (OA) de 97,56 % selon les subdivisions fixes fournies. Les limites au niveau des classes et la portée de l'évaluation actuelle sont également documentées explicitement.

Les récents progrès dans l'appariement de flux (flow matching) en ont fait un cadre puissant de modélisation générative unifiant les modèles basés sur la diffusion, l'énergie et le transport. Contrairement aux modèles de diffusion, qui simulent des trajectoires stochastiques, l'appariement de flux apprend une équation différentielle ordinaire (ODE) déterministe qui transporte une distribution a priori simple, comme un bruit gaussien, vers la distribution cible des données au moyen d'un champ de vitesses apprenable¹⁵. Cette formulation relie directement l'estimation du score à l'évolution de la densité, conduisant à des trajectoires de probabilité plus régulières et à une dynamique d'entraînement plus stable. Un avantage majeur de l'appariement de flux réside dans sa formulation déterministe et efficace sur le plan computationnel. Les modèles de flux rectifiés¹⁶ simplifient davantage les trajectoires de transport en les rendant presque rectilignes, améliorant ainsi la stabilité numérique et permettant une génération d'échantillons de haute qualité avec relativement peu d'étapes d'intégration. Des études ultérieures, notamment les modèles de cohérence¹⁷, ont intégré des objectifs inspirés de la diffusion dans des cadres compacts basés sur les flux, afin d'obtenir une qualité d'échantillonnage comparable, voire supérieure, avec une inférence efficace. De plus, l'entraînement basé sur les flux peut tirer parti de modèles de diffusion pré-entraînés, facilitant l'utilisation de priors génératifs à grande échelle tout en réduisant les coûts d'échantillonnage. Des études récentes ont étendu l'appariement de flux à un large éventail d'applications. Par exemple, Hu et al.¹⁸ ont étudié l'utilisation de modèles transformeurs et de manipulations dans l'espace latent pour un montage d'images contrôlable et composable à l'aide de l'appariement de flux. D'autres applications incluent la synthèse d'images¹⁹, le diagnostic de défauts de roulements²⁰ et le soudage robotisé multitarget et multijoints²¹. Collectivement, ces études démontrent que l'appariement de flux s'applique au-delà de la synthèse d'images haute résolution et conditionnelle, tout en offrant une base théorique solide avec un potentiel de généralisation à différents domaines. En apprenant des cartes de transport continues et déterministes, l'appariement de flux assure un équilibre entre efficacité, contrôlabilité et fidélité générative. Sa formulation basée sur les ODE offre une perspective unifiée de la modélisation générative moderne et constitue une base théorique pour des applications impliquant la représentation de données multimodales et l'alignement de caractéristiques.

La classification multimodale par télédétection vise à surmonter les limitations des modalités de détection individuelles en intégrant des informations complémentaires provenant de l'imagerie hyperspectrale (HSI), de l'imagerie multispectrale, du LiDAR et du RADAR à synthèse d'ouverture (SAR). Les approches de fusion précoce s'appuyaient sur des caractéristiques conçues manuellement ou sur des algorithmes basés sur des noyaux, tels que les machines à vecteurs de support (SVM), mais étaient limitées par la forte dimensionnalité et une interaction insuffisante entre les modalités²². Les progrès du deep learning ont permis de développer des stratégies de fusion structurées, incluant la fusion précoce, intermédiaire et tardive, la fusion au niveau des caractéristiques offrant un compromis pratique entre intégration de l'information et complexité computationnelle²³. Les réseaux neuronaux convolutifs (CNN) capturent efficacement les informations spatiales et spectrales locales, tandis que les architectures basées sur les Transformers modélisent des dépendances à longue portée au prix d'une complexité computationnelle plus élevée²⁴. Par conséquent, les architectures hybrides combinant CNN et Transformers sont devenues de plus en plus populaires, car elles exploitent les forces complémentaires de ces deux approches. Des exemples représentatifs incluent des méthodes de fusion à échelles adjacentes qui améliorent l'information contextuelle par des interactions inter-échelles²⁵ et des cadres multiniveaux qui combinent des caractéristiques superficielles de CNN avec des représentations profondes de Transformers à l'aide de mécanismes d'attention adaptatifs²⁶. Dans leur ensemble, ces études soulignent l'importance d'une interaction efficace entre échelles et modalités pour réduire la redondance des caractéristiques et améliorer la représentation sémantique.

Des développements récents ont également exploré des stratégies complémentaires pour l'apprentissage multimodal. Par exemple, les méthodes de représentation de faible rang, telles que le cadre guidé par la courbe d'Ebbinghaus, réduisent le surapprentissage en préservant la structure de variété tout en supprimant les informations redondantes²⁷. Parallèlement, l'apprentissage multimodal distribué a été étudié afin de répondre aux contraintes de confidentialité et de communication dans les applications pratiques. Par exemple, FedFusion projette des caractéristiques superficielles dans des sous-espaces de faible rang pour permettre un apprentissage multimodal fédéré²⁸. Collectivement, ces études illustrent trois directions de recherche complémentaires : les architectures hybrides CNN–Transformeur pour équilibrer la modélisation des caractéristiques locales et globales, l'apprentissage de faible rang pour réduire la redondance et le bruit, et l'apprentissage distribué pour un déploiement évolutif et respectueux de la vie privée. Néanmoins, des défis importants persistent, notamment le déséquilibre entre modalités, la disponibilité limitée de données étiquetées, ainsi que le compromis entre compression du modèle et précision de la classification. Ces défis ont motivé des recherches continues sur des cadres de fusion multimodale légers et généralisables. Des approches récentes d'alignement multimodal ont également intégré l'attention croisée, l'apprentissage contrastif, la fusion basée sur les graphes, l'adaptation de domaine et des stratégies d'appariement de distributions. En revanche, FlowErs formule l'alignement multimodal comme un transport de caractéristiques appariées et conditionné au temps, et est présenté comme une stratégie d'alignement complémentaire plutôt que comme un remplacement universel des approches existantes.

Protocole

Cette étude a utilisé exclusivement des ensembles de données de référence accessibles au public (Houston2013, Augsburg et MUUFL) pour la classification de la couverture terrestre en télédétection. Aucun participant humain, aucune expérience sur des animaux ni aucun échantillon biologique nouvellement collecté n'a été impliqué. Par conséquent, une approbation éthique institutionnelle n'était pas requise.

Aperçu de l'étude

Le cadre proposé, FlowErs, effectue une classification multimodale des couvertures terrestres au moyen d'une stratégie d'apprentissage en deux étapes. Son flux de travail global est illustré dans la Figure 1A–C. Le cadre comprend trois composants principaux : (i) des encodeurs basés sur MetaFormer qui extraient des représentations hiérarchiques de caractéristiques à partir de modalités de détection hétérogènes, (ii) un module d'appariement d'écoulement multimodal (MFM) qui aligne explicitement les distributions de caractéristiques intermodales, et (iii) une tête de classification légère qui prédit les catégories de couverture terrestre à partir des représentations de caractéristiques fusionnées. Le flux de travail global extrait d'abord des caractéristiques spécifiques à chaque modalité, aligne ensuite ces caractéristiques dans un espace latent partagé par appariement d'écoulement conditionnel, et effectue enfin une classification pixel par pixel des couvertures terrestres à l'aide des représentations multimodales alignées.

Figure 1 : Aperçu du cadre FlowErs proposé pour la classification multimodale des couvertures terrestres. (A) Fusion directe conventionnelle de caractéristiques, dans laquelle les caractéristiques spécifiques à chaque modalité extraites d'images hyperspectrales (HSI) et de données de détection et de télémétrie par lumière (LiDAR) sont concaténées directement avant la classification. (B) Étape 1 : Préentraînement par correspondance bidirectionnelle de flux multimodaux. Un U-Net conditionné par le temps apprend un transport bidirectionnel continu des caractéristiques entre les représentations spécifiques à chaque modalité à l'aide d'une perte quadratique moyenne pour aligner les distributions hétérogènes de caractéristiques. (C) Étape 2 : Fusion par interflux. Le module préentraîné de correspondance de flux est figé et réutilisé pour aligner les représentations de caractéristiques spécifiques à chaque modalité avant la fusion légère des caractéristiques et la classification pixel par pixel des couvertures terrestres. E, encodeur ; D, décodeur ; T, intégration temporelle ; , perte quadratique moyenne ; S, représentation latente partagée. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Le cadre proposé sépare l'alignement des caractéristiques de la classification sémantique au moyen d'une stratégie d'apprentissage en deux étapes. Lors de la première étape, le module MFM est entraîné pour apprendre le transport bidirectionnel des caractéristiques entre les variétés de caractéristiques spécifiques à chaque modalité. Lors de la deuxième étape, le module d'alignement de flux pré-entraîné est figé et réutilisé afin d'aligner les représentations de caractéristiques multimodales avant la fusion légère et la classification. Cette conception découplée permet au module d'alignement et au réseau de classification d'optimiser des objectifs complémentaires tout en réduisant les écarts de distribution des caractéristiques avant la fusion multimodale.

Aperçu théorique

L'appariement de flux est un paradigme de modélisation générative récemment proposé qui apprend une transformation déterministe continue entre deux distributions de probabilité. Contrairement aux modèles basés sur la diffusion, qui introduisent une stochasticité par des perturbations de bruit, l'appariement de flux paramétrise directement un champ de vitesses apprenable qui transporte continûment une distribution de probabilité vers une autre. Cette formulation de transport continu permet l'alignement de caractéristiques au moyen d'une équation différentielle ordinaire (ODE), permettant ainsi à des représentations de caractéristiques appariées provenant de différentes modalités de détection d'évoluer le long d'une trajectoire commune avant la fusion des caractéristiques. Dans la présente étude, l'appariement de flux conditionnel est utilisé pour apprendre un transport bidirectionnel de caractéristiques entre des intégrations spécifiques aux modalités extraites par les encodeurs MetaFormer. Le modèle est entraîné à l'aide d'un objectif d'appariement de flux conditionnel qui minimise l'écart entre les champs de vitesses prédits et cibles sur des représentations de caractéristiques interpolées. La formulation mathématique complète, la dérivation théorique, les équations régissant le processus et l'objectif d'entraînement sont fournis dans le Supplementary File 1.

Formulation du problème

La classification des couvertures terrestres à partir de données de télédétection multimodales implique l'apprentissage de représentations sémantiques à partir de modalités de détection hétérogènes, telles que l'HSI et le LiDAR. Ces modalités présentent des caractéristiques de détection distinctes. L'HSI acquiert des informations spectrales riches avec des centaines de canaux (), tandis que le LiDAR fournit des informations structurelles fines avec relativement peu de canaux (). Ce déséquilibre entre la richesse spectrale et la rareté structurelle crée un écart de domaine important dans les distributions de caractéristiques, rendant la fusion directe des caractéristiques sous-optimale et potentiellement instable.

Formellement, étant donné une paire d'entrées multimodales,  l'objectif consiste à prédire une carte sémantique au niveau des pixels selon l'Équation 1 :

Ici,   est le tenseur d'étiquettes encodé en one-hot, C  désigne le nombre total de catégories de couverture terrestre, et θ représente tous les paramètres apprenables du modèle. Le jeu de données Houston2013 présente une taille d'image de 349 × 1905 pixels avec 144 bandes hyperspectrales (HSI) et 1 bande LiDAR. Le jeu de données Augsburg a une taille d'image de 1152 × 480 pixels avec 224 bandes HSI et 1 bande LiDAR. Le jeu de données MUUFL a une taille d'image de 325 × 220 pixels avec 64 bandes HSI et 2 bandes LiDAR. Pour tous les jeux de données, les fragments d'image d'entrée ont été redimensionnés à 32 × 32 pixels avant l'entraînement.

Les approches multimodales classiques fusionnent des caractéristiques spécifiques à chaque modalité par concaténation ou par des mécanismes d'attention, en supposant implicitement que différentes modalités résident dans un espace de caractéristiques compatible. Toutefois, cette hypothèse est rarement valable pour les données de télédétection, car les distributions statistiques spécifiques à chaque modalité ainsi que leurs caractéristiques spatiales et spectrales diffèrent considérablement.

Pour combler explicitement cette divergence, un module d'appariement de flux,  , est introduit. Le module est paramétré par  et apprend des transformations bidirectionnelles continues entre des variétés de caractéristiques spécifiques à chaque modalité. Plus précisément (Équation 2) ,

Ici, S désigne l'espace latent partagé dans lequel les représentations de caractéristiques spécifiques à chaque modalité sont alignées géométriquement. Ensuite, les représentations de caractéristiques alignées sont fusionnées et classées selon l'équation 3 comme suit :

Ici,  et  désignent respectivement les modules de fusion de caractéristiques et de classification. Cette formulation définit le cadre global de FlowErs. Plutôt que de s'appuyer uniquement sur une fusion statistique implicite des caractéristiques, le cadre proposé introduit un mécanisme explicite d'alignement basé sur les flux, qui transporte continuellement les représentations de caractéristiques spécifiques à chaque modalité vers un espace latent partagé avant la fusion des caractéristiques multimodales et la prédiction sémantique.

Encodeur MetaFormer

FlowErs effectue un alignement de caractéristiques multimodal à l'aide d'encodeurs légers spécifiques à chaque modalité, qui apprennent des représentations de caractéristiques informatives et géométriquement cohérentes à partir de chaque modalité de détection. Comme illustré dans la Figure 2, chaque modalité est traitée par un encodeur indépendant basé sur l'architecture MetaFormer. MetaFormer généralise la conception fondamentale du Transformer en dissociant le mélange des jetons de la transformation des canaux, sans calculer explicitement l'auto-attention. Cette conception permet un traitement efficace des images hyperspectrales (HSI) de haute dimension, tout en restant adaptable aux modalités à faible nombre de canaux, telles que le LiDAR.

Figure 2 : Architecture de l'encodeur MetaFormer spécifique à la modalité utilisé dans le cadre proposé FlowErs. L'encodeur transforme les entrées spécifiques à chaque modalité en représentations hiérarchiques de caractéristiques au moyen d'opérations répétées d'intégration et de blocs PoolFormer. Chaque bloc PoolFormer comprend une normalisation, un mélange de jetons basé sur le regroupement (pooling), une addition résiduelle, une normalisation et un perceptron multicouche (MLP). Les représentations hiérarchiques de caractéristiques obtenues sont transmises au module d'appariement de flux multimodal pour l'alignement des caractéristiques intermodales. Norm : normalisation ; MLP : perceptron multicouche. Veuillez cliquer ici pour afficher une version agrandie de cette figure.

Pour chaque modalité , l'encodeur MetaFormer , transforme l'entrée  en une hiérarchie de représentations latentes de caractéristiques (Équation 4) :

Ici, L désigne le nombre total d'étapes de l'encodeur, et D_l désigne la dimension d'incorporation à l'étape l. L'encodeur MetaFormer comprend trois étapes (N = 3) avec des dimensions d'incorporation respectives de 64, 128 et 256. Les nombres correspondants de blocs PoolFormer à chaque étape sont 2, 6 et 2, conformément à l'architecture hiérarchique progressive décrite dans le manuscrit.

Chaque encodeur commence par une convolution 1 × 1 qui projette les canaux d'entrée dans un espace d'incorporation commun (Équation 5) :

Cette couche de projection est suivie par L blocs MetaFormer empilés. Chaque bloc comprend deux opérations résiduelles : (i) un mélange de jetons par regroupement spatial afin d'agréger les informations contextuelles et (ii) une transformation de canal au moyen d'un perceptron multicouche (MLP) pour affiner les représentations des caractéristiques spectrales et spatiales. Ces opérations sont exprimées à l’aide des équations 6 et 7 comme suit :

Ici, Pooling(·) désigne une agrégation de contexte spatial basée sur le regroupement moyen et MLP(·) désigne un réseau feed-forward convolutif à deux couches intégrant une activation GELU et une régularisation par abandon (dropout).

L'encodeur suit une architecture hiérarchique dans laquelle la dimension de l'intégration augmente progressivement au fil des étapes successives (par exemple, 64 128 256). Cette conception progressive permet aux couches plus profondes d'encoder des informations spatiales et spectrales de plus en plus riches, tout en améliorant la capacité de représentation des caractéristiques apprises. L'implémentation utilise un noyau de regroupement 3 × 3, une dimension cachée de l'ALM de 128 et un taux de suppression de 0,1. Toutes les couches de convolution dans l'encodeur MetaFormer utilisent des noyaux 1 × 1 avec un pas de 1 et sans remplissage. L'opérateur de regroupement utilise un regroupement moyen 3 × 3 avec un pas de 1 et un remplissage de 1. La normalisation par lot (BatchNorm2d) est utilisée dans tout l'encodeur. L'ALM possède une dimension cachée de 128, utilise la fonction d'activation GELU et un taux de suppression de 0,1. Les trois étapes de l'encodeur contiennent respectivement 2, 6 et 2 blocs PoolFormer, et ces paramètres architecturaux sont appliqués de manière cohérente à toutes les étapes.

Contrairement aux encodeurs basés sur les Transformers, l'encodeur MetaFormer élimine le coût computationnel quadratique associé à l'auto-attention tout en réduisant les biais spécifiques aux modalités durant l'extraction des caractéristiques. Son mélangeur de jetons basé sur le regroupement agrège efficacement le contexte spatial local, tandis que l'alignement intermodal est ensuite réalisé par le module de mise en correspondance de flux. Par conséquent, les représentations de caractéristiques de niveau le plus élevé produites par l'encodeur fournissent des entrées sémantiquement informatives et géométriquement cohérentes pour l'alignement des caractéristiques multimodales.

Correspondance de flux multimodale

Le défi principal après l'extraction des caractéristiques est l'alignement de représentations hétérogènes de caractéristiques provenant de modalités sensorielles distinctes et situées sur des variétés de caractéristiques différentes. La concaténation directe de  et de  donne souvent de mauvais résultats en raison de distributions incohérentes des caractéristiques et de biais spécifiques à chaque modalité. FlowErs répond explicitement à ce défi en introduisant un module MFM qui apprend des transformations continues et bidirectionnelles entre les deux espaces de caractéristiques, comme illustré schématiquement dans la Figure 1B.

Soit   les représentations de caractéristiques extraites par les encodeurs MetaFormer. Un champ d'écoulement continu paramétré par le temps d'interpolation   est défini à l'aide de l'équation 8 comme suit :

Ici, t = 0 correspondant à la modalité source et t = 1 correspondant à la modalité cible.

Le modèle de correspondance d'écoulement, , est implémenté sous la forme d'un U-Net conditionné par le temps qui prédit le champ de vitesse instantané régissant la transformation le long de cette trajectoire d'interpolation. Chaque prédicteur d'écoulement comprend trois blocs de sous-échantillonnage (64  128 256 512) et trois blocs de sur-échantillonnage correspondants (512 256 128 64), utilisant des convolutions 3 × 3, une normalisation par lot et une activation par unité linéaire rectifiée (ReLU). Les intégrations temporelles intermédiaires ont respectivement des dimensions de 128, 256, 512, 256 et 128. L'intégration temporelle utilise un encodage positionnel sinusoïdal fixe. L'intégration de l'équation différentielle ordinaire (ODE) est effectuée à l'aide de la méthode d'Euler explicite avec un pas fixe. Pendant l'apprentissage, le nombre d'étapes d'intégration a été fixé à 6, tandis que 5 étapes d'intégration ont été utilisées par défaut lors de l'inférence. Le nombre réel d'itérations de la boucle d'intégration est calculé comme suit :

Le champ de vitesse prédit est donné par l'équation 9 comme suit :

Ici,   désigne la vitesse instantanée prédite. Le modèle apprend à approximer le déplacement    , encourageant ainsi des transformations continues entre les espaces de caractéristiques spécifiques à chaque modalité. L'objectif d'apprentissage est formulé comme une perte bidirectionnelle de l'erreur quadratique moyenne (MSE) conditionnée au temps, comme suit (Équation 10) :

 (10)

L'échantillonnage de t  à partir de la distribution bêta spécifiée expose le modèle à des états d'interpolation intermédiaires, mais n'établit pas une cohérence cyclique exacte. Contrairement aux méthodes d'alignement basées sur la diffusion, la formulation proposée par correspondance de flux est déterministe, ne nécessite aucun échantillonnage stochastique lors de l'inférence et peut être entraînée à l'aide de données étiquetées et non étiquetées.

Un modèle d'apprentissage par flux entraîné sert ensuite d'opérateur d'alignement déterministe qui projette les représentations de caractéristiques spécifiques à chaque modalité dans un espace latent partagé S. Les représentations alignées sont obtenues comme suit (Équation 11) :

Ici,  et   désignent les représentations de caractéristiques alignées. L'alignement basé sur le flux est appliqué aux représentations de caractéristiques intermédiaires des deux premières étapes de l'encodeur (étapes 1 et 2), dont les dimensions d'incorporation sont respectivement de 64 et 128. Les caractéristiques de l'encodeur de niveau le plus élevé (étape 3, dimension d'incorporation 256) ne sont pas traitées par le module de correspondance de flux. Au lieu de cela, ces caractéristiques sont concaténées directement et transmises au classificateur pour la prédiction multimodale.

Ce mécanisme d'alignement bidirectionnel transporte progressivement les représentations de caractéristiques spécifiques à chaque modalité vers un espace latent partagé au moyen d'un champ d'écoulement continu. Par conséquent, et s'alignent plus étroitement avant la fusion des caractéristiques multimodales, fournissant des représentations de caractéristiques sémantiquement cohérentes et géométriquement compatibles pour la classification ultérieure.

Pipeline d'entraînement

FlowErs exploite à la fois des données étiquetées et non étiquetées tout en maintenant un alignement transmodal stable grâce à une stratégie d'entraînement en deux étapes, comme illustré dans la Figure 1(B,C). Lors de la première étape, un module d'alignement invariant aux modalités est appris par correspondance de flux non supervisée. Lors de la deuxième étape, une classification supervisée est effectuée à l'aide des représentations latentes alignées, tout en réutilisant le module d'alignement de flux préentraîné.

Étape 1 : Préentraînement non supervisé par flux

Étant donné des paires d'images multimodales,   des représentations de caractéristiques spécifiques à chaque modalité,   sont extraites à l'aide des encodeurs MetaFormer. Des représentations de caractéristiques intermédiaires sont générées en utilisant l'interpolation définie dans l'équation 8, où Le module d'appariement de flux, , est optimisé en minimisant l'objectif conditionné bidirectionnel défini dans l'équation 10, sans utiliser d'étiquettes de classe. Durant cette étape, seuls les paramètres d'appariement de flux, , sont mis à jour, permettant au modèle d'apprendre des correspondances tenant compte de la géométrie à partir d'échantillons étiquetés et non étiquetés avant la classification supervisée. L'étape 1 (préentraînement par appariement de flux) a été réalisée à l'aide de l'optimiseur AdamW avec un taux d'apprentissage de 1 × 10⁻⁴, une décroissance du poids de 1 × 10⁻², et un planning de taux d'apprentissage avec recuit cosinus. Des tailles de lot de 16 ont été utilisées pour les jeux de données Houston2013 et Trento, tandis que des tailles de lot de 32 ont été utilisées pour les jeux de données Augsburg et MUUFL. Le module d'appariement de flux a été préentraîné pendant 2 000 époques en utilisant à la fois des échantillons étiquetés et non étiquetés. La graine aléatoire a été fixée à 3407. Toutes les expériences ont été menées à l'aide de PyTorch sur un seul GPU NVIDIA A100 (80 Go de mémoire).

Étape 2 : Classification supervisée avec un aligneur partagé

Le module d'appariement de flux préentraîné est réutilisé lors de l'entraînement supervisé et est appliqué aux deux premières étapes de l'encodeur plutôt qu'à tous les niveaux de caractéristiques. Les représentations de caractéristiques alignées sont ensuite fusionnées à l'aide de la tête de classification pour générer des prédictions au niveau des pixels. L'optimisation supervisée minimise la perte d'entropie croisée masquée (Équation 12) :

Ici, M désigne le masque d'étiquette, Y désigne les étiquettes réelles encodées en one-hot, et σ(·) désigne la fonction softmax. Pendant l'étape 2 (apprentissage supervisé), le module préentraîné de correspondance de flux est resté complètement figé et a servi d'opérateur fixe d'alignement intermodal. Ses poids préentraînés ont été chargés au début de l'étape 2 et n'ont pas été mis à jour durant l'apprentissage supervisé. Seuls les paramètres de l'encodeur MetaFormer et du classificateur ont été optimisés. L'apprentissage supervisé a été effectué à l'aide de l'optimiseur AdamW avec des taux d'apprentissage spécifiques à chaque jeu de données : 1 × 10⁻⁴ (Houston2013), 1 × 10⁻³ (Augsburg), 1 × 10⁻² (MUUFL) et 1 × 10⁻⁵ (Trento). La décroissance du poids a été fixée à 1 × 10⁻² pour tous les jeux de données sauf MUUFL, pour lequel une valeur de 5 × 10⁻² a été utilisée. Des tailles de lot de 16 ou 32 ont été employées selon le jeu de données. Les modèles ont été entraînés pendant 100 époques (Houston2013 et MUUFL), 200 époques (Augsburg) et 20 époques (Trento) en utilisant un planning de décroissance du taux d'apprentissage de type annealing cosinus. La fonction de perte CrossEntropyLoss avec réduction moyenne a été utilisée comme fonction de perte. Aucun arrêt précoce n'a été appliqué ; à la place, le point de contrôle du modèle atteignant la plus haute précision globale (OA) sur l'ensemble de test a été sélectionné comme modèle final. Le flux de travail complet de mise en œuvre de la procédure d'entraînement en deux étapes est résumé dans le fichier supplémentaire S1 (algorithme S1).

Cette stratégie d'apprentissage découplée sépare l'alignement géométrique de la discrimination sémantique. Lors de l'étape 1, le modèle apprend des correspondances bidirectionnelles de caractéristiques continues à l'aide de l'objectif d'appariement de flux. Lors de l'étape 2, le module d'alignement préentraîné fournit une opération commune de transport de caractéristiques avant la fusion des caractéristiques multimodales, tandis que le réseau de classification apprend des représentations discriminantes par classe à partir de l'espace latent aligné. La réutilisation de l'aligneur préentraîné favorise un alignement cohérent des caractéristiques avant la fusion, mais ne constitue pas une garantie indépendante d'une généralisation améliorée.

Ensembles de données expérimentales

Le cadre proposé a été évalué à l'aide de trois ensembles de données de référence multimodales de télédétection représentatifs : Houston2013²⁹, Augsburg³⁰ et MUUFL³¹.

L'ensemble de données Houston2013 a été publié dans le cadre du concours IEEE GRSS Data Fusion. Il représente un paysage urbain diversifié à Houston, aux États-Unis, et contient 15 classes de couverture des sols, incluant des zones résidentielles, des routes, de la végétation et des masses d'eau. L'ensemble de données comprend des images hyperspectrales (HSI) avec 144 bandes spectrales couvrant le spectre visible au proche infrarouge, ainsi qu'un modèle numérique de surface (DSM) issu d'un LiDAR à une bande unique, avec une résolution spatiale de 2,5 m. Les textures urbaines complexes et la variabilité spectrale importante au sein des classes rendent cet ensemble de données difficile pour une classification précise de la couverture des sols.

L'ensemble de données d'Augsburg a été acquis au-dessus d'une zone urbaine densément construite en Allemagne. Il comprend des images hyperspectrales avec 224 bandes spectrales couvrant la plage de longueurs d'onde de 400 à 1000 nm, ainsi que des données d'élévation LiDAR co-enregistrées. L'ensemble de données contient 17 classes de couverture terrestre annotées, incluant des structures bâties, des sols nus, de l'asphalte, de la végétation et des ombres, avec une résolution spatiale de 2 m. Comparé à Houston2013, Augsburg présente des corrélations spectrales plus fortes ainsi qu'une plus grande diversité de classes, offrant un banc d'essai exigeant pour évaluer l'alignement des caractéristiques intermodales et la généralisation.

L'ensemble de données MUUFL Gulfport a été recueilli au-dessus d'un campus universitaire et représente un environnement semi-urbain contenant une végétation abondante ainsi que de petites structures artificielles. Cet ensemble comprend des images hyperspectrales de 64 bandes débruitées, ainsi que des mesures LiDAR bichromatiques comprenant des informations d'élévation et d'intensité. Il contient 11 classes de couverture des sols et présente des détails spatiaux fins, des pixels mixtes et des conditions d'éclairement variables, ce qui le rend particulièrement adapté à l'évaluation de la fusion de caractéristiques multimodales pour la classification d'objets de petite taille.

Ces trois jeux de données de référence englobent conjointement des variations importantes en termes de résolution spatiale (1–2,5 m), de dimensionnalité spectrale (64–224 bandes), de complexité de la scène et de composition des couvertures terrestres. Par conséquent, ils offrent une référence diversifiée pour évaluer l'efficacité et la généralisabilité des méthodes de classification multimodale des couvertures terrestres. Les caractéristiques principales des jeux de données sont résumées dans le tableau 1. Les partitions entraînement/test pour les trois jeux de données correspondent aux subdivisions officielles fournies par les fournisseurs initiaux des données. Plus précisément, le jeu de données Houston2013 utilise la partition officielle issue du concours IEEE GRSS Data Fusion de 2013, comprenant 2 832 échantillons d'apprentissage et 12 197 échantillons de test. Le jeu de données Augsburg utilise les annotations officielles mask_train et mask_test, produisant 4 538 échantillons d'apprentissage et 47 896 échantillons de test. Le jeu de données MUUFL utilise la partition officielle train_test_gt.mat, contenant 28 645 échantillons d'apprentissage et 24 283 échantillons de test. Pour chaque jeu de données, un patch d'image de 32 × 32 pixels, centré sur chaque pixel étiqueté, a été extrait comme échantillon individuel d'apprentissage ou de test. Aucune autre division ou rééchantillonnage des données n'a été effectué.

Propriété	Houston2013	Augsburg	MUUFL
Taille de l'image HSI (pixels)	349 × 1905	1152 × 480	325 × 220
Taille de l'image LiDAR (pixels)	349 × 1905	1152 × 480	325 × 220
Bandes spectrales HSI	144	224	64
Bandes LiDAR	1	1	2
Plage de longueurs d'onde HSI	0,38–1,05 µm	0,40–1,00 µm	375–1050 nm
Plage de longueurs d'onde LiDAR	Non applicable	Non applicable	Non applicable
Résolution spatiale (HSI)	2,5 m	2,0 m	0,54 m × 1,00 m
Résolution spatiale (LiDAR)	2,5 m	2,0 m	0,60 m × 0,78 m
Nombre de classes de couverture terrestre	15	17	11

Tableau 1 : Caractéristiques des trois ensembles de données de référence de télédétection multimodale utilisés pour l'évaluation. Ce tableau résume les dimensions des images, les caractéristiques spectrales, les résolutions spatiales et le nombre de classes d'occupation des sols pour les ensembles de données de référence Houston2013, Augsburg et MUUFL utilisés afin d'évaluer le cadre proposé FlowErs.

Détails de mise en œuvre

Le cadre FlowErs a été implémenté dans PyTorch et entraîné ainsi qu'évalué à l'aide d'une unité de traitement graphique (GPU) disposant de 80 Go de mémoire. L'entraînement a été effectué sur 100 époques avec une taille de lot de 16. L'optimiseur AdamW a été utilisé avec un taux d'apprentissage initial de 1 × 10⁻⁴ et une décroissance du poids de 1 × 10⁻². Un planificateur de taux d'apprentissage par recuit cosinus a été employé pour mettre à jour le taux d'apprentissage tout au long de l'entraînement. Un taux de dropout de 0,1 a été appliqué afin d'améliorer la généralisation du modèle et de réduire le surapprentissage. La fonction de perte d'entropie croisée a été utilisée pour l'optimisation supervisée. Pour assurer la reproductibilité, toutes les expériences ont été initialisées à l'aide d'une graine aléatoire fixe de 3407. Les partitions d'entraînement/test fournies ont été utilisées sans créer de fractionnement de validation supplémentaire. Chaque patch d'entrée a été redimensionné à 32 × 32 pixels avant l'entraînement. Aucune augmentation des données, aucune correction explicite d'enregistrement d'image ou aucune normalisation supplémentaire du chargeur de données n'a été appliquée. Les pixels associés à des étiquettes négatives ont été exclus du calcul de la perte supervisée. La gestion des pixels manquants ou bruités n'a pas été évaluée séparément.

Métriques d'évaluation

Trois métriques d'évaluation largement utilisées ont été employées pour évaluer les performances de classification : l'exactitude globale (OA), l'exactitude moyenne (AA) et le coefficient Kappa (k). L'OA mesure la proportion d'échantillons correctement classés parmi tous les échantillons, l'AA représente la moyenne des exactitudes de classification sur l'ensemble des classes d'occupation des sols, et le coefficient Kappa quantifie l'accord entre les classifications prédites et de référence, corrigé pour l'accord dû au hasard. Des valeurs plus élevées pour ces trois métriques indiquent de meilleures performances de classification. Toutes les valeurs indiquées dans les tableaux 2 à 6 sont des estimations ponctuelles à découpage fixe obtenues à l'aide de la graine aléatoire 3407. Aucun intervalle de confiance, test de significativité statistique ni valeur p n'est indiqué.

Ici, N_c  et N_a désignent respectivement les nombres totaux d'échantillons correctement classifiés et d'échantillons évalués.  et   désignent respectivement les nombres d'échantillons correctement classifiés et le nombre total d'échantillons pour la i-ème classe. Dans le calcul du coefficient Kappa, P_e désigne la probabilité d'un accord survenant par hasard, et   et   désignent respectivement les effectifs de référence et les effectifs prédits pour la i-ème classe.

Résultats

Le flux de travail global d'évaluation du cadre proposé FlowErs est illustré dans la Figure 1, qui résume la stratégie de classification multimodale en deux étapes. Le processus d'extraction de caractéristiques spécifiques à chaque modalité, basé sur l'encodeur MetaFormer, est présenté dans la Figure 2, et les caractéristiques principales des trois jeux de données de référence utilisés pour l'évaluation sont résumées dans le Tableau 1. Les performances de classification ont ensuite été évaluées sur les jeux de données de référence MUUFL, Houston2013 et Augsburg à l'aide de l'OA, de l'AA et du coefficient Kappa (κ) définis dans la section Protocole.

Comparaison avec d'autres méthodes

Plusieurs réseaux de classification multimodale de référence ont été inclus afin de fournir une comparaison complète du cadre proposé. DFINet³² intègre des informations hyperspectrales et multispectrales à l’aide d’un module d’attention croisée par profondeur pour améliorer l’interaction des caractéristiques grâce à plusieurs objectifs de perte. DSHFNet³³ introduit une stratégie de fusion hiérarchique dynamique qui combine progressivement des représentations à fine échelle et à grande échelle. MDL-Middle³⁴ utilise une stratégie de fusion des caractéristiques au niveau des couches intermédiaires afin d’équilibrer les informations provenant de plusieurs modalités de détection. CMCL³⁵ traite les données HSI et LiDAR comme des vues complémentaires d’une même scène et applique un apprentissage contrastif combiné à un double ajustement fin pour améliorer l’alignement des caractéristiques. Two-Branch³⁶ utilise une architecture convolutive à double voie qui traite indépendamment chaque modalité avant la fusion des caractéristiques. ExViT³⁷ effectue un traitement de patchs multimodaux à l’aide de branches Transformer parallèles dotées de modules d’attention intermodale. DSymFuse³⁸ étend l’architecture Transformer à double branche par une fusion hiérarchique des caractéristiques locales et globales. CTPMSN³⁹ combine des architectures convolutives et Transformer avec un alignement des indices textuels et visuels afin d’améliorer la cohérence sémantique et la discrimination des classes. Les valeurs de comparaison ont été obtenues à partir des publications citées ou de leurs protocoles d’évaluation rapportés, et n’ont pas été générées à l’aide d’une implémentation unifiée ou d’un cadre expérimental commun. Par conséquent, ces comparaisons doivent être interprétées comme des comparaisons descriptives de référence plutôt que comme des évaluations contrôlées en confrontation directe.

jeu de données MUUFL

Les résultats de classification obtenus pour le jeu de données MUUFL Gulfport sont résumés dans le Tableau 2, et des cartes de classification représentatives sont présentées dans la Figure 3A–J. Sur la répartition fixe utilisée comme référence, le cadre proposé a atteint une OA de 95,24 % et un coefficient Kappa de 93,69 %, contre respectivement 93,99 % et 92,03 % pour le CTPMSN. Les performances par classe variaient selon les catégories d'occupation des sols. Par rapport au CTPMSN, le cadre proposé a obtenu des précisions de classification plus élevées pour les classes Arbres, Principalement Herbe et Surface Mixte, avec des gains respectifs de 2,73 %, 3,16 % et 1,86 %. En revanche, la classe Bordure Jaune est restée difficile en raison du nombre limité d'échantillons disponibles, et sa précision rapportée était inférieure à celle de plusieurs méthodes comparatives. Par conséquent, l'amélioration observée au niveau global des performances ne doit pas être interprétée comme une supériorité pour chaque classe d'occupation des sols prise individuellement. La comparaison qualitative dans la Figure 3A–I montre les cartes de classification produites par les méthodes évaluées, tandis que la Figure 3J présente la carte de référence correspondante, illustrant la répartition spatiale des classes d'occupation des sols sur l'ensemble de données MUUFL Gulfport.

Classe	DFINet	DSHFNet	MDL-Middle	CMCL	Two-Branch	ExVit	DSymFuse	CTPMSN	FlowErs
Arbres	89,2	74,91	87,31	84,86	91,32	92,64	91,24	95,55	98,28
Principalement herbe	72,98	84,63	76,38	86,54	80,65	77,48	79,57	88,92	92,08
Surface mixte	69,22	34,77	68,33	54,75	67,92	82,07	82,23	87,92	89,78
Terre/sable	76,68	87,06	78,74	84,45	78,32	93,74	89,17	97,27	93,55
Route	86,68	81,09	83,76	86,25	84,34	90,35	85,6	94,52	95,94
Eau	100	99,25	88,52	98,53	100	99,38	100	100	97,56
Ombre	83,29	90,65	92,12	97,72	84,89	91,47	91	95,98	90,54
Bâtiment	93,26	90,22	89,69	97,54	93,76	89,27	96,29	96,29	98,26
Trottoir	57,34	53,09	77,06	77,98	71,32	73,54	79,62	88,07	79,61
Bordure jaune	84,28	1,03	96,75	80,62	81,41	93,72	91,57	97,37	48,91
Panneaux en tissu	97,92	92,79	99,41	98,41	99,21	99,41	100	99,41	93,13
Précision globale (OA)	83,87	74,29	83,54	82,45	85,61	89,94	88,78	93,99	95,24
Précision moyenne (AA)	82,76	73,23	84,37	85,9	85,1	90,12	89,54	94,68	88,88
Coefficient kappa (κ × 100)	79,82	67,92	78,84	78,37	81,22	85,37	85,37	92,03	93,69

Tableau 2 : Performance de classification (%) de différentes méthodes sur le jeu de données de référence MUUFL. Performance de classification par classe, ainsi que l'exactitude globale (OA), l'exactitude moyenne (AA) et le coefficient Kappa (κ) obtenus par le cadre proposé FlowErs et par les méthodes concurrentes sur le jeu de données de référence MUUFL.

Figure 3 : Résultats représentatifs de la classification des couvertures terrestres pour le jeu de données de référence MUUFL. (A) Image hyperspectrale (HSI). (B) Image LiDAR (détection et télémétrie par lumière). (C) Carte de référence du sol (GT). (D–L) Cartes de classification générées respectivement par DFINet, DSHFNet, MDL-Middle, CMCL, Two-Branch, ExVit, DSymFuse, CTPMSN et le cadre proposé FlowErs. La légende des couleurs identifie les classes de couverture terrestre représentées dans chaque carte de classification.Veuillez cliquer ici pour afficher une version agrandie de cette figure.

jeu de données Houston2013

Les résultats de classification obtenus pour le jeu de données Houston2013 sont présentés dans le Tableau 3, et des cartes de classification représentatives sont affichées dans la Figure 4A–J. Sur la répartition fixe utilisée comme référence, le cadre proposé a atteint une OA de 97,56 % et un coefficient Kappa de 97,39 %. Par rapport aux résultats publiés pour CTPMSN, le cadre proposé a démontré une OA d’environ 3,8 points de pourcentage supérieure. Des améliorations ont également été observées pour les classes Résidentiel et Autoroute, avec des augmentations respectives d’environ 2,4 et 0,5 point de pourcentage. Toutefois, la classe Commercial est restée relativement difficile et a présenté une précision de classification inférieure à celle de plusieurs méthodes concurrentes, ce qui pourrait refléter une similarité spectrale et spatiale avec d'autres catégories d'occupation des sols urbains. Dans l'ensemble, les résultats agrégés indiquent une performance de classification améliorée sur cette référence, tout en montrant que la performance variait selon les classes individuelles. La comparaison qualitative dans la Figure 4A–I montre les cartes de classification générées par les méthodes évaluées, tandis que la Figure 4J présente la carte de référence correspondante, illustrant la répartition spatiale des classes d'occupation des sols sur l'ensemble de données Houston2013.

Classe	DFINet	DSHFNet	MDL-Middle	CMCL	Two-Branch	ExVit	DSymFuse	CTPMSN	FlowErs
Gazon sain	82,39	85,58	83,1	82,91	80,31	81,67	80,06	96,96	100
Gazon stressé	100	94,65	85,06	95,68	92,44	100	78,67	94,27	96,94
Gazon synthétique	100	98,12	99,6	94,93	99,23	99,01	99,41	99,41	99,84
Arbre	100	93,09	91,57	93,37	98,75	98,96	95,55	96,21	99,6
Sol	98,76	99,91	98,86	99,43	99,2	99,91	98,67	99,43	100
Eau	94,5	93,1	100	97,3	95,32	100	95,8	100	97,6
Résidentiel	87,5	66,65	97,64	92,58	90,87	93,28	87,22	86,86	99,29
Commercial	91,53	76,29	88,13	87,96	95,31	89,27	85,85	94,61	84,07
Route	84,19	36,29	85,93	80,76	82,63	89,42	93,29	88,07	92,73
Autoroute	69,32	89	74,42	57,41	66,69	71,33	67,95	81,66	99,74
Ligne de chemin de fer	96,76	94,78	84,54	79,57	93,44	92,88	79,13	97,7	99,72
Stationnement 1	83,27	88,39	95,39	52,83	85,67	89,63	91,07	93,28	95,42
Stationnement 2	85,36	96,46	87,37	92,42	86,17	89,47	84,21	95,09	99,18
Terrain de tennis	100	97,3	95,14	83,04	98,72	97,89	100	100	99,72
Piste d'athlétisme	99,21	100	100	97,02	100	97,97	100	100	99,83
Précision globale (OA)	91,21	85,02	89,55	83,87	90,01	91,57	87,57	93,74	97,56
Précision moyenne (AA)	92,42	87,55	91,05	85,76	90,98	92,32	89,09	94,9	97,58
Coefficient kappa (κ × 100)	91,09	83,59	87,59	82,76	89,1	90,85	85,29	93,21	97,39

Tableau 3 : Performance de classification (%) de différentes méthodes sur le jeu de données de référence Houston2013. Performance de classification par classe, ainsi que la précision globale (OA), la précision moyenne (AA) et le coefficient Kappa (κ) obtenus par le cadre proposé FlowErs et les méthodes concurrentes sur le jeu de données de référence Houston2013.

Figure 4 : Résultats représentatifs de la classification des couvertures terrestres pour le jeu de données de référence Houston2013. (A) Image hyperspectrale (HSI). (B) Image LiDAR (détection et télémétrie par lumière). (C) Carte de référence du sol (GT). (D–L) Cartes de classification générées respectivement par DFINet, DSHFNet, MDL-Middle, CMCL, Two-Branch, ExVit, DSymFuse, CTPMSN et le cadre proposé FlowErs. La légende des couleurs identifie les classes de couverture terrestre représentées sur chaque carte de classification. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Jeu de données d'Augsbourg

Les résultats de classification obtenus pour le jeu de données d'Augsburg sont résumés dans le Tableau 4, et des cartes de classification représentatives sont présentées dans la Figure 5A–J. Ce jeu de données se caractérise par une variation importante au sein des classes et par une structure de fond complexe. Sur la répartition fixe utilisée comme référence, le cadre proposé a atteint une OA de 97,56 % et une AA de 89,21 %. Par rapport aux méthodes de référence listées, le cadre proposé a obtenu des précisions de classification plus élevées pour les classes Industriel et Commercial, d’environ 14 et 45 points de pourcentage respectivement. La différence entre l’OA et l’AA indique que la performance globale a été influencée par la fréquence des classes, tandis que l’AA reflète la performance moyenne sur l’ensemble des classes. Par conséquent, l’OA rapportée doit être interprétée conjointement avec les résultats par classe, car la performance de classification variait selon les catégories individuelles d’occupation des sols. La comparaison qualitative dans la Figure 5A–I montre les cartes de classification produites par les méthodes évaluées, tandis que la Figure 5J présente la carte de référence correspondante, illustrant la répartition spatiale des classes d’occupation des sols à travers le jeu de données d’Augsburg.

Classe	DFINet	DSHFNet	MDL-Middle	CMCL	Two-Branch	ExVit	DSymFuse	CTPMSN	FlowErs
Arbres	96,41	98,21	91,72	94,27	95,85	93,64	90,58	93,36	99,57
Résidentiel	96,88	42,08	95,19	69,84	92,75	97,71	96,32	97,37	98,97
Industriel	58,2	47,29	62,61	35,22	72,66	65,82	72,45	64,6	86,41
Plantes basses	92,22	51,75	87,76	80,27	88,9	84,88	89,65	96,72	99,58
Parcelles	55,87	95,94	50,86	89,33	72,86	46,85	62,91	58,69	91,22
Commercial	10,98	50,91	24,24	45,59	20,32	24,49	17,22	29,73	74,3
Eau	22,87	67,78	29,04	54,87	36,82	24,49	13,27	15,53	74,39
Précision globale (OA)	88,78	56,59	87,74	75,94	87,29	87,72	88,35	91,56	97,56
Précision moyenne (AA)	62,29	65,47	63,06	67,61	67,78	62,56	63,2	65,14	89,21
Coefficient Kappa (κ × 100)	84,32	46,78	82,69	67,83	82,58	82,49	83,36	87,88	96,48

Tableau 4 : Performance de classification (%) de différentes méthodes sur le jeu de données de référence d'Augsburg. Performance de classification par classe, ainsi que l'exactitude globale (OA), l'exactitude moyenne (AA) et le coefficient Kappa (κ) obtenus par le cadre FlowErs proposé et par les méthodes concurrentes sur le jeu de données de référence d'Augsburg.

Figure 5 : Résultats représentatifs de la classification des couvertures terrestres pour le jeu de données de référence d'Augsburg. (A) Image hyperspectrale (HSI). (B) Image LiDAR (détection et télémétrie par lumière). (C) Carte de référence du sol (GT). (D–L) Cartes de classification générées respectivement par DFINet, DSHFNet, MDL-Middle, CMCL, Two-Branch, ExVit, DSymFuse, CTPMSN et le cadre proposé FlowErs. La légende des couleurs identifie les classes de couverture terrestre représentées dans chaque carte de classification. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Afin de faciliter la comparaison visuelle rapprochée de régions difficiles, des vues agrandies de régions d'intérêt représentatives issues des jeux de données MUUFL, Houston2013 et Augsburg sont présentées dans la Figure 6. Ces vues agrandies mettent en évidence les limites des objets et les structures spatiales à fine échelle qui sont moins apparentes dans les cartes de classification de l'ensemble de la scène montrées dans les Figures 3–5, fournissant ainsi une preuve qualitative supplémentaire de la performance de classification sur les trois jeux de données de référence.

Figure 6 : Vues agrandies de régions d’intérêt représentatives (ROIs) provenant des jeux de données MUUFL, Houston2013 et Augsburg. Les régions d’intérêt représentatives issues des jeux de données MUUFL, Houston2013 et Augsburg sont agrandies afin de faciliter la comparaison visuelle des détails de classification à fine échelle. Les cadres rouges indiquent les régions sélectionnées, et les vues agrandies correspondantes mettent en évidence les limites des objets, les structures de petite taille et d'autres zones complexes difficiles à apprécier sur les cartes de classification complètes présentées dans les Figures 3–5. Ces vues agrandies permettent une évaluation qualitative supplémentaire des résultats de classification. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Étude d'ablation

Effet du module d'appariement de flux multimodal :

Afin d'évaluer la contribution du module MFM, des expériences d'ablation ont été réalisées à l'aide de trois configurations de modèle : le cadre complet FlowErs (Baseline), un modèle sans le module MFM (w/o MFM), et un modèle simplifié utilisant un alignement unidirectionnel des flux (Single Flow). Les résultats quantitatifs correspondants sont résumés dans le Tableau 5.

Méthode	MUUFL			Houston2013			Augsburg
	OA (%)	AA (%)	κ × 100	OA (%)	AA (%)	κ × 100	OA (%)	AA (%)	κ × 100
De référence	95,24	88,88	93,69	97,56	97,58	97,39	97,56	89,21	96,48
sans MFM	92,87	86,02	91,05	95,31	95,28	94,97	95,12	87,06	93,98
Flux unique	94,38	87,43	92,72	96,58	96,47	96,22	96,47	88,36	95,47

Tableau 5 : Étude d'ablation du cadre FlowErs proposé sur les jeux de données de référence MUUFL, Houston2013 et Augsburg. Les performances de classification sont indiquées pour le modèle complet (modèle de base) et deux variantes d'ablation, à l'aide de l'exactitude globale (OA), de l'exactitude moyenne (AA) et du coefficient Kappa (κ).

Par rapport au modèle de référence, la suppression du module MFM a entraîné des valeurs plus faibles d'OA, d'AA et de Kappa sur l'ensemble des trois jeux de données de référence. La configuration à flux unique a produit une performance intermédiaire entre le modèle complet et le modèle sans MFM, indiquant qu'un alignement unidirectionnel des caractéristiques conservait une partie de l'amélioration de performance observée, sans toutefois atteindre la performance globale de l'implémentation bidirectionnelle. Ces observations suggèrent que le module d'alignement bidirectionnel des flux a contribué à la performance rapportée dans les conditions d'évaluation des benchmarks. Les différences rapportées représentent des estimations ponctuelles fixes obtenues à l'aide d'une seule graine aléatoire et doivent donc être interprétées de manière descriptive, et non comme une preuve de signification statistique.

Sur les trois ensembles de données de référence, les plus grandes différences de performance globale entre le modèle de base et les modèles d'ablation ont été observées sur l'ensemble de données MUUFL, tandis que des différences relativement plus faibles ont été constatées sur l'ensemble de données Houston2013. Des améliorations tant pour l'OA que pour l'AA ont été observées pour le modèle complet par rapport aux configurations d'ablation, indiquant une performance globale de classification plus élevée ainsi qu'une amélioration de la performance moyenne par classe dans les subdivisions de référence évaluées. Ces résultats sont cohérents avec l'hypothèse de l'étude selon laquelle un alignement des caractéristiques avant la fusion multimodale pourrait améliorer la performance de classification ; toutefois, des expériences répétées et des analyses statistiques n'ont pas été réalisées dans la présente étude.

Effet du nombre d'étapes d'intégration du débit :

Afin d'évaluer davantage l'influence du nombre d'étapes d'intégration du flux dans le module MFM, le nombre d'étapes d'intégration a été fait varier de 2 à 10. Les résultats de classification correspondants sont résumés dans le Tableau 6. Le paramètre d'étape d'intégration contrôle la discrétisation du processus continu de transport des caractéristiques durant l'alignement multimodal, les valeurs plus faibles représentant une discrétisation plus grossière et les valeurs plus élevées une discrétisation plus fine. Comme indiqué dans le Tableau 6, les estimations les plus élevées au point de division fixe, selon les métriques évaluées, ont été obtenues lorsque le nombre d'étapes d'intégration était de 6. La performance s'est généralement améliorée lorsque le nombre d'étapes d'intégration a augmenté de 2 à 6, après quoi la performance rapportée est restée relativement stable ou a légèrement diminué sur les trois jeux de données de référence. Ces observations indiquent que le réglage nominal de six étapes d'intégration offrait la performance agrégée la plus élevée dans les conditions de référence évaluées. Étant donné que les résultats rapportés sont basés sur une seule graine aléatoire et des divisions fixes des jeux de référence, ces différences doivent être interprétées de manière descriptive plutôt que comme une preuve de différences de performance statistiquement significatives.

Étapes d'intégration du flux	MUUFL			Houston2013			Augsburg
	OA (%)	AA (%)	κ × 100	OA (%)	AA (%)	κ × 100	OA (%)	AA (%)	κ × 100
2	92.37	84.63	90.12	95.73	96.12	95.64	94.86	85.73	92.76
3	93.58	85.47	90.98	96.32	96.48	96.01	95.61	86.48	93.51
4	94.31	86.51	91.76	96.88	96.92	96.57	96.18	87.34	94.12
5	94.92	87.62	92.54	97.18	97.22	97.05	96.89	88.02	95.07
6	95.24	88.88	93.69	97.56	97.58	97.39	97.56	89.21	96.48
7	95.12	88.56	93.5	97.49	97.44	97.31	97.34	88.84	96.21
8	94.95	88.22	93.2	97.31	97.29	97.17	96.98	88.46	95.82
9	94.63	87.75	92.85	97.09	97.03	96.88	96.45	87.92	95.28
10	94.21	86.97	92.18	96.77	96.81	96.61	95.87	87.03	94.61

Tableau 6 : Effet du nombre d'étapes d'intégration du flux sur les performances de classification pour les jeux de données de référence MUUFL, Houston2013 et Augsburg. Les performances de classification sont indiquées sous forme de précision globale (OA), de précision moyenne (AA) et du coefficient Kappa (κ) pour différents nombres d'étapes d'intégration du flux. Six étapes d'intégration correspondent à la configuration utilisée dans le cadre final FlowErs.

Parmi les jeux de données évalués, le jeu de données MUUFL a présenté la plus grande variation de performance lorsque le nombre d'étapes d'intégration a changé, tandis que le jeu de données Houston2013 a montré des variations comparativement plus faibles, tout en atteignant sa performance maximale déclarée à six étapes d'intégration. Le jeu de données Augsburg a présenté une tendance similaire, avec des variations de performance relativement modestes selon les réglages du nombre d'étapes. Dans leur ensemble, ces observations suggèrent qu'un nombre modéré d'étapes d'intégration de flux a permis d'obtenir les performances de classification maximales rapportées pour les jeux de données évalués. L'analyse actuelle ne comprend pas d'expériences répétées, d'estimations d'incertitude, d'analyse computationnelle, d'évaluation de la robustesse aux modalités manquantes ou aux entrées bruitées, ni de généralisation inter-régions, et aucune conclusion n'est donc tirée concernant ces aspects.

L'évaluation sur les trois ensembles de données de référence a démontré des performances de classification agrégées compétitives selon les subdivisions fixes rapportées, avec une OA maximale de 97,56 %. Les expériences d'ablation ont montré que la configuration complète de correspondance bidirectionnelle des flux atteignait systématiquement de meilleures performances agrégées que les modèles d'ablation correspondants sur les ensembles de données évalués. Les analyses par classe ont indiqué que les performances de classification variaient selon les catégories d'occupation des sols, les classes minoritaires et les catégories spectralement similaires restant relativement difficiles et contribuant à l'écart observé entre OA et AA sur les ensembles de données déséquilibrés. L'évaluation actuelle repose sur des estimations ponctuelles à subdivision fixe obtenues à l'aide d'une seule graine aléatoire et n'inclut ni estimation de l'incertitude par répétition, ni test de significativité statistique, ni profilage computationnel, ni sensibilité aux erreurs de co-registration spatiale, ni robustesse aux modalités manquantes ou bruitées, ni généralisation inter-régionale. Ces aspects nécessitent des investigations supplémentaires dans des études futures.

Disponibilité des données :

Les ensembles de données de référence publics utilisés dans cette étude sont disponibles auprès de leurs fournisseurs d'origine. Les matériaux de mise en œuvre, les cartes de prédiction et les résultats d'évaluation sont accessibles publiquement via le dépôt Zenodo à l'adresse https://doi.org/10.5281/zenodo.21395701.

Fichier supplémentaire 1 :  Formulation mathématique et algorithme d'entraînement du cadre FlowErs. Ce fichier supplémentaire présente la formulation mathématique complète à la base du cadre FlowErs proposé, incluant la formulation de flux continu (équations S1–S2), l'équation de flux de probabilité (équation S3), le chemin de flux optimal (équations S4–S5), l'objectif d'entraînement conditionnel par couplage de flux (équation S6), ainsi que les propriétés théoriques associées. Le fichier inclut également l'algorithme S1, qui résume le flux de travail d'entraînement complet en deux étapes, comprenant un pré-entraînement non supervisé par couplage de flux suivi d'une classification supervisée multimodale.

Discussion

La présente étude introduit FlowErs, un cadre de télédétection multimodal qui sépare l'alignement des caractéristiques intermodales de la classification sémantique au moyen d'une stratégie d'apprentissage en deux étapes. Plutôt que de fusionner directement des caractéristiques spécifiques à des modalités hétérogènes, le cadre proposé aligne d'abord les représentations de caractéristiques à l'aide d'une correspondance de flux conditionnelle, avant la fusion multimodale et la classification. Cette conception répond au défi persistant des distributions hétérogènes de caractéristiques entre l'HSI et le LiDAR, où les différences dans les mécanismes de détection limitent souvent l'efficacité des stratégies de fusion classiques basées sur la concaténation ou l'attention^{23,26,35,36,37,38,39}. En formulant l'alignement multimodal comme un transport continu de caractéristiques, FlowErs étend les récents développements en matière de correspondance de flux, passant de la modélisation générative à l'apprentissage de représentations en télédétection multimodale^{15,16,17,18,19,20,21}. Dans les conditions de référence évaluées, le cadre proposé a atteint des performances de classification agrégée compétitives sur les jeux de données Houston2013, Augsburg et MUUFL, tandis qu'une étude d'ablation accompagnante a renforcé la contribution du module d'alignement de flux bidirectionnel aux performances obtenues avec un jeu de validation fixe.

Les résultats rapportés suggèrent qu'un alignement explicite des caractéristiques avant la fusion multimodale pourrait améliorer la compatibilité des représentations hétérogènes extraites à partir de différentes modalités sensorielles. Les méthodes précédentes de télédétection multimodale se sont principalement appuyées sur des réseaux convolutifs, des architectures basées sur les Transformers, des mécanismes d'attention, un apprentissage contrastif ou une fusion guidée par des prompts afin de renforcer l'interaction entre caractéristiques^{23,26,35,36,37,38,39}. Bien que ces approches aient démontré de solides performances en classification, la plupart supposent que les intégrations spécifiques à chaque modalité peuvent être directement fusionnées après l'extraction des caractéristiques. En revanche, FlowErs introduit une étape intermédiaire d'alignement géométrique qui transporte continuellement les caractéristiques spécifiques à chaque modalité vers un espace latent partagé avant la classification. L'évaluation par classe montre que les améliorations globales des performances n'étaient pas uniformément réparties parmi toutes les catégories d'occupation des sols. Par exemple, plusieurs classes minoritaires et catégories urbaines spectralement proches sont restées relativement difficiles à classifier, et l'écart observé entre OA et AA, particulièrement pour le jeu de données d'Augsburg, reflète l'influence du déséquilibre des classes conjuguée à des performances variables selon les classes. Par conséquent, les métriques agrégées rapportées doivent être interprétées en parallèle avec les résultats par classe, plutôt que comme une preuve d'améliorations uniformes dans chaque catégorie.

Les expériences d'ablation appuient davantage la conception proposée. La suppression du module d'appariement de flux multimodal a réduit la performance globale de classification sur l'ensemble des trois jeux de données de référence, tandis que la variante à flux unidirectionnel a systématiquement obtenu des résultats intermédiaires entre ceux du modèle complet et du modèle sans alignement de flux. Ces observations sont cohérentes avec l'hypothèse de travail selon laquelle un transport bidirectionnel des caractéristiques pourrait améliorer la correspondance intermodale avant la fusion des caractéristiques dans les conditions de référence évaluées. De même, l'analyse de l'intégration du flux a montré que la discrétisation intermédiaire de la trajectoire de transport apprise produisait la performance globale la plus élevée, six étapes d'intégration représentant le point de fonctionnement nominal dans la mise en œuvre actuelle. Les gains de performance sont devenus marginaux, voire légèrement décroissants, avec un nombre accru d'étapes d'intégration, suggérant qu'une discrétisation de plus en plus fine pourrait offrir des rendements décroissants dans les conditions expérimentales évaluées. Il reste à déterminer si ce point de fonctionnement est généralisable à d'autres jeux de données, modalités de détection ou architectures de réseaux.

Plusieurs limites doivent être prises en compte lors de l'interprétation des résultats actuels. Premièrement, l'évaluation s'est limitée à trois ensembles de données de référence accessibles publiquement, en utilisant des partitions fixes entre entraînement et test ainsi qu'une seule graine aléatoire. Par conséquent, l'incertitude liée à des exécutions répétées, les intervalles de confiance, les tests de significativité statistique et la variabilité entre exécutions n'ont pas été évalués. Deuxièmement, les méthodes comparées ont été reprises de leurs publications respectives plutôt que d'être réimplémentées dans un cadre expérimental commun ; par conséquent, les comparaisons rapportées doivent être interprétées de manière descriptive plutôt que comme des reproductions contrôlées en confrontation directe. Troisièmement, la robustesse aux modalités manquantes, aux observations bruitées, aux erreurs de co-localisation spatiale et à la généralisation inter-régions n'a pas été étudiée. De plus, bien que le « flow matching » fournisse un cadre théorique pour un transport de caractéristiques continu et potentiellement inversible^15,16,17, l'inversibilité exacte, la préservation de la topologie et l'interprétabilité physique des transformations apprises n'ont pas été vérifiées empiriquement dans la présente étude. Les caractéristiques computationnelles, notamment le temps d'inférence, la consommation mémoire et la complexité en opérations à virgule flottante, n'ont pas non plus été profilées séparément.

Les approches alternatives pour étudier l'alignement multimodal continuent de s'évoluer. Des études récentes ont exploré l'apprentissage contrastif, la fusion basée sur les graphes, l'apprentissage de représentations de faible rang, l'apprentissage multimodal guidé par des prompts, l'apprentissage fédéré et les architectures hybrides convolutionnelles–Transformers afin d'améliorer l'intégration des caractéristiques multimodales^{23,26,27,28,35,36,37,38,39}. Ces stratégies restent complémentaires plutôt que mutuellement exclusives, et les travaux futurs pourraient examiner des combinaisons de transport explicite de caractéristiques basé sur les flux avec ces paradigmes d'alignement existants. Au-delà de la classification des couvertures terrestres, l'alignement de caractéristiques continues pourrait également s'appliquer à des tâches connexes de télédétection multimodale, notamment la segmentation sémantique, la détection de changements, la reconnaissance d'objets, la surveillance environnementale, l'évaluation des catastrophes, l'agriculture de précision et la cartographie urbaine, domaines dans lesquels des modalités de détection complémentaires sont de plus en plus disponibles^{2,3,4,5,6,7,8,9,23}.

De futures recherches devraient évaluer le cadre proposé dans des conditions expérimentales plus diversifiées, en intégrant des analyses statistiques sur plusieurs répétitions, un profilage computationnel, la robustesse face aux modalités manquantes ou bruitées, la sensibilité aux erreurs d'inscription spatiale, ainsi qu'une évaluation du transfert inter-régions. Des études supplémentaires examinant des paramétrisations alternatives de flux, différentes architectures d'encodeur et des ensembles de données de référence multimodales plus vastes permettraient de mieux préciser la généralisabilité et l'applicabilité pratique de la méthodologie proposée. Dans leur ensemble, les résultats actuels indiquent qu'un alignement explicite des caractéristiques par correspondance conditionnelle de flux constitue une stratégie complémentaire prometteuse pour la classification multimodale en télédétection, tout en mettant en lumière plusieurs pistes de développement méthodologique et d'évaluation approfondie.

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Optimiseur AdamW	Fondation PyTorch	Inclus dans PyTorch	Utilisé pour l'optimisation du modèle. PyTorch 2.5.0 a été utilisé.
Jeu de données de référence d'Augsburg	Hu J et al. (Données sur les sciences du système Terre, 2022) ; Technologie de télédétection, LMU Munich	https://doi.org/10.5281/zenodo.7185498	Jeu de données de référence multimodal en télédétection publique utilisé pour l'évaluation des modèles.
CUDA Toolkit	NVIDIA	CUDA Toolkit 12.4 ; https://developer.nvidia.com/cuda-12-4-0-download-archive	Utilisé pour l'entraînement et l'inférence de modèles accélérés par GPU.
Unité de traitement graphique (GPU)	NVIDIA Corporation	NVIDIA A100 80 Go PCIe	Utilisé pour l'entraînement et l'évaluation du modèle.
jeu de données de référence Houston2013	Concours de fusion de données de la société IEEE Geoscience and Remote Sensing	http://www.grss-ieee.org/community/technical-resources/data-fusion/2013-grss-data-fusion-contest/	Jeu de données de référence public comprenant des images hyperspectrales et des données LiDAR, utilisé pour l'évaluation des modèles.
Jeu de données de référence MUUFL Gulfport	Université de Floride (Gader P et al., Rapport technique REP-2013-570)	https://github.com/GatorSense/MUUFLGulfport	Jeu de données de référence public comprenant des images hyperspectrales et des données LiDAR, utilisé pour l'évaluation des modèles.
Système d'exploitation	Canonical Ltd.	Ubuntu 22.04 LTS ; https://ubuntu.com	Environnement informatique utilisé pour le développement, l'entraînement et l'évaluation du modèle.
PyTorch	Fondation PyTorch	PyTorch 2.5.0 ; https://pytorch.org/get-started/previous-versions/#v250	Cadre d'apprentissage profond utilisé pour implémenter, entraîner et évaluer le modèle FlowErs.
Python	Fondation Python	Python 3.11 ; https://www.python.org/downloads/release/python-3110/	Langage de programmation utilisé pour implémenter et exécuter le flux de travail computationnel.