连续跨模态矢量场学习用于高光谱与激光雷达地表覆盖分类

摘要

本研究提出了一种用于高光谱与激光雷达土地覆盖分类的两阶段框架，该框架在融合前采用MetaFormer特征提取与双向流匹配实现跨模态对齐。在三个公开基准数据集上的评估结果表明，该方法在固定基准协议下具有竞争力的分类性能。

摘要

多模态遥感分类在城市制图和环境监测等应用中具有重要作用。然而，不同传感模态之间的异质性特征分布可能导致特征错位和语义不一致，从而限制多模态融合的有效性。现有的多模态融合方法，包括卷积方法、基于图的方法、基于注意力的方法、对比学习方法、基于传输的方法以及基于序列的方法，虽能利用互补信息，但在充分对齐模态特异性特征分布方面可能存在不足。本研究提出FlowErs，一种两阶段多模态分类框架，通过多模态流匹配来应对这一挑战。其工作假设是：在特征融合之前减少成对特征分布的差异，可在固定基准协议下提升土地覆盖分类性能。在第一阶段，模态特异的MetaFormer编码器从高光谱成像（HSI）和激光雷达（LiDAR）数据中提取分层表示。随后，一个多模态流匹配模块通过双向均方误差目标函数，学习时间条件下的速度场，将成对的特征分布传输至共享的潜在表示空间。在第二阶段，预训练的对齐模块被复用以对齐多模态表示，随后由一个轻量级融合头执行像素级分类。在三个公开基准数据集上的评估结果表明，在固定划分的基准设置下，整体精度（OA）最高达到97.56%。不同土地覆盖类别间的性能存在差异，本文讨论了类别特异性局限性以及类别不平衡对聚合指标的影响。当前评估仅限于固定划分实验，未进行重复运行的统计分析或计算性能分析。未来工作将探究统计鲁棒性、计算效率以及跨区域泛化能力。

引言

利用遥感影像进行精确的土地利用与土地覆盖（LULC）分类，对于城市规划、环境监测、灾害管理以及可持续发展等众多实际应用至关重要¹。近年来，多模态遥感数据（包括高光谱影像（HSI）、激光雷达（LiDAR）和合成孔径雷达（SAR））的可获取性显著提高，极大地拓展了遥感在细粒度土地覆盖分类方面的能力²。这些传感模态能够捕捉地球表面不同但互补的特征：高光谱影像提供丰富的光谱信息，用于表征地物成分；而激光雷达则提供精确的结构和高程信息³。融合这些异质数据源，相较于单一模态，能够生成更具判别性、抗噪能力更强且语义更全面的特征表示⁴。

然而，多模态数据的有效利用仍然是一个长期存在的挑战⁵。主要难点源于感知模态的固有异质性，这些模态在空间分辨率、噪声特性、统计分布以及特征语义方面存在差异⁶。例如，相同的地表覆盖对象在高光谱图像（HSI）中可能表现为高维光谱特征，而在激光雷达（LiDAR）中则表现为稀疏的几何结构⁷。因此，模态特有的特征通常位于不同的特征流形中，使得直接的特征融合效率低下，甚至可能产生误导。此外，许多现有的多模态融合方法，包括基于卷积、注意力机制和....

方案

本研究 exclusively 使用公开可用的基准数据集（Houston2013、Augsburg 和 MUUFL）进行遥感土地覆盖分类。未涉及人类受试者、动物实验或新采集的生物样本。因此，无需机构伦理审批。

研究概述

所提出的 FlowErs 框架通过两阶段学习策略实现多模态土地覆盖分类。其整体工作流程如图 1A–C所示。该框架包含三个主要组成部分：（i）基于 MetaFormer 的编码器，用于从异构感知模态中提取分层特征表示；（ii）多模态流匹配（MFM）模块，用于显式对齐跨模态特征分布；（iii）轻量级分类头，用于从融合后的特征表示中预测土地覆盖类别。整体工作流程首先提取模态特异性特征，随后通过条件流匹配在共享的潜在空间中对齐这些特征，最终利用对齐后的多模态表示进行像素级土地覆盖分类。

图1：

结果

所提出的FlowErs框架的整体评估工作流程如图所示 图1，总结了两阶段多模态分类策略。基于MetaFormer编码器的模态特异性特征提取过程如图所示 图2，用于评估的三个基准数据集的主要特征总结如下 表1随后在MUUFL、Houston2013和Augsburg基准数据集上，采用总体精度（OA）、平均精度（AA）和Kappa系数对分类性能进行评估。κ在方案部分中定义。

与其他方法的比较

为全面比较所提出的框架，本文纳入了多个基准多模态分类网络。DFINet³²利用深度交叉注意力模块融合高光谱与多光谱信息，并通过多个损失目标增强特征交互。DSHFNet³³引入了一种动态分层融合策略，逐步整合细粒度与粗粒度的表征。MDL-Middle

讨论

本研究提出了FlowErs，一种多模态遥感框架，通过两阶段学习策略将跨模态特征对齐与语义分类分离开来。该框架并未直接融合异构的模态特异性特征，而是在多模态融合与分类之前，首先利用条件流匹配（conditional flow matching）对特征表示进行对齐。这一设计解决了高光谱成像（HSI）与激光雷达（LiDAR）之间长期存在的异构特征分布难题，传统基于拼接或注意力机制的融合策略往往因二者感知机制的差异而受限^{23,26,35,36,37,38,39}。通过将多模态对齐建模为连续特征传输过程，FlowErs将流匹配的最新进展从生成式建模领域拓展至多模态遥感表征学习

材料

本文使用的材料清单

姓名	公司	目录编号	评论
AdamW 优化器	PyTorch 基金会	包含在 PyTorch 中	用于模型优化。使用了 PyTorch 2.5.0 版本。
Augsburg 基准数据集	Hu J 等（Earth System Science Data, 2022）；慕尼黑工业大学遥感技术研究所	https://doi.org/10.5281/zenodo.7185498	公开的多模态遥感基准数据集，用于模型评估。
CUDA 工具包	NVIDIA	CUDA Toolkit 12.4；https://developer.nvidia.com/cuda-12-4-0-download-archive	用于 GPU 加速的模型训练与推理。
图形处理器（GPU）	NVIDIA 公司	NVIDIA A100 80 GB PCIe	用于模型训练与评估。
Houston2013 基准数据集	IEEE 地球科学与遥感学会数据融合竞赛	http://www.grss-ieee.org/community/technical-resources/data-fusion/2013-grss-data-fusion-contest/	公开的高光谱影像与激光雷达基准数据集，用于模型评估。
MUUFL Gulfport 基准数据集	佛罗里达大学（Gader P 等，技术报告 REP-2013-570）	https://github.com/GatorSense/MUUFLGulfport	公开的高光谱影像与激光雷达基准数据集，用于模型评估。
操作系统	Canonical 公司	Ubuntu 22.04 LTS；https://ubuntu.com	用于模型开发、训练与评估的计算环境。
PyTorch	PyTorch 基金会	PyTorch 2.5.0；https://pytorch.org/get-started/previous-versions/#v250	深度学习框架，用于实现、训练与评估 FlowErs 模型。
Python	Python 软件基金会	Python 3.11；https://www.python.org/downloads/release/python-3110/	用于实现与执行计算工作流的编程语言。