Apprendimento continuo di campi vettoriali cross-modali per la classificazione della copertura del suolo tramite dati iperspettrali e LiDAR

Sommario

Questo studio presenta un framework a due stadi per la classificazione del land-cover basato su dati iperspettrali e LiDAR, che utilizza l'estrazione di caratteristiche mediante MetaFormer e un allineamento incrociato multimodale basato sul flusso bidirezionale prima della fusione. La valutazione su tre dataset pubblici di riferimento dimostra prestazioni competitive nella classificazione secondo protocolli di benchmark fissati.

Abstract

La classificazione multimodale mediante telerilevamento svolge un ruolo importante in applicazioni come la mappatura urbana e il monitoraggio ambientale. Tuttavia, le distribuzioni eterogenee delle caratteristiche tra le diverse modalità di rilevamento possono causare un allineamento improprio delle caratteristiche e un'incoerenza semantica, limitando l'efficacia della fusione multimodale. Gli approcci esistenti per la fusione multimodale, inclusi metodi basati su convoluzione, su grafi, su meccanismi di attenzione, contrastivi, orientati al trasporto e basati su sequenze, possono sfruttare informazioni complementari ma potrebbero non allineare adeguatamente le distribuzioni delle caratteristiche specifiche di ciascuna modalità. Questo studio propone FlowErs, un framework per la classificazione multimodale in due fasi che affronta questa sfida attraverso l'abbinamento di flussi multimodali. L'ipotesi operativa è che ridurre le discrepanze tra le distribuzioni delle caratteristiche associate prima della fusione delle caratteristiche migliori la classificazione del land-cover secondo protocolli di benchmark fissi. Nella prima fase, encoder MetaFormer specifici per ciascuna modalità estraggono rappresentazioni gerarchiche da dati di imaging iperspettrale (HSI) e di rilevamento luminoso e telemetria (LiDAR). Un modulo di abbinamento di flussi multimodali impara quindi campi di velocità condizionati al tempo per trasportare le distribuzioni delle caratteristiche associate verso una rappresentazione latente condivisa, utilizzando un obiettivo bidirezionale basato sull'errore quadratico medio. Nella seconda fase, il modulo di allineamento preaddestrato viene riutilizzato per allineare le rappresentazioni multimodali prima che una testa di fusione leggera esegua la classificazione pixel per pixel. La valutazione su tre dataset pubblici di benchmark ha dimostrato un'accuratezza complessiva massima (OA) del 97,56% con suddivisioni fisse del benchmark. Le prestazioni sono variate tra le singole classi di land-cover, e lo studio discute le limitazioni specifiche per classe e l'influenza dello squilibrio tra classi sulle metriche aggregate. L'attuale valutazione è limitata a esperimenti con suddivisioni fisse, senza analisi statistica ripetuta né profili computazionali. Lavori futuri indagheranno la robustezza statistica, l'efficienza computazionale e la generalizzazione su diverse regioni.

Introduzione

Una classificazione precisa dell'uso e del tipo di copertura del suolo (LULC) mediante immagini telerilevate è fondamentale per un'ampia gamma di applicazioni pratiche, tra cui lo sviluppo urbano, il monitoraggio ambientale, la gestione dei disastri e lo sviluppo sostenibile¹. Negli ultimi anni, i dati telerilevati multimodali, inclusi quelli da immagini iperspettrali (HSI), da rilevamento luminoso e da misurazione della distanza (LiDAR) e da radar a sintesi d'apertura (SAR), sono diventati sempre più disponibili. Questa maggiore disponibilità ha ampliato notevolmente le capacità del telerilevamento per la classificazione dettagliata della copertura del suolo². Queste modalità di rilevamento acquisiscono caratteristiche distinte ma complementari della superficie terrestre. L'HSI fornisce informazioni spettrali ricche per la caratterizzazione della composizione dei materiali, mentre il LiDAR fornisce informazioni strutturali ed altimetriche accurate³. L'integrazione di queste fonti di dati eterogenee può produrre rappresentazioni di caratteristiche più discriminanti, tolleranti al rumore e semanticamente più complete rispetto a quelle ottenibili con ciascuna singola modalità⁴.

Tuttavia, lo sfruttamento efficace dei dati multimodali rimane una sfida di lunga data⁵. Una difficoltà principale deriva dall'eterogeneità intrinseca delle modalità sensoriali, che differiscono per risoluzione spaziale, caratteristiche del rumore, distribuzioni statistiche e semantica delle caratteristiche⁶. Ad esempio, lo stesso oggetto di copertura del suolo può essere rappresentato come una firma spettrale ad alta dimensionalità nell'HSI e come strutture geometriche sparse nel LiDAR⁷. Di conseguenza, le caratteristiche specifiche di ciascuna modalità risiedono spesso in varietà di caratteristiche diverse, rendendo inefficiente o potenzialmente fuorviante la fusione diretta delle caratteristiche. Inoltre, molti approcci esistenti di fusione multimodale, inclusi metodi basati su convoluzione, attenzione e Transformer, assumono implicitamente che le caratteristiche estratte da sensori diversi siano già allineate spazialmente e semanticamente⁸. Tuttavia, tale assunzione spesso non è valida nelle applicazioni pratiche. Una semplice concatenazione delle caratteristiche o una fusione pixel per pixel non riesce a catturare adeguatamente le discrepanze intermodali, con il rischio di un'ottimizzazione instabile e di una ridotta capacità di generalizzazione. Inoltre, sebbene i metodi di fusione basati sull'attenzione migliorino l'interazione tra caratteristiche, potrebbero offrire una modellizzazione limitata delle dipendenze intermodali a lungo raggio necessarie per la classificazione della copertura del suolo su larga scala o ad alta risoluzione⁹. Di conseguenza, l'allineamento efficace delle rappresentazioni eterogenee delle caratteristiche rimane una sfida fondamentale nel telerilevamento multimodale, poiché embedding incompatibili possono limitare l'integrazione di informazioni complementari.

Per affrontare questa sfida, l'allineamento multimodale viene formulato come un problema di trasporto di caratteristiche condizionale. Il flow matching fornisce un quadro matematicamente fondato per apprendere mappe continue e invertibili tra distribuzioni di caratteristiche eterogenee¹⁰. Esso trasporta una distribuzione verso un’altra attraverso un campo di velocità dipendente dal tempo, parametrizzato da un’equazione differenziale ordinaria (ODE), promuovendo così trasformazioni continue tra varietà di caratteristiche¹¹. A differenza dei modelli basati sulla diffusione, che si affidano a perturbazioni stocastiche di rumore o al confronto implicito delle distribuzioni tramite addestramento avversario, il flow matching apprende trasformazioni deterministiche e biunivoche tra spazi strutturati di caratteristiche¹². Queste caratteristiche rendono il flow matching particolarmente adatto al telerilevamento multimodale, in cui HSI, LiDAR e SAR rappresentano ciascuno varietà di caratteristiche ad alta dimensione che catturano proprietà complementari della superficie terrestre¹³. Di conseguenza, il flow matching offre un approccio rigoroso per stabilire corrispondenze tra modalità diverse mediante il trasporto continuo di caratteristiche, promuovendo al contempo la coerenza geometrica durante l’allineamento delle caratteristiche. Sotto appropriate ipotesi di regolarità, un flusso ODE può fornire una mappa invertibile; tuttavia, l’invertibilità esatta e l’interpretabilità fisica non sono state valutate empiricamente nel presente studio. L’ipotesi di lavoro è che ridurre le discrepanze tra distribuzioni di caratteristiche accoppiate prima della fusione delle caratteristiche migliori la classificazione complessiva del tipo di copertura del suolo in scenari di benchmark fissati.

Motivati da queste considerazioni, il framework proposto, FlowErs, incorpora una fase di allineamento basata sui flussi all'interno di un'architettura a due stadi. Nel primo stadio, una rete bidirezionale di flussi viene addestrata per allineare le varietà di caratteristiche di ciascuna modalità. In particolare, architetture MetaFormer specifiche per ogni modalità estraggono rappresentazioni gerarchiche delle caratteristiche, e un obiettivo di corrispondenza del flusso viene ottimizzato per trasportare campioni tra le distribuzioni di caratteristiche specifiche per modalità. Questo processo fornisce una trasformazione liscia e invertibile tra gli spazi delle caratteristiche, favorendo un allineamento più stretto delle rappresentazioni appartenenti alla stessa classe semantica all'interno di un dominio latente condiviso. Nel secondo stadio, l'allineatore di flusso preaddestrato viene bloccato e nuovi ingressi multimodali vengono trasformati prima di essere fusi da un classificatore leggero. Questa strategia di addestramento disaccoppiata separa l'allineamento geometrico dalla classificazione semantica, consentendo ai due stadi di ottimizzare obiettivi complementari. Il modulo di allineamento ha lo scopo di ridurre le discrepanze tra le distribuzioni delle caratteristiche prima della fusione delle caratteristiche e non afferma una garanzia dimostrata di conservazione del volume. Inoltre, FlowErs fornisce una formulazione esplicita per il trasporto delle caratteristiche nella fusione multimodale, sebbene la robustezza agli errori di registrazione non sia stata valutata separatamente nel presente studio.

I principali contributi di questo studio sono riassunti come segue. Viene introdotto FlowErs come un framework in due fasi per la classificazione multimodale del land-cover. Nel framework proposto, le caratteristiche specifiche di ciascuna modalità vengono innanzitutto estratte utilizzando encoder di tipo MetaFormer e successivamente allineate attraverso un modulo basato sui flussi, prima di una fusione leggera delle caratteristiche. Questo design disaccoppiato supporta un'ottimizzazione efficiente mantenendo al contempo flessibilità tra diverse modalità di rilevamento. Inoltre, questo studio analizza il conditional flow matching come meccanismo di trasporto delle caratteristiche per l'allineamento incrociato di coppie di caratteristiche multimodali nel telerilevamento. Il modulo di flusso bidirezionale predice obiettivi di velocità opposti per le rappresentazioni in coppia delle caratteristiche prima della fusione, fornendo così una strategia esplicita di allineamento precedente all'integrazione multimodale. Inoltre, il framework proposto viene valutato su tre dataset pubblici di riferimento, raggiungendo un'accuratezza complessiva massima (OA) del 97,56% nei fissi suddivisori di benchmark forniti. Vengono inoltre documentati esplicitamente i limiti a livello di classe e l'ambito della valutazione attuale.

I recenti progressi nel campo del flow matching lo hanno affermato come un potente framework per la modellazione generativa, in grado di unificare modelli basati su diffusione, energia e trasporto. A differenza dei modelli a diffusione, che simulano traiettorie stocastiche, il flow matching apprende un'ODE deterministica che trasporta una semplice distribuzione a priori, come un rumore gaussiano, verso la distribuzione dei dati target attraverso un campo di velocità apprendibile¹⁵. Questa formulazione collega direttamente la stima del punteggio (score) all'evoluzione della densità, producendo traiettorie probabilistiche più lisce e una dinamica di addestramento più stabile. Un vantaggio fondamentale del flow matching è la sua formulazione deterministica ed efficiente dal punto di vista computazionale. I modelli a flusso rettificato¹⁶ semplificano ulteriormente le traiettorie di trasporto rendendole quasi lineari, migliorando la stabilità numerica e permettendo la generazione di campioni di alta qualità con un numero relativamente ridotto di passi di integrazione. Studi successivi, tra cui i modelli di coerenza (consistency models)¹⁷, hanno integrato obiettivi ispirati alla diffusione in architetture compatte basate sul flusso, ottenendo una qualità del campionamento paragonabile o migliore con un'inferenza efficiente. Inoltre, l'addestramento basato sul flusso può sfruttare architetture preaddestrate di tipo diffusivo, facilitando l'uso di priori generativi su larga scala riducendo al contempo i costi di campionamento. Ricerche recenti hanno esteso il flow matching a un'ampia gamma di applicazioni. Ad esempio, Hu et al.¹⁸ hanno studiato architetture transformer e manipolazioni nello spazio latente per un editing di immagini controllabile e componibile mediante flow matching. Altre applicazioni includono la sintesi di immagini¹⁹, la diagnostica dei guasti nei cuscinetti²⁰ e la saldatura robotica multimateriale e multigiunto²¹. Nel complesso, questi studi dimostrano che il flow matching è applicabile non solo alla sintesi di immagini ad alta risoluzione e condizionata, ma offre anche una solida base teorica con potenziale di generalizzazione a diversi domini. Apprendendo mappe di trasporto continue e deterministiche, il flow matching garantisce un equilibrio tra efficienza, controllabilità e fedeltà generativa. La sua formulazione basata su ODE fornisce una visione unificata della modellazione generativa moderna e costituisce una base teorica per applicazioni che coinvolgono la rappresentazione di dati multimodali e l'allineamento delle caratteristiche.

La classificazione multimodale tramite telerilevamento mira a superare i limiti delle singole modalità di rilevamento integrando informazioni complementari provenienti da HSI, immagini multispettrali, LiDAR e SAR. Gli approcci di fusione precoce si basavano su caratteristiche progettate manualmente o su algoritmi basati su kernel, come le macchine a vettori di supporto (SVM), ma erano limitati dall'elevata dimensionalità e da un'interazione insufficiente tra le modalitಲ. I progressi nell'apprendimento profondo hanno reso possibili strategie di fusione strutturate, comprese la fusione precoce, intermedia e tardiva, con la fusione a livello di caratteristiche che offre un equilibrio pratico tra integrazione delle informazioni e complessità computazionale²³. Le reti neurali convoluzionali (CNN) catturano efficacemente informazioni spaziali e spettrali locali, mentre le architetture basate su Transformer modellano dipendenze a lungo raggio a un costo computazionale maggiore²⁴. Di conseguenza, le architetture ibride CNN–Transformer sono diventate sempre più popolari poiché combinano i punti di forza complementari di entrambi gli approcci. Esempi rappresentativi includono metodi di fusione a scale adiacenti che potenziano le informazioni contestuali attraverso interazioni tra scale diverse²⁵ e framework multilivello che combinano caratteristiche CNN superficiali con rappresentazioni profonde basate su Transformer mediante meccanismi di attenzione adattivi²⁶. Nel complesso, questi studi evidenziano l'importanza di un'efficace interazione tra scale e modalità diverse per ridurre la ridondanza delle caratteristiche e migliorare la rappresentazione semantica.

Sviluppi recenti hanno inoltre esplorato strategie complementari per l'apprendimento multimodale. Ad esempio, metodi di rappresentazione a rango ridotto, come il framework guidato dalla curva di Ebbinghaus, riducono l'overfitting preservando la struttura della varietà mentre sopprimono informazioni ridondanti²⁷. Parallelamente, è stato studiato l'apprendimento multimodale distribuito per affrontare vincoli di privacy e comunicazione nelle applicazioni pratiche. Ad esempio, FedFusion proietta caratteristiche superficiali in sottospazi a rango ridotto per consentire l'apprendimento multimodale federato²⁸. Nel complesso, questi studi illustrano tre direzioni di ricerca complementari: architetture ibride CNN–Transformer per bilanciare la modellizzazione delle caratteristiche locali e globali, apprendimento a rango ridotto per ridurre ridondanza e rumore, e apprendimento distribuito per un'implementazione scalabile e riservata. Tuttavia, permangono sfide importanti, tra cui lo squilibrio tra modalità, la limitata disponibilità di dati etichettati e il compromesso tra compressione del modello e accuratezza della classificazione. Queste sfide hanno motivato ulteriori ricerche su framework di fusione multimodale leggeri e generalizzabili. Approcci recenti di allineamento multimodale hanno inoltre incorporato attenzione incrociata, apprendimento contrastivo, fusione basata su grafi, adattamento del dominio e strategie di abbinamento delle distribuzioni. Al contrario, FlowErs formula l'allineamento multimodale come un trasporto di caratteristiche accoppiate e condizionato al tempo, ed è presentato come una strategia di allineamento complementare piuttosto che come una sostituzione universale degli approcci esistenti.

Protocollo

Questo studio ha utilizzato esclusivamente set di dati di riferimento disponibili pubblicamente (Houston2013, Augsburg e MUUFL) per la classificazione del land-cover mediante telerilevamento. Non sono stati coinvolti partecipanti umani, esperimenti su animali o campioni biologici appena raccolti. Pertanto, non è stata richiesta l'approvazione etica da parte dell'istituto.

Panoramica dello studio

Il framework proposto FlowErs esegue la classificazione multimodale del land-cover attraverso una strategia di apprendimento in due fasi. Il flusso di lavoro complessivo è illustrato in Figura 1A–C. Il framework comprende tre componenti principali: (i) encoder basati su MetaFormer che estraggono rappresentazioni gerarchiche delle caratteristiche da modalità sensoriali eterogenee, (ii) un modulo di corrispondenza del flusso multimodale (MFM) che allinea esplicitamente le distribuzioni delle caratteristiche intermodali e (iii) un head di classificazione leggero che predice le categorie di land-cover a partire dalle rappresentazioni delle caratteristiche fuse. Il flusso di lavoro complessivo estrae innanzitutto caratteristiche specifiche per ogni modalità, successivamente allinea tali caratteristiche all'interno di uno spazio latente condiviso mediante corrispondenza del flusso condizionale e infine esegue la classificazione del land-cover a livello di pixel utilizzando le rappresentazioni multimodali allineate.

Figura 1: Panoramica del framework FlowErs proposto per la classificazione multimodale del land-cover. (A) Fusione diretta convenzionale di caratteristiche, in cui le caratteristiche specifiche della modalità estratte da immagini iperspettrali (HSI) e dati di rilevamento luminoso e distanza (LiDAR) vengono concatenate direttamente prima della classificazione. (B) Fase 1: Pre-addestramento bidirezionale con abbinamento del flusso multimodale. Una U-Net condizionata al tempo apprende il trasporto continuo bidirezionale tra rappresentazioni di caratteristiche specifiche della modalità utilizzando una perdita del tipo errore quadratico medio per allineare distribuzioni di caratteristiche eterogenee. (C) Fase 2: Fusione Interflow. Il modulo pre-addestrato per l'abbinamento del flusso viene congelato e riutilizzato per allineare le rappresentazioni di caratteristiche specifiche della modalità prima della fusione leggera delle caratteristiche e della classificazione del land-cover a livello di pixel. E, encoder; D, decoder; T, embedding temporale; , perdita del tipo errore quadratico medio; S, rappresentazione latente condivisa. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Il framework proposto separa l'allineamento delle caratteristiche dalla classificazione semantica attraverso una strategia di addestramento in due fasi. Nella prima fase, il modulo MFM viene addestrato per apprendere il trasporto bidirezionale delle caratteristiche tra varietà di caratteristiche specifiche per ciascuna modalità. Nella seconda fase, il modulo di allineamento preaddestrato viene bloccato e riutilizzato per allineare le rappresentazioni delle caratteristiche multimodali prima della fusione leggera e della classificazione. Questo design disaccoppiato consente al modulo di allineamento e alla rete di classificazione di ottimizzare obiettivi complementari riducendo al contempo le discrepanze nella distribuzione delle caratteristiche prima della fusione multimodale.

Panoramica teorica

L'abbinamento di flusso è un paradigma di modellazione generativa recentemente proposto che apprende una trasformazione deterministica continua tra due distribuzioni di probabilità. A differenza dei modelli basati sulla diffusione, che introducono stocasticità attraverso perturbazioni di rumore, l'abbinamento di flusso parametrizza direttamente un campo di velocità apprendibile che trasporta in modo continuo una distribuzione di probabilità verso un'altra. Questa formulazione di trasporto continuo consente l'allineamento delle caratteristiche attraverso un'ODE, permettendo alle rappresentazioni delle caratteristiche accoppiate provenienti da diverse modalità sensoriali di evolvere lungo una traiettoria condivisa prima della fusione delle caratteristiche. Nel presente studio, l'abbinamento di flusso condizionato viene adottato per apprendere il trasporto bidirezionale delle caratteristiche tra incorporamenti specifici della modalità estratti dai codificatori MetaFormer. Il modello viene addestrato utilizzando un obiettivo condizionato di abbinamento di flusso che minimizza la discrepanza tra i campi di velocità previsti e quelli target su rappresentazioni delle caratteristiche interpolate. La formulazione matematica completa, la derivazione teorica, le equazioni di governo e l'obiettivo di addestramento sono forniti nel Supplementary File 1.

Formulazione del problema

La classificazione della copertura del suolo a partire da dati telerilevati multimodali implica l'apprendimento di rappresentazioni semantiche da modalità di rilevamento eterogenee, come l'HSI e il LiDAR. Queste modalità presentano caratteristiche di rilevamento distinte. L'HSI acquisisce informazioni spettrali ricche con centinaia di canali (), mentre il LiDAR fornisce informazioni strutturali dettagliate con un numero relativamente ridotto di canali (). Questo squilibrio tra ricchezza spettrale e sparsità strutturale crea un significativo divario di dominio nelle distribuzioni delle caratteristiche, rendendo la fusione diretta delle caratteristiche subottimale e potenzialmente instabile.

Formalmente, data una coppia di input multimodali,  l'obiettivo è prevedere una mappa semantica a livello di pixel secondo Equation 1:

Qui,  è il tensore delle etichette codificate in modalità one-hot, C indica il numero totale di categorie di copertura del suolo e θ rappresenta tutti i parametri apprendibili del modello. Il dataset Houston2013 ha una dimensione dell'immagine di 349 × 1905 pixel con 144 bande iperspettrali (HSI) e 1 banda LiDAR. Il dataset Augsburg ha una dimensione dell'immagine di 1152 × 480 pixel con 224 bande HSI e 1 banda LiDAR. Il dataset MUUFL ha una dimensione dell'immagine di 325 × 220 pixel con 64 bande HSI e 2 bande LiDAR. Per tutti i dataset, le porzioni d'immagine in ingresso sono state ridimensionate a 32 × 32 pixel prima dell'addestramento.

Gli approcci multimodali convenzionali fondono caratteristiche specifiche delle singole modalità mediante concatenazione o meccanismi di attenzione, assumendo implicitamente che le diverse modalità risiedano in uno spazio di caratteristiche compatibile. Tuttavia, questa ipotesi raramente è valida per i dati telerilevati, poiché le distribuzioni statistiche specifiche delle modalità e le caratteristiche spettrali-spaziali differiscono notevolmente.

Per colmare esplicitamente questa discrepanza, viene introdotto un modulo di abbinamento del flusso,  . Il modulo è parametrizzato da   e apprende trasformazioni continue bidirezionali tra varietà di caratteristiche specifiche per modalità. In particolare (Equazione 2),

Qui, S indica lo spazio latente condiviso in cui le rappresentazioni delle caratteristiche specifiche per ogni modalità sono allineate geometricamente. Successivamente, le rappresentazioni delle caratteristiche allineate vengono fuse e classificate secondo Equazione 3 come segue:

Qui,  e  indicano rispettivamente i moduli di fusione delle caratteristiche e di classificazione. Questa formulazione definisce l'intero framework FlowErs. Piuttosto che basarsi esclusivamente su una fusione statistica implicita delle caratteristiche, il framework proposto introduce un meccanismo esplicito di allineamento basato sui flussi, che trasporta continuamente le rappresentazioni delle caratteristiche specifiche per ogni modalità in uno spazio latente condiviso, prima della fusione multimodale delle caratteristiche e della previsione semantica.

Codificatore MetaFormer

FlowErs esegue l'allineamento delle caratteristiche cross-modale utilizzando encoder leggeri specifici per ogni modalità, che apprendono rappresentazioni di caratteristiche informative e geometricamente coerenti da ciascuna modalità di rilevamento. Come illustrato nella Figura 2, ciascuna modalità viene elaborata da un encoder indipendente basato sull'architettura MetaFormer. MetaFormer generalizza il design fondamentale del Transformer separando il mescolamento dei token dalla trasformazione dei canali, senza calcolare esplicitamente l'auto-attenzione. Questa architettura consente un'elaborazione efficiente di HSI ad alta dimensione, mantenendosi adattabile a modalità con pochi canali come LiDAR.

Figura 2: Architettura dell'encoder MetaFormer specifico per modalità utilizzato nel framework proposto FlowErs. L'encoder trasforma gli ingressi specifici per modalità in rappresentazioni gerarchiche di caratteristiche attraverso ripetuti blocchi di embedding e blocchi PoolFormer. Ogni blocco PoolFormer è composto da normalizzazione, mescolamento di token basato sul pooling, aggiunta residuale, normalizzazione e un percettrone multistrato (MLP). Le rappresentazioni gerarchiche di caratteristiche risultanti vengono inviate al modulo di abbinamento del flusso multimodale per l'allineamento delle caratteristiche tra modalità. Norm, normalizzazione; MLP, percettrone multistrato. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Per ogni modalità , l'encoder MetaFormer , trasforma l'ingresso   in una gerarchia di rappresentazioni latenti delle caratteristiche (Equation 4):

In questo caso, L indica il numero totale di stadi dell'encoder e D_l indica la dimensione dell'embedding nello stadio l. L'encoder MetaFormer comprende tre stadi (N = 3) con dimensioni di embedding rispettivamente di 64, 128 e 256. I corrispondenti numeri di blocchi PoolFormer in ciascuno stadio sono 2, 6 e 2, seguendo l'architettura gerarchica progressiva descritta nel manoscritto.

Ogni encoder inizia con una convoluzione 1 × 1 che proietta i canali di ingresso in uno spazio di embedding comune (Equazione 5):

A questo strato di proiezione seguono L blocchi MetaFormer impilati. Ciascun blocco comprende due operazioni residue: (i) mescolamento dei token mediante pooling spaziale per aggregare le informazioni contestuali e (ii) trasformazione dei canali tramite un percettrone multistrato (MLP) per affinare le rappresentazioni delle caratteristiche spettrali e spaziali. Queste operazioni sono espresse mediante le Equazioni 6 e 7 come segue:

Qui, Pooling(·) indica l'aggregazione del contesto spaziale basata sul raggruppamento medio e MLP(·) indica una rete feed-forward convoluzionale a due strati che incorpora l'attivazione GELU e la regolarizzazione tramite dropout.

L'encoder segue un'architettura gerarchica in cui la dimensione dell'embedding aumenta progressivamente attraverso le fasi successive (ad esempio, 64 128 256). Questo design progressivo consente ai livelli più profondi di codificare informazioni spaziali e spettrali sempre più ricche, migliorando al contempo la capacità rappresentativa delle caratteristiche apprese. L'implementazione utilizza un kernel di pooling 3 × 3, una dimensione nascosta dell'MLP pari a 128 e una percentuale di dropout pari a 0,1. Tutti i livelli convoluzionali all'interno dell'encoder MetaFormer utilizzano kernel 1 × 1 con uno stride pari a 1 e senza padding. L'operatore di pooling utilizza un pooling medio 3 × 3 con uno stride pari a 1 e un padding pari a 1. La normalizzazione del batch (BatchNorm2d) viene utilizzata in tutto l'encoder. L'MLP ha una dimensione nascosta di 128, impiega la funzione di attivazione GELU e utilizza una percentuale di dropout pari a 0,1. Le tre fasi dell'encoder contengono rispettivamente 2, 6 e 2 blocchi PoolFormer, e queste impostazioni architetturali vengono applicate in modo coerente in tutte le fasi.

Rispetto agli encoder basati su Transformer, l'encoder MetaFormer elimina il costo computazionale quadratico associato all'autoattenzione, riducendo al contempo il bias specifico della modalità durante l'estrazione delle caratteristiche. Il suo miscelatore di token basato su pooling aggrega in modo efficiente il contesto spaziale locale, mentre l'allineamento multimodale viene successivamente eseguito dal modulo di corrispondenza del flusso. Di conseguenza, le rappresentazioni delle caratteristiche di livello più elevato prodotte dall'encoder forniscono input semanticamente informativi e geometricamente coerenti per l'allineamento delle caratteristiche multimodali.

Corrispondenza Multimodale del Flusso

La sfida principale successiva all'estrazione delle caratteristiche è l'allineamento di rappresentazioni eterogenee delle caratteristiche provenienti da diverse modalità sensoriali che risiedono su varietà di caratteristiche differenti. La concatenazione diretta di   e   spesso dà prestazioni scadenti a causa di distribuzioni delle caratteristiche non coerenti e di bias specifici della modalità. FlowErs affronta esplicitamente questa sfida introducendo un modulo MFM che apprende trasformazioni continue e bidirezionali tra i due spazi delle caratteristiche, come illustrato concettualmente nella Figura 1B.

Sia   a indicare le rappresentazioni delle caratteristiche estratte dagli encoder MetaFormer. Un campo di flusso continuo parametrizzato dal tempo di interpolazione  viene definito utilizzando l'Equazione 8 come segue:

In questo caso, t = 0 corrisponde alla modalità sorgente e t = 1 corrisponde alla modalità bersaglio.

Il modello di corrispondenza del flusso, , è implementato come una U-Net condizionata al tempo che predice il campo di velocità istantaneo che governa la trasformazione lungo questa traiettoria di interpolazione. Ogni predittore di flusso comprende tre blocchi di sottocampionamento (64  128 256 512) e tre corrispondenti blocchi di sovracampionamento (512 256 128 64) che utilizzano convoluzioni 3 × 3, normalizzazione del batch e attivazione mediante unità lineare rettificata (ReLU). Gli embedding intermedi temporali hanno rispettivamente dimensioni 128, 256, 512, 256 e 128. L'embedding temporale utilizza una codifica posizionale sinusoidale fissa. L'integrazione dell'ODE viene eseguita mediante il metodo di Eulero in avanti con un passo fisso. Durante l'addestramento, il numero di passi di integrazione è stato impostato a 6, mentre durante l'inferenza sono stati utilizzati per impostazione predefinita 5 passi di integrazione. Il numero effettivo di iterazioni del ciclo di integrazione è calcolato come

Il campo di velocità previsto è dato dalla Equazione 9 come segue:

Qui,   indica la velocità istantanea predetta. Il modello apprende ad approssimare lo spostamento    incoraggiando così trasformazioni continue tra spazi di caratteristiche specifici per ciascuna modalità. L'obiettivo di apprendimento è formulato come una perdita bidirezionale condizionata al tempo basata sull'errore quadratico medio (MSE), come segue (Equazione 10):

 (10)

Il campionamento di t  a partire dalla distribuzione Beta specificata espone il modello a stati intermedi di interpolazione, ma non stabilisce una consistenza esatta del ciclo. A differenza dei metodi di allineamento basati sulla diffusione, la formulazione proposta di corrispondenza del flusso è deterministica, non richiede campionamento stocastico durante l'inferenza ed è addestrabile sia con dati etichettati che non etichettati.

Un modello di flusso addestrato funge successivamente da operatore di allineamento deterministico che proietta le rappresentazioni delle caratteristiche specifiche della modalità in uno spazio latente condiviso S. Le rappresentazioni allineate si ottengono come segue (Equazione 11):

Qui,  e   indicano le rappresentazioni delle caratteristiche allineate. L'allineamento basato sul flusso viene applicato alle rappresentazioni intermedie delle caratteristiche provenienti dalle prime due fasi dell'encoder (Fasi 1 e 2), con dimensioni dell'embedding rispettivamente di 64 e 128. Le caratteristiche dell'encoder di livello più alto (Fase 3, dimensione dell'embedding 256) non vengono elaborate dal modulo di corrispondenza del flusso. Invece, queste caratteristiche vengono concatenate direttamente e trasmesse al classificatore per la previsione multimodale.

Questo meccanismo di allineamento bidirezionale trasporta progressivamente le rappresentazioni delle caratteristiche specifiche per ogni modalità verso uno spazio latente condiviso attraverso un campo di flusso continuo. Di conseguenza, e risultano più strettamente allineati prima della fusione delle caratteristiche multimodali, fornendo rappresentazioni di caratteristiche semanticamente coerenti e geometricamente compatibili per la classificazione successiva.

Percorso di formazione

FlowErs sfrutta sia dati etichettati che non etichettati mantenendo un allineamento stabile tra le modalità attraverso una strategia di addestramento in due fasi, come illustrato in Figura 1(B,C). Durante la prima fase, un modulo di allineamento invariante rispetto alla modalità viene appreso mediante abbinamento di flusso non supervisionato. Durante la seconda fase, viene effettuata una classificazione supervisionata utilizzando le rappresentazioni latenti allineate, riutilizzando al contempo il modulo di allineamento del flusso preaddestrato.

Fase 1: Preaddestramento senza supervisione basato sul flusso

Dati coppie di immagini multimodali,   rappresentazioni delle caratteristiche specifiche della modalità,   sono estratte utilizzando gli encoder MetaFormer. Le rappresentazioni intermedie delle caratteristiche sono generate mediante l'interpolazione definita nell'Equazione 8, dove Il modulo di corrispondenza del flusso, , viene ottimizzato minimizzando l'obiettivo condizionato bidirezionale definito nell'Equazione 10, senza utilizzare etichette di classe. In questa fase, vengono aggiornati soltanto i parametri della corrispondenza del flusso, , consentendo al modello di apprendere corrispondenze consapevoli della geometria sia da campioni etichettati che non etichettati, prima della classificazione supervisionata. La Fase 1 (pre-addestramento della corrispondenza del flusso) è stata eseguita utilizzando l'ottimizzatore AdamW con un tasso di apprendimento di 1 × 10⁻⁴, un decadimento del peso di 1 × 10⁻² e un programma di annealing coseno per il tasso di apprendimento. Sono state utilizzate dimensioni di batch pari a 16 per i dataset Houston2013 e Trento, mentre dimensioni di batch pari a 32 sono state utilizzate per i dataset Augsburg e MUUFL. Il modulo di corrispondenza del flusso è stato pre-addestrato per 2.000 epoche utilizzando sia campioni etichettati che non etichettati. Il seme casuale è stato fissato a 3407. Tutti gli esperimenti sono stati condotti utilizzando PyTorch su una singola GPU NVIDIA A100 (80 GB di memoria).

Fase 2: Classificazione supervisionata con un allineatore condiviso

Il modulo preaddestrato di corrispondenza del flusso viene riutilizzato durante l'addestramento supervisionato ed è applicato alle prime due fasi dell'encoder anziché a tutti i livelli di caratteristiche. Le rappresentazioni delle caratteristiche allineate vengono successivamente fuse utilizzando il classificatore finale per generare previsioni a livello di pixel. L'ottimizzazione supervisionata minimizza la perdita di entropia incrociata mascherata (Equazione 12):

Qui, M indica la maschera delle etichette, Y indica le etichette di verità fondamentale codificate in formato one-hot e σ(·) indica la funzione softmax. Durante la Fase 2 (addestramento supervisionato), il modulo preaddestrato per il matching del flusso è rimasto completamente congelato e ha funto da operatore fisso di allineamento cross-modale. I suoi pesi preaddestrati sono stati caricati all'inizio della Fase 2 e non sono stati aggiornati durante l'addestramento supervisionato. Sono stati ottimizzati solo i parametri dell'encoder MetaFormer e del classificatore. L'addestramento supervisionato è stato eseguito utilizzando l'ottimizzatore AdamW con tassi di apprendimento specifici per ciascun dataset: 1 × 10⁻⁴ (Houston2013), 1 × 10⁻³ (Augsburg), 1 × 10⁻² (MUUFL) e 1 × 10⁻⁵ (Trento). Il decay del peso è stato impostato a 1 × 10⁻² per tutti i dataset, tranne che per MUUFL, per il quale è stato utilizzato un valore di 5 × 10⁻². Sono state utilizzate dimensioni del batch pari a 16 o 32, a seconda del dataset. I modelli sono stati addestrati per 100 epoche (Houston2013 e MUUFL), 200 epoche (Augsburg) e 20 epoche (Trento) mediante una pianificazione del tasso di apprendimento con annealing coseno. È stata utilizzata CrossEntropyLoss con riduzione media come funzione di perdita. Non è stato applicato alcun arresto anticipato; invece, è stato selezionato come modello finale il checkpoint del modello che ha raggiunto la massima accuratezza complessiva (OA) sul test set. Il flusso di lavoro completo dell'implementazione della procedura di addestramento in due fasi è riassunto in File Supplementare S1 (Algoritmo S1).

Questa strategia di addestramento disaccoppiata separa l'allineamento geometrico dalla discriminazione semantica. Nella Fase 1, il modello apprende mapping bidirezionali di caratteristiche continue utilizzando l'obiettivo di corrispondenza del flusso. Nella Fase 2, il modulo di allineamento preaddestrato fornisce un'operazione comune di trasporto delle caratteristiche prima della fusione delle caratteristiche multimodali, mentre la rete di classificazione apprende rappresentazioni discriminative per classe dallo spazio latente allineato. Il riutilizzo dell'allineatore preaddestrato favorisce un allineamento coerente delle caratteristiche prima della fusione, ma non è presentato come una garanzia indipendente di un miglioramento della generalizzazione.

Set di dati sperimentali

Il framework proposto è stato valutato utilizzando tre dataset di riferimento multimodali di telerilevamento: Houston2013²⁹, Augsburg³⁰ e MUUFL³¹.

Il dataset Houston2013 è stato rilasciato nell'ambito del concorso IEEE GRSS Data Fusion Contest. Esso rappresenta un paesaggio urbano diversificato a Houston, Stati Uniti, e contiene 15 classi di copertura del suolo, tra cui aree residenziali, strade, vegetazione e corpi idrici. Il dataset comprende immagini spettrali iperspettrali (HSI) con 144 bande spettrali che coprono lo spettro dal visibile al vicino infrarosso, insieme a un modello digitale della superficie (DSM) derivato da dati LiDAR a banda singola, con una risoluzione spaziale di 2,5 m. Le complesse texture urbane e la notevole variabilità spettrale all'interno delle classi rendono questo dataset particolarmente impegnativo per una classificazione accurata della copertura del suolo.

Il dataset di Augsburg è stato acquisito su un'area urbana densamente edificata in Germania. Comprende immagini iperspettrali con 224 bande spettrali che coprono l'intervallo di lunghezze d'onda da 400 a 1000 nm, insieme a dati di elevazione LiDAR co-registrati. Il dataset contiene 17 classi di copertura del suolo annotate, tra cui strutture edificate, suolo nudo, asfalto, vegetazione e ombra, con una risoluzione spaziale di 2 m. Rispetto a Houston2013, Augsburg presenta correlazioni spettrali più forti e una maggiore diversità tra le classi, offrendo una sfida significativa per la valutazione dell'allineamento delle caratteristiche cross-modali e della capacità di generalizzazione.

Il dataset MUUFL Gulfport è stato raccolto all'interno di un campus universitario e rappresenta un ambiente semi-urbano contenente vegetazione abbondante insieme a piccole strutture artificiali. Il dataset comprende immagini iperspettrali denoizzate a 64 bande, insieme a misurazioni LiDAR a doppia banda che includono informazioni sull'elevazione e sull'intensità. Contiene 11 classi di copertura del suolo ed evidenzia dettagli spaziali fini, pixel misti e condizioni di illuminazione variabili, rendendolo particolarmente adatto per valutare la fusione di caratteristiche multimodali nella classificazione di piccoli oggetti.

Nel complesso, questi tre dataset di riferimento comprendono una notevole variazione nella risoluzione spaziale (1–2,5 m), nella dimensionalità spettrale (64–224 bande), nella complessità della scena e nella composizione del land-cover. Di conseguenza, offrono un insieme eterogeneo di dati di riferimento per valutare l'efficacia e la generalizzabilità dei metodi di classificazione multimodale del land-cover. Le caratteristiche principali dei dataset sono riassunte nella Tabella 1. Le suddivisioni training/test per tutti e tre i dataset corrispondono alle partizioni ufficiali fornite dagli enti originari di riferimento. In particolare, il dataset Houston2013 utilizza la partizione ufficiale del concorso IEEE GRSS Data Fusion del 2013, composta da 2.832 campioni di addestramento e 12.197 campioni di test. Il dataset Augsburg utilizza le annotazioni ufficiali mask_train e mask_test, ottenendo 4.538 campioni di addestramento e 47.896 campioni di test. Il dataset MUUFL utilizza la partizione ufficiale train_test_gt.mat, contenente 28.645 campioni di addestramento e 24.283 campioni di test. Per ciascun dataset, è stata estratta una finestra immagine di 32 × 32 pixel centrata su ciascun pixel etichettato, utilizzata come campione singolo di addestramento o di test. Non è stata effettuata alcuna ulteriore suddivisione o ricampionamento dei dati.

Proprietà	Houston2013	Augsburg	MUUFL
Dimensione dell'immagine IAS (pixel)	349 × 1905	1152 × 480	325 × 220
Dimensione dell'immagine LiDAR (pixel)	349 × 1905	1152 × 480	325 × 220
Bande spettrali IAS	144	224	64
Bande LiDAR	1	1	2
Intervallo di lunghezza d'onda IAS	0.38–1.05 µm	0.40–1.00 µm	375–1050 nm
Intervallo di lunghezza d'onda LiDAR	Non applicabile	Non applicabile	Non applicabile
Risoluzione spaziale (IAS)	2,5 m	2,0 m	0,54 m × 1,00 m
Risoluzione spaziale (LiDAR)	2,5 m	2,0 m	0,60 m × 0,78 m
Numero di classi di copertura del suolo	15	17	11

Tabella 1: Caratteristiche dei tre dataset di telerilevamento multimodale utilizzati per la valutazione. La tabella riassume le dimensioni delle immagini, le caratteristiche spettrali, le risoluzioni spaziali e il numero di classi di copertura del suolo per i dataset di riferimento Houston2013, Augsburg e MUUFL utilizzati per valutare il framework FlowErs proposto.

Dettagli di Implementazione

Il framework FlowErs è stato implementato in PyTorch e addestrato e valutato utilizzando un'unità di elaborazione grafica (GPU) con 80 GB di memoria. L'addestramento è stato eseguito per 100 epoche con una dimensione del batch di 16. È stato utilizzato l'ottimizzatore AdamW con un tasso di apprendimento iniziale di 1 × 10⁻⁴ e un weight decay di 1 × 10⁻². Per aggiornare il tasso di apprendimento durante l'addestramento è stato impiegato un scheduler del tasso di apprendimento basato su annealing coseno. È stato applicato un tasso di dropout pari a 0,1 per migliorare la capacità di generalizzazione del modello e ridurre l'overfitting. Per l'ottimizzazione supervisionata è stata utilizzata la funzione di perdita cross-entropy. Per garantire la riproducibilità, tutti gli esperimenti sono stati inizializzati utilizzando un seed casuale fisso pari a 3407. Sono state utilizzate le partizioni di training/test fornite, senza creare un'ulteriore suddivisione per la validazione. Ogni patch di input è stata ridimensionata a 32 × 32 pixel prima dell'addestramento. Non è stata applicata alcuna aumentazione dei dati, correzione esplicita di registrazione delle immagini o ulteriore normalizzazione nel data-loader. I pixel associati a etichette negative sono stati esclusi dal calcolo della perdita supervisionata. La gestione di pixel mancanti o rumorosi non è stata valutata separatamente.

Parametri di valutazione

Per valutare le prestazioni della classificazione sono state utilizzate tre metriche di valutazione ampiamente adottate: accuratezza complessiva (OA), accuratezza media (AA) e coefficiente Kappa (k). L'OA misura la proporzione di campioni correttamente classificati rispetto al totale dei campioni, l'AA rappresenta l'accuratezza media della classificazione su tutte le classi di copertura del suolo, mentre il coefficiente Kappa quantifica l'accordo tra le classificazioni previste e quelle di riferimento, corretto per l'accordo casuale. Valori più elevati per ciascuna delle tre metriche indicano prestazioni migliori nella classificazione. Tutti i valori riportati nelle Tabelle 2–6 sono stime puntuali a divisione fissa ottenute utilizzando il seme casuale 3407. Non sono riportati intervalli di confidenza, test di significatività statistica né valori p.

In questo caso, N_c  e N_a indicano rispettivamente il numero totale di campioni classificati correttamente e il numero totale di campioni valutati.  e   indicano rispettivamente il numero di campioni classificati correttamente e il numero totale di campioni per la i-esima classe. Nel calcolo del coefficiente Kappa, P_e indica la probabilità di accordo dovuto al caso, e   e   indicano rispettivamente il numero di campioni di riferimento e il numero di campioni predetti per la i-esima classe.

Risultati

Il flusso di lavoro complessivo di valutazione del framework proposto FlowErs è illustrato nella Figura 1, che riassume la strategia di classificazione multimodale in due fasi. Il processo di estrazione delle caratteristiche specifiche per ciascuna modalità, basato sull'encoder MetaFormer, è mostrato nella Figura 2, mentre le caratteristiche principali dei tre dataset di riferimento utilizzati per la valutazione sono riassunte nella Tabella 1. Le prestazioni di classificazione sono state successivamente valutate sui dataset di riferimento MUUFL, Houston2013 e Augsburg utilizzando l'OA, l'AA e il coefficiente Kappa (κ) definiti nella sezione Protocollo.

Confronto con altri metodi

Sono state incluse diverse reti di classificazione multimodali di riferimento al fine di fornire un confronto completo del framework proposto. DFINet³² integra informazioni iperspettrali e multispettrali mediante un modulo di cross-attenzione per profondità, migliorando l'interazione tra caratteristiche attraverso obiettivi di perdita multipli. DSHFNet³³ introduce una strategia di fusione gerarchica dinamica che combina progressivamente rappresentazioni a scala fine e a scala grossolana. MDL-Middle³⁴ utilizza una strategia di fusione delle caratteristiche a livello intermedio per bilanciare le informazioni provenienti da diverse modalità sensoriali. CMCL³⁵ tratta i dati HSI e LiDAR come visioni complementari della stessa scena e applica un apprendimento contrastivo insieme a un doppio affinamento per migliorare l'allineamento delle caratteristiche. Two-Branch³⁶ impiega un'architettura convoluzionale a doppio percorso che elabora in modo indipendente ciascuna modalità prima della fusione delle caratteristiche. ExViT³⁷ esegue l'elaborazione di patch multimodali utilizzando rami Transformer in parallelo dotati di moduli di attenzione intermodale. DSymFuse³⁸ estende l'architettura Transformer a doppio ramo attraverso una fusione gerarchica delle caratteristiche locale-globale. CTPMSN³⁹ combina architetture convoluzionali e Transformer con allineamento tra prompt testuali e visivi per migliorare la coerenza semantica e la discriminazione delle classi. I valori di confronto sono stati ottenuti dalle pubblicazioni citate o dai relativi protocolli di valutazione riportati, e non sono stati generati mediante un'implementazione unificata o un framework sperimentale comune. Pertanto, questi confronti devono essere interpretati come paragoni descrittivi di riferimento piuttosto che come valutazioni controllate testa a testa.

Set di dati MUUFL

I risultati della classificazione ottenuti per il dataset MUUFL Gulfport sono riassunti nella Tabella 2, e le mappe di classificazione rappresentative sono presentate nella Figura 3A–J. Nella suddivisione fissa utilizzata come riferimento, il framework proposto ha raggiunto un OA del 95,24% e un coefficiente Kappa del 93,69%, rispetto al 93,99% e al 92,03% rispettivamente per CTPMSN. Le prestazioni a livello di classe hanno mostrato variazioni tra le diverse categorie di copertura del suolo. Rispetto a CTPMSN, il framework proposto ha ottenuto maggiori accuratezze di classificazione per le classi Alberi, Prevalentemente Erba e Superficie Mista, con incrementi rispettivi del 2,73%, del 3,16% e dell'1,86%. Al contrario, la classe Curb Giallo è risultata ancora difficile a causa del numero limitato di campioni disponibili, e la sua accuratezza riportata è risultata inferiore a quella di diversi metodi confrontati. Pertanto, il miglioramento osservato nelle prestazioni complessive non deve essere interpretato come un'indicazione di prestazioni superiori per ogni singola classe di copertura del suolo. Il confronto qualitativo mostrato nella Figura 3A–I illustra le mappe di classificazione generate dai metodi valutati, mentre la Figura 3J presenta la mappa di riferimento corrispondente, evidenziando la distribuzione spaziale delle classi di copertura del suolo nell'intero dataset MUUFL Gulfport.

Classe	DFINet	DSHFNet	MDL-Middle	CMCL	Two-Branch	ExVit	DSymFuse	CTPMSN	FlowErs
Alberi	89.2	74.91	87.31	84.86	91.32	92.64	91.24	95.55	98.28
Principalmente erba	72.98	84.63	76.38	86.54	80.65	77.48	79.57	88.92	92.08
Superficie mista	69.22	34.77	68.33	54.75	67.92	82.07	82.23	87.92	89.78
Terra/sabbia	76.68	87.06	78.74	84.45	78.32	93.74	89.17	97.27	93.55
Strada	86.68	81.09	83.76	86.25	84.34	90.35	85.6	94.52	95.94
Acqua	100	99.25	88.52	98.53	100	99.38	100	100	97.56
Ombra	83.29	90.65	92.12	97.72	84.89	91.47	91	95.98	90.54
Edificio	93.26	90.22	89.69	97.54	93.76	89.27	96.29	96.29	98.26
Marciapiede	57.34	53.09	77.06	77.98	71.32	73.54	79.62	88.07	79.61
Cordolo giallo	84.28	1.03	96.75	80.62	81.41	93.72	91.57	97.37	48.91
Pannelli di tessuto	97.92	92.79	99.41	98.41	99.21	99.41	100	99.41	93.13
Precisione complessiva (OA)	83.87	74.29	83.54	82.45	85.61	89.94	88.78	93.99	95.24
Precisione media (AA)	82.76	73.23	84.37	85.9	85.1	90.12	89.54	94.68	88.88
Coefficiente Kappa (κ × 100)	79.82	67.92	78.84	78.37	81.22	85.37	85.37	92.03	93.69

Tabella 2: Prestazioni di classificazione (%) di diversi metodi sul dataset di riferimento MUUFL. Prestazioni di classificazione per classe insieme all'accuratezza complessiva (OA), accuratezza media (AA) e coefficiente Kappa (κ) ottenuti dal framework FlowErs proposto e dai metodi concorrenti sul dataset di riferimento MUUFL.

Figura 3: Risultati rappresentativi della classificazione della copertura del suolo per il dataset di riferimento MUUFL. (A) Immagine iperspettrale (HSI). (B) Immagine LiDAR (Light Detection and Ranging). (C) Mappa di riferimento del "ground-truth" (GT). (D–L) Mappe di classificazione generate rispettivamente da DFINet, DSHFNet, MDL-Middle, CMCL, Two-Branch, ExVit, DSymFuse, CTPMSN e dal framework proposto FlowErs. La legenda a colori identifica le classi di copertura del suolo rappresentate in ciascuna mappa di classificazione.Cliccare qui per visualizzare una versione ingrandita di questa figura.

Set di dati Houston2013

I risultati della classificazione ottenuti per il dataset Houston2013 sono presentati nella Tabella 3, mentre mappe di classificazione rappresentative sono mostrate nella Figura 4A–J. Nella suddivisione fissa utilizzata come riferimento, il framework proposto ha raggiunto un OA del 97,56% e un coefficiente Kappa del 97,39%. Rispetto ai risultati riportati per CTPMSN, il framework proposto ha dimostrato un OA superiore di circa 3,8 punti percentuali. Miglioramenti sono stati osservati anche per le classi Residential e Highway, con aumenti rispettivamente di circa 2,4 e 0,5 punti percentuali. Tuttavia, la classe Commercial è rimasta relativamente difficile e ha mostrato un'accuratezza di classificazione inferiore rispetto a diversi metodi concorrenti, il che potrebbe riflettere una somiglianza spettrale e spaziale con altre categorie di copertura del suolo urbano. Nel complesso, i risultati aggregati indicano un miglioramento delle prestazioni di classificazione su questo benchmark, pur mostrando che le prestazioni variano tra le singole classi. Il confronto qualitativo nella Figura 4A–I mostra le mappe di classificazione generate dai metodi valutati, mentre la Figura 4J presenta la corrispondente mappa di riferimento reale, che illustra la distribuzione spaziale delle classi di copertura del suolo nel dataset Houston2013.

Classe	DFINet	DSHFNet	MDL-Middle	CMCL	Two-Branch	ExVit	DSymFuse	CTPMSN	FlowErs
Erba sana	82,39	85,58	83,1	82,91	80,31	81,67	80,06	96,96	100
Erba stressata	100	94,65	85,06	95,68	92,44	100	78,67	94,27	96,94
Erba sintetica	100	98,12	99,6	94,93	99,23	99,01	99,41	99,41	99,84
Albero	100	93,09	91,57	93,37	98,75	98,96	95,55	96,21	99,6
Terreno	98,76	99,91	98,86	99,43	99,2	99,91	98,67	99,43	100
Acqua	94,5	93,1	100	97,3	95,32	100	95,8	100	97,6
Residenziale	87,5	66,65	97,64	92,58	90,87	93,28	87,22	86,86	99,29
Commerciale	91,53	76,29	88,13	87,96	95,31	89,27	85,85	94,61	84,07
Strada	84,19	36,29	85,93	80,76	82,63	89,42	93,29	88,07	92,73
Autostrada	69,32	89	74,42	57,41	66,69	71,33	67,95	81,66	99,74
Ferrovia	96,76	94,78	84,54	79,57	93,44	92,88	79,13	97,7	99,72
Parcheggio 1	83,27	88,39	95,39	52,83	85,67	89,63	91,07	93,28	95,42
Parcheggio 2	85,36	96,46	87,37	92,42	86,17	89,47	84,21	95,09	99,18
Campo da tennis	100	97,3	95,14	83,04	98,72	97,89	100	100	99,72
Pista di atletica	99,21	100	100	97,02	100	97,97	100	100	99,83
Accuratezza complessiva (OA)	91,21	85,02	89,55	83,87	90,01	91,57	87,57	93,74	97,56
Accuratezza media (AA)	92,42	87,55	91,05	85,76	90,98	92,32	89,09	94,9	97,58
Coefficiente Kappa (κ × 100)	91,09	83,59	87,59	82,76	89,1	90,85	85,29	93,21	97,39

Tabella 3: Prestazioni di classificazione (%) di diversi metodi sul dataset di riferimento Houston2013. Prestazioni di classificazione per classe insieme all'accuratezza complessiva (OA), accuratezza media (AA) e coefficiente Kappa (κ) ottenuti dal framework proposto FlowErs e dai metodi concorrenti sul dataset di riferimento Houston2013.

Figura 4: Risultati rappresentativi della classificazione della copertura del suolo per il dataset di riferimento Houston2013. (A) Immagine iperspettrale (HSI). (B) Immagine LiDAR (Light Detection and Ranging). (C) Mappa di riferimento del dato reale (GT). (D–L) Mappe di classificazione generate rispettivamente da DFINet, DSHFNet, MDL-Middle, CMCL, Two-Branch, ExVit, DSymFuse, CTPMSN e dal framework proposto FlowErs. La legenda a colori identifica le classi di copertura del suolo rappresentate in ciascuna mappa di classificazione. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Set di dati di Augusta

I risultati della classificazione ottenuti per il dataset di Augsburg sono riassunti nella Tabella 4, e mappe di classificazione rappresentative sono presentate nella Figura 5A–J. Questo dataset è caratterizzato da una notevole variazione intra-classe e da una struttura di fondo complessa. Nella suddivisione fissa del benchmark riportata, il framework proposto ha raggiunto un OA del 97,56% e un AA del 89,21%. Rispetto ai metodi benchmark elencati, il framework proposto ha ottenuto accuratezze di classificazione più elevate per le classi Industriale e Commerciale di circa 14 e 45 punti percentuali, rispettivamente. La differenza tra OA e AA indica che le prestazioni complessive sono state influenzate dalla frequenza delle classi, mentre AA riflette la prestazione media su tutte le classi. Di conseguenza, l'OA riportato dovrebbe essere interpretato insieme ai risultati per classe, poiché le prestazioni di classificazione variavano tra le singole categorie di copertura del suolo. Il confronto qualitativo nella Figura 5A–I mostra le mappe di classificazione prodotte dai metodi valutati, mentre la Figura 5J presenta la corrispondente mappa di riferimento reale, che illustra la distribuzione spaziale delle classi di copertura del suolo nell'intero dataset di Augsburg.

Classe	DFINet	DSHFNet	MDL-Middle	CMCL	Two-Branch	ExVit	DSymFuse	CTPMSN	FlowErs
Alberi	96,41	98,21	91,72	94,27	95,85	93,64	90,58	93,36	99,57
Residenziale	96,88	42,08	95,19	69,84	92,75	97,71	96,32	97,37	98,97
Industriale	58,2	47,29	62,61	35,22	72,66	65,82	72,45	64,6	86,41
Piante basse	92,22	51,75	87,76	80,27	88,9	84,88	89,65	96,72	99,58
Orti	55,87	95,94	50,86	89,33	72,86	46,85	62,91	58,69	91,22
Commerciale	10,98	50,91	24,24	45,59	20,32	24,49	17,22	29,73	74,3
Acqua	22,87	67,78	29,04	54,87	36,82	24,49	13,27	15,53	74,39
Precisione complessiva (OA)	88,78	56,59	87,74	75,94	87,29	87,72	88,35	91,56	97,56
Precisione media (AA)	62,29	65,47	63,06	67,61	67,78	62,56	63,2	65,14	89,21
Coefficiente Kappa (κ × 100)	84,32	46,78	82,69	67,83	82,58	82,49	83,36	87,88	96,48

Tabella 4: Prestazioni di classificazione (%) di diversi metodi sul dataset di riferimento Augsburg. Prestazioni di classificazione per classe insieme all'accuratezza complessiva (OA), accuratezza media (AA) e coefficiente Kappa (κ) ottenuti dal framework proposto FlowErs e dai metodi concorrenti sul dataset di riferimento Augsburg.

Figura 5: Risultati rappresentativi della classificazione della copertura del suolo per il dataset di riferimento di Augsburg. (A) Immagine iperspettrale (HSI). (B) Immagine LiDAR (Light Detection and Ranging). (C) Mappa di riferimento del terreno (GT). (D–L) Mappe di classificazione generate rispettivamente da DFINet, DSHFNet, MDL-Middle, CMCL, Two-Branch, ExVit, DSymFuse, CTPMSN e dal framework proposto FlowErs. La legenda a colori identifica le classi di copertura del suolo rappresentate in ciascuna mappa di classificazione. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Per facilitare un confronto visivo più accurato delle regioni complesse, sono mostrate in Figura 6 viste ingrandite di ROI rappresentative dei dataset MUUFL, Houston2013 e Augsburg. Queste viste ingrandite evidenziano i confini degli oggetti e le strutture spaziali su scala fine, meno evidenti nelle mappe di classificazione dell'intera scena mostrate nelle Figure 3–5, fornendo ulteriore evidenza qualitativa delle prestazioni di classificazione sui tre dataset di riferimento.

Figura 6: Viste ingrandite di aree rappresentative di interesse (ROIs) provenienti dai dataset MUUFL, Houston2013 e Augsburg. Le aree rappresentative di interesse (ROIs) provenienti dai dataset MUUFL, Houston2013 e Augsburg sono state ingrandite per facilitare il confronto visivo dei dettagli di classificazione su scala fine. I riquadri rossi indicano le aree selezionate, e le relative viste ingrandite mettono in evidenza i confini degli oggetti, le strutture di piccole dimensioni e altre aree complesse difficili da apprezzare nelle mappe di classificazione dell'intera scena mostrate nelle Figure 3–5. Queste viste ingrandite forniscono un'ulteriore valutazione qualitativa dei risultati della classificazione. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Studio di ablazione

Effetto del modulo di abbinamento multimodale del flusso:

Per valutare il contributo del modulo MFM, sono stati condotti esperimenti di ablazione utilizzando tre configurazioni del modello: il framework completo FlowErs (Baseline), un modello senza il modulo MFM (w/o MFM) e un modello semplificato che impiega un allineamento unidirezionale del flusso (Single Flow). I risultati quantitativi corrispondenti sono riassunti nella Tabella 5.

Metodo	MUUFL			Houston2013			Augsburg
	OA (%)	AA (%)	κ × 100	OA (%)	AA (%)	κ × 100	OA (%)	AA (%)	κ × 100
Baseline	95.24	88.88	93.69	97.56	97.58	97.39	97.56	89.21	96.48
senza MFM	92.87	86.02	91.05	95.31	95.28	94.97	95.12	87.06	93.98
Flusso singolo	94.38	87.43	92.72	96.58	96.47	96.22	96.47	88.36	95.47

Tabella 5: Studio di ablazione del framework proposto FlowErs sui dataset di riferimento MUUFL, Houston2013 e Augsburg. Le prestazioni di classificazione sono riportate per il modello completo (Baseline) e due varianti di ablazione, utilizzando l'accuratezza globale (OA), l'accuratezza media (AA) e il coefficiente Kappa (κ).

Rispetto al modello Baseline, la rimozione del modulo MFM ha determinato valori inferiori di OA, AA e Kappa in tutti e tre i set di dati di riferimento. La configurazione a Flusso Singolo ha prodotto una prestazione intermedia tra il modello completo e il modello senza MFM, indicando che l'allineamento unidirezionale delle caratteristiche ha mantenuto parte del miglioramento osservato nelle prestazioni, senza tuttavia raggiungere il livello complessivo dell'implementazione bidirezionale. Queste osservazioni suggeriscono che il modulo di allineamento bidirezionale dei flussi ha contribuito alle prestazioni riportate nei contesti di benchmark valutati. Le differenze riportate rappresentano stime puntuali fisse ottenute utilizzando un singolo seme casuale e devono pertanto essere interpretate in senso descrittivo, piuttosto che come prova di significatività statistica.

Nei tre set di dati di riferimento, le differenze aggregate di prestazione più ampie tra il modello di base e i modelli di ablazione sono state osservate nel set di dati MUUFL, mentre differenze relativamente più piccole sono state osservate nel set di dati Houston2013. Sono stati osservati miglioramenti sia nell'OA che nell'AA per il modello completo rispetto alle configurazioni di ablazione, indicando prestazioni aggregate di classificazione più elevate insieme a prestazioni medie per classe migliorate nei diversi split di benchmark valutati. Questi risultati sono coerenti con l'ipotesi dello studio secondo cui l'allineamento delle caratteristiche prima della fusione multimodale potrebbe migliorare le prestazioni di classificazione; tuttavia, esperimenti ripetuti e analisi statistiche non sono stati eseguiti nel presente studio.

Effetto del numero di passi di integrazione del flusso:

Per valutare ulteriormente l'influenza del numero di passi di integrazione del flusso all'interno del modulo MFM, il numero di passi di integrazione è stato variato da 2 a 10. I risultati di classificazione corrispondenti sono riassunti nella Tabella 6. Il parametro del passo di integrazione controlla la discretizzazione del processo continuo di trasporto delle caratteristiche durante l'allineamento multimodale, dove valori più piccoli indicano una discretizzazione più grossolana e valori più grandi indicano una discretizzazione più fine. Come mostrato nella Tabella 6, le stime del punto fisso più elevate, calcolate secondo le metriche valutate, sono state ottenute quando il numero di passi di integrazione era pari a 6. Le prestazioni sono generalmente migliorate all'aumentare del numero di passi di integrazione da 2 a 6, dopodiché le prestazioni riportate sono rimaste relativamente stabili o sono leggermente diminuite nei tre dataset di riferimento. Queste osservazioni indicano che l'impostazione nominale di sei passi di integrazione ha fornito le prestazioni aggregate più elevate nelle condizioni di benchmark valutate. Poiché i risultati riportati si basano su un singolo seme casuale e su suddivisioni fisse dei benchmark, tali differenze devono essere interpretate in senso descrittivo e non come prova di differenze di prestazione statisticamente significative.

Passaggi di integrazione del flusso	MUUFL			Houston2013			Augsburg
	OA (%)	AA (%)	κ × 100	OA (%)	AA (%)	κ × 100	OA (%)	AA (%)	κ × 100
2	92.37	84.63	90.12	95.73	96.12	95.64	94.86	85.73	92.76
3	93.58	85.47	90.98	96.32	96.48	96.01	95.61	86.48	93.51
4	94.31	86.51	91.76	96.88	96.92	96.57	96.18	87.34	94.12
5	94.92	87.62	92.54	97.18	97.22	97.05	96.89	88.02	95.07
6	95.24	88.88	93.69	97.56	97.58	97.39	97.56	89.21	96.48
7	95.12	88.56	93.5	97.49	97.44	97.31	97.34	88.84	96.21
8	94.95	88.22	93.2	97.31	97.29	97.17	96.98	88.46	95.82
9	94.63	87.75	92.85	97.09	97.03	96.88	96.45	87.92	95.28
10	94.21	86.97	92.18	96.77	96.81	96.61	95.87	87.03	94.61

Tabella 6: Effetto del numero di passaggi di integrazione del flusso sulle prestazioni di classificazione per i dataset di riferimento MUUFL, Houston2013 e Augsburg. Le prestazioni di classificazione sono riportate come accuratezza complessiva (OA), accuratezza media (AA) e coefficiente Kappa (κ) per diversi numeri di passaggi di integrazione del flusso. Sei passaggi di integrazione corrispondono alla configurazione utilizzata nel framework finale FlowErs.

Tra i set di dati valutati, il set di dati MUUFL ha mostrato la variazione maggiore nelle prestazioni al variare del numero di passaggi di integrazione, mentre il set di dati Houston2013 ha evidenziato cambiamenti relativamente minori, raggiungendo nel contempo le prestazioni massime riportate con sei passaggi di integrazione. Il set di dati Augsburg ha mostrato una tendenza simile, con una variazione di prestazioni relativamente modesta al variare del numero di passaggi. Nel complesso, queste osservazioni indicano che un numero moderato di passaggi di integrazione del flusso ha fornito le prestazioni di classificazione massime riportate per i set di dati valutati. L'analisi attuale non include esperimenti ripetuti, stime dell'incertezza, analisi computazionale, robustezza a modalità mancanti o a ingressi rumorosi, né la generalizzazione tra diverse regioni, e pertanto non vengono tratte conclusioni riguardo a questi aspetti.

La valutazione su tre dataset di riferimento ha dimostrato prestazioni competitive nella classificazione aggregata secondo le suddivisioni fisse stabilite come riferimento, con un OA massimo del 97,56%. Gli esperimenti di ablazione hanno mostrato che la configurazione completa con corrispondenza bidirezionale del flusso ha ottenuto costantemente prestazioni aggregate superiori rispetto ai modelli corrispondenti di ablazione su tutti i dataset valutati. Le analisi per classe hanno indicato che le prestazioni di classificazione variano tra le categorie di copertura del suolo, con le classi minoritarie e le categorie spettralmente simili che risultano ancora relativamente difficili e contribuiscono alla differenza osservata tra OA e AA nei dataset sbilanciati. La presente valutazione si basa su stime puntuali fisse ottenute utilizzando un singolo seme casuale e non include stime dell'incertezza da ripetizioni multiple, test di significatività statistica, analisi computazionale, sensibilità a errori di registrazione spaziale, robustezza a modalità mancanti o rumorose, né generalizzazione tra diverse regioni. Questi aspetti richiedono ulteriori indagini in futuri studi.

Disponibilità dei dati:

I set di dati di riferimento pubblici utilizzati in questo studio sono disponibili presso i rispettivi fornitori originali. I materiali di implementazione, le mappe di previsione e i risultati della valutazione sono disponibili pubblicamente tramite il repository Zenodo all'indirizzo https://doi.org/10.5281/zenodo.21395701.

File supplementare 1: Formulazione matematica e algoritmo di addestramento del framework FlowErs. Questo file supplementare fornisce la formulazione matematica completa alla base del framework FlowErs proposto, inclusa la formulazione del flusso continuo (Equazioni S1–S2), l'equazione del flusso di probabilità (Equazione S3), il percorso ottimale del flusso (Equazioni S4–S5), l'obiettivo di addestramento condizionato basato sul matching del flusso (Equazione S6) e le proprietà teoriche associate. Il file include inoltre l'Algoritmo S1, che riassume l'intero flusso di lavoro di addestramento in due fasi, composto da un pre-addestramento non supervisionato basato sul matching del flusso seguito da una classificazione multimodale supervisionata.

Discussione

Lo studio attuale presenta FlowErs, un framework multimodale di telerilevamento che separa l'allineamento delle caratteristiche cross-modali dalla classificazione semantica attraverso una strategia di apprendimento in due fasi. Piuttosto che fondere direttamente caratteristiche eterogenee specifiche delle singole modalità, il framework proposto allinea innanzitutto le rappresentazioni delle caratteristiche utilizzando il conditional flow matching, prima della fusione multimodale e della classificazione. Questo design affronta la sfida di lunga data delle distribuzioni eterogenee delle caratteristiche tra HSI e LiDAR, in cui le differenze nei meccanismi di rilevamento limitano spesso l'efficacia delle strategie di fusione convenzionali basate su concatenazione o attenzione^{23,26,35,36,37,38,39}. Formulando l'allineamento multimodale come un trasporto continuo di caratteristiche, FlowErs estende i recenti sviluppi nel flow matching, applicandoli dal modellamento generativo all'apprendimento delle rappresentazioni nel telerilevamento multimodale^{15,16,17,18,19,20,21}. Nelle condizioni di benchmark valutate, il framework proposto ha ottenuto prestazioni competitive nella classificazione complessiva sui dataset Houston2013, Augsburg e MUUFL, mentre lo studio ablativo condotto ha ulteriormente confermato il contributo del modulo di allineamento bidirezionale alle prestazioni riportate con suddivisione fissa.

I risultati riportati suggeriscono che l'allineamento esplicito delle caratteristiche prima della fusione multimodale può migliorare la compatibilità delle rappresentazioni eterogenee estratte da diverse modalità sensoriali. I precedenti metodi di telerilevamento multimodale si sono basati principalmente su reti convoluzionali, architetture basate su Transformer, meccanismi di attenzione, apprendimento contrastivo o fusione guidata da prompt per rafforzare l'interazione tra le caratteristiche^{23,26,35,36,37,38,39}. Sebbene questi approcci abbiano dimostrato prestazioni di classificazione elevate, la maggior parte assume che gli embedding specifici della modalità possano essere direttamente fusi dopo l'estrazione delle caratteristiche. Al contrario, FlowErs introduce una fase intermedia di allineamento geometrico che trasporta continuamente le caratteristiche specifiche della modalità in uno spazio latente condiviso prima della classificazione. La valutazione per classe dimostra che i miglioramenti complessivi delle prestazioni non sono stati distribuiti uniformemente tra tutte le categorie di copertura del suolo. Ad esempio, diverse classi minoritarie e categorie urbane spettralmente simili sono rimaste relativamente difficili da classificare, e la differenza osservata tra OA e AA, in particolare per il dataset di Augsburg, riflette l'influenza dello squilibrio tra le classi insieme a prestazioni variabili a livello di classe. Pertanto, le metriche aggregate riportate dovrebbero essere interpretate insieme ai risultati per classe, piuttosto che come prova di miglioramenti uniformi in ogni categoria.

Gli esperimenti di ablazione supportano ulteriormente la progettazione proposta. La rimozione del modulo di abbinamento multimodale dei flussi ha ridotto le prestazioni aggregate di classificazione su tutti e tre i dataset di riferimento, mentre la variante a flusso unidirezionale ha ottenuto prestazioni costantemente intermedie tra quelle del modello completo e quelle del modello senza allineamento dei flussi. Queste osservazioni sono coerenti con l'ipotesi di lavoro secondo cui il trasporto bidirezionale delle caratteristiche potrebbe migliorare la corrispondenza tra modalità prima della fusione delle caratteristiche nelle condizioni di benchmark valutate. Analogamente, l'analisi dell'integrazione dei flussi ha dimostrato che la discretizzazione intermedia della traiettoria di trasporto appresa produce le prestazioni aggregate più elevate, con sei passi di integrazione che rappresentano il punto operativo nominale nell'attuale implementazione. I miglioramenti prestazionali sono diventati marginali o leggermente decrescenti con ulteriori passi di integrazione, suggerendo che una discretizzazione sempre più fine potrebbe offrire benefici decrescenti nelle condizioni sperimentali valutate. Se questo punto operativo sia generalizzabile ad altri dataset, modalità sensoriali o architetture di rete resta da verificare.

Diversi limiti devono essere considerati nell'interpretazione dei risultati attuali. In primo luogo, la valutazione si è limitata a tre dataset di benchmark pubblicamente disponibili, utilizzando partizioni fisse per training e test e un singolo seme casuale. Di conseguenza, non sono state valutate l'incertezza derivante da esecuzioni ripetute, gli intervalli di confidenza, i test di significatività statistica e la variabilità tra diverse esecuzioni. In secondo luogo, i metodi di confronto sono stati presi direttamente dalle rispettive pubblicazioni anziché essere reimplementati all'interno di un framework sperimentale comune; pertanto, i confronti riportati devono essere interpretati in senso descrittivo e non come riproduzioni controllate testa a testa. In terzo luogo, non è stata indagata la robustezza a modalità mancanti, osservazioni rumorose, errori di allineamento spaziale e generalizzazione tra diverse regioni. Inoltre, sebbene il flow matching fornisca un quadro teorico per il trasporto continuo e potenzialmente invertibile delle caratteristiche^15,16,17, nell'attuale studio non è stata verificata empiricamente l'invertibilità esatta, il mantenimento della topologia e l'interpretabilità fisica delle trasformazioni apprese. Anche le caratteristiche computazionali, tra cui il tempo di inferenza, il consumo di memoria e la complessità in termini di operazioni in virgola mobile, non sono state profilate separatamente.

Approcci alternativi allo studio dell'allineamento multimodale continuano a evolversi. Studi recenti hanno esplorato l'apprendimento contrastivo, la fusione basata su grafi, l'apprendimento di rappresentazioni a rango ridotto, l'apprendimento multimodale guidato da prompt, l'apprendimento federato e architetture ibride convoluzionali–Transformer per migliorare l'integrazione delle caratteristiche multimodali^{23,26,27,28,35,36,37,38,39}. Queste strategie rimangono complementari piuttosto che mutualmente esclusive, e lavori futuri potrebbero indagare combinazioni di trasporto esplicito di caratteristiche basato su flussi con questi paradigmi di allineamento esistenti. Oltre alla classificazione del land-cover, l'allineamento continuo di caratteristiche potrebbe essere applicabile anche a compiti correlati di telerilevamento multimodale, inclusi la segmentazione semantica, il rilevamento di cambiamenti, il riconoscimento di oggetti, il monitoraggio ambientale, la valutazione dei disastri, l'agricoltura di precisione e la mappatura urbana, dove modalità complementari di telerilevamento sono sempre più disponibili^{2,3,4,5,6,7,8,9,23}.

Indagini future dovrebbero valutare il framework proposto in condizioni sperimentali più diverse, incorporando analisi statistiche con esecuzioni ripetute, profilazione computazionale, robustezza a modalità mancanti o rumorose, sensibilità agli errori di registrazione spaziale e valutazione del trasferimento tra regioni. Ulteriori studi che esaminino parametrizzazioni alternative del flusso, diverse architetture di encoder e dataset di riferimento multimodali più ampi chiarirebbero ulteriormente la generalizzabilità e l'applicabilità pratica della metodologia proposta. Nel complesso, i risultati attuali indicano che l'allineamento esplicito delle caratteristiche mediante corrispondenza condizionale del flusso rappresenta una strategia complementare promettente per la classificazione multimodale del telerilevamento, evidenziando al contempo diverse opportunità per ulteriori sviluppi metodologici e valutazioni complete.

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
ottimizzatore AdamW	Fondazione PyTorch	Incluso in PyTorch	Utilizzato per l'ottimizzazione del modello. È stata utilizzata PyTorch 2.5.0.
Set di dati di riferimento Augsburg	Hu J et al. (Earth System Science Data, 2022); Tecnologia del Telerilevamento, LMU Monaco	https://doi.org/10.5281/zenodo.7185498	Dataset pubblico di riferimento multimodale di telerilevamento utilizzato per la valutazione dei modelli.
CUDA Toolkit	NVIDIA	CUDA Toolkit 12.4; https://developer.nvidia.com/cuda-12-4-0-download-archive	Utilizzato per l'addestramento e l'inferenza del modello accelerati tramite GPU.
unità di elaborazione grafica (GPU)	NVIDIA Corporation	NVIDIA A100 80 GB PCIe	Utilizzato per il training e la valutazione del modello.
dataset di riferimento Houston2013	Concorso sulla fusione dei dati della IEEE Geoscience and Remote Sensing Society	http://www.grss-ieee.org/community/technical-resources/data-fusion/2013-grss-data-fusion-contest/	Dataset pubblico di immagini iperspettrali e dati LiDAR utilizzato per la valutazione del modello.
Dataset di riferimento MUUFL Gulfport	Università della Florida (Gader P et al., Rapporto Tecnico REP-2013-570)	https://github.com/GatorSense/MUUFLGulfport	Dataset pubblico di immagini iperspettrali e dati LiDAR utilizzato per la valutazione del modello.
Sistema operativo	Canonical Ltd.	Ubuntu 22.04 LTS; https://ubuntu.com	Ambiente computazionale utilizzato per lo sviluppo, l'addestramento e la valutazione del modello.
PyTorch	Fondazione PyTorch	PyTorch 2.5.0; https://pytorch.org/get-started/previous-versions/#v250	Framework di apprendimento profondo utilizzato per implementare, addestrare e valutare il modello FlowErs.
Python	Python Software Foundation	Python 3.11; https://www.python.org/downloads/release/python-3110/	Linguaggio di programmazione utilizzato per implementare ed eseguire il flusso di lavoro computazionale.