Fusione interattiva di attenzione multiscala con rete di convoluzione di funzionalità scarse per il rilevamento dei cambiamenti di immagini satellitari

Summary

Questo studio presenta un modello di fusione interattiva Multiscale Attention con Reti di Convoluzione a Caratteristiche Rase per migliorare il rilevamento dei cambiamenti delle immagini satellitari. L'approccio sfrutta l'estrazione di caratteristiche multiscala, la focalizzazione selettiva sull'attenzione e le convoluzioni rase per rilevare e localizzare efficacemente i cambiamenti nelle immagini satellitari bitemporali riducendo la complessità computazionale.

Abstract

Il rilevamento dei cambiamenti tramite immagini satellitari bi-temporali è un problema importante nel monitoraggio terrestre che mira a identificare e localizzare i cambiamenti superficiali tra un'acquisizione temporale e distinguere i pseudo-cambiamenti reali dovuti a cicli stagionali, fattori atmosferici o sviluppi causati dall'uomo. I metodi attuali di deep learning spesso affrontano un bias unidirezionale nella loro modellazione temporale, che limita l'usabilità delle relazioni spaziali su larga scala per favorire la corretta caratterizzazione dei modelli di cambiamento. Sebbene le tecniche recenti basate su trasformatori siano altamente accurate, i loro requisiti computazionali sono anch'essi piuttosto elevati, limitandone così l'uso su compiti con risorse limitate. In risposta a queste limitazioni, in questo articolo è proposta una rete Interactive Multiscale Attention Fusion (IMAF) con Convoluzione di Caratteristiche Scarse (SFC) basata su moduli Ghost per ottenere un'estrazione efficace di caratteristiche multiscala. La rete utilizza un'architettura avanzata encoder-decoder integrata da moduli di attenzione interattivi su diverse scale. La rete funziona con flussi di attenzione complementari avanti e indietro: il primo registra la variazione temporale progressiva e il secondo verifica la coerenza delle variazioni tramite analisi temporale inversa. Questo metodo interattivo consente rappresentazioni efficaci del modello duplex delle relazioni temporali senza essere computazionalmente proibitivo, migliorando approcci molto migliori per distinguere movimenti legittimi di copertura del suolo rispetto al rumore in assenza di variazioni indotte dal rumore. Sono sperimentati due dataset di benchmark: il dataset Onera Satellite Change Detection (OSCD) e il dataset SZTAKI AirChange. I significativi esperimenti condotti sui dataset OSCD rivelano che l'approccio proposto raggiunge tassi F1 competitivi del 58,14% (13 canali) e del 50,68% (3 canali) con soli 2,13 milioni di parametri e 19,6G FLOPS, 19 volte pochi parametri, e un turnover di inferenza 5,6x rispetto a ChangeFormer. Le prestazioni competitive sui campioni dei set di test Szada/1 e Tiszadob/3 del dataset SZTAKI, con punteggi F1 rispettivamente del 74,29% e del 92,86%, rendono possibile implementare, nel maggior numero dei dispositivi edge, analisi in tempo reale e sistemi di mappatura estesi dove l'energia operativa dipende direttamente dall'energia computazionale.

Introduction

Livelli senza precedenti di urbanizzazione nell'ambiente globale, perdita di risorse ambientali e alterazioni del paesaggio dovute al clima hanno direttamente innescato la necessità di fornire un sistema di monitoraggio preciso, tempestivo e automatico in grado di identificare e misurare i cambiamenti sulla superficie terrestre. Il telerilevamento satellitare è diventato il pilastro fondamentale della sorveglianza ambientale di massa, poiché fornisce una copertura temporale e spaziale costante, oltre a essere fondamentale per l'esame completo del cambiamento. La rilevazione dei cambiamenti delle immagini satellitari bi-temporali è la caratterizzazione dei cambiamenti superficiali tra due acquisizioni sequenziali della stessa regione geografica. È però un processo complicato a causa delle numerose variabili di confondenza, tra cui la variazione delle stagioni, le condizioni meteorologiche, le proprietà dei sensori, le distorsioni geometriche e le alterazioni fenomenologiche che possono oscurare o assomigliare alla reale nella copertura del suolo. L'interpretazione manuale delle immagini satellitari attualmente in uso è dispendiosa in termini di tempo, soggettiva e non adatta a gestire le quantità in continua crescita di informazioni sull'osservazione terrestre generate dalle attuali costellazioni satellitari. Questa è la limitazione di base che ha portato alla creazione di soluzioni automatizzate di rilevamento dei cambiamenti. I metodi convenzionali basati su^{pixel 1} e i metodi di rilevamento cambiamento basati su^{oggetti 2} tendono a essere poco adatti a operare entro i limiti di queste complessità e hanno uno standard di robustezza basso da applicare a un'ampia gamma di unità geografiche e scale temporali. Le architetture di deep learning, in particolare le reti neurali convoluzionali e le varianti, permettono l'estrazione di caratteristiche gerarchiche che rappresentano dettagli spettrali di basso livello e schemi semantici di alto livello rilevanti per distinguere i cambiamenti. I modelli di rilevamento dei cambiamenti nel deep learning si sono dimostrati altamente promettenti nel catturare i cambiamenti spazio-temporali latenti nei dati di telerilevamento e nell'identificare la vera copertura del suolo rispetto ai pseudo-cambiamenti, introdotti da fattori estranei. Questi approcci di apprendimento end-to-end sfruttano il fatto che le caratteristiche possono essere estratte e la classificazione può essere eseguita in modo ottimale contemporaneamente. Nonostante i notevoli progressi nella precisione del rilevamento dei cambiamenti, la maggior parte degli approcci esistenti rimane difficile da implementare in ambienti operativi reali. Gli approcci basati su^{trasformatori 3}, sebbene efficienti nel contesto globale, hanno un alto numero di parametri, complessità computazionale quadratica, latenza di inferenza e un alto consumo energetico. Le architetture siamesi basate su CNN, invece, sono superiori in efficienza, ma hanno campi ricettivi piccoli e mancano in gran parte di modellazione contestuale globale, peggiorando così significativamente le prestazioni. Questi vincoli sono ulteriormente aggravati negli ambienti su larga scala e con risorse limitate, dove scalabilità e costi operativi sono considerazioni critiche. Scalabilità, efficienza energetica e la velocità con cui vengono effettuate le inferenze sono spesso fondamentali in un contesto di risposta alle emergenze, e c'è bisogno di creare soluzioni che bilancino prestazioni e dispiegabilità. Pertanto, rimane un divario tra modelli computazionalmente intensivi focalizzati sulla precisione e i requisiti pratici dell'implementazione nel mondo reale.

Per superare tali problemi, è proposta una Interactive Multiscale Attention Fusion (IMAF) con Sparse Feature Convolution (SFC) Network, che si concentra sulla progettazione di un framework efficiente e dispiegabile per il rilevamento dei cambiamenti piuttosto che sull'ottimizzazione della precisione. La soluzione proposta si concentra su coppie di immagini satellitari ottiche, solitamente immagini RGB o multispettrali ad alta risoluzione (risoluzione 0,5-30 m), acquisite da satelliti, ad esempio Landsat, Sentinel-2 o WorldView. La tecnica presuppone una precisa co-registrazione geometrica delle coppie bitemporali, poiché gli errori di registrazione possono avere anche un effetto considerevole sulla rilevazione. Si occupa del rilevamento binario dei cambiamenti (a differenza del cambiamento semantico multiclasse) e non riesce a distinguere tra vari tipi di modifica. Oltre a questo, il metodo utilizza immagini radiometriche corrette per ridurre gli effetti dei cambiamenti stagionali, atmosferici e di illuminazione, che verrebbero scambiati per cambiamenti di copertura del suolo. A differenza delle tradizionali CNN^{siamesi 4} che separano immagini bi-temporali con l'ausilio di una semplice concatenazione, il modulo IMAF proposto consente una fusione contestuale su scala multipla di caratteristiche sia globali che locali. Approcci recenti basati su transformer, come BIT⁵ e^{ChangeFormer 3}, stanno ottenendo ottimi risultati, ma i loro meccanismi di autoattenzione hanno la complessità O(N²). Il framework proposto cattura cambiamenti sottili con attenzione bidirezionale, riducendo la complessità computazionale e la latenza di inferenza. Inoltre, il progetto proposto è consapevole della scarsimità, superiore ai progetti a fusione multiscala densa come UNet++^6,7 e SNUNet⁸. La convoluzione delle caratteristiche scarse con il modulo fantasma riduce i FLOP di circa il 50%, preservando la qualità della rappresentazione. Pertanto, il framework proposto favorisce un compromesso accurateza-efficienza per una distribuzione affidabile su ambienti a risorse limitate.

I principali contributi di questo studio sono: (i) Un rilevatore di cambiamento leggero che raggiunge un punteggio F1 competitivo utilizzando 19 volte meno parametri rispetto ai suoi equivalenti basati su trasformatori. (ii) Un modulo interattivo di fusione dell'attenzione multiscala che ottiene informazioni contestuali globali senza il costo computazionale quadratico dei tradizionali meccanismi di auto-attenzione. (iii) Uno schema di convoluzione con scarsità di caratteristiche basato sui moduli Ghosts, che minimizza le operazioni in virgola mobile del 49,4 percento senza alcuna degradazione della qualità nella rappresentazione delle caratteristiche. (iv) Ampia validazione sperimentale su un ampio set di dati di benchmark, con migliori compromessi tra efficienza e accuratezza e ragionevole praticabilità dell'applicazione effettiva nel mondo reale.

Il resto di questo manoscritto comprende le seguenti sezioni: La sezione 2 offre una panoramica approfondita dei lavori recenti nell'ambito delle metodologie di rilevamento dei cambiamenti binari, con particolare attenzione alle soluzioni di deep learning e alla loro implementazione su benchmark standard. La sezione 3 fornisce il contesto teorico e la progettazione strutturale della soluzione proposta, la rappresentazione matematica del meccanismo di fusione temporale e degli elementi di attenzione, le caratteristiche dell'allestimento sperimentale, i dataset, le metriche di valutazione e i dettagli di implementazione necessari per produrre ricerche riproducibili. La Sezione 4 illustra risultati sperimentali dettagliati che comprendono l'ablazione, confronti con gli ultimi algoritmi di rilevamento dei cambiamenti binari che spiegano la capacità in varie aree geografiche nei dataset Airchange OSCD e SZTAKI. La Sezione 5 determina i risultati delle scoperte, i limiti di un approccio attuale e le possibilità di future ricerche nel rilevamento del cambiamento.

Lo sviluppo di algoritmi di rilevamento dei cambiamenti nel telerilevamento è stato notevolmente modificato, passando dai metodi basati su pixel ai framework di deep learning. Le procedure precoce di rilevamento dei cambiamenti si basavano principalmente su processi algebrici come differenziamento delle immagini, razionamento delle immagini e analisi dei vettori di cambiamento, che lavoravano direttamente sui valori dei pixel per rilevare i cambiamenti^{temporali 9,10}. Sono stati sviluppati metodi alternativi che prevedevano il confronto post-classificazione, in cui ogni immagine temporale veniva classificata indipendentemente e poi confrontata con la tabulazione^{incrociata 11}. Le tecniche di rilevamento dei cambiamenti basate su oggetti hanno rappresentato un importante passo di progresso con l'introduzione del contesto spaziale e la mitigazione del rumore a livello^{di pixel 2,12}.

L'avvento delle tecniche di deep learning ha rivoluzionato il campo del rilevamento dei cambiamenti tramite telerilevamento e ha aperto la strada per superare diversi vincoli delle tecniche tradizionali. Recentemente, le Reti Neurali a Convoluzione (CNN) sono diventate l'architettura standard per l'estrazione automatizzata delle caratteristiche e la classificazione^{delle modifiche 13,14}. Siamese NestedUNet for Change^{Detection 14} e Siamese Swin-Unet¹⁵ sono emerse come un'innovazione significativa grazie alla topologia di rete siamese densamente connessa, che aiuta a mantenere efficacemente le informazioni di localizzazione attraverso la gerarchia della rete.

Il problema del rilevamento dei cambiamenti bi-temporali nel telerilevamento ottico ad alta risoluzione è ancora difficile da risolvere a causa di una varietà di fattori di confusione, e le reti di trasformatori multiscala basate sull'attenzione con le elaborate strategie di fusione delle caratteristiche sono^{state proposte 16}. Il framework EGMT-CD proponeva trasformatori multimodali guidati a spigoli di coppie di immagini eterogenee, dove le immagini omologhe non sono accessibili a causa della copertura^{nuvolosa 17}. Architetture come DASUNet superano i colli di bottiglia manuali nel deep learning nella fusione di funzionalità su larga scala, con un miglioramento dell'indice F1 superiore dello 0,85% rispetto a SNUNet-24 sul dataset CDD grazie al gradient^{flow 18} migliorato. I modelli ibridi CNN-Transformer affrontano il problema dei falsi negativi a un costo più elevato fornendo un costo aggiuntivo sulle componenti di frequenza rispetto all'apprendimento delle caratteristiche¹⁹. Le reti ibride di trasformatori^{a forma di U 20}, tuttavia, sono ancora difficili da fornire integrazione di funzionalità locali-globali e cambiamenti nelle regioni che si verificano periodicamente, anche su piccola scala. L'uso del multitasking per rilevamento semantico dei cambiamenti, nonché l'identificazione precisa della posizione e delle classi, è più complesso rispetto ai task^{binari 21,22}. Le correlazioni bi-temporali possono essere modellate con successo tramite attenzione incrociata senza cambiamenti architettonici^{significativi 14,23}. L'espressione paradigmatica del linguaggio prospettico è anch'essa una frontiera recente con i design basati su CLIP, che combinano spiegazioni testuali in pattern di cambiamento²⁴ e semi-supervisionati, eliminando la dipendenza da dati^{etichettati 25}. Change Mamba presenta i modelli di spazio di stato dei modelli^{spazio-temporali 26,27}. Vengono dimostrate diverse applicazioni di metodi di attenzione specializzati: affrontare l'uso della rilevazione di anomalie iperspettrali²⁸, classificazione multiarea^{target 29} o segmentazione a etichetta^{limitata 30}, e dimostrare la flessibilità dei meccanismi di attenzione nell'analisi del telerilevamento.

Autori	Metodo/Architettura	Specifiche tecniche	Innovazione Chiave & Risultati / Performance del Dataset
Singh, A. [8]	Metodi tradizionali	Differenziazione basata su pixel, CVA	Framework di rilevamento dei cambiamenti digitali, Dataset multipli, Accuratezza: 65-80%
Mas, J.F. [10]	Dopo la classifica	Classificazione temporale indipendente	Analisi metodologica comparativa, immagini tropicali, OA: 72-85%
Lu et al. [9]	Metodi tradizionali	Operazioni algebriche, CVA, PCA	Confronto tecnico completo, Fonti, Accuratezza: 70-88%
Benedek & Szirányi [23]	Modello misto di Markov	Quadro condizionale multilivello	Modellazione probabilistica del cambiamento, Sztaki AirChange, DA: 92,1%
Blaschke, T. [2]	Basato su oggetti	Analisi basata sulla segmentazione	Integrazione del contesto spaziale, varie immagini HR, SA: 85-92%
Chen et al. [11]	Basato su oggetti	Segmentazione multiscala	Analisi gerarchica degli oggetti, immagini HR, AR: 87,3%
Zhan et al. [12]	Siamese CNN	CNN a 5 strati, dimensione kernel 3×3	Architettura siamese profonda per CD, immagini aeree, F1: 0.847, IoU: 0.735
Daudt et al. [4]	Siamese FCN	FC-EF, FC-Siam-diff, FC-Siam-conc	Strategie di fusione precoce/tardive, OSCD, F1: 0,431, IoU: 0,276
Peng et al. [26]	UNet++	U-Net annidata, connessioni di salto denso	Aggregazione di caratteristiche multiscala, HR satellite, F1: 0,753, IoU: 0,604
Chen & Shi [25]	Attenzione spazio-temporale	Blocchi di attenzione, modellazione temporale	Apprendimento delle caratteristiche spazio-temporale, LEVIR-CD, F1: 0.887, IoU: 0.797
Fang et al. [7]	SNUNet-CD	Siamese NestedUNet, connessioni dense	Ottimizzazione della trasmissione delle informazioni, LEVIR: F1: 0,897, WHU: F1: 0,904
Chen et al. [5]	BIT-CD	ResNet18 + codificatore trasformatore	Apprendimento binario temporale delle funzionalità, OSCD: F1: 0.635, LEVIR: F1: 0.919
Bandara & Patel [3]	CambiamentoEx	Codificatore gerarchico per trasformatori	Attenzione trasformatore multiscala, OSCD: F1: 0,654, LEVIR: F1: 0,905
Song et al. [27]	ACANet	Attenzione assiale + dorsale CNN	Calcolo efficiente dell'attenzione, LEVIR: F1: 0,901, WHU: F1: 0,913
Shi et al. [28]	Articolo di revisione	Indagine completa sui metodi di IA	Analisi sistematica degli approcci IA, 50+ dataset analizzati
Li et al. [14]	AMST-Net	Trasformatore multiscala, attenzione piramidale	Estrazione adattiva multiscala delle caratteristiche, immagini ottiche HR, mIoU: 0,823
Xiang et al. [15]	EGMT-CD	Architettura multimodale guidata da margini	Allineamento delle caratteristiche cross-modali, coppie eterogenee, F1: 0,756
Miao et al. [16]	DASUNet	Supervisione densa, fusione su larga scala	Supervisione profonda a tutti i livelli del decodificatore, CDD: miglioramento dello 0,85% di F1 rispetto a SNUNet
Tang et al. [29]	Siamese Swin-UNet	Fusione Swin Transformer + Unet	Attenzione alla finestra gerarchica, LEVIR: F1: 0,923, WHU: F1: 0,925
Wu et al. [18]	Trasformatore a U ibrido	Backbone UNet++ + Blocchi trasformatori	Integrazione globale e locale delle funzionalità, immagini HR, IoU: 0,851, F1: 0,919
Dong et al. [20]	ChangeCLIP	Linguaggio visivo basato su CLIP	Comprensione semantica multimodale, coppie RS, accuratezza semantica: 94,1%
Li et al. [21]	SemiCD-VL	Visionlanguage semi-supervisionato	Requisiti di annotazione ridotti, etichette limitate, F1: 0,889
Chen et al. [22]	ChangeMamba	Modelli di Spazio di Stato (SSM)	Modellazione temporale della complessità lineare, immagini RS, efficienza: 3 volte più veloce

Tabella 1: Riepilogo dei metodi di rilevamento dei cambiamenti nel telerilevamento Clicca qui per scaricare questa tabella.

Un riassunto degli studi precedenti è presentato nella Tabella 1. I metodi tradizionali hanno caratteristiche artigianali che non sono adatte a variazioni spazio-temporali^{complesse 31}, e l'architettura del deep learning (UNet, FPN, PSPNet) comporta convoluzioni dense e computazionalmente costose. I modelli attuali non dispongono di sistemi efficienti di incorporazione multiscala e di attenzione dinamica. Per colmare queste lacune, l'attuale studio propone la Fusione Interattiva Multi-scale dell'Attenzione con Rete di Convoluzione di Caratteristiche Scarse, che mira a catturare i cambiamenti sottili attraverso le scale pur risultando computazionalmente efficiente nel telerilevamento, in particolare nei cambiamenti strutturali urbani e artificiali.

Protocol

1. Dichiarazione etica

1. Sia i dataset Onera Satellite Change Detection (OSCD) che SZTAKI AirChange utilizzati in questo studio consistono in immagini RGB e multispettrali disponibili pubblicamente che coprono diverse caratteristiche geografiche. Questi dataset non contengono dati riservati o sensibili. Pertanto, non è richiesto alcun consenso etico per questo lavoro.

2. Materiali e attrezzature

1. Effettua test su un computer Windows 11 dotato di processore Intel Core i7 10870H, un chip NVIDIA GeForce GTX 1650 Ti con 4GB di VRAM e 32GB di RAM.
   NOTA: L'ambiente di programmazione è Python 3.8, e l'ambiente di programmazione si basa sul framework PyTorch (versione 1.12.1) e Torchvision (versione 0.13.1) per implementare il deep learning.
2. Scarica e installa librerie come scikit-learn (versione 1.0.2), contenente l'utilità di machine learning, e NumPy (versione 1.21.0), che contiene operazioni numeriche.
3. Assicurati di installare la versione 11.3 del CUDA Toolkit e la versione 8.2 di cuDNN fornite dalla NVIDIA Corporation per poter utilizzare l'accelerazione della scheda grafica.
4. Addestrare e valutare le prestazioni utilizzando il dataset di Airchange OSCD e SZTAKI disponibile pubblicamente.

3. Preparazione del dataset

1. Seleziona OSCD⁴, composto da immagini aeree satellitari ottiche RGB e immagini multispettrali, ciascuna di 600 x 600 pixel con risoluzione di 10 m, e il dataset SZTAKI^{AirChange 32} , composto da 13 coppie di immagini aeree ottiche, ciascuna di 952 x 640 pixel con una risoluzione di 1,5 m/pixel come dataset di benchmark.
2. Partizionare le 24 città del dataset OSCD in 14 città predefinite e fisse per la formazione e 10 città per i test.
3. Assegnare coppie immagini fisse non randomizzate Szada/1 e Tiszadob/3 dal dataset SZTAKI AirChange al set di test e le restanti coppie di immagini come set di addestramento come benchmark convenzionale.
4. Esegui il rilevamento dei cambiamenti sul set di test e quantifica le prestazioni in una singola esecuzione utilizzando coppie di immagini annotate da ciascun dataset.

4. Preprocessing

1. Applica la pre-elaborazione basata su patch.
   1. Estrarre le patch dell'immagine indipendentemente per ogni immagine temporale in posizioni identiche al volo per gestire in modo efficiente le immagini satellitari ad alta risoluzione.
   2. Dividere ogni immagine in macchie sovrapposte di 128 × 128 pixel usando un passo di 64 pixel.
   3. Allinea le regioni sovrapposte tra le chiazze adiacenti per mantenere la coerenza dei confini e conservare le informazioni sui bordi.
2. Effettuare l'aumento dei dati per classe.
   1. Applicare l'aumento differenziale durante l'addestramento su entrambe le patch della coppia in base alla proporzione di pixel di cambiamento per gestire lo squilibrio di classe tra le regioni "cambiamento" e "no-change".
   2. Aumenta la coppia di patch di cambiamento (quelle con > 1% di pixel di variazione) sei volte usando le seguenti trasformazioni: ribaltamenti orizzontali e verticali, rotazioni di 90°, jitter di colore (luminosità, contrasto e saturazione ± 30%), trasformazioni affini (rotazione ± 15°, traslazione ± 10 pixel, scalatura 95-105%).
   3. Aumentare la coppia di patch senza modifiche solo una volta per evitare squilibri del dataset.
      NOTA: Questa strategia di aumento, basata sulle classi, fornisce un allenamento equilibrato nelle regioni di cambiamento e no-change.
3. Normalizza e migliora la qualità dell'immagine.
   1. Normalizzare tutte le patch usando la media e la deviazione standard di ImageNet: Media = (0,485, 0,456, 0,406), Std = (0,229, 0,224, 0,225).
      1. Usa Contrast Limited Adaptive Istogram Equalization (CLAHE) con limite di clip = 2.0, dimensione della griglia delle tile = 8 x 8, nello spazio colore LAB (solo canale L) per illuminare i contrasti delle aree con basso contrasto in modo che le caratteristiche possano essere distinte sull'immagine, con intensità normalizzate a [0,255].
      2. Cancella eventuali patch più piccole di 128 x 128 pixel e imbotti le patch più piccole in modo che siano della stessa dimensione delle patch più grandi e mantengano l'integrità spaziale durante l'addestramento del modello.

5. Costruzione del modello

1. Definisci input e output.
   1. Il framework proposto prende in input una coppia di immagini satellitari co-registrate I₁, I₂ ∈^{R H×W×} C acquisite in diverse istenze temporali e produce una mappa binaria di cambiamento M ∈^{R H×W×2} che delinea accuratamente le regioni cambiate e inalterate.
2. Quadro proposto
   1. Elaborare il framework proposto come una pipeline di elaborazione in tre fasi. Nella prima fase, eseguire modellazione temporale dell'attenzione sulle sequenze di input per catturare il cambiamento nel tempo.
   2. Utilizzare l'attenzione incrociata interattiva per catturare le dipendenze temporali simmetriche tra le caratteristiche bi-temporali nella fase di modellazione dell'attenzione temporale.
   3. Estrarre rappresentazioni gerarchiche delle caratteristiche rilevanti da un'immagine modellata temporalmente utilizzando un'architettura di encoder basata sulle caratteristiche nella seconda fase, dove la risoluzione spaziale diminuisce gradualmente mentre la dimensione delle caratteristiche aumenta.
   4. Utilizzare un decoder skip-connected con upsampling adattivo per produrre mappe di cambiamento ad alta risoluzione nella fase di ricostruzione, mantenendo però dettagli spaziali su scala inferiore.
      NOTA: La Figura 1 mostra il flusso complessivo di dati dalle immagini satellitari bi-temporali in ingresso all'encoder condiviso, ai blocchi di elaborazione a attenzione incrociata centrali e al decodificatore, che insieme portano alla mappa di rilevamento dei cambiamenti.
3. Codificatore di caratteristiche sparso
   1. Costruire un encoder leggero costruito con blocchi convoluzionali Ghost con rapporto = 2 con normalizzazione batch e funzione di attivazione ReLU applicate sequenzialmente per ridurre la complessità computazionale mantenendo la qualità rappresentazionale.
   2. Assemblare il codificatore in sequenza dai seguenti tre tipi di blocchi.
      Blocco₁: Ghost(in_channels → 32) → BN → ReLU → Ghost(32 → 64) → BN → ReLU → MaxPool(2×2)
      Blocco₂: Ghost(64 → 96) → BN → ReLU → Ghost (96 → 128) → BN → ReLU → MaxPool(2×2)
      Blocco₃: Ghost(128 → 128) → BN → ReLU
   3. Collega i blocchi per mantenere un flusso regolare delle caratteristiche attraverso l'encoder e preservare la risoluzione spaziale per le fasi successive.
      NOTA: L'innovazione centrale di questo approccio risiede nel meccanismo interattivo di attenzione incrociata che consente l'interazione simmetrica delle caratteristiche tra immagini bi-temporali. Per ogni coppia di immagini, vengono estratte le caratteristiche profonde F_{1,F 2}∈^{R B×C×H'×W'}, dove H' = H/4, W' = W/4, C=128 rappresentano la dimensione delle caratteristiche. Queste caratteristiche spaziali sono rimodellate in un formato di sequenza che rappresenta la lunghezza della sequenza spaziale, mentre D=C rappresenta la dimensione delle caratteristiche.
4. Modellazione dell'attenzione temporale
   1. Implementare l'operazione di attenzione incrociata utilizzando la formulazione standard scalata a prodotto scalare dell'attenzione come illustrato nella Figura 2
      
      dove Q, K e V rappresentano rispettivamente matrici di query, key e value, e d_k indica la dimensione dei vettori chiave.
      NOTA: L'attenzione multi-testa con h = 8 teste per catturare diversi tipi di relazioni temporali simultaneamente viene impiegata indipendentemente a ciascuna scala. Ogni testa di attenzione elabora un diverso sottospazio delle rappresentazioni delle caratteristiche, permettendo al modello di concentrarsi su vari aspetti dei cambiamenti temporali.
   2. Calcolare l'output di attenzione multi-head come:
      MultiHead (Q,K,V) = Concat (_{testa 1},...,_{head h} ) W^O
      dove ciascuna sono matrici di proiezione apprese.
5. Attenzione interattiva simmetrica
   1. La strategia di attenzione interattiva cattura le informazioni di cambiamento simmetrico attraverso operazioni avanti e indietro (mostrate nella Figura 3). L'attenzione diretta permette alle caratteristiche della prima immagine temporale di prestare attenzione alle caratteristiche della seconda immagine temporale, calcolate come:
      
      dove le prime caratteristiche temporali fungono da query mentre le seconde forniscono chiavi e valori.
   2. Al contrario, l'attenzione all'indietro permette alle caratteristiche della seconda immagine temporale di prestare attenzione alle caratteristiche della prima immagine temporale, formulate come:
      
      Le caratteristiche assistite da entrambe le direzioni vengono concatenate e proiettate attraverso una trasformazione lineare per produrre la rappresentazione finale attended:
      
      NOTA: Questo meccanismo interattivo garantisce che le relazioni temporali vengano catturate simmetricamente, rendendo la rete invariante rispetto all'ordine delle immagini di input, cosa cruciale per applicazioni di rilevamento dei cambiamenti in cui la sequenza temporale non dovrebbe influenzare i risultati del rilevamento.
6. Decodificatore e ricostruzione della mappa di cambiamento
   1. Unisci le funzionalità assistite con le uscite degli encoder tramite connessioni skip per mantenere i dettagli spaziali.
   2. Applicare interpolazione bilineare con parametri identici su tutte le fasi del decodificatore per un ridimensionamento adattivo al fine di garantire un allineamento perfetto tra le connessioni saltate.
   3. Nel primo stadio, ridurre i canali da 256 a 96 pixel tramite convoluzioni Ghost a H/4×W/4 e campionare a H/2×W/2 e fondere con le corrispondenti caratteristiche dell'encoder.
   4. Nella seconda fase, le funzionalità di processo con convoluzioni Ghost riducono i canali da 160 a 64 pixel e l'upsampling a piena risoluzione H×W e si integrano con le funzionalità di salto a livello di encoder.
   5. Infine, applica convoluzioni Ghost per ridurre i canali a 32 e usa una convoluzione finale 1 × 1 per generare la mappa di cambiamento binaria a due canali.
   6. Riassumi l'intera pipeline di elaborazione attraverso il seguente framework algoritmico, che integra tutti i componenti architettonici in un sistema coeso di rilevamento dei cambiamenti.
      NOTA: Notazione: E^k_i indica le caratteristiche dell'encoder dall'immagine i ∈ {1,2} al livello k; F_i è la caratteristica codificata finale; è la sua versione appiattita; è la caratteristica potenziata all'attenzione; A è la matrice dell'attenzione; D_j sono uscite decodificatore; φ_{k,ψ j} sono blocchi codificatore/decodificatore; [·;·] indica la concatenazione canale per canale; W_out è il kernel del livello di output.
      Vedi Algoritmo Supplementare File 1 per "Rilevamento dei cambiamenti basato su fusione interattiva multiscala

Figura 1: Metodologia proposta Clicca qui per visualizzare una versione più grande di questa figura.

Figura 2: Architettura a Attenzione Incrociata Clicca qui per visualizzare una versione più grande di questa figura.

Figura 3: Architettura interattiva a attenzione incrociata Clicca qui per visualizzare una versione più grande di questa figura.

6. Procedura di addestramento

1. Funzione di perdita
   NOTA: Il processo di addestramento utilizza una funzione di perdita focale di Tversky per affrontare lo squilibrio di classe comunemente riscontrato nei dataset di rilevamento dei cambiamenti.
   1. Formulare la funzione di perdita come segue: sia p_i ∈ [0,1] la probabilità prevista per il pixel i, e g_i ∊ {0,1} la corrispondente verità fondamentale. L'indice di Tversky (TI) è definito come:
      
      dove α e β controllano rispettivamente la penalità per falsi positivi e falsi negativi, e ε è un termine di smussatura.
   2. Poi esprimi la perdita focale di Tversky come:
      
      con γ modula la messa a fuoco su pixel difficili da classificare.
2. Configurazione degli iperparametri
   1. Applica una ricerca sistematica a griglia basata su convalidazione incrociata a 5 volte sul conset per selezionare valori ottimali.
   2. Imposta i coefficienti di pesatura delle perdite per il compito di rilevamento delle modifiche a α = 0,3, β = 0,7, γ = 1,0 e ε = 1,0. Questi valori sottolineano la minimizzazione dei rilevamenti mancati rispetto ai falsi positivi, cosa importante per dataset squilibrati dove i cambiamenti sono relativamente rari.
      NOTA: Il peso asimmetrico con β > α si concentra sul richiamo, il che significa che i falsi negativi sono più ponderati dei falsi positivi, ed è coerente con il design, specialmente nelle applicazioni di monitoraggio dei disastri.
3. Ottimizzatore e strategia di apprendimento
   1. Utilizzare l'ottimizzatore AdamW con un decadimento del peso di 1×10⁻⁴ per migliorare la regolarizzazione ed evitare sovrafitting.
   2. Inizializzare la velocità di apprendimento a 1×10⁻³ e applicare un programma di ricottura coseno per garantire una convergenza fluida e stabile durante l'addestramento.
   3. Usa un lotto di 8 per mantenere la compatibilità con un ambiente di memoria GPU da 4 GB.
4. Programma di allenamento
   1. Addestrare il modello separatamente su OSCD, composto da 14 coppie predefinite per l'addestramento e 10 coppie per i test, poi su dataset SZTAKI Airchange con Szada/1 e Tiszabob/3 come benchmark standard del set di test.
   2. Dividi le coppie di addestramento in cinque partite, usa una piega come set di validazione in ogni iterazione e continua ad allenarti per un massimo di 100 epoche.
   3. Monitorare la perdita di validazione alla fine di ogni piega e applicare criteri di arresto anticipato di 10 epoche una volta che la convergenza si stabilizza per prevenire l'overfitting e ridurre calcoli non necessari.
   4. Seleziona gli iperparametri in base alla migliore media delle prestazioni di validazione su tutte le pieghe.
   5. Esegui il rilevamento delle modifiche sul set di test e quantifica le prestazioni su una singola esecuzione utilizzando coppie di immagini annotate da ciascun dataset.
5. Ottimizzazione della memoria
   1. Attiva il gradient checkpointing per ridurre l'uso della memoria GPU di circa il 40%, ottenuto ricalcolando le attivazioni intermedie durante il passaggio al retro.
   2. Consentire l'addestramento a precisione mista per utilizzare operazioni FP16 dove numericamente stabili, migliorando così la velocità e riducendo il carico di memoria.
   3. Usa la scala adattiva della dimensione dei batch per regolare dinamicamente l'uso della memoria per la massima efficienza della GPU.

7.Valutazione

1. Assicurati che nessuna patch proveniente dalle città di test venga inclusa nella formazione o nella validazione per prevenire la fuga di dati.
2. Organizza le patch delle immagini e le corrispondenti mappe di verità a terra per la valutazione a lotto.
3. Caricare i pesi del modello addestrato dall'epoca con le migliori prestazioni determinata dalla perdita di validazione.
4. Seleziona una soglia di 0,5 per convertire le mappe di probabilità in mappe di cambiamento binarie.
5. Calcolare metriche di valutazione pixel per pixel per misurare le prestazioni di rilevamento^{dei cambiamenti 10}
   Precisione (P): frazione dei pixel di cambiamento previsti che sono pixel di cambiamento veri.
   Richiamo (R): frazione dei pixel di cambiamento reale rilevata correttamente.
   Punteggio F1: Media armonica di precisione e richiamo.
6. Produrre patch immagine in tempo reale mentre si addestrano e si valutano modelli con dimensioni di 128 x 128 pixel e una distanza di 64 pixel.
   NOTA: Tale generazione dinamica garantisce sia l'efficacia della memoria che la coerenza dei confini.
7. Controlla la correttezza della preprocessing e del posizionamento delle patch esaminando un campione rappresentativo delle patch create intelligibili, o immagini di feature di livello intermedio.
   NOTA: Le rappresentazioni delle caratteristiche codificate generate dall'encoder basato su CNN sono memorizzate in memoria sotto forma di tensori da utilizzare successivamente nelle fasi, che fungono da checkpoint durante la verifica delle caratteristiche. Le mappe di cambiamento prodotte vengono memorizzate come file immagine regolari (e.g. PNG o TIFF) per essere visualizzate visivamente al fine di valutare le modifiche identificate.
8. Registra gli indicatori di convergenza (curve di perdita, metriche di precisione) durante l'addestramento del modello e verifica se i punti del modello vengono salvati a intervalli specificati in modo che l'intero processo di addestramento possa essere ripetuto, perfezionato o recuperato.
   NOTA: La presentazione esplicita del formato di output, dei passaggi di verifica e dei dettagli dei checkpoint aiuta a garantire la trasparenza, consentendo che la verifica avvenga passo dopo passo e consentendo anche che il protocollo venga riprodotto e validato da altri ricercatori. Questo protocollo offre un flusso di lavoro approfondito e dettagliato su come preparare un dataset e procedere con la fase di pre-elaborazione, costruzione della rete, addestramento e valutazione. Seguendo i passaggi, si potrà implementare il metodo proposto nelle condizioni specificate in modo ripetibile. I risultati di tale procedura sono forniti nella seguente sezione Risultati.

Results

Il metodo proposto di rilevamento dei cambiamenti è stato valutato rispetto ad approcci di base consolidati utilizzando due dataset di benchmark pubblicamente disponibili per valutarne le prestazioni su diverse risoluzioni spettrali e condizioni ambientali. I risultati sperimentali rivelano miglioramenti significativi nel bilanciare la precisione della rilevazione con il controllo dei falsi positivi, dimostrando in particolare la capacità del metodo di mantenere alti tassi di richiamo mi...

Discussion

Questo studio presenta una rete interattiva di rilevamento dei cambiamenti basata sulla fusione dell'attenzione su più scale per rilevare cambiamenti nelle immagini satellitari bitemporali. L'integrazione di un meccanismo di attenzione bidirezionale, a differenza dei metodi unidirezionali, facilita un'interazione completa tra caratteristiche e caratteristiche tra caratteristiche e segnali di attenzione complementari in avanti e indietro. I cambiamenti temporali progressivi del flusso di ...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Kit degli attrezzi CUDA	NVIDIA Corporation	Versione 11.3	Accelerazione GPU per calcoli di deep learning
cuDNN	NVIDIA Corporation	Versione 8.2	Libreria ottimizzata di deep learning GPU
Intel  Processore	Intel Corporation	Core i7 10870H	Piattaforma computazionale utilizzata per l'addestramento e la valutazione del modello di deep learning proposto
NumPy	Open Source	Versione 1.21.0	Elaborazione numerica di array
NVIDIA GeForce	NVIDIA Corporation	GTX 1650 Ti (4 GB VRAM)	Unità di elaborazione grafica utilizzata per l'addestramento accelerato dei modelli
Onera Satellite Change Detection (OSCD) Dataset	ONERA	Dataset di immagini ottico RGB e multispettrale pubblicamente disponibile utilizzato per addestramento e valutazione.	https://rcdaudt.github.io/oscd/
Python	Python Software Foundation	Versione 3.8	Linguaggio di programmazione utilizzato per l'implementazione di algoritmi
PyTorch	Meta AI (Open Source)	Versione 1.12.1	Framework open source di deep learning utilizzato per sviluppare e addestrare il modello proposto
Scikit-learn	Open Source	Versione 1.0.2	Metriche di valutazione delle prestazioni
Dataset di benchmark Air Change SZTAKI	SZTAKI	Dataset di immagini aeree ottico RGB pubblicamente disponibile e utilizzato per addestramento e valutazione.	http://web.eee.sztaki.hu/remotesensing/airchange_benchmark.html
Torchvision	Meta AI (Open Source)	Versione 0.13.1	Caricamento del dataset e trasformazioni delle immagini
Windows OS	Microsoft	11	Sistema operativo