Questo studio propone un algoritmo che accoppia strettamente le caratteristiche visive gerarchiche catturate da un encoder gerarchico a finestra spostata con la profondità precedente della scatola delimitante 3D Manhattan generata dal rilevamento di segmenti di linea, ottenendo così una ricostruzione semantica ad alta precisione di scene interne complesse.
Articolo di ricerca
Un metodo di analisi semantica per immagini di scene interne basato su conoscenze pregresse della struttura degli edifici
In questo articolo
Sommario
Abstract
Per affrontare le discontinuità di previsione semantiche e le distorsioni fisiche dei confini causate dall'occlusione dei mobili in scene interne complesse, questo articolo propone un metodo di analisi semantica che sfrutta i priors della struttura degli edifici. Lo schema utilizza un codificatore gerarchico a finestra spostata per estrarre caratteristiche visive multiscala e combina un algoritmo di rilevamento di segmenti di linea a consistenza in direzione di gradiente per costruire una scatola delimitante 3D Manhattan. Questa scatola di delimitazione viene trasformata in un campo di distanza segnato (SDF) prima di codificare contorni geometrici discreti in un campo potenziale fisico continuo. Un meccanismo di attenzione incrociata guidato dalla struttura costringe i segnali visivi ad allinearsi con i confini geometrici ortogonali 3D reali, ripristinando la continuità delle caratteristiche nelle aree occluse. Un grafo di adiacenza spaziale costruito da nodi superpixel alimenta una Rete Convoluzionale di Grafi (GCN) per aggregare le caratteristiche, garantendo la coerenza semantica macroscopica all'interno del piano fisico portante del carico. Una combinazione di perdita di entropia incrociata a livello di pixel e di una perdita di coerenza strutturale progettata su misura rafforza i vincoli, penalizzando le previsioni fuori limite. Esperimenti su più corse indipendenti mostrano che l'intersezione media sull'unione (mIoU) raggiunge il 68,7% con una deviazione standard dello 0,2%, e il punteggio F1 del confine strutturale raggiunge il 76,4% con una deviazione standard dello 0,3%, confermando la robustezza delle prestazioni dei moduli proposti. Con una dimensione di un singolo nodo immagine di 256, il tempo medio di inferenza rimaneva a 61 ms.
Introduzione
L'analisi semantica delle immagini di scene interne occupa una posizione centrale nei compiti di cognizione spaziale tridimensionale e ragionamento spazialeintelligente 1,2. L'estrazione delle caratteristiche visive in ambienti fisici reali è spesso gravemente ostacolata da disposizioni spazialicomplesse 3. Risolvere la discontinuità semantica e la distorsione fisica dei confini della struttura delle fondazioni dell'edificio causata dall'occlusione di mobili su larga scala è importante per la ricerca sulla cognizionespaziale 4,5. Rimuovere con precisione le interferenze da oggetti ingombranti e ripristinare la continuità fisica dello stesso muro e pavimento determinerà direttamente l'accuratezza della ricostruzione tridimensionale della scena e dell'analisi globale della logicaspaziale 6. La discontinuità semantica causata dall'occlusione su larga scala dei mobili e l'effetto di riparazione strutturale della guida proposta per il preavviamento edilizio sono illustrati nella Figura 1, dove l'input occluto rosso verde blu (RGB) nella Tabella 1A, la distorsione della maschera di base nella Figura 1B e il risultato di riparazione strutturale nella Figura 1C sono confrontati sotto la stessa condizione della scena interna.
Per soddisfare i requisiti di accuratezza del ragionamento logico spaziale, le attuali reti visive guidate da pixel si trovano ad affrontare molteplici ostacoli quando si confrontano con ambienti interni complessi 7,8. Gli spazi interni sono spesso riempiti da mobili densi e mobili disordinati, causando una significativa perdita dei segnali di confine visivi a basso livello nelle immagini9. I meccanismi convenzionali di estrazione delle caratteristiche si basano eccessivamente su risposte bidimensionali locali di colore e texture, prive di una comprensione macroscopica delle rigide leggi ortogonali delle strutture tridimensionali createdall'uomo 10. Questa limitazione del campo ricettivo locale rende la propagazione delle caratteristiche facilmente interrotta, rendendo difficile estendere la topologia globale attraverso leocclusioni 11. Attualmente, è urgente risolvere il problema centrale delle discontinuità nella predizione semantica e delle gravi distorsioni dei confini fisici causate da occlusione einterferenza 12.
Per affrontare i difetti strutturali nelle fondamenta degli edifici causati da occlusione e interferenze, la comunità accademica ha sviluppato una varietà di misure di interventomirate 13. Le reti di aggregazione di caratteristiche cross-modali compensano efficacemente le carenze intrinseche di una singola modalità visiva nella percezione spaziale introducendo mappe di profondità o priori testuali per aiutare con immagini rosso-verde-blu (RGB) 14,15. I framework di percezione dei contorni e selezione adattiva del contesto inseriscono strategie di miglioramento fisico dei contorni nella fase di decodifica delle caratteristiche, migliorando notevolmente l'adattamento dei bordi dei risultati di previsione in scenecomplesse 16,17. I modelli di inferenza basati su GCN e meccanismi di interazione con le caratteristiche migliorano significativamente la fluidità delle caratteristiche e la coerenza macro-semantica in regioni omogenee costruendo connessioni a livello dinodo 18,19. Integrare i prior strutturali espliciti di Manhattan nella pipeline di estrazione delle caratteristiche visive impone confini di coerenza geometrica, che affrontano le sfide di discontinuità delle caratteristiche causate dall'estesa occlusione degli oggetti in primopiano 20.
Per affrontare la sfida centrale dei guasti di predittione semantica e delle gravi distorsioni dei confini fisici associati all'infrastruttura costruttiva, viene proposto un quadro di parsing semantico basato su un meccanismo di accoppiamento a anello chiuso che incorpora priori architettonici. Questo quadro trascende le pipeline ingegneristiche ingenue stabilendo un allineamento bidirezionale di mappa tra campi potenziali geometrici continui e varietà di caratteristiche visive discrete, formando una sinergia non banale che corregge gli errori di occlusione attraverso leggi strutturali. Questo schema si basa su una rete di backbone visiva multiscala e su un algoritmo di rilevamento dei segmenti di linea basato sulla stima del punto di fuga per acquisire caratteristiche di aspetto locale e priors ortogonali degli spigoli che rappresentano in parallelo la delimitazione 3D di Manhattan, per poi trasformarli in un SDF. L'algoritmo impiega un meccanismo di attenzione incrociata guidato dalla struttura, utilizzando caratteristiche visive come vettori di query e trattando le caratteristiche SDF come chiavi e valori per i calcoli del prodotto scalare, costringendo così il segnale visivo ad allinearsi con il confine geometrico 3D reale nello spazio delle caratteristiche. Un grafo di adiacenza spaziale costruito a partire da nodi superpixel e caratteristiche di bordo di coplanarità spaziale viene inserito in un GCN per eseguire aggregazione di caratteristiche cross-node e passaggio di messaggi. Il processo di ottimizzazione end-to-end dei parametri impiega congiuntamente l'entropia incrociata a livello di pixel e una funzione di perdita di coerenza strutturale personalizzata, che limita e penalizza rigorosamente i pixel previsti che attraversano il confine edificio-prior. L'intera pipeline di analisi semantica è riassunta nella Figura 2, che collega l'ingresso delle immagini RGB, l'estrazione geometrica dei priori, l'allineamento di attenzioni incrociate, il ragionamento dei grafi superpixel e la decodifica delle maschere semantiche all'interno di un'architettura unificata.
Le prime reti di parsing delle scene si basavano su operazioni convoluzionali per catturare le texture dell'aspetto locale, ma a causa delle limitazioni nei campi ricettivi locali, mostravano una coerenza semantica insufficiente di bersaglisu larga scala 21,22. Studi precedenti hanno applicato il modulo di autoattenzione dell'architettura visiva Transformer per estrarre informazioni contestuali globali e costruire caratteristiche di associazione a pixel a lungadistanza 23,24. Le strategie di aggregazione di caratteristiche multi-modalità multi-modalità estraggono le caratteristiche spaziali geometriche tridimensionali della scena fondendo nubi di punti della depth map e input di comandostestuali 25,26. I meccanismi di attenzione ibridi per la fusione delle caratteristiche che mira a domini specifici sono gradualmente maturati. Costruendo ponti di interazione delle caratteristiche, hanno ridotto significativamente la perdita di energia e la scarsità delle caratteristiche nella trasmissione multi-scala di segnali visivi e hanno migliorato la robustezza dell'analisi sintetica a strutture complesse. I progetti di encoder all'avanguardia integrano e inferiscono congiuntamente dettagli spaziali in dominio ad alta frequenza insieme a caratteristiche globali e locali, rafforzando la capacità della rete di distinguere categorie semantiche a grana fine con alta somiglianza e migliorando la precisione dell'analisi sintattica interna27,28. I recenti progressi nelle architetture di segmentazione semantica forniscono preziosi riferimenti per ottimizzare l'efficienza computazionale e la percezione spaziale. I modelli progettati per la previsione densa e l'aggregazione contestuale su scala multipla estraggono caratteristiche geometriche a grana fine da sfondi complessi. Le strategie di deaccoppiamento delle caratteristiche e fusione sinergica affrontano l'ambiguità semantica nelle regioni di confine. Meccanismi di attenzione leggeri e moduli di aggregazione a gate ottimizzano la distribuzione dei parametri, accelerando così l'inferenza preservando i dettagli strutturali locali. L'implementazione di questi progetti architettonici efficienti offre una guida teorica per ridurre il sovraccarico computazionale delle operazioni di inferenza topologica non euclideane nell'analisi sintetica delle scene al chiuso.
I precedenti della struttura degli edifici e la stima del layout 3D sono utilizzati per correggere gli errori di analisi visivalocale 29. Studi precedenti hanno estratto caratteristiche geometriche ortogonali e parallele degli edifici interni come vincoli di inferenza per ridurre il bias di previsione della rete causato da sfondi internisovraccarichi 30,31. Gli schemi esistenti utilizzano algoritmi di rilevamento dei segmenti di linea e tecniche di analisi puntuale di ablazione delle immagini per generare scatole delimitanti 3D Manhattan per mappare i confini fisici delle stanze e assistere nella localizzazione delle caratteristiche visivesottostanti 32. L'architettura congiunta del modulo di consapevolezza dei contorni e del contesto multiscala incorpora implicitamente informazioni strutturali precedenti nel processo di decodifica delle caratteristiche ad alta dimensione, costringendo la rete a produrre maschere semantiche che corrispondano strettamente ai contorni fisici reali, migliorando efficacemente la frastaglia e la sfocatura dei bordi degli oggetti33. Sono stati ampiamente esplorati progetti di funzioni di perdita semi-supervisionate o debolmente supervisionate con proprietà di potenziamento dei confini. Basandosi su formule matematiche rigorose per punire comportamenti indipendenti di classificazione dei pixel che violano le regole topologiche spaziali, la fluidità geometrica e l'integrità strutturale del risultato finale della segmentazione sono garantite dalla fonte dell'ottimizzazione delgradiente 34.
Alcuni studi hanno utilizzato reti neurali a grafo per eseguire aggregazioni trasversali di caratteristiche visive e ragionamento sulle relazioni topologiche nello spazio ad altadimensione 35. L'algoritmo di segmentazione superpixel preaggrega blocchi di pixel adiacenti con caratteristiche simili di risposta cromatica e texture in nodi connessi e indipendenti. L'algoritmo di segmentazione superpixel comprime la ridondanza computazionale della struttura del grafo a livello di immagine e preserva la topologia geometrica di base dell'immagine36. Il GCN costruito sul vettore di caratteristiche nodali ad alta dimensione, e la matrice di adiacenza che rappresenta la prossimità spaziale guida la trasmissione direzionale efficiente e la fusione interattiva di informazioni visive multi-scala lungo il grafo fisicamente connesso nel dominiospaziale 37,38. L'applicazione del modulo di potenziamento temporale delle informazioni e del meccanismo ibrido di connessione a salto multiscala sopprime l'eccessivo smoothing e l'omogeneizzazione delle caratteristiche dei nodi generate nel processo di passaggio profondo multilivello39. La tecnologia di trasformata a wavelet di grafo multiscala e la strategia di ottimizzazione dell'apprendimento pseudo-etichetta ottimizzano il meccanismo anti-rumore di fondo della formula di aggiornamento delle caratteristiche dei nodi, così che le caratteristiche con gli stessi attributi semantici mantengano una modalità di risposta cooperativa nella topologia complessivadella rete 40. Il meccanismo di ragionamento basato su grafi mappa griglie di pixel regolari a spazi topologici non euclidei per eseguire calcoli di aggregazione di caratteristiche di strutture edificiali irregolari e componentiinterne 41.
Protocollo
I dataset di scene RGB interne e le loro annotazioni semantiche sono stati preparati prima dell'addestramento alla rete. Il dataset 3D indoor su larga scala e il dataset RGB-D di scene interne (vedi la Tabella dei Materiali) sono stati ottenuti dai loro repository ufficiali. Le scene di acquisizione interne contenenti occlusione dei mobili, variazioni di illuminazione, interruzione dei confini muri e complessi layout spaziali sono state mantenute per adattarsi allo scenario di analisi del bersaglio. Le etichette semantiche furono convertite in maschere di annotazione PNG a canale singolo indicizzato, e tutte le immagini RGB e le maschere semantiche furono ridimensionate a 512 × 512 pixel. Durante l'addestramento è stato applicato l'aumento dei dati online, con inversione orizzontale casuale a probabilità di 0,5, scala casuale della luminosità tra 0,8 e 1,2, e rotazione casuale tra −10° e +10° per ampliare la distribuzione strutturale. I canali RGB sono stati normalizzati con valori medi di 0,485, 0,456 e 0,406 e valori di deviazione standard di 0,229, 0,224 e 0,225. Il benchmark 3D indoor su larga scala ha seguito la divisione ufficiale del rilascio utilizzata in questo studio, con 1201 scene di addestramento e 312 scene di validazione per lo sviluppo e la validazione del modello. Il benchmark RGB-D per la scena indoor ha seguito il protocollo ufficiale di valutazione, con 795 immagini di addestramento e 654 immagini di test. Non è stata applicata alcuna ulteriore suddivisione percentuale a questi due parametri di riferimento pubblici.
Una rete visiva di backbone gerarchica a trasformatori a finestra spostata (vedi la Tabella dei Materiali) fu inizializzata come backbone degli encoder a trasformatori a finestra mobile. La dimensione dell'embedding della patch era configurata come 4 x 4 pixel. Le dimensioni di embedding dei quattro stadi gerarchici furono impostate a 128, 256, 512 e 1024, e il numero di blocchi trasformatori nei quattro stadi fu impostato a 2, 2, 18 e 2. La dimensione della finestra di attenzione locale fu impostata a 7 x 7, e il numero di teste di attenzione fu impostato a 4, 8, 16 e 32 per le quattro fasi gerarchiche. Funzioni di attivazione continua non lineari venivano utilizzate all'interno di tutti gli strati di percettrone multistrato. Il downsampling spaziale veniva eseguito tramite operazioni di patch-merging con un passo di 2 dopo ogni fase gerarchica. L'architettura di rete centrale e gli iperparametri del modulo di inferenza convoluzionale sono stati riassunti nella Tabella 1.
L'estrazione delle caratteristiche di autoattenzione a finestra spostata veniva quindi eseguita sulle mappe delle caratteristiche di input. Ogni mappa delle caratteristiche era suddivisa in finestre locali non sovrapposte con dimensioni spaziali di 7 × 7. L'attenzione regolare delle finestre e quella delle finestre spostate venivano alternate tra i blocchi adiacenti dei trasformatori a finestra spostata. La distanza di spostamento ciclico fu impostata a 3 pixel e fu applicata una codifica relativa al bias posizionale all'interno di ogni finestra di attenzione locale. Le caratteristiche visive locali sono state aggregate tramite auto-attenzione multi-testa per generare rappresentazioni gerarchiche e su scala multipla.
I precedenti strutturali di Manhattan sono stati estratti da immagini RGB interne. I segmenti di bordo strutturale sono stati rilevati utilizzando un algoritmo di rilevamento dei segmenti di linea con direzione e coerenza gradiente. Le direzioni strutturali dominanti sono state raggruppate tramite un algoritmo di consenso casuale per campioni (RANSAC) (vedi la Tabella dei Materiali) basato sulla stima del punto di fuga. Tre direzioni Manhattan mutuamente ortogonali furono ricostruite per generare la rappresentazione della scatola delimitante 3D di Manhattan. Il confine strutturale ricostruito è stato convertito in una mappa SDF calcolando la distanza euclidea minima da ogni pixel al segmento di linea di confine più vicino.
Le caratteristiche di attenzione incrociata guidate dalla struttura sono state generate dopo che le caratteristiche visive e i precedenti SDF erano stati ottenuti. La varietà di caratteristiche visive è stata mappata al tensore di interrogazione Q attraverso la matrice di trasformazione lineare W subelemento Q del cappuccio a doppio coniuto R alla matrice di formazione W subelemento Q del cappuccio a doppio coniuto R alla matrice 
di formazione. Il campo di distanza continua a priori è stato mappato al tensore chiave K e il tensore di valore V attraverso le matrici 
di trasformazione , e la dimensione del modello è stata impostata a 512. La modulazione multi-head divise lo spazio di proiezione in 8 sottospazi indipendenti, ciascuna con una dimensione di 64. La disposizione spaziale precedente proiettava coordinate discrete dei pixel in un campo potenziale continuo e generava la matrice di affinità strutturale S come esplicito bias spaziale additivo per modulare la matrice di similarità a prodotto scalare. Il tensore delle caratteristiche visive è stato utilizzato come sorgente della query perché l'analisi semantica richiede che ogni posizione visiva recuperi attivamente prove strutturalmente coerenti dallo spazio geometrico di prior. Il precedente SDF è stato utilizzato come fonte chiave e di valore perché memorizza la distanza continua dei confini e le indicazioni strutturali interno-esterno derivate dalla disposizione Manhattan. Il termine prodotto scalare misurava la compatibilità tra l'aspetto semantico e il prior geometrico, mentre il termine strutturale additivo λS spostava i pesi dell'attenzione verso i pixel sullo stesso piano fisico o vicino allo stesso contorno architettonico. Il coefficiente λ rappresentava la fiducia nel prior strutturale estratto e controllava fino a che punto i vincoli ortogonali rigidi venivano incorporati nella distribuzione dell'attenzione. Questa formulazione riduceva la diffusione delle caratteristiche transfrontaliere causata dall'occlusione dei mobili e manteneva il rilassamento adattivo nei layout non Manhattan. La distribuzione dell'attenzione guidata dalla struttura è stata calcolata secondo l'Equazione 1.
Equazione 1: 
dove A indica la matrice di aggregazione dell'attenzione guidata dalla struttura, Q indica il tensore di query generato dalle caratteristiche visive, K indica il tensore chiave generato da caratteristiche precedenti SDF, V indica il tensore di valore generato da rappresentazioni priori strutturali, dk indica la dimensione delle caratteristiche del tensore chiave, λ indica il coefficiente di ponderazione strutturale adattivo usato per identificare la fiducia geometrica delle regioni locali e rilassare i vincoli ortogonali rigidi in spazi non Manhattan layout, e S indica la matrice di affinità SDF. La divisione per dk stabilì la scala dei logit di attenzione e impediva che grandi dimensioni di caratteristiche producessero pesi di attenzione eccessivamente concentrati. La funzione esponenziale normalizzata (vedi la Tabella dei Materiali) trasformava i punteggi di somiglianza modulati in una distribuzione spaziale normalizzata, permettendo a ogni pixel di aggregare informazioni a priori strutturali basate sulla consistenza semantica e geometrica. Questo design spiega perché l'aspetto visivo e i priori di confine architettonico sono fusi a livello di attenzione piuttosto che tramite concatenazione diretta di caratteristiche.
Il grafo topologico superpixel è stato costruito dalla mappa delle caratteristiche allineate alla struttura. La mappa delle caratteristiche è stata segmentata utilizzando un algoritmo di generazione di regioni spaziali. Il numero di superpixel fu impostato a 256, il coefficiente di compattezza a 10, il coefficiente di levigatura gaussiano a 1,0 e il numero di iterazione a 10. I vincoli di prossimità spaziale venivano imposti impostando il peso metrico della distanza a un rapporto costante di 1,0 rispetto alla distanza colore-spazio delle caratteristiche durante il clustering, mantenendo così una generazione uniforme dei nodi lungo i confini di clutter denso. I pixel con risposte semantiche omogenee venivano aggregati in nodi superpixel. Gli archi dei grafi sono stati costruiti in base alle relazioni di adiacenza spaziale, alla forza di affinità SDF e ai vincoli di coerenza geometrica coplanare. Il processo di costruzione della matrice di affinità strutturale e della connettività topologica è mostrato nella Figura 3, che mostra come la guida SDF sia stata trasformata in relazioni spaziali a livello di grafo.
La formulazione grafica è stata introdotta per convertire il ragionamento denso pixel a pixel in ragionamento spaziale nodo su regioni strutturali omogenee. Ogni nodo superpixel rappresentava una regione locale con risposta semantica e continuità spaziale simili, mentre ogni arco rappresentava un percorso affidabile per la trasmissione di caratteristiche soggetto a vincoli di adiacenza, affinità di campo di distanza e coerenza coplanare. Questo design ridusse l'influenza di pixel rumorosi isolati e permise a aree occlute di pareti, pavimenti e soffitti di ricevere messaggi da nodi fisicamente adiacenti. La costruzione degli archi, quindi, fungeva da ponte matematico tra la guida SDF continua e il ragionamento discreto a grafo non euclideo.
Una rete di ragionamento convoluzionale a tre livelli a grafo era configurata con dimensioni nascoste di caratteristiche 512, 256 e 128. Il livello convoluzionale del grafo eseguiva il livellamento delle caratteristiche sulla struttura del grafo basato sulle relazioni spaziali dei nodi. L'adiacenza a auto-anello manteneva lo stato originale di ciascun nodo durante il passaggio del messaggio, impedendo che le caratteristiche di una piccola regione strutturale venissero cancellate dalle grandi regioni circostanti. La normalizzazione simmetrica scalava gli elementi della matrice di adiacenza tramite il prodotto delle radici quadrate inverse dei gradi dei nodi, in modo che nodi di alto grado e basso grado contribuissero sotto magnitudini numeriche comparabili durante la propagazione. La propagazione in avanti ha eseguito un'aggregazione spaziale localizzata, in cui ogni stato del nodo ha assorbito caratteristiche ad alta dimensione da cluster coplanari adiacenti prima che fosse applicata la funzione di rettificazione non lineare elemento per elemento. Questa formulazione faceva sì che lo strato di convoluzione del grafo approssimassasse la diffusione semantica lungo piani interni fisicamente significativi, piuttosto che un levigamento illimitato attraverso i confini di oggetti non correlati. Le caratteristiche dei nodi del grafo sono state valutate secondo l'Equazione 2.
Equazione 2: 
La proiezione dalle caratteristiche dense dei pixel ai nodi superpixel, il passaggio di messaggi a convoluzione di grafo e la retroproiezione delle coordinate sono presentate nella Figura 4, chiarendo il percorso di aggregazione delle caratteristiche dalle griglie d'immagine regolari a una topologia non euclidea e poi di nuovo a una rappresentazione semantica densa. La proiezione dalle caratteristiche di pixel densi nella Figura 4A ai nodi superpixel nella Figura 4B, il passaggio di messaggi a convoluzione grafica nella Figura 4C e la retroproiezione delle coordinate nella Figura 4D chiariscono il percorso di aggregazione di caratteristiche dalle griglie d'immagine regolari a una topologia non euclidea e poi di nuovo a una rappresentazione semantica densa.
dove H(l) indica il tensore delle caratteristiche del nodo del l-esimo strato di convoluzione del grafo, Â indica la matrice di adiacenza con connessioni auto-loop, D indica la matrice dei gradi corrispondente alla matrice di adiacenza, W(l) indica la matrice di pesi apprendibile dello strato di convoluzione del grafo l-esimo, e σ indica la funzione di attivazione dell'Unità Lineare Rettificata. Il termine ÂH(l) aggregava le caratteristiche dei nodi superpixel adiacenti, mentre D−1/2 e D−1/2 bilanciavano il contributo dei nodi con densità di connessione diverse. La matrice apprendibile W(l) proiettava le caratteristiche aggregate del nodo in un nuovo spazio semantico, permettendo al livello del grafo di distinguere la consistenza strutturale dalla vicidità spaziale ordinaria. L'attivazione non lineare ha preservato la differenza nelle risposte tra regioni coplanari e non coplanari dopo l'aggregazione delle caratteristiche.
Le caratteristiche di segmentazione semantica sono state decodificate dopo il ragionamento dei grafi. Il decodificatore è stato costruito utilizzando tre stadi di upsampling di interpolazione bilineare e operazioni di fusione con connessione saltata cross-layer. Le caratteristiche superficiali degli encoder spaziali venivano concatenate con caratteristiche semantiche di alto livello tramite fusione canale per canale. La risoluzione delle caratteristiche è stata ripristinata alla dimensione originale dell'immagine e la mappa finale di previsione semantica della probabilità è stata generata tramite uno strato convoluzionale 1 × 1.
La rete semantica completa di parsing è stata addestrata utilizzando un ottimizzatore di decadimento peso disaccoppiato (vedi la Tabella dei Materiali). Il tasso di apprendimento iniziale è stato impostato a 0,0001, il coefficiente di decadimento del peso a 0,01 e la dimensione del lotto a 8 per entrambi i benchmark pubblici. Il primo tasso di decadimento momentaneo fu impostato a 0,9, il secondo tasso di decadimento a 0,999 e il coefficiente numerico di stabilità epsilon fu impostato a 1 × 10⁻8. La perdita di validazione veniva monitorata alla fine di ogni epoca e i checkpoint venivano salvati quando il mIoU sul set di validazione aumentava. La rete è stata addestrata per 300 epoche utilizzando una strategia di decadimento del tasso di apprendimento polinomiale con una potenza di decadimento di 0,9. Sono state condotte cinque corse di addestramento indipendenti utilizzando diverse inizializzazioni a semi casuali per stabilire una base di valutazione statisticamente rigorosa. La rete è stata ottimizzata congiuntamente utilizzando la perdita di entropia incrociata a livello di pixel e la perdita di coerenza strutturale. Tutti gli esperimenti sono stati condotti su una piattaforma di calcolo equipaggiata con hardware di calcolo parallelo ad alta memoria, e le informazioni hardware dettagliate sono state riportate nella Tabella dei Materiali.
L'ottimizzazione congiunta ha imposto l'allineamento geometrico dei confini calcolando la grandezza del gradiente spaziale del tensore di probabilità di classe. La perdita di coerenza strutturale veniva utilizzata come regolarizzatore, moltiplicando la norma dei gradienti di previsione spaziale per i valori continui di SDF. La logica matematica era che i cambiamenti semantici delle categorie dovessero concentrarsi vicino ai contorni architettonici reali, dove la SDF si avvicina a zero, mentre gli interni piani di pareti, pavimenti e soffitti dovessero mantenere risposte semantiche fluide. Quando un grande gradiente di previsione appariva lontano da un confine strutturale, il termine del campo di distanza aumentava la penalità e scoraggiava le false transizioni semantiche all'interno di un piano fisico omogeneo. Quando appariva un gradiente di previsione vicino a un contorno di distanza zero, la penalità rimaneva limitata e preservava le legittime transizioni di classe lungo i confini architettonici. Le regioni di transizione semantiche erano vincolate ad allinearsi con i contorni a distanza zero dell'SDF, come indicato dall'Equazione 3.
Equazione 3: 
dove Ltotale indica la funzione obiettivo finale di ottimizzazione, Lce indica la perdita di entropia incrociata a livello di pixel, Lscl indica la perdita di penalità di coerenza strutturale e α indica il coefficiente di pesatura della perdita strutturale. Il termine a entropia incrociata forniva una supervisione semantica a livello di pixel tramite maschere di annotazione, mentre il termine di coerenza strutturale imponeva una regolarizzazione geometrica usando priori architettonici. Il coefficiente di pesatura α il riconoscimento bilanciato delle categorie e l'allineamento dei bordi, impedendo all'ottimizzazione di sovraattaccare sia l'accuratezza locale dell'etichetta sia i contorni strutturali rigidi. Questo obiettivo congiunto collegava semantica visiva, coerenza fisica dei confini e parametri di rete addestrabili all'interno di un obiettivo di ottimizzazione unificato.
Risultati
Configurazione sperimentale
Questo studio ha utilizzato due dataset standard di analisi delle scene interne, un dataset 3D indoor su larga scala e un dataset RGB-D per scene interne, per valutare le prestazioni e perfezionare il modello. Il dataset 3D interno su larga scala contiene scene fisiche complesse scansionate realisticamente e viste RGB ad alta risoluzione, fornendo etichette semantiche 3D punt-cloud ad alta precisione, pixel per pixel, e maschere di segmentazione spaziale 2D. I suoi dati di ricostruzione della griglia fisica e le proprietà del piano ortogonale stabiliscono un criterio di confronto geometrico-verità per costruire accuratamente la scatola delimitata 3D di Manhattan nel ramo di estrazione. Il dataset RGB-D sulle scene interne contiene immagini di profondità interne nascoste da mobili e disordine ed è utilizzato per testare l'accuratezza globale del ragionamento logico della rete e la robustezza contro le occlusioni.
L'algoritmo utilizza mIoU per misurare la sovrapposizione spaziale tra le distribuzioni semantiche previste e vere semantiche, introducendo anche un punteggio F1 al confine strutturale per valutare rigorosamente l'accuratezza dell'adattamento tra la maschera prevista e gli archi fisici-strutturali a distanza zero calibrati dall'SDF. Durante il calcolo viene stabilita una soglia fissa di errore per la distanza dei pixel nello spazio euclideo per determinare se i pixel di bordo prodotti dalla rete intersecano i veri contorni fisici dei confini degli edifici. Questo sistema di valutazione duale limita gli errori di classificazione nei blocchi semantici ad area di grande area, rafforzando al contempo la valutazione micro-quantitativa dell'effetto di ricostruzione topologica delle linee rigide. Per mantenere la coerenza tra la configurazione dei dati sperimentali e il processo di ottimizzazione, la scala del dataset e gli iperparametri di addestramento core sono stati riassunti nella Tabella 2. La Tabella 2 riporta una configurazione sperimentale autorevole per il manoscritto rivisto. Il benchmark 3D indoor su larga scala utilizza 1201 scene di allenamento e 312 scene di validazione, il benchmark RGB-D per scene interne utilizza 795 immagini di addestramento e 654 immagini di test, e entrambi i benchmark sono addestrati con una dimensione di lotto di 8, un tasso di apprendimento iniziale di 0,0001, un coefficiente di decadimento del peso di 0,01 e 300 epoche di addestramento.
Confronto con metodi all'avanguardia
Prima di presentare una tabella di confronto quantitativa degli algoritmi di parsing delle scene interne, questa sezione definisce rigorosamente i benchmark di test utilizzati nel sistema di valutazione multidimensionale. Per riflettere le prestazioni di classificazione del modello a diverse granularità, il sistema di valutazione integra il sistema di test con due metriche aggiuntive: l'accuratezza globale dei pixel (PixelAcc) e l'accuratezza delle classi medie (MeanAcc). Queste metriche insieme costruiscono un sistema dettagliato di verifica delle prestazioni degli algoritmi, stabilendo un rigoroso riferimento teorico per l'analisi quantitativa successiva. Per valutare l'accuratezza semantica dell'analisi analizzare e la robustezza all'occlusione dell'algoritmo proposto in spazi fisici complessi, sono stati condotti test comparativi con gli algoritmi esistenti sul set di validazione RGB-D per scene interne. La libreria di modelli di confronto copre i framework fondamentali di maschera-attenzione, i Transformer a visione gerarchica, pipeline moderni di segmentazione convoluzionale pura, architetture unificate di previsione densa e reti di attenzione cross-channel. La valutazione del benchmark è stata ampliata includendo una baseline di segmentazione basata su transformer, una baseline unificata di previsione densa, una baseline unificata di rilevamento e segmentazione, una baseline di base di visione su larga scala, una baseline puramente convoluzionale, una baseline di segmentazione basata sull'attenzione mascherata, una baseline di aggregazione di caratteristiche cross-modal e una baseline progressiva di fusione delle caratteristiche (vedi la Tabella dei Materiali), utilizzando lo stesso set di validazione della scena interna RGB-D, risoluzione degli input, programma di addestramento e protocollo metrico. Nell'architettura proposta, la rete guidata dalla struttura integra una spina dorsale visiva multiscala a finestra spostata, un modulo di attenzione incrociata guidato dalla struttura con un SDF e un GCN superpixel. Il confronto ampliato copre la previsione densa basata su trasformer, la previsione densa basata su convoluzione, l'analisi parsing con maschera, la fusione cross-modale delle caratteristiche e i paradigmi di fusione progressiva delle caratteristiche, consentendo la valutazione del contributo dell'esplicito intervento geometrico 3D sui confini contro le linee di analisi più ampie della scena interna.
La Tabella 3 dettaglia la performance di valutazione oggettiva di ciascuna rete sulle metriche quantitative core, riportando i valori medi e le corrispondenti deviazioni standard su cinque corse indipendenti. Il confronto ampliato della base valuta se il meccanismo di ragionamento guidato dalla struttura proposto contribuisce a guadagni di accuratezza oltre le tradizionali dorsale di previsione densa, le reti di segmentazione basate su maschera e le reti di fusione delle caratteristiche RGB-D. I dati sperimentali mostrano che l'algoritmo proposto ottiene guadagni stabili su tutte e quattro le metriche quantitative. Le reti di previsione densa basate su trasformatori e le reti di attenzione maschera hanno mantenuto una forte capacità di modellazione globale del contesto, eppure i loro valori F1 di confine sono rimasti più bassi in presenza di clutter in primo piano perché le maschere previste non avevano vincoli espliciti fisici. Le reti di fusione cross-modali e progressive migliorarono la continuità semantica locale, ma la loro fusione delle caratteristiche si basava ancora principalmente su risposte di aspetto e profondità piuttosto che su un prior strutturale a distanza segnata. La rete guidata dalla struttura proposta ha raggiunto un mIoU di 0,687 con una deviazione standard di 0,002 e un punteggio medio Boundary F1 di 0,764 con una deviazione standard di 0,003. Il confronto ampliato indica che il guadagno di prestazioni non era dovuto solo a una spina dorsale di previsione più densa, ma piuttosto all'uso congiunto della guida a distanza con segno, dell'attenzione incrociata consapevole della struttura e del ragionamento topologico basato su grafi.
Per analizzare l'accuratezza globale del ragionamento logico del modello sotto occlusioni, abbiamo identificato ed estratto scenari tipici nel set di validazione che erano gravemente ostacolati da mobili e altri disordini, e prodotto visualizzazioni di maschere di previsione a livello di pixel.
Dopo che il flusso di lavoro del metodo e il processo di ragionamento grafico sono stati definiti nelle Figure 1, Figure 2, Figure 3 e Figure 4. La Figura 5 illustra le differenze nelle previsioni morfologiche tra i modelli in condizioni di occlusione estrema. I rettangoli rossi nella mappa qualitativa della mesh di confronto segnano aree chiave di conflitto dove angoli e superfici portanti sono occlusi. La maschera di output dalla base di segmentazione basata sull'attenzione della maschera mostra un marcato levigamento dei bordi e un'adesione inter-classe. Sebbene la base di aggregazione di caratteristiche cross-modali e la baseline di fusione progressiva incorporino dati cross-modali, i loro risultati di previsione mostrano comunque discontinuità di classe strutturale e distorsioni fisiche dei confini. La maschera generata da questo metodo proposto mostra un'elevata sovrapposizione spaziale con le etichette di verità fondamentale. I modelli base, vincolati da principi puramente guidati dai pixel, tendono a perdere i loro campi ricettivi locali quando sono occlusi. Il metodo proposto utilizza un GCN superpixel per eseguire il passaggio di messaggi nello spazio non euclideo, ricostruendo così gli angoli sottostanti e gli scheletri spaziali lineari guidati da confini geometrici impliciti. Questo verifica le prestazioni anti-interferenza della nostra soluzione proposta nel risolvere complessi layout interni da una prospettiva morfologica visiva.
Esperimento di ablazione
Per analizzare il contributo effettivo di ogni componente indipendente nell'architettura proposta, questo studio ha costruito un test di ablazione modulare ampliato sul set di validazione della scena interna RGB-D. La base di prova è stata impostata su una rete di classificazione convenzionale con solo la retroscena visiva base del trasformatore a finestra spostata. La valutazione quantitativa ha misurato il contributo indipendente dell'attenzione incrociata guidata dalla struttura, del bias di campo a distanza di segno, della ponderazione strutturale adattiva, del ragionamento su grafo superpixel, della costruzione coplanare dei bordi, della normalizzazione simmetrica dei grafi e della perdita di coerenza strutturale. Questo progetto di ablazione ampliata separava i guadagni cumulativi dei moduli dagli effetti di rimozione dei componenti, rendendo più chiaro il confine di contributo di ogni scelta progettuale.
La Tabella 4 e la Figura 6 illustrano l'evoluzione dell'accuratezza sotto impostazioni ampliate di ablazione cumulativa e basata sulla rimozione. La rete base di trasformatori a finestra spostata non presenta vincoli fisici tridimensionali ai confini, il che comporta un'aggregazione limitata di caratteristiche in sfondi ingombrati. Aggiungendo l'attenzione incrociata guidata dalla struttura, il mIoU è aumentato da 0,615 a 0,648 e il punteggio F1 del confine da 0,630 a 0,685, mostrando che il campo a distanza segnata precedentemente migliorava l'allineamento tra le caratteristiche visive e i contorni strutturali. Aggiungendo solo il ragionamento con grafi superpixel, il mIoU è aumentato a 0,641 e il punteggio F1 del confine a 0,676, indicando che il ragionamento topologico nodo per nodo ha migliorato la coerenza semantica rispetto alle regioni fisiche omogenee. Aggiungendo solo la perdita di coerenza strutturale aumentava il mIoU a 0,632 e il punteggio F1 del Boundary a 0,662, mostrando che il termine di perdita influiva principalmente sull'adattamento dei confini piuttosto che sull'aggregazione contestuale ampia.
Combinando l'attenzione incrociata con il ragionamento a grafo, il mIoU è aumentato a 0,669 e il punteggio F1 del confine a 0,721, mostrando che l'allineamento visivo-strutturale e il passaggio di messaggi nel dominio del grafo producevano effetti complementari. Combinando l'attenzione incrociata con la perdita di coerenza strutturale si ottenne un mIoU di 0,660 e un punteggio F1 Boundary di 0,713, mentre la combinazione del ragionamento grafico con la perdita di coerenza strutturale ottenne un mIoU di 0,653 e un punteggio F1 Boundary di 0,704. Questi risultati a coppie indicano che il modulo di attenzione incrociata forniva il segnale principale di allineamento geometrico, il modulo di ragionamento grafico ha ampliato questo segnale attraverso regioni coplanari e la perdita di coerenza strutturale ha raffinato il confine di transizione semantica durante l'ottimizzazione.
L'ablazione basata sulla rimozione ha ulteriormente chiarito il contributo delle scelte di progettazione interna. La rimozione del bias additivo di campo a distanza segnata ha ridotto il mIoU a 0,656 e il punteggio F1 del confine a 0,698, confermando che la matrice di affinità strutturale era centrale per sopprimere la diffusione delle caratteristiche transfrontaliere. La rimozione del coefficiente di pesatura strutturale adattativa λ ha ridotto il mIoU a 0,671 e il punteggio F1 del confine a 0,736, indicando che un vincolo strutturale fisso indeboliva la risposta del modello nelle regioni non Manhattan e visivamente degradate. La rimozione del vincolo di spigoli coplanari ha ridotto il mIoU a 0,666 e il punteggio F1 del confine a 0,728, mostrando che gli archi del grafo basati solo sull'adiacenza locale non hanno preservato la consistenza fisica del piano. La rimozione della normalizzazione simmetrica dei grafi ridusse il mIoU a 0,673 e il punteggio F1 del confine a 0,737, indicando che la propagazione bilanciata a grado era necessaria per l'aggregazione stabile dei nodi. La rete guidata strutturalmente proposta completa ha raggiunto un mIoU di 0,687 e un punteggio F1 di confine di 0,764, dimostrando che il guadagno finale è risultato dell'interazione coordinata tra attenzione strutturale, ragionamento dei grafi e ottimizzazione consapevole dei confini.
Analisi della complessità computazionale, del tempo di addestramento e dell'efficienza dell'inferenza
Per valutare il costo computazionale dell'estrazione SDF, dell'attenzione incrociata guidata dalla struttura e del ragionamento convoluzionale con grafi superpixel, questo studio ha valutato la scala dei parametri, le operazioni in virgola mobile, l'uso di picco della memoria, il tempo di addestramento, la latenza di inferenza a singolo frame, il frame rate e il mIoU sulla stessa piattaforma di calcolo. Le operazioni in virgola mobile venivano calcolate con una risoluzione di input 512 × 512. La latenza di inferenza è stata misurata con una dimensione di lotto di 1 dopo il riscaldamento del modello, mentre il frame rate riportato è stato calcolato dalla latenza media di una singola immagine. Il tempo di addestramento veniva misurato secondo la stessa tabella di 300 epoche, la dimensione del lotto di 8, le impostazioni dell'ottimizzatore e la pipeline di preprocessing dati.
La Tabella 5 dettaglia la relazione tra scala del modello, costo di addestramento, efficienza di inferenza e accuratezza di parsing per ciascuna architettura di rete. Le colonne mIoU e F1 di confine nella Tabella 5 utilizzano gli stessi valori complessivi del set di validazione della Tabella 3 per ciascun modello corrispondente. Queste due colonne di accuratezza sono ripetute nella Tabella 5 unicamente per confrontare l'accuratezza dell'analisi analice con il costo computazionale. L'aumento dei parametri addestrabili è stato dovuto principalmente ai livelli di proiezione chiave-valore query nel modulo di attenzione incrociata guidato dalla struttura e alle matrici di peso dei tre strati convoluzionali dei grafi. Il costo non addestrabile era principalmente sostenuto dalla generazione di SDF, dalla partizione superpixel e dalla costruzione di adiacenza di grafi. Poiché queste operazioni non addestrabili venivano eseguite una volta per ogni immagine di input, aumentavano la latenza di inferenza ma non aumentavano sostanzialmente il numero di parametri addestrabili. Questa separazione spiega perché il metodo proposto mostrava un aumento moderato dei parametri ma un aumento più marcato della latenza. I risultati di complessità mostrano che la base di segmentazione basata sull'attenzione della maschera ha mantenuto un numero di parametri più basso e una latenza di inferenza più breve, ma il suo punteggio F1 del Confine e il mIoU sono stati limitati sotto grave occlusione a causa della mancanza di una guida esplicita geometrica dei confini della rete. La base di aggregazione delle caratteristiche cross-modal richiedeva più operazioni in virgola mobile e tempi di addestramento più lunghi perché l'aggregazione cross-modale introduceva un overhead aggiuntivo sull'allineamento delle caratteristiche. La base di fusione progressiva delle caratteristiche manteneva un costo computazionale moderato, ma la sua accuratezza di previsione rimaneva inferiore a quella del metodo proposto sotto distorsione dei confini. La rete guidata dalla struttura proposta comporta costi computazionali aggiuntivi a causa della costruzione SDF, della proiezione strutturale a attenzione incrociata, della costruzione di grafi superpixel e della propagazione delle convoluzioni dei grafi. Il modello completo utilizzava 66,8 milioni di parametri, 121,4 miliardi di operazioni in virgola mobile, 15,6 ore di addestramento, 7,9 GB di memoria di picco, 61 ms di tempo di inferenza a singolo frame e 16,4 frame al secondo. Sebbene la latenza di inferenza fosse superiore a quella della base pura di attenzione mascherata, il modello ha raggiunto un mIoU di 0,687 e un punteggio Boundary F1 di 0,764, indicando che il costo aggiuntivo supportava principalmente la riparazione dei confini strutturali e la coerenza semantica consapevole della topologia.
Per rappresentare visivamente l'equilibrio spaziale bidimensionale tra la scala computazionale e l'accuratezza analitica del modello, è stato creato un diagramma di distribuzione delle bolle che mostra il numero di operazioni in virgola mobile e il mIoU dell'algoritmo. La visualizzazione rivista ha inoltre riportato il tempo di addestramento e la latenza di inferenza nell'area delle annotazioni della figura, permettendo il confronto tra guadagni di accuratezza e costi computazionali sia dal punto di vista dell'addestramento che di quello di implementazione. L'asse orizzontale manteneva le operazioni in virgola mobile, l'asse verticale manteneva mIoU, la dimensione della bolla rappresentava la quantità di parametri addestrabili e l'etichetta allegata riportava il tempo di inferenza per ciascun metodo.
La Figura 7 rivela la relazione tra operazioni in virgola mobile, scala dei parametri, latenza di inferenza e accuratezza di parsing. Il metodo proposto raggiunge un mIoU superiore rispetto alle reti di confronto, mentre i suoi FLOP e il conteggio dei parametri rimangono vicini a quelli delle basi cross-modali e progressive fusion. La latenza a singolo frame di 61 ms indica che i rami aggiuntivi di SDF e ragionamento grafico hanno introdotto overhead di deployment, ma la latenza è rimasta nell'intervallo in tempo reale richiesto per molti compiti di interpretazione di scene interne. Il tempo di addestramento è aumentato a 15,6 ore perché durante ogni epoca di addestramento venivano eseguiti estrazioni strutturali precedenti, proiezione di attenzione e ragionamento grafico. Questo risultato mostra che il costo computazionale del metodo proposto è principalmente concentrato nel ragionamento strutturale consapevole dei confini piuttosto che nell'espansione incontrollata dei parametri.
Confronto specifico tra perdita di consistenza strutturale e perdita di distanza spaziale
La perdita di rete di trasformazione inversa per quantizzare la distanza di trasformazione spaziale al bordo utilizza parametri di trasformazione omomorfi per catturare gli offset di contorno, dimostrando che le metriche di distanza spaziale pura superano le tradizionali perdite di entropia incrociata basate sui cambiamenti delle etichette dei pixel. Sulla base di questo consenso teorico, vengono condotti esperimenti di validazione parallela utilizzando schemi di vincoli di confine per valutare le prestazioni comparative della Perdita di Coerenza Strutturale (SCL) personalizzata basata su Manhattan-bounding-box rispetto all'adattabilità della scena. Gli esperimenti mantengono l'architettura analitica di fondere una spina dorsale visiva multiscala con una rete di inferenza a grafo, sostituendo semplicemente il termine di perdita al bordo durante la retropropagazione. Sono configurate quattro reti di validazione parallele: una rete che utilizza solo la classificazione base della perdita di entropia incrociata non ha vincoli geometrici ad alta dimensione; una rete con perdita standard di entropia binaria al bordo (BCE) aggiuntiva esegue la supervisione convenzionale della classificazione binaria dei bordi; una rete con maggiore perdita di distanza al bordo spaziale si concentra sulla cattura delle deformazioni locali; e una rete che applica la SCL proposta impone penalità topologiche ortogonali basate sull'SDF. Le metriche di quantizzazione sul set di validazione della scena interna RGB-D sono limitate al mIoU e al punteggio F1 del confine strutturale.
La Tabella 6 dettaglia il grado di intervento delle diverse strategie di ottimizzazione della retropropagazione sulla cognizione logica spaziale sottostante. L'entrata solo tra entropia incrociata nella Tabella 6 indica la proposta nostra architettura addestrata esclusivamente con la perdita di entropia incrociata a livello di pixel, mantenendo invariati la spina dorsale visiva, il ramo di campo a distanza segnata, il modulo di attenzione incrociata guidato dalla struttura e il ramo di ragionamento del grafo superpixel. Questa voce non è una base di Mask2Former e non dovrebbe essere confrontata con il valore complessivo di Mask2Former nella Tabella 3, poiché utilizza lo stesso modello. Le reti che si basano esclusivamente sulla perdita di entropia incrociata di base ottengono il punteggio di combing al confine più basso. Le reti con una perdita binaria binaria di entropia standard al confine aggiuntiva ottengono un leggero guadagno, ma questo meccanismo causa comunque sfocatura dei bordi in caso di occlusione su larga scala. La perdita di distanza al confine spaziale migliora il punteggio attraverso un meccanismo di percezione di trasformazione spaziale, correggendo efficacemente alcuni spigoli distorti. La perdita di coerenza strutturale proposta in questo articolo sfrutta direttamente la vera SDF per imporre penalità di gradiente su mutazioni semantiche anomale all'interno della superficie portante fisica, raggiungendo il punteggio F1 più alto sul confine strutturale.
Per confrontare visivamente gli effetti che guidano le diverse configurazioni di funzione di perdita sulla precisione della previsione delle maschere e sull'adattamento dei confini, abbiamo tracciato grafici a barre raggruppati tra diverse strategie di ottimizzazione.
La Figura 8 illustra il miglioramento delle prestazioni a passo derivante dall'aggiornamento della dimensione di percezione spaziale della funzione di perdita. Il grafico a barre che rappresenta il punteggio F1 del confine strutturale mostra una significativa tendenza al rialzo. I dati sperimentali mostrano che questo meccanismo di penalità personalizzato costringe la posizione spaziale del salto previsto della categoria a coincidere esattamente con il contorno fisico ortogonale. Il meccanismo di penalizzazione del campo di distanza, personalizzato per priori ortogonali interni, raggiunge una precisione superiore rispetto alla perdita generale di cattura dei confini spaziali, stabilendo così un percorso di ottimizzazione efficace per affrontare falle costruttive complesse.
Test di robustezza di distribuzione estrema di occlusione, strutture anomale e condizioni di illuminazione difficili
Le complesse relazioni spaziali tra oggetti e l'occlusione reciproca influenzano negativamente la cognizione spaziale globale 3D. L'architettura congiunta di previsione evidenzia il ruolo di supporto dei vincoli di layout della scena nell'estrazione della maschera sottostante. Esaminare i limiti anti-interferenza dell'algoritmo sotto perdita di segnale visivo su larga area e layout spaziali anomali che violano l'assunzione fisica ortogonale 3D definisce chiaramente il confine effettivo dell'applicazione dell'algoritmo e ha un valore fondamentale e dimostrabile. In base alla proporzione di mobili di grande formato mascherati con le etichette di "ground-truth", il set di test RGB-D per scene interne è suddiviso in tre sottogruppi progressivamente più difficili: occlusione lieve, moderata e severa. Contemporaneamente, scene non tipiche di Manhattan con soffitti inclinati o pareti curve vengono estratte manualmente per costruire set di test di contorno anomalia, mentre le scene con condizioni di illuminazione estremamente scarsa, sovraesposizione e superfici di vetro lucidi o trasparenti su grandi aree sono classificate in sottoinsiemi di illuminazione e texture difficili. La libreria del modello di confronto include una base di segmentazione basata sull'attenzione della maschera; un'architettura di segmentazione generale basata sull'attenzione delle maschere per catturare il contesto globale; una base di aggregazione di caratteristiche cross-modal che impiega una strategia completa di aggregazione cross-modale; e una base di fusione progressiva delle caratteristiche che integra un meccanismo di estrazione progressiva a più stadi. Ogni linea di confronto, la backbone visiva di fusione e l'architettura di parsing della rete di inferenza grafica costruita in questo articolo sono valutate indipendentemente sui sottoinsiemi sopra menzionati, e il gradiente di decadimento di accuratezza di ciascun modello viene analizzato statisticamente.
La Tabella 7 riporta metriche di robustezza specifiche per sottoinsieme in condizioni di occlusione lieve, moderata e grave, illuminazione difficile, interferenza di texture e anomalie non Manhattan. La Tabella 7 dettaglia i cambiamenti nella precisione della previsione delle maschere di diversi modelli sotto interferenza spaziale. La Tabella 7 riporta valori mIoU specifici per sottoinsieme per diversi modelli in condizioni di interferenza spaziale, calcolati solo all'interno dell'occlusione, illuminazione, texture o sottoinsieme non Manhattan corrispondente, piuttosto che sul set complessivo di validazione della scena interna RGB-D. Nei sottoinsiemi di occlusione lieve e moderata, tutti i modelli mantengono un'accuratezza di base. Con l'aumento dell'area di occlusione, i modelli di base basati su regole guidate dai pixel mostrano una diminuzione del rapporto intersezione-unione (IU) sul sottoinsieme fortemente occluso. La baseline di segmentazione basata sull'attenzione della maschera e la baseline di aggregazione di caratteristiche cross-modal subiscono significative perdite di accuratezza su questo sottoinsieme. L'architettura a estrazione progressiva di caratteristiche a più stadi della base di fusione progressiva mostra un forte calo delle prestazioni. La soluzione proposta si basa su caratteristiche esplicite dello scheletro 3D per forzare l'allineamento dei segnali visivi danneggiati, mantenendo una forma stabile dell'uscita della maschera sul sottoinsieme fortemente occlusione e dimostrando la stabilità topologica dell'output della maschera semantica. Nei sottoinsiemi di illuminazione e texture difficili, il rivelatore di segmenti di linea manca i bordi strutturali nelle regioni con forti riflessioni e vetro trasparente, causando discontinuità localizzate nell'SDF. Le coordinate geometriche errate si propagano attraverso la matrice di affinità strutturale e la perdita di consistenza strutturale, applicando così penalità anomale di gradiente alle caratteristiche semantiche e causando corrispondenti deviazioni nelle previsioni di contorno. Il meccanismo globale di ragionamento del contesto spaziale del GCN integra i priori geometrici mancanti con affinità strutturali adiacenti, mantenendo l'accuratezza complessiva dell'analisi analizzatrice entro un intervallo di decadimento accettabile e rivelando il limite delle capacità di percezione visiva dell'algoritmo sotto interferenze fisiche complesse. Nel sottoinsieme non Manhattan Anomaly, il precedente SDF nel livello inferiore di questo modello introduce un leggero bias di mappatura, risultando in prestazioni leggermente inferiori rispetto alla base di fusione progressiva delle caratteristiche. Il coefficiente di pesatura strutturale adattivo nel modulo di attenzione incrociata valuta dinamicamente la consistenza dei gradienti della struttura fisica sottostante. In scene con pareti curve o soffitti inclinati, questo coefficiente riduce automaticamente il peso vincolante dell'SDF, incoraggiando la rete a fare affidamento sul meccanismo di aggregazione dei nodi locali di caratteristiche della rete di grafi superpixel per mantenere la coerenza semantica in regioni omogenee, stabilendo così un efficace meccanismo di compensazione geometrica per layout spaziali non Manhattan.
Per dimostrare visivamente l'impatto negativo della gravità dell'occlusione sull'accuratezza della risoluzione, abbiamo tracciato grafici lineari che mostrano il decadimento dell'accuratezza tra diversi modelli algoritmici.
La Figura 9 rivela visivamente le differenze di robustezza tra i diversi paradigmi di estrazione delle caratteristiche in ambienti fisici estremi. Le tre linee tratteggiate che rappresentano i modelli di base mostrano tutte una significativa tendenza al ribasso nei nodi fortemente occlusi, riflettendo i limiti dei campi recettivi convenzionali nell'estrazione di caratteristiche sotto perdita di segnale su larga scala. La linea solida che rappresenta il metodo proposto mantiene una traiettoria di decadimento relativamente delicata. I dati sperimentali mostrano che l'accoppiamento tra priors architettonici 3D espliciti e meccanismi di inferenza basati su grafi fornisce supporto strutturale per compiti di parsing di scene resistenti all'occlusione e migliora le prestazioni di generalizzazione del modello in ambienti complessi.
Analisi della sensibilità spaziale della partizionazione topologica dei nodi dei grafi
Il parametro di tasso di campionamento per riduzione della dimensionalità del modulo di convoluzione dei grafi nello spazio delle coordinate controlla direttamente la qualità del campo ricettivo e il carico computazionale della rete di grafi. In linea con il quadro teorico di questo articolo, questo studio indaga come il numero di nodi grafo discreti prodotti dal semplice clustering lineare iterativo influenzi le prestazioni dell'inferenza topologica non euclidea, con l'obiettivo di fornire un rigoroso supporto alla selezione degli iperparametri. Sono stati condotti esperimenti per regolare i parametri di controllo dell'inizializzazione dell'algoritmo di clustering, intervenendo con forza nella riduzione dinamica della dimensionalità dello spazio delle caratteristiche, impostando il numero di partizioni dei nodi dei grafi superpixel a 64, 128, 256, 512 e 1024. Sotto un benchmark di test strettamente allineato, il rapporto medio intersection-over-union (IoU), il punteggio F1 del confine strutturale e il tempo medio di inferenza per immagine ad alta risoluzione sono stati registrati simultaneamente su diverse dimensioni dei nodi topologici.
La Tabella 8 dettaglia la relazione tra il grado di riduzione dinamica della dimensionalità nello spazio delle caratteristiche e sia l'accuratezza analitica che il costo computazionale. Impostare il numero di nodi troppo basso porta a una sottosegmentazione delle caratteristiche dell'immagine, causando la fusione degli attributi semantici degli oggetti piccoli con le caratteristiche murali su larga scala, diminuendo così varie metriche di accuratezza. Con l'aumentare della scala di partizionamento dei nodi, la sensibilità del modello ai dettagli spaziali locali migliora significativamente. Aumentare il numero di nodi a 512 e 1024 comporta la frammentazione delle regioni omogenee, indebolisce l'effetto di levigatura sulle caratteristiche macroscopiche nelle reti neurali a grafo, aumenta la dimensionalità della matrice di relazioni dei nodi e aumenta il tempo di inferenza. Una configurazione di parametri con un numero fisso di nodi pari a 256 porta ai valori più alti per il rapporto intersezione-unione e il punteggio del bordo.
Per rappresentare visivamente il compromesso tra accuratezza e potenza computazionale nell'inferenza topologica non euclidea, è stato rappresentato un grafo statistico biaxiale che mostra la sensibilità della dimensione del nodo.
La Figura 10 illustra la logica sottostante con cui il numero di nodi grafo discreti influenza l'evoluzione delle caratteristiche della rete. La barra di fondo che rappresenta il tempo di calcolo mostra un forte aumento dopo che il numero di nodi supera la soglia di 256. La doppia linea che rappresenta la precisione raggiunge il picco a 256 sull'asse orizzontale, poi diminuisce ragionevolmente a causa degli effetti di frammentazione. I dati quantitativi oggettivi e la tendenza di evoluzione visiva sono altamente coerenti, dimostrando che mantenere la dimensione del grafo di calcolo a 256 nodi trova un equilibrio tra elaborazione hardware e ragionamento logico nella configurazione attuale a parametro fisso. La grave degradazione delle prestazioni causata dalla deviazione da questo numero di nodi rivela l'elevata sensibilità della strategia di segmentazione fissa dei superpixel alla regolazione degli iperparametri e sottolinea la necessità di sviluppare un meccanismo dinamico di selezione dei nodi.
DISPONIBILITÀ DEI DATI:
I dati grezzi dei benchmark analizzati in questo studio sono disponibili pubblicamente presso i depositi ufficiali elencati nella Tabella dei Materiali. Il benchmark 3D indoor su larga scala è stato utilizzato come release ufficiale ScanNet v2, con l'identificatore di rilascio del dataset ScanNet v2. Il benchmark RGB-D per la scena indoor è stato consultato tramite la release ufficiale NYU Depth Dataset V2, con l'identificativo della release NYU Depth Dataset V2. Il DOI descrittivo per la pubblicazione per il benchmark 3D indoor su larga scala è 10.1109/CVPR.2017.261, e il DOI descrittivo per la pubblicazione per il benchmark RGB-D indoor scene è 10.1007/978-3-642-33715-4_54. In questo studio non sono state generate nuove immagini raw o dataset RGB-D. I file separati processati, file di configurazione di addestramento, log grezzi di valutazione, file sorgente numerici che supportano Tabella 2, Tabella 3, Tabella 4, Tabella 5, Tabella 6, Tabella 7 e Tabella 8, e Figura 5, Figura 6, Figura 7, Figura 8, Figura 9 e Figura 10, i pesi dei modelli addestrati e il codice sorgente sono stati depositati su figshare sotto DOI: 10.6084/m9.figshare.32906765. Il registro figshare fornisce i dati grezzi completi necessari per riprodurre le tabelle quantitative e i dati riportati in questo manoscritto. Il repository contiene le maschere di previsione, file di valutazione dei confini, script di calcolo metrico, checkpoint di modello e file sorgente di tabelle utilizzate per l'mIoU segnalato, Boundary F1, PixelAcc, MeanAcc, complessità computazionale, robustezza, validazione della funzione di perdita e analisi di sensibilità delle partizioni dei nodi.
Figura 1: Confronto tra discontinuità semantica e effetti di riparazione strutturale precedente in scenari complessi di occlusione interna. (A) Immagine RGB originale con occlusione di mobili su larga scala. (B) Output del modello di base tradizionale che evidenzia la distorsione fisica dei confini e i difetti di discontinuità semantica. (C) Output del metodo proposto con una sovrapposizione di prospettiva a linee tratteggiate ciano che mappa esplicitamente lo scheletro 3D dell'edificio per la riparazione topologica delle caratteristiche danneggiate della struttura sottostante. Clicca qui per visualizzare una versione più grande di questa figura.
Figura 2: Quadro complessivo di parsing semantico guidato da prior strutturali di costruzione. Il diagramma delinea l'intera pipeline a partire dall'ingresso dell'immagine RGB, passando per il ramo di estrazione delle caratteristiche visive a finestra spostata e il ramo di estrazione precedente della struttura, fino al modulo di attenzione incrociata guidato dalla struttura, seguito dal ragionamento topologico tramite il GCN superpixel, e infine la decodifica nella mappa semantica densa. A destra sono presentate disposizioni dettagliate del calcolo della matrice di affinità di attenzione, del passaggio dei messaggi nel grafo e delle funzioni di perdita di ottimizzazione congiunta. Clicca qui per visualizzare una versione più grande di questa figura.
Figura 3: Diagramma di flusso della costruzione della matrice di affinità e della connettività topologica. Il grafico dettaglia la pipeline di mappatura matematica passo dopo passo, mostrando la trasformazione dalla mappa del campo di distanza di input e dalle coppie di pixel selezionate, attraverso l'estrazione continua di caratteristiche geometriche potenziali e la valutazione della consistenza del gradiente, fino alla matrice di affinità normalizzata usata come esplicito bias spaziale per il meccanismo di attenzione incrociata. Clicca qui per visualizzare una versione più grande di questa figura.
Figura 4: Diagramma schematico della proiezione convoluzionale del grafo superpixel e aggregazione di caratteristiche. Il pannello descrive il processo di ragionamento topologico non euclideo: (A) caratteristiche pixelate dense che mostrano la matrice locale originale e i confini di clustering dei superpixel; (B) costruzione della topologia del grafo superpixel che mappa la griglia regolare a nodi discreti e archi fisicamente collegati; (C) passaggio convoluzionale del messaggio del grafo che esegue l'aggregazione direzionale delle caratteristiche locali; e (D) retroproiezione delle coordinate che presenta le caratteristiche di consistenza semantica macroscopica ripristinate sulla griglia densa. Clicca qui per visualizzare una versione più grande di questa figura.
Figura 5: Diagramma qualitativo della griglia di confronto. La matrice fornisce una valutazione visiva delle prestazioni tra diverse scene interne riga a riga, confrontando gli input RGB interni originali e i layout ground-truth con gli output della baseline di segmentazione basata sull'attenzione maschera, della baseline di aggregazione di caratteristiche cross-modal, della base di fusione progressiva delle caratteristiche e del metodo proposto, che ripristina con successo gli angoli occlusi e allinea le superfici portanti. Clicca qui per visualizzare una versione più grande di questa figura.
Figura 6: Risultati dell'ablazione per l'integrazione cumulativa dei moduli. Il grafico a doppio asse mostra l'evoluzione delle prestazioni passo dopo passo attraverso diversi contesti di ablazione modulare, tracciando la traiettoria costante verso l'alto dell'intersezione media su unione (mIoU) come barre e il punteggio F1 del confine strutturale come un grafico lineare dalla backbone di base fino all'intero quadro. Clicca qui per visualizzare una versione più grande di questa figura.
Figura 7: complessità computazionale, tempo di addestramento e distribuzione dell'efficienza dell'inferenza. Il grafico multidimensionale delle bolle rivela i compromessi tra overhead computazionale e accuratezza di parsing. L'asse orizzontale misura le operazioni in virgola mobile (FLOP), l'asse verticale indica mIoU, la dimensione della bolla rappresenta la scala dei parametri addestrabili e le etichette di testo adiacenti riportano la latenza di inferenza a singolo frame per ciascuna architettura di rete. Clicca qui per visualizzare una versione più grande di questa figura.
Figura 8: Istogramma della precisione al bordo e dei punteggi metrici sotto diverse configurazioni di funzione di perdita. Il diagramma a barre raggruppato confronta gli effetti trainanti di varie strategie di ottimizzazione sulla logica spaziale sottostante, illustrando i significativi guadagni in mIoU e nel punteggio F1 del confine strutturale ottenuti passando dalle formulazioni standard di entropia incrociata alla proposta di perdita di coerenza strutturale. Clicca qui per visualizzare una versione più grande di questa figura.
Figura 9: Grafico lineare che mostra la relazione tra gravità dell'occlusione e decadimento delle prestazioni. La curva monitora il degrado della precisione attraverso diversi paradigmi di estrazione delle caratteristiche sotto livelli di occlusione lieve, moderata e severa, evidenziando la robusta stabilità topologica e la capacità anti-interferenza del framework strutturato proposto rispetto alle basi puramente guidate dai pixel. Clicca qui per visualizzare una versione più grande di questa figura.
Figura 10: Analisi di sensibilità della scala dei nodi superpixel. Il grafico statistico biaxiale illustra il compromesso tra velocità di elaborazione hardware e accuratezza del ragionamento logico tra diverse dimensioni di partizione dei grafi, mostrando come il numero di nodi superpixel influenzi le metriche di accuratezza e porti a un forte aumento del tempo medio di inferenza. Clicca qui per visualizzare una versione più grande di questa figura.
| Numerazione a livello di rete | Dimensione delle caratteristiche del nodo di ingresso | Dimensione delle caratteristiche del nodo di uscita | Impostazione della probabilità di inattivazione casuale |
| 1 | 512 | 256 | 0.15 |
| 2 | 256 | 256 | 0.15 |
| 3 | 256 | 128 | 0.1 |
| 4 | 128 | 64 | 0.05 |
Tabella 1: Tabella di configurazione degli iperparametri dell'architettura di rete per il modulo di inferenza convoluzionale. La tabella riporta la numerazione a livello di rete, le dimensioni delle caratteristiche dei nodi di input, le dimensioni delle caratteristiche dei nodi di uscita e le impostazioni di probabilità di inattivazione casuale utilizzate nella rete di ragionamento a grafi.
| Elemento di configurazione | Benchmark 3D indoor su larga scala | Benchmark RGB-D per scene interne |
| Identificatore ufficiale della pubblicazione | ScanNet v2 | NYU Depth Dataset V2 |
| Campioni di addestramento utilizzati in questo studio | 1201 scene | 795 immagini |
| Campioni di validazione o prova utilizzati per la valutazione | 312 scene di validazione | 654 immagini di prova |
| Categorie semantiche totali | 20 | 40 |
| Risoluzione dell'immagine in ingresso | 512 × 512 | 512 × 512 |
| Tasso di apprendimento iniziale | 0.0001 | 0.0001 |
| Conteggio dei campioni in input batch | 8 | 8 |
| Coefficiente di decadimento del peso | 0.01 | 0.01 |
| Epoche di addestramento totali | 300 | 300 |
| Numero di corse indipendenti | 5 | 5 |
Tabella 2: Divisione sperimentale del dataset e configurazione unificata degli iperparametri di addestramento. La tabella riporta le impostazioni di partizionamento dei campioni di campioni su larga scala di dataset indoor 3D e RGB-D per scene interne, conteggio semantico delle categorie, impostazioni della velocità di apprendimento, conteggio dei campioni in batch input, tasso di decadimento del peso e conteggio totale delle iterazioni di addestramento.
| Architettura dei modelli di rete | mIoU | Confine F1 | PixelAcc | MeanAcc |
| SegFormer | 0,596 ± 0,003 | 0,635 ± 0,004 | 0,838 ± 0,003 | 0,704 ± 0,004 |
| ConvNeXt UperNet | 0,604 ± 0,003 | 0,642 ± 0,004 | 0,846 ± 0,003 | 0,713 ± 0,004 |
| Mask2Former | 0,612 ± 0,003 | 0,654 ± 0,004 | 0,853 ± 0,003 | 0,721 ± 0,004 |
| OneFormer | 0,621 ± 0,002 | 0,663 ± 0,003 | 0,861 ± 0,003 | 0,733 ± 0,003 |
| MaskDINO | 0,628 ± 0,002 | 0,667 ± 0,003 | 0,869 ± 0,003 | 0,741 ± 0,003 |
| CCANet | 0,635 ± 0,003 | 0,671 ± 0,004 | 0,876 ± 0,003 | 0,745 ± 0,004 |
| InternImage UperNet | 0,641 ± 0,002 | 0,692 ± 0,003 | 0,884 ± 0,002 | 0,756 ± 0,003 |
| CMPFFNet | 0,658 ± 0,002 | 0,712 ± 0,003 | 0,891 ± 0,002 | 0,773 ± 0,003 |
| SGCA_GCN | 0,687 ± 0,002 | 0,764 ± 0,003 | 0,924 ± 0,002 | 0,816 ± 0,003 |
Tabella 3: Confronto quantitativo complessivo delle basi di parsing di scene interne sul set di validazione RGB-D di scene interne. La tabella riporta mIoU, punteggio Boundary F1, accuratezza globale dei pixel e accuratezza della classe media per la base di segmentazione basata sull'attenzione maschera, la baseline di aggregazione di caratteristiche cross-modal, la base di fusione progressiva delle caratteristiche e l'architettura di rete guidata dalla struttura proposta.
| Configurazione dell'architettura di rete | mIoU | Confine F1 | PixelAcc | MeanAcc |
| Spina dorsale a finestra spostata di base | 0,615 ± 0,003 | 0,630 ± 0,004 | 0,842±0,003 | 0,706 ± 0,004 |
| Spina dorsale più attenzione incrociata guidata dalla struttura | 0,648 ± 0,003 | 0,685 ± 0,004 | 0,874 ± 0,003 | 0,748 ± 0,004 |
| Ragionamento del grafo Backbone più superpixel | 0,641 ± 0,003 | 0,676 ± 0,004 | 0,868 ± 0,003 | 0,741 ± 0,004 |
| Perdita di consistenza tra spina dorsale e struttura | 0,632 ± 0,003 | 0,662 ± 0,004 | 0,859 ± 0,003 | 0,732 ± 0,004 |
| Spina dorsale più attenzione incrociata e ragionamento grafico | 0,669 ± 0,002 | 0,721 ± 0,003 | 0,897 ± 0,002 | 0,782 ± 0,003 |
| Spina dorsale più attenzione incrociata e perdita di consistenza strutturale | 0,660 ± 0,002 | 0,713 ± 0,003 | 0,889 ± 0,002 | 0,773 ± 0,003 |
| Backbone plus ragionamento grafico e perdita di coerenza strutturale | 0,653 ± 0,003 | 0,704 ± 0,003 | 0,881 ± 0,003 | 0,765 ± 0,003 |
| Modello completo senza bias additivo di campo a distanza di segno | 0,656 ± 0,003 | 0,698 ± 0,004 | 0,884 ± 0,003 | 0,761 ± 0,004 |
| Modello completo senza pesatura strutturale adattativa λ | 0,671 ± 0,002 | 0,736 ± 0,003 | 0,904 ± 0,002 | 0,792 ± 0,003 |
| Modello completo senza vincolo di spicco coplanare | 0,666 ± 0,002 | 0,728 ± 0,003 | 0,899 ± 0,002 | 0,786 ± 0,003 |
| Modello completo senza normalizzazione simmetrica dei grafi | 0,673 ± 0,002 | 0,737 ± 0,003 | 0,906 ± 0,002 | 0,795 ± 0,003 |
| A pieno SGCA_GCN | 0,687 ± 0,002 | 0,764 ± 0,003 | 0,924 ± 0,002 | 0,816 ± 0,003 |
Tabella 4: Analisi ampliata dell'ablazione quantitativa dei componenti core. La tabella riporta l'integrazione cumulativa dei moduli, le combinazioni di moduli a coppie e le impostazioni di rimozione dei componenti per quantificare i contributi indipendenti e cooperativi dell'attenzione incrociata guidata dalla struttura, del bias del campo a distanza con segno, della ponderazione strutturale adattativa, del ragionamento su grafo superpixel, della costruzione coplanare dei bordi, della normalizzazione simmetrica dei grafi e della perdita di consistenza strutturale.
| Architettura dei modelli di rete | Parametri | FLOP | Memoria di picco | Tempo di allenamento | Tempo di inferenza | FPS | mIoU | Confine F1 |
| SegFormer | 83,7 M | 80,1 G | 6,1 GB | 10,6 h | 44 ms | 22.7 | 0.596 | 0.635 |
| ConvNeXt UperNet | 60,2 M | 91,5 G | 6,4 GB | 11.2 h | 47 ms | 21.3 | 0.604 | 0.642 |
| Mask2Former | 44.0 M | 74,6 G | 5,8 GB | 9.4 h | 41 ms | 24.4 | 0.612 | 0.654 |
| OneFormer | 64,1 M | 103.2 G | 7,0 GB | 12.9 h | 55 ms | 18.2 | 0.621 | 0.663 |
| MaskDINO | 52,8 M | 96,8 G | 6,8 GB | 12.1 h | 52 ms | 19.2 | 0.628 | 0.667 |
| CCANet | 63,5 M | 118,7 G | 7,6 GB | 14.8 h | 67 ms | 14.9 | 0.635 | 0.671 |
| InternImage UperNet | 70,4 M | 112,3 G | 7,4 GB | 14.2 h | 64 ms | 15.6 | 0.641 | 0.692 |
| CMPFFNet | 58,9 M | 104.6 G | 7,1 GB | 13.1 h | 59 ms | 16.9 | 0.658 | 0.712 |
| SGCA_GCN | 66,8 M | 121,4 G | 7,9 GB | 15,6 h | 61 ms | 16.4 | 0.687 | 0.764 |
Tabella 5: Confronto tra complessità computazionale, tempo di addestramento ed efficienza di inferenza con accuratezza complessiva del set di validazione. La tabella riporta parametri addestrabili, operazioni in virgola mobile, utilizzo di memoria di picco, tempo di addestramento per 300 epoche, latenza di inferenza a singolo frame, frame al secondo, mIoU e punteggio Boundary F1 per il metodo proposto e le reti di confronto.
| Configurazione della Funzione di Perdita | mIoU | Confine F1 |
| Solo Entropia Incrociata (CE) | 0.669 | 0.721 |
| EC + Confine BCE | 0.674 | 0.738 |
| CE + Perdita InversaForma | 0.681 | 0.752 |
| CE + Nostros SCL | 0.687 | 0.764 |
Tabella 6: Confronto quantitativo della validazione della funzione di perdita. La tabella riporta il punteggio mIoU e F1 di bordo sotto perdita di entropia incrociata, perdita binaria di fronte per entropia incrociata, perdita per trasformazione inversa e la perdita di coerenza strutturale proposta.
| Architettura del modello algoritmico | Occlusione lieve | Occlusione moderata | Occlusione grave | Insieme di anomalie non di Manhattan | Sottoinsieme di interferenza texture |
| (mIoU) | (mIoU) | (mIoU) | (mIoU) | (mIoU) | |
| Mask2Former | 0.685 | 0.612 | 0.421 | 0.584 | 0.553 |
| CCANet | 0.698 | 0.635 | 0.463 | 0.612 | 0.566 |
| CMPFFNet | 0.715 | 0.658 | 0.512 | 0.635 | 0.602 |
| SGCA_GCN | 0.732 | 0.687 | 0.645 | 0.628 | 0.649 |
Tabella 7: Analisi della robustezza specifica per sottoinsieme della distribuzione estrema di occlusione e delle strutture non Manhattan. La tabella riporta cambiamenti nella precisione della parsing tra i sottoinsiemi di occlusione lieve, occlusione moderata, occlusione severa, illuminazione difficile, interferenza di texture e non-anomalia di Manhattan.
| Numero di nodi superscale | mIoU | BoundaryF1 | Tempo medio di inferenza (ms) |
| 64 | 0.641 | 0.695 | 45 |
| 128 | 0.665 | 0.732 | 52 |
| 256 | 0.687 | 0.764 | 61 |
| 512 | 0.678 | 0.751 | 95 |
| 1024 | 0.662 | 0.735 | 185 |
Tabella 8: Analisi della sensibilità spaziale della scala delle partizioni dei nodi in un grafo topologico. La tabella riporta l'mIoU, il punteggio F1 del confine strutturale e il tempo medio di inferenza tra diverse impostazioni di partizione dei nodi superpixel.
Discussione
L'algoritmo di questo articolo accoppia strettamente le caratteristiche visive gerarchiche catturate da un encoder gerarchico a finestra spostata con la profondità precedente della scatola delimitante 3D Manhattan generata dal rilevamento di segmenti di linea, ottenendo così una ricostruzione semantica ad alta precisione di scene interne complesse. Un meccanismo di attenzione incrociata guidato dalla struttura costringe il segnale visivo ad allinearsi con il vero confine geometrico calibrato dall'SDF, ripristinando così la continuità delle caratteristiche a basso livello nelle aree localmenteoccluse 42. Un grafo topologico viene costruito utilizzando nodi superpixel generati da un algoritmo di clustering locale iterativo, che spinge un GCN a eseguire aggregazione di caratteristiche sotto vincoli fisici coplanari, garantendo la coerenza della distribuzione semanticamacroscopica 43. I risultati sperimentali mostrano che il metodo raggiunge un rapporto medio di intersezione su unione del 68,7% con una deviazione standard dello 0,2%, un valore ingegneristico pratico, un punteggio F1 del confine strutturale del 76,4% con una deviazione standard dello 0,3% e un tempo medio di inferenza di 61 ms con una configurazione di 256 nodi superpixel, riflettendo un compromesso deliberato che dà priorità alla precisione della ricostruzione dei confini rispetto all'efficienza di inferenzafinale 44. I test di robustezza dimostrano inoltre che il modello mostra forti capacità di riparazione topologica in condizioni estreme di perdita visiva su larga scala. Introducendo la perdita di coerenza strutturale, si migliora l'accuratezza dell'allineamento della maschera prevista con il confine fisico a distanza zero calibrato dall'SDF, ottenendo un'ottimizzazione sinergica della complessità computazionale e della qualità di analisi45. Questo schema fornisce un approccio di fusione delle caratteristiche basato sulle leggi dello spazio tridimensionale e dimostra una coerenza logica nella riparazione topologica quando si tratta di occlusione di mobili su larga scala e distorsione fisica deiconfini 46. I risultati della ricerca forniscono un solido quadro fisico-geometrico di vincoli per il ragionamento spaziale intelligente e la ricostruzione 3D ad alta precisione, e hanno un valore ingegneristico pratico per compiti di navigazione visiva robotica e riconoscimento di scene in ambienti fisici reali.
Il meccanismo di derivazione della topologia geometrica, fortemente dipendente dall'ipotesi del mondo di Manhattan, soffre di bias di adattamento quando si tratta di spazi architettonici irregolari con pareti curve o confini nonortogonali 47. Per superare questo collo di bottiglia nella modellazione geometrica, le successive iterazioni di rete integreranno algoritmi di adattamento della superficie multi-polinomiale e moduli di estrazione della curva B-spline razionali non uniformi nel ramo fisico-prior. Questa strategia universale di modellazione spaziale traduce linee ortogonali rigide in confini topologici dinamicamente deformabili, migliorando così continuamente la precisione di analisi dell'algoritmo in disposizioni spaziali interne anomale.
L'estrazione geometrica a priori si basa sul rilevatore di segmento di linea di base, rendendo il sistema vulnerabile alla distorsione della maschera strutturale durante la lavorazione di scene interne dominate da materiali riflettentio trasparenti 48. La perdita di coerenza strutturale invoca direttamente l'SDF generato da questo rivelatore, stabilendo un ciclo di dipendenza chiuso tra estrazione precedente e ottimizzazione del gradiente. Quando l'interferenza visiva attiva rilevamenti anomali di segmenti di linea, le coordinate geometriche difettose vengono mappate nell'SDF e amplificate direttamente dalla perdita di coerenza strutturale durante la retropropagazione, costringendo così i parametri della rete a rispettare i confini fisicierrati 49. Le successive iterazioni algoritmiche introdurranno ramificazioni di fusione multimodali adattiva per assorbire mappe di profondità profonde e dati radiometrici infrarossi, disaccoppiando così la percezione strutturale geometrica dai vincoli di illuminazione in luce visibile ed espandendo il confine di ragionamento spaziale in ambienti ottici estremi.
Per risolvere il collo di bottiglia della sensibilità alle prestazioni causato dalla scala fissa dei nodi superpixel, ricerche successive progetterà un modulo di aggregazione dei grafi apprendibile e adattivo che determini dinamicamente lo schema di partizionamento dei nodi in base alla complessità dell'immagine, eliminando la dipendenza della rete dalla sintonia manuale degli iperparametri. Per affrontare le limitazioni di implementazione hardware causate dall'overhead computazionale della rete di grafi superpixel, i piani di ottimizzazione futuri introdurranno meccanismi di deaccoppiamento delle caratteristiche leggeri e moduli di aggregazione a gate per comprimere la scala dei parametri e accelerare le operazioni matriciali del ramo geometricoprecedente 50.
Dichiarazioni
Gli autori dichiarano di non avere conflitti di interesse finanziari.
Ringraziamenti
Finanziamento: Programma Chiave di Ricerca e Sviluppo dello Shaanxi (Programma n. 2024CY2-GJHX-76).
Materiali
| Nome | Azienda | Numero di catalogo | Commenti |
|---|---|---|---|
| AdamW optimizer | PyTorch Contributors | https://pytorch.org/ | |
| CCANet | Zihao Z. et al. | https://doi.org/10.1109/TCDS.2024.3455356 | |
| CMPFFNet | Zhou W. et al. | https://doi.org/10.1109/TASE.2023.3332021 | |
| ConvNeXt | Meta AI Research | https://github.com/facebookresearch/ConvNeXt | |
| InternImage | OpenGVLab | https://github.com/OpenGVLab/InternImage | |
| Mask2Former | Meta AI Research | https://github.com/facebookresearch/Mask2Former | |
| MaskDINO | IDEA-Research | https://github.com/IDEA-Research/MaskDINO | |
| NYUv2 | http://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html | ||
| OneFormer | SHI Labs | https://github.com/SHI-Labs/OneFormer | |
| RANSAC algorithm | scikit-learn developers | https://scikit-learn.org/ | |
| ScanNet V2 | http://www.scan-net.org/ | ||
| SegFormer | NVIDIA | https://github.com/NVlabs/SegFormer | |
| SGCA_GCN | Authors of this study | Proposed method (N/A) | |
| Softmax function | PyTorch Contributors | https://pytorch.org/ | |
| Swin Transformer | Microsoft Research | https://github.com/microsoft/Swin-Transformer |
Riferimenti
- Zhang Z et al. CCANet: cross-modality comprehensive feature aggregation network for indoor scene semantic segmentation. IEEE Trans Cogn Dev Syst. 2024;17:366–378.
- Cui Y et al. Improving the segmentation of confusable indoor structures using point convolution and sparse vector attention. Geospat Inf Sci. 2025:1–22.
- Yang L, Cai H. Cost-efficient image semantic segmentation for indoor scene understanding using weakly supervised learning and BIM. J Comput Civ Eng. 2023;37:04022062–04022082.
- Uckan T, Aslan C, Hark C. A comprehensive hybrid approach for indoor scene recognition combining CNNs and text-based features. Sensors. 2025;25(17):5350. doi:10.3390/s25175350.
- Sun R et al. Training indoor and scene-specific semantic segmentation models to assist blind and low-vision users in activities of daily living. IEEE Open J Eng Med Biol. 2025;6:533–539.
- Ye S, Hu Y, Lin M. Indoor scene reconstruction with fine-grained details using hybrid representation and normal prior enhancement. IEEE Trans Vis Comput Graph. 2024;31:5275–5287.
- Naseer A et al. Multimodal scene recognition using semantic segmentation and deep learning integration. PeerJ Comput Sci. 2025;11. doi:10.7717/peerj-cs.2858.
- Bae JH, Yu GH, Lee JH. Superpixel image classification with graph convolutional neural networks based on learnable positional embedding. Appl Sci. 2022;12:9176–9190.
- Zhang H, Zou J, Zhang L. EMS-GCN: an end-to-end mixhop superpixel-based graph convolutional network for hyperspectral image classification. IEEE Trans Geosci Remote Sens. 2022;60:1–16.
- Mu Y, Ou L, Chen W. Superpixel-based graph convolutional network for UAV forest fire image segmentation. Drones. 2024;8:142–158.
- Khatun Z, Jonsson H Jr, Tsirilaki M. Beyond pixel: superpixel-based MRI segmentation through traditional machine learning and graph convolutional network. Comput Methods Programs Biomed. 2024;256:108398–108412.
- Yongyin L, Caixia Y. Cross-attention swin transformer for detailed segmentation of ancient architectural color patterns. Front Neurorobot. 2024;18:1513488–1513508.
- Zhou X, Zhou L, Gong S. Swin transformer embedding dual stream for semantic segmentation of remote sensing imagery. IEEE J Sel Top Appl Earth Obs Remote Sens. 2023;17:175–189.
- Ning X, Jiang L, Li W. Swin-MGNet: swin transformer-based multiview grouping network for 3D object recognition. IEEE Trans Artif Intell. 2024;6:747–758.
- Ke A, Luo J, Cai B. UNet-like network fused swin transformer and CNN for semantic image synthesis. Sci Rep. 2024;14:16761–16779.
- Li Y et al. IED-GCN: an internal and external decoupled graph convolutional network for landslide susceptibility assessment. IEEE Trans Geosci Remote Sens. 2025;63:1–17.
- He T, Chen J. DC-GCN: a lightweight graph convolutional network integrating local and global context for semantic segmentation. IEEE J Sel Top Appl Earth Obs Remote Sens. 2025;18:28283–28299. doi:10.1109/JSTARS.2025.3626006.
- Imani M. Superpixel-based graph convolutional neural network for polarimetric synthetic aperture radar image classification. Sci Rep. 2026;16:4736. doi:10.1038/s41598-025-34965-6.
- Wang S, Feng S, Wang Z. Structural prior-guided and feature-enhanced transformer with masked image modeling pretraining for retinal layers and fluid segmentation in macular edema OCT images. Biomed Opt Express. 2025;16:5096–5117.
- Yuan Z et al. Structure-aware progressive multimodal fusion network for RGB-T crack segmentation. J Imaging. 2025;11(11):384. doi:10.3390/jimaging11110384.
- Xu S, Shen R, Liu E. A structure-prior-guided adaptive context selection network for remote sensing semantic segmentation. Electron Lett. 2025;61. doi:10.1049/ell2.70161.
- Minaee S, Boykov Y, Porikli F. Image segmentation using deep learning: a survey. IEEE Trans Pattern Anal Mach Intell. 2021;44:3523–3542.
- Zhou E, Murray AT, Baik J. Mapping 3D classroom seats based on partial object point cloud completion. Cartogr Geogr Inf Sci. 2024;51:404–420.
- Nishi T, Kawasaki S, Iewaki K. M3R-CNN: on effective multimodal fusion of RGB and depth cues for instance segmentation in bin picking. Adv Robot. 2023;37:1143–1157.
- Zhou W, Xiao Y, Yan W. CMPFFNet: cross-modal and progressive feature fusion network for RGB-D indoor scene semantic segmentation. IEEE Trans Autom Sci Eng. 2023;21:5523–5533.
- Zhou W, Xiao Y, Liu Y. FIMKD: feature implicit mapping knowledge distillation for RGB-D indoor scene semantic segmentation. IEEE Trans Artif Intell. 2024;5:6488–6499.
- Liu J, Jiang Z, Xu X. Multi-robot collaborative complex indoor scene segmentation via multiplex interactive learning. CAAI Trans Intell Technol. 2025;10:1646–1660.
- Zhang S, Xie M. MIPANet: optimizing RGB-D semantic segmentation through multimodal interaction and pooling attention. Front Phys. 2024;12:1411559–1411572.
- Li JW et al. Construction of a multiscale feature fusion model for indoor scene recognition and semantic segmentation. Sci Rep. 2025;15:14701. doi:10.1038/s41598-025-95465-1.
- Liang X et al. Indoor building structure segmentation in unorganized point clouds based on corner feature. Eng Constr Archit Manag. 2025. doi:10.1108/ECAM-10-2024-1433.
- Wu LF, Wei D, Xu CA. CFANet: the cross-modal fusion attention network for indoor RGB-D semantic segmentation. J Imaging. 2025;11(6):177. doi:10.3390/jimaging11060177.
- Fan L, Zhou Y, Liu H. Combining swin transformer with UNet for remote sensing image semantic segmentation. IEEE Trans Geosci Remote Sens. 2023;61:1–11.
- Wang Z, Liao Z, Zhou B. SwinURNet: hybrid transformer-CNN architecture for real-time unstructured road segmentation. IEEE Trans Instrum Meas. 2024;73:1–16.
- Zhang H et al. Frequency-domain-guided swin transformer and global-local feature integration for remote sensing images semantic segmentation. IEEE Trans Geosci Remote Sens. 2025;63:5612611. doi:10.1109/TGRS.2025.3535724.
- Li GY, Chen J, Jang SI. SwinCross: cross-modal swin transformer for head and neck tumor segmentation in PET-CT images. Med Phys. 2024;51:2096–2107.
- Tang Y, Hu X, Ke T. Semantic segmentation of high-resolution remote sensing imagery via an end-to-end graph attention network with superpixel embedding. IEEE J Sel Top Appl Earth Obs Remote Sens. 2025;18:7236–7252.
- Wang R, Nie Y, Geng J. Multiscale superpixel-guided weighted graph convolutional network for polarimetric SAR image classification. IEEE J Sel Top Appl Earth Obs Remote Sens. 2024;17:3727–3741.
- Li S, Wu K, Liu H. Hyperspectral image classification based on multiscale feature search graph convolutional network with meta pseudo-labels. IEEE J Sel Top Appl Earth Obs Remote Sens. 2025;18:23485–23504.
- Yang B, Cheng X, Guo J. Temporal information-enhanced graph convolutional network with superpixel-pixel gated knowledge dynamic selection for change detection in satellite time series. IEEE J Sel Top Appl Earth Obs Remote Sens. 2024;17:18399–18412.
- Zhang H, Ku J, Zhao J. Multi-scale graph wavelet convolutional network for hyperspectral image classification. Front Remote Sens. 2025;6:1637820. doi:10.3389/frsen.2025.1637820.
- Zhou Q, Wang L, Gao G. Boundary-guided lightweight semantic segmentation with multiscale semantic context. IEEE Trans Multimedia. 2024;26:7887–7900.
- Xu X, Yen GG, Zhao C. Boundary-based active domain adaptation for semantic segmentation under adverse conditions. IEEE Trans Neural Netw Learn Syst. 2025;36:14721–14734.
- Tang Y, Feng S, Zhao C. A semantic change detection network based on boundary detection and task interaction for high-resolution remote sensing images. IEEE Trans Neural Netw Learn Syst. 2025;36:17184–17198.
- Guan L, Yuan X. Dynamic weighting and boundary-aware active domain adaptation for semantic segmentation in autonomous driving environment. IEEE Trans Intell Transp Syst. 2024;25:18461–18471.
- Fenglei W, Xin G, Zongze Z. A boundary-enhanced semantic segmentation model for buildings. IEEE J Sel Top Appl Earth Obs Remote Sens. 2025;18:5733–5748.
- Shan K, Tan L, Li Y, Jia T. Multi-scale boundary-aware network for remote sensing image semantic segmentation. Sci Rep. 2026;16:3797. doi:10.1038/s41598-025-33943-2.
- Wu D, Guo Z, Li A. Conditional boundary loss for semantic segmentation. IEEE Trans Image Process. 2023;32:3717–3731.
- Li Y, Zhang C, Wang H. Boundaries matter: a novel multibranch semisupervised semantic segmentation method. IEEE Intell Syst. 2024;40:35–44.
- Wang JQ, Chen T, Zheng L. A multiscale remote sensing semantic segmentation model with boundary enhancement based on UNetFormer. Sci Rep. 2025;15:14737. doi:10.1038/s41598-025-99663-9.
- Jung H, Choi HS, Kang M. Boundary enhancement semantic segmentation for building extraction from remote sensed image. IEEE Trans Geosci Remote Sens. 2021;60:1–12.
Ristampe e permessi
Richiedi il permesso di riutilizzare il testo o le figure di questo articolo JoVE
Richiedi permesso