Diese Studie schlägt einen Algorithmus vor, der die hierarchischen visuellen Merkmale, die von einem hierarchischen Transformer-Encoder mit verschobenem Fenster erfasst werden, eng mit der vorherigen Tiefe der durch Liniensegmenterkennung erzeugten 3D-Begrenzungsbox Manhattan verknüpft und so eine hochpräzise semantische Rekonstruktion komplexer Innenraumszenen erreicht.
Forschungsartikel
Eine semantische Parsing-Methode für Bilder von Innenraumszenen, basierend auf Vorkenntnissen über Gebäudestrukturen
In diesem Artikel
Zusammenfassung
Zusammenfassung
Um semantische Vorhersagediskontinuitäten und physikalische Randverzerrungen durch Möbelverschluss in komplexen Innenräumen zu adressieren, schlägt diese Arbeit eine semantische Parsing vor, die Gebäude-Struktur-Vorprioritäten nutzt. Das Schema verwendet einen hierarchischen Transformer-Encoder mit verschobenem Fenster, um multiskalige visuelle Merkmale zu extrahieren, und kombiniert einen Gradienten-Richtungs-Konsistenz-Liniensegment-Erkennungsalgorithmus, um eine Manhattan-3D-Begrenzungsbox zu konstruieren. Diese Begrenzungsbox wird vor der Kodierung diskreter geometrischer Konturen in ein kontinuierliches physikalisches Potentialfeld (SDF) in ein vorzeichenmäßiges Distanzfeld (SDF) umgewandelt. Ein strukturgesteuerter Cross-Attention-Mechanismus zwingt die visuellen Signale dazu, sich mit realen 3D-orthogonalen geometrischen Grenzen auszurichten, wodurch die Merkmalskontinuität in verdeckten Bereichen wiederhergestellt wird. Ein räumlicher Adjazenzgraph, der aus Superpixelknoten konstruiert wird, treibt ein Graph Convolutional Network (GCN) an, um Merkmale zu aggregieren und so makroskopische semantische Konsistenz innerhalb der physischen tragenden Ebene sicherzustellen. Eine Kombination aus Pixelebene-Kreuzentropieverlust und einem speziell entwickelten strukturellen Konsistenzverlust verstärkt die Einschränkungen und bestraft Vorhersagen außerhalb der Grenzen. Experimente über mehrere unabhängige Durchläufe zeigen, dass der mittlere Durchschnitt über Union (mIoU) 68,7 % mit einer Standardabweichung von 0,2 % erreicht und der strukturelle Randwert F1 76,4 % mit einer Standardabweichung von 0,3 %, was die robuste Leistung der vorgeschlagenen Module bestätigt. Mit einer einzelnen Bildknotengröße von 256 blieb die durchschnittliche Schlusszeit bei 61 ms.
Einleitung
Die semantische Analyse von Indoor-Szenenbildern nimmt eine zentrale Rolle in dreidimensionaler räumlicher Kognition und intelligentem räumlichemDenken ein. Die visuelle Extraktion von Merkmalen in realen physischen Umgebungen wird oft stark durch komplexe räumliche Anordnungen behindert3. Die Lösung der semantischen Diskontinuität und der physikalischen Randverzerrung der Fundamentstruktur des Gebäudes. Die durch großflächige Möbelverschluss verursachte Fundamentstruktur ist wichtig für die räumliche Kognitionsforschung 4,5. Das genaue Entfernen von Störungen durch ungeordnete Objekte und die Wiederherstellung der physikalischen Kontinuität derselben Wand und derselben Bodens bestimmt direkt die Genauigkeit der dreidimensionalen Szenenrekonstruktion und der globalen räumlichen logischen Analyse6. Die semantische Diskontinuität, die durch großflächige Möbelverdichtung verursacht wird, und der strukturelle Reparatureffekt der vorgeschlagenen Gebäudevor-Leitlinie sind in Abbildung 1 dargestellt, wo der verdeckte Rot-Grün-Blau-(RGB)-Eingang in Tabelle 1A, die Basismaskenverzerrung in Abbildung 1B und das Struktur-Vor-Reparaturergebnis in Abbildung 1C unter demselben Indoor-Szenen-Zustand verglichen werden.
Um die Genauigkeitsanforderungen des räumlich-logischen Denkens zu erfüllen, stehen aktuelle mainstream pixelgesteuerte visuelle Netzwerke vor mehreren Hindernissen bei komplexen Innenraumumgebungen 7,8. Innenräume sind oft mit dichten Möbeln und überfüllten Möbeln gefüllt, was zu einem erheblichen Verlust der niedrigen visuellen Grenzsignale in den Bildern9 führt. Konventionelle Merkmalsextraktionsmechanismen verlassen sich übermäßig auf lokale zweidimensionale Farb- und Texturreaktionen und besitzen kein makroskopisches Verständnis der starren orthogonalen Gesetze dreidimensionaler menschengemachter Strukturen10. Diese Einschränkung des lokalen rezeptiven Feldes macht die Ausbreitung der Merkmale leicht unterbrochen, was es erschwert, die globale Topologie über Okklusionen11 zu erweitern. Derzeit besteht ein dringender Bedarf, das Kernproblem der semantischen Vorhersagediskontinuitäten und schwerwiegender Verzerrungen physikalischer Grenzen durch Okklusion und Interferenzzu lösen.
Um strukturelle Mängel in Gebäudefundamenten durch Verschluss und Interferenz zu beheben, hat die akademische Gemeinschaft eine Vielzahl gezielter Interventionsmaßnahmen entwickelt13. Crossmodale Merkmalaggregationsnetzwerke kompensieren effektiv die inhärenten Defizite einer einzelnen visuellen Modalität in der räumlichen Wahrnehmung, indem sie Tiefenkarten oder Textpriors einführen, um bei Rot-Grün-Blau (RGB) Bildern zu helfen14,15. Grenzwahrnehmungs- und adaptive Kontextauswahl-Frameworks bringen physische Konturverbesserungsstrategien in die Feature-Dekodierungsphase, was die Kantenanpassung von Vorhersageergebnissen in komplexen Szenen erheblich verbessert16,17. Inferenzmodelle, die auf GCNs und Merkmalsinteraktionsmechanismen basieren, verbessern die Funktionsglattheit und makrosemantische Konsistenz in homogenen Regionen erheblich, indem sie Verbindungen auf Knotenebene konstruieren18,19. Die Integration expliziter Manhattan-struktureller Vorpriore in die visuelle Merkmalsextraktionspipeline erzwingt geometrische Konsistenzgrenzen, was die Herausforderungen der Merkmalsunterbrechung durch umfangreiche Vordergrundobjekt-Okklusion20 adressiert.
Um die Kernherausforderung semantischer Vorhersagefehler und schwerwiegender Verzerrungen physikalischer Grenzen im Zusammenhang mit Infrastrukturgebäuden anzugehen, wird ein semantisches Parsing-Framework vorgeschlagen, das auf einem geschlossenen Kopplungsmechanismus basiert, der architektonische Vorpriore einbezieht. Dieses Rahmenwerk überwindet naive Engineering-Pipelines, indem es eine bidirektionale Abbildung zwischen kontinuierlichen geometrischen Potentialfeldern und diskreten visuellen Merkmaligkeiten etabliert und so eine nicht-triviale Synergie bildet, die Okklusionsfehler durch strukturelle Gesetze korrigiert. Dieses Schema basiert auf einem multiskaligen visuellen Backbone-Netzwerk und einem Liniensegment-Erkennungsalgorithmus, der auf der Verschwindungspunktschätzung basiert, um lokale Erscheinungsmerkmale und orthogonale Kantenpriore zu erfassen, die die Manhattan-3D-Begrenzungsbox parallel repräsentieren, und diese dann in eine SDF umzuwandeln. Der Algorithmus verwendet einen strukturgesteuerten Cross-Attention-Mechanismus, bei dem visuelle Merkmale als Abfragevektoren verwendet und SDF-Merkmale als Schlüssel und Werte für Dot-Produkt-Berechnungen behandelt werden, wodurch das visuelle Signal gezwungen wird, sich mit der realen 3D-geometrischen Grenze im Merkmalsraum auszurichten. Ein räumlicher Adjazenzgraph, der aus Superpixel-Knoten und räumlichen Koplanaritäts-Kantenmerkmalen konstruiert wird, wird in ein GCN eingespeist, um die Zusammenführung von Knotenmerkmalen und die Nachrichtenübermittlung durchzuführen. Der End-to-End-Parameteroptimierungsprozess verwendet gemeinsam Pixelebene-Kreuzentropie und eine benutzerdefinierte strukturelle Konsistenzverlustfunktion, die vorhergesagte Pixel, die die Gebäude-Vor-Grenze überschreiten, streng einschränkt und bestraft. Die vollständige semantische Parsing-Pipeline ist in Abbildung 2 zusammengefasst, die RGB-Bildeingabe, geometrische Prior-Extraktion, Kreuz-Aufmerksamkeits-Ausrichtung, Superpixel-Graph-Argumentation und semantische Maskendecodierung innerhalb einer einheitlichen Architektur verknüpft.
Frühe Szenenparsing-Netzwerke setzten auf Faltungsoperationen, um lokale Erscheinungstexturen zu erfassen, zeigten jedoch aufgrund von Einschränkungen in lokalen rezeptiven Feldern eine unzureichende semantische Kohärenz bei groß angelegten Zielen21,22. Frühere Studien haben das Selbstbeobachtungsmodul der Visual Transformer-Architektur eingesetzt, um globale kontextuelle Informationen zu extrahieren und Langstrecken-Pixel-Assoziationsmerkmale zu konstruieren23,24. Crossmodale Multi-View-Feature-Aggregationsstrategien extrahieren die dreidimensionalen geometrischen räumlichen Merkmale der Szene, indem sie Tiefenkarten-Punktwolken und Textbefehlseingänge fusionieren25,26. Hybride Fokussierungsmechanismen zur Feature-Fusion, die auf bestimmte Domänen abzielen, haben sich allmählich entwickelt. Durch den Bau von Merkmals-Interaktionsbrücken haben sie den Energieverlust und die Merkmalssparsamkeit bei der mehrskaligen Übertragung visueller Signale deutlich reduziert und die Robustheit des Parsings in komplexen Strukturen verbessert. Modernste Encoder-Designs integrieren und schließen gemeinsam räumliche Details aus hochfrequenten Bereichen neben globalen und lokalen Merkmalen ein, stärken die Fähigkeit des Netzwerks, feinkörnige semantische Kategorien mit hoher Ähnlichkeit zu unterscheiden, und verbessert die Genauigkeit der Indoor-Parsing27,28. Jüngste Fortschritte bei semantischen Segmentierungsarchitekturen liefern wertvolle Referenzen zur Optimierung der Recheneffizienz und räumlichen Wahrnehmung. Modelle, die für dichte Vorhersage und multiskalige kontextuelle Aggregation entwickelt wurden, extrahieren feinkörnige geometrische Merkmale aus komplexen Hintergründen. Feature-Entkopplung und synergetische Fusionsstrategien adressieren die semantische Mehrdeutigkeit in Grenzregionen. Leichte Aufmerksamkeitsmechanismen und gesperrte Aggregationsmodule optimieren die Parameterverteilung und beschleunigen so die Inferenz, während lokale strukturelle Details erhalten bleiben. Die Implementierung dieser effizienten architektonischen Entwürfe bietet theoretische Orientierung zur Reduzierung des rechnerischen Overheads nicht-euklidischer topologischer Inferenzoperationen im Indoor-Szenenparsing.
Gebäudestruktur-Priors und 3D-Layout-Schätzungen werden verwendet, um lokale visuelle Parsingfehler zu korrigieren29. Frühere Studien haben orthogonale und parallele geometrische Merkmale von Innengebäuden als Inferenzbeschränkungen extrahiert, um die Netzwerkvorhersage-Verzerrung durch überladene Innenkulissen zu reduzieren30,31. Bestehende Schemata verwenden Algorithmen zur Erkennung von Liniensegmenten und Techniken zur Bildablationspunkt-Analyse, um Manhattan 3D-Begrenzungsboxen zu erzeugen, die die physischen Grenzen von Räumen kartieren und bei der Lokalisierung der zugrundeliegenden visuellen Merkmalehelfen. Die gemeinsame Architektur des Grenzbewusstseinsmoduls und des Multi-Scale-Kontexts bettet vorherige strukturelle Informationen implizit in den hochdimensionalen Merkmalsdekodierungsprozess ein und zwingt das Netzwerk, semantische Masken auszugeben, die den realen physikalischen Konturen nahe kommen und so die Zackigkeit und Unschärfe der Objektkanteneffektiv verbessern 33. Halbüberwachte oder schwach überwachte Verlustfunktionsdesigns mit Randverbesserungseigenschaften wurden umfassend erforscht. Indem man sich auf rigorose mathematische Formeln stützt, um unabhängiges Pixelklassifikationsverhalten zu bestrafen, das gegen räumliche topologische Regeln verstößt, werden die geometrische Glattheit und strukturelle Integrität des endgültigen Segmentierungsergebnisses von der Quelle der Gradientenoptimierung34 garantiert.
Einige Studien haben neuronale Graphennetze verwendet, um domänenübergreifende Aggregation visueller Merkmale durchzuführen und über topologische Beziehungen im hochdimensionalen Raum35 zu schließen. Der Superpixel-Segmentierungsalgorithmus aggregiert benachbarte Pixelblöcke mit ähnlicher Farbantwort und Texturmerkmalen in unabhängige, verbundene Knoten. Der Superpixel-Segmentierungsalgorithmus komprimiert die rechnerische Redundanz der Graphenstruktur auf Bildebene und bewahrt die grundlegende geometrische Topologie des Bildes36. Das GCN, das auf dem hochdimensionalen Knoten-Merkmalsvektor basiert, und die Adjazenzmatrix, die räumliche Nähe darstellt, steuert die effiziente Richtungsübertragung und interaktive Verschmelzung von multiskaligen visuellen Informationen entlang des physikalisch verbundenen Graphen im räumlichenBereich 37,38. Die Anwendung des temporalen Informationsverbesserungsmoduls und des hybriden Multi-Scale-Skip-Verbindungsmechanismus unterdrückt die übermäßige Glättung und Homogenisierung von Knotenmerkmalen, die im Prozess des mehrschichtigen tiefen Nachrichtenübergangs39 entstehen. Die Multi-Skal-Graph-Wavelet-Transformationstechnologie und die Optimierungsstrategie für Pseudo-Label-Element-Lernen optimieren den Anti-Hintergrundrauschen-Mechanismus der Knotenfeature-Update-Formel, sodass Features mit denselben semantischen Attributen einen kooperativen Antwortmodus in komplexer Netzwerktopologie40 beibehalten. Der graphbasierte Schlussfolgerungsmechanismus bildet reguläre Pixelgitter auf nicht-euklidische topologische Räume ab, um Merkmalsaggregationsberechnungen unregelmäßiger Gebäudestrukturen und innerer Komponentendurchzuführen 41.
Protokoll
Indoor-RGB-Szenen-Datensätze und ihre semantischen Annotationen wurden vor dem Netzwerktraining vorbereitet. Der groß angelegte 3D-Datensatz für den Innenraum und der RGB-D-Datensatz für Innenszenen (siehe die Materialtabelle) wurden aus ihren offiziellen Repositorien bezogen. Innenraum-Aufnahmeszenen mit Möbelverschluss, Beleuchtungsvariationen, Unterbrechung von Wandgrenzen und komplexen räumlichen Layouts wurden beibehalten, um dem Ziel-Parsing-Szenario zu entsprechen. Semantische Labels wurden in indexierte Einzelkanal-PNG-Annotationsmasken umgewandelt, und alle RGB-Bilder und semantischen Masken wurden auf 512 × 512 Pixel verkleinert. Während des Trainings wurde eine Online-Datenerweiterung angewendet, mit zufälligem horizontalen Umdrehen bei einer Wahrscheinlichkeit von 0,5, zufälliger Helligkeitsskalierung zwischen 0,8 und 1,2 sowie zufälliger Rotation zwischen −10° und +10°, um die strukturelle Layoutverteilung zu erweitern. RGB-Kanäle wurden mit Mittelwerten von 0,485, 0,456 und 0,406 sowie Standardabweichungswerten von 0,229, 0,224 und 0,225 normalisiert. Der groß angelegte 3D-Benchmark in Innenräumen folgte der offiziellen Veröffentlichungsaufteilung in dieser Studie, mit 1201 Trainingsszenen und 312 Validierungsszenen für Modellentwicklung und Validierung. Der RGB-D Indoor-Szenen-Benchmark folgte dem offiziellen Bewertungsprotokoll mit 795 Trainingsbildern und 654 Testbildern. Auf diese beiden öffentlichen Benchmarks wurde keine zusätzliche prozentuale Aufteilung angewandt.
Ein visuelles Backbone-Netzwerk für einen hierarchischen Transformer mit verschobenem Fenster (siehe die Materialtabelle) wurde als Backbone des moving-window-Transformator-Encoders initialisiert. Die Größe der Patch-Einbettung war auf 4 x 4 Pixel konfiguriert. Die Einbettungsmaße der vier hierarchischen Stufen wurden auf 128, 256, 512 und 1024 gesetzt, und die Anzahl der Transformatorblöcke in den vier Stufen wurde auf 2, 2, 18 und 2 gesetzt. Die Größe des lokalen Aufmerksamkeitsfensters wurde auf 7 x 7 gesetzt, und die Anzahl der Aufmerksamkeitsköpfe auf 4, 8, 16 und 32 für die vier hierarchischen Stufen. In allen mehrschichtigen Perzeptronschichten wurden nichtlineare kontinuierliche Aktivierungsfunktionen verwendet. Das räumliche Downsampling erfolgte durch Patch-Merging-Operationen mit einem Schritt von 2 nach jeder hierarchischen Stufe. Die Kernnetzwerkarchitektur und die Hyperparameter des Faltungsinferenzmoduls wurden in Tabelle 1 zusammengefasst.
Anschließend wurde auf den Eingabe-Merkmalskarten die Extraktion der Self-Attention-Merkmale im verschobenen Fenster durchgeführt. Jede Merkmalskarte wurde in nicht überlappende lokale Fenster mit räumlichen Maßen 7 × 7 unterteilt. Regelmäßige Fensterbetreuung und verschobene Fenster wurden zwischen benachbarten Transformatorblöcken mit verschobenen Fenstern abwechselnd. Der zyklische Verschiebungsabstand wurde auf 3 Pixel gesetzt, und innerhalb jedes lokalen Aufmerksamkeitsfensters wurde eine relative Positionsbias-Codierung angewendet. Lokale visuelle Merkmale wurden über Multi-Head-Selbstaufmerksamkeit aggregiert, um hierarchische, multiskalierte Merkmalsrepräsentationen zu erzeugen.
Strukturelle Vorpriore in Manhattan wurden aus Indoor-RGB-Bildern extrahiert. Strukturelle Kantensegmente wurden mit einem Gradient-Richtung-Konsistenz-Liniensegment-Erkennungsalgorithmus erkannt. Dominante strukturelle Richtungen wurden durch einen RANSAC-Algorithmus (RANSAC) gruppiert (siehe Materialtabelle) basierend auf der Verschwindepunktschätzung. Drei sich gegenseitig orthogonale Manhattan-Richtungen wurden rekonstruiert, um die Manhattan 3D-Begrenzungsbox-Darstellung zu erzeugen. Die rekonstruierte strukturelle Grenze wurde in eine SDF-Karte umgewandelt, indem der minimale euklidische Abstand von jedem Pixel zum nächstgelegenen Grenzliniensegment berechnet wurde.
Strukturgesteuerte Cross-Attention-Merkmale wurden generiert, nachdem die visuellen Merkmale und SDF-Priors erfasst worden waren. Die visuelle Merkmaligfaltigkeit wurde über die lineare Transformationsmatrix W Sub Q der doppelt durchgestrichenen Kappe R auf die Formationsmatrix W sub Q der doppelt durchgestrichenen Kappe R auf die Formationsmatrix 
abgebildet. Das stetige Distanzfeld zuvor wurde über die Transformationsmatrizen 
auf den Schlüsseltensor K und den Werttensor V abgebildet, und die Modelldimension wurde auf 512 gesetzt. Die Multi-Head-Modulation unterteilte den Projektionsraum in 8 unabhängige Unterräume, wobei jeder Kopf eine Dimension von 64 hatte. Das räumliche Layout vorher projizierte diskrete Pixelkoordinaten in ein kontinuierliches Potentialfeld und erzeugte die strukturelle Affinitätsmatrix S als explizite additive räumliche Verzerrung zur Modulation der Dot-Produkt-Ähnlichkeitsmatrix. Der visuelle Merkmalstensor wurde als Abfragequelle verwendet, da semantisches Parsing erfordert, dass jeder visuelle Ort aktiv strukturell konsistente Beweise aus dem geometrischen Vorraum abruft. Das SDF wurde zuvor als Schlüssel- und Wertquelle verwendet, da es kontinuierliche Grenzdistanz und Inner-Außen-Strukturhinweise speichert, die aus dem Manhattan-Layout abgeleitet sind. Der Dot-Produkt-Term maß die Kompatibilität zwischen dem semantischen Erscheinungsbild und dem geometrischen Prior, während der additive strukturelle Term λS die Aufmerksamkeitsgewichte auf Pixel auf derselben physikalischen Ebene oder nahe derselben architektonischen Kontur verlagerte. Der Koeffizient λ stellte das Vertrauen in das extrahierte strukturelle Prior dar und kontrollierte, inwieweit starre orthogonale Einschränkungen in die Aufmerksamkeitsverteilung integriert wurden. Diese Formulierung reduzierte die grenzüberschreitende Merkmale-Diffusion, verursacht durch Möbelverschluss, und behielt die adaptive Relaxation in Nicht-Manhattan-Layouts bei. Die strukturgesteuerte Aufmerksamkeitsverteilung wurde gemäß Gleichung 1 berechnet.
Gleichung 1: 
wobei A die strukturgesteuerte Aufmerksamkeitsaggregationsmatrix bezeichnet, Q den Abfragetensor, der aus visuellen Merkmalen generiert wird, K den Schlüsseltensor, der aus SDF-Vormerkmalen generiert wird, V den Werttensor aus strukturellen Vordarstellungen, dk die Merkmalsdimension des Schlüsseltensors, λ den adaptiven strukturellen Gewichtungskoeffizienten bezeichnet, der zur Identifizierung der geometrischen Sicherheit lokaler Regionen und zur Lockerung starrer orthogonaler Nebenbedingungen in nicht-Manhattan-räumlichen Räumlichkeiten verwendet wird Layouts, und S bezeichnet die SDF-Affinitätsmatrix. Die Teilung durch dk stabilisierte die Skala der Aufmerksamkeitslogits und verhinderte, dass große Feature-Dimensionen überkonzentrierte Aufmerksamkeitsgewichte erzeugten. Die normierte Exponentialfunktion (siehe Materialtabelle) wandelte die modulierten Ähnlichkeitswerte in eine normalisierte räumliche Verteilung um, sodass jedes Pixel strukturelle Vorinformationen basierend auf semantischer und geometrischer Konsistenz aggregieren konnte. Dieses Design erklärt, warum visuelles Erscheinungsbild und architektonische Grenzpriore auf Aufmerksamkeitsebene und nicht durch direkte Merkmalsverkettung verschmolzen sind.
Der Superpixel-Topologiegraph wurde aus der strukturausgerichteten Merkmalskarte konstruiert. Die Merkmalskarte wurde mithilfe eines Algorithmus zur Generierung räumlicher Regionen segmentiert. Die Superpixelzahl wurde auf 256 gesetzt, der Kompaktheitskoeffizient auf 10, der Gaußsche Glättungskoeffizient auf 1,0 und die Iterationszahl auf 10. Räumliche Nähebeschränkungen wurden erzwungen, indem das Gewicht der Entfernungsmetrik während des Clusterings auf ein konstantes Verhältnis von 1,0 zum Farbraumabstand des Merkmals gesetzt wurde, wodurch eine einheitliche Knotengenerierung über dichte Clutter-Grenzen hinweg erhalten blieb. Pixel mit homogenen semantischen Antworten wurden zu Superpixel-Knoten aggregiert. Graphkanten wurden entsprechend räumlicher Nachbarschaftsbeziehungen, SDF-Affinitätsstärke und koplanaren geometrischen Konsistenzbedingungen konstruiert. Der Konstruktionsprozess der strukturellen Affinitätsmatrix und der topologischen Konnektivität ist in Abbildung 3 dargestellt, die zeigt, wie SDF-Führung in geografische Beziehungen auf Graphenebene umgewandelt wurde.
Die Graphenformulierung wurde eingeführt, um dichtes pixelweises Denken über homogene strukturelle Bereiche in knotenweise räumliches Denken umzuwandeln. Jeder Superpixelknoten repräsentierte einen lokalen Bereich mit ähnlicher semantischer Antwort und räumlicher Kontinuität, während jede Kante einen zuverlässigen Weg für die Merkmalsübertragung darstellte, vorbehaltlich von Adjazenz, Entfernungsfeldaffinität und koplanaren Konsistenzbedingungen. Dieses Design reduzierte den Einfluss isolierter verrauschter Pixel und ermöglichte es verdeckten Wand-, Boden- und Deckenbereichen, Nachrichten von physisch benachbarten Knoten zu empfangen. Die Kantenkonstruktion diente daher als mathematische Brücke zwischen kontinuierlicher SDF-Führung und diskretem nicht-euklidischen Graphendenken.
Ein dreischichtiges Graphen-Konvolutions-Denknetzwerk wurde mit den versteckten Merkmalsdimensionen 512, 256 und 128 konfiguriert. Die Graph-Konfaltionsschicht führte eine Feature-Glättung über die Graphstruktur durch, basierend auf den räumlichen Beziehungen der Knoten. Die Selbstschleifen-Adjazenz behielt während der Nachrichtenübertragung den ursprünglichen Zustand jedes Knotens bei, wodurch verhindert wurde, dass die Merkmale einer kleinen strukturellen Region von umliegenden großen Bereichen gelöscht werden. Die symmetrische Normalisierung skalierte die Adjazenzmatrixelemente durch das Produkt der umgekehrten Quadratwurzeln der Knotengrade, sodass hochgradige und niedriggradige Knoten während der Ausbreitung unter vergleichbaren numerischen Größen beitrugen. Die Vorwärtsausbreitung führte eine lokalisierte räumliche Aggregation durch, bei der jeder Knotenzustand hochdimensionale Merkmale von benachbarten koplanaren Clustern absorbierte, bevor die elementweise nichtlineare Rektifikationsfunktion angewendet wurde. Diese Formulierung ließ die Graphen-Faltungsschicht die semantische Diffusion entlang physikalisch bedeutungsvoller Innenflächen approximieren, anstatt uneingeschränkte Glättung über die Grenzen nicht verwandter Objekte hinweg zu ermöglichen. Die Graphknotenmerkmale wurden gemäß Gleichung 2 bewertet.
Gleichung 2: 
Die Projektion von dichten Pixelmerkmalen zu Superpixel-Knoten, das Austausch von Graphen-Faltungs-Nachrichten und die Koordinatenrückprojektion sind in Abbildung 4 dargestellt, die den Merkmalsaggregationspfad von regulären Bildgittern zu einer nicht-euklidischen Topologie und zurück zu einer dichten semantischen Darstellung erläutert. Die Projektion von dichten Pixelmerkmalen in Abbildung 4A zu Superpixel-Knoten in Abbildung 4B, der Graphen-Faltungs-Nachrichtenübermittlung in Abbildung 4C und die Koordinatenrückprojektion in Abbildung 4D verdeutlichen den Feature-Aggregationspfad von regulären Bildgittern zu einer nicht-euklidischen Topologie und zurück zu einer dichten semantischen Darstellung.
wobei H(l) den Knotenmerkmal-Tensor der l-ten Graphfaltungsschicht bezeichnet, Â die Adjazenzmatrix mit Selbstschleifenverbindungen, D die Gradmatrix der Adjazenzmatrix, W(l) die lernbare Gewichtungsmatrix der l-ten Graphfaltungsschicht und σ die rektive lineare Einheitsaktivierungsfunktion bezeichnet. Der Begriff ÂH(l) aggregierte Merkmale benachbarter Superpixel-Knoten, während D−1/2 und D−1/2 den Beitrag von Knoten mit unterschiedlichen Verbindungsdichten ausbalancierten. Die lernbare Matrix W(l) projizierte aggregierte Knotenmerkmale in einen neuen semantischen Raum und ermöglichte es der Graphenschicht, strukturelle Konsistenz von gewöhnlicher räumlicher Nähe zu unterscheiden. Die nichtlineare Aktivierung bewahrte den Unterschied in den Antworten zwischen koplanaren und nicht-koplanaren Regionen nach der Merkmalaggregation.
Semantische Segmentierungsmerkmale wurden nach Graphen-Argumentation entschlüsselt. Der Decoder wurde mit drei bilinearen Interpolations-Upsampling-Stufen und Schichtübergreifenden Skip-Connection-Fusionsoperationen konstruiert. Flache räumliche Encoderfunktionen wurden durch kanalweise Fusion mit hochstufigen semantischen Decoderfunktionen verkettet. Die Feature-Auflösung wurde auf die ursprüngliche Bildgröße zurückgesetzt, und die endgültige semantische Wahrscheinlichkeitsvorhersagekarte wurde über eine 1×-1-Faltungsschicht erzeugt.
Das vollständige semantische Parsing-Netzwerk wurde mit einem entkoppelten Gewichts-Abfall-Optimierer trainiert (siehe Materialtabelle). Die anfängliche Lernrate wurde auf 0,0001 gesetzt, der Gewichtsverfall auf 0,01 und die Batchgröße auf 8 für beide öffentlichen Benchmarks. Die erste Momentzerfallsrate wurde auf 0,9 gesetzt, die zweite auf 0,999 und der numerische Stabilitäts-Epsilonkoeffizient auf 1 × 10⁻8. Der Validierungsverlust wurde am Ende jeder Epoche überwacht, und Kontrollpunkte wurden gespeichert, wenn die mIoU im Validierungssatz stieg. Das Netzwerk wurde über 300 Epochen mit einer Polynom-Lernrate-Zerfallsstrategie mit einer Decay-Potenz von 0,9 trainiert. Fünf unabhängige Trainingsläufe wurden mit verschiedenen zufälligen Seed-Initialisierungen durchgeführt, um eine statistisch strenge Bewertungsbasis zu etablieren. Das Netzwerk wurde gemeinsam unter Verwendung von Pixelebene-Kreuzentropieverlust und struktureller Konsistenzverlust optimiert. Alle Experimente wurden auf einer Rechenplattform durchgeführt, die mit hochspeicherfähiger paralleler Rechenhardware ausgestattet war, und detaillierte Hardwareinformationen wurden in der Materialtabelle angegeben.
Die gemeinsame Optimierung erzwingt geometrische Randausrichtung durch Berechnung des räumlichen Gradientenbetrags des Klassenwahrscheinlichkeitstensors. Der strukturelle Konsistenzverlust wurde als Regularisator verwendet, indem die Norm der räumlichen Vorhersagegradienten mit den kontinuierlichen SDF-Werten multipliziert wurde. Die mathematische Begründung war, dass semantische Kategorienänderungen sich nahe realen architektonischen Konturen konzentrieren sollten, wo die SDF gegen Null geht, während flache Wände, Boden und Deckeninnenräume flüssige semantische Antworten aufrechterhalten sollten. Wenn ein großer Vorhersagegradient weit von einer strukturellen Grenze entfernt erschien, erhöhte der Distanzfeldterm die Strafe und entmutigte falsche semantische Übergänge innerhalb einer homogenen physikalischen Ebene. Wenn ein Vorhersagegradient in der Nähe einer Null-Entfernungs-Kurve auftrat, blieb die Strafe begrenzt und bewahrte legitime Klassenübergänge entlang architektonischer Grenzen. Semantische Übergangsregionen wurden darauf beschränkt, sich mit den Null-Distanz-Konturen der SDF auszurichten, wie sie durch Gleichung 3 gegeben sind.
Gleichung 3: 
wobei Ltotal die endgültige Optimierungszielfunktion bezeichnet, Lce den Pixel-Ebene-Kreuzentropieverlust, Lscl den strukturellen Konsistenz-Strafverlust und α den strukturellen Verlustgewichtungskoeffizienten. Der Kreuzentropie-Term ermöglichte pixelfreie semantische Überwachung über Annotationsmasken, während der strukturelle Konsistenzterm eine geometrische Regularisierung unter Verwendung architektonischer Priors auferlegte. Der Gewichtungskoeffizient α ausgewogene Kategorienerkennung und Randausrichtung, wodurch verhindert wird, dass die Optimierung entweder die lokale Etikettengenauigkeit oder starre strukturelle Konturen überfittet. Dieses gemeinsame Ziel verband visuelle Semantik, physikalische Randkonsistenz und trainierbare Netzwerkparameter innerhalb eines einheitlichen Optimierungsziels.
Ergebnisse
Versuchsaufbau
Diese Studie verwendete zwei standardisierte Indoor-Szenen-Parsing-Datensätze, einen großformatigen Indoor-3D-Datensatz und einen RGB-D-Indoor-Szenen-Datensatz, um die Leistung zu bewerten und das Modell abzustimmen. Der groß angelegte 3D-Datensatz enthält realistisch gescannte, komplexe Szenen aus dem physischen Raum und hochauflösende RGB-Ansichten und bietet hochpräzise, pixel-für-Pixel 3D-Punktwolken-Semantik sowie 2D-Segmentierungsmasken für räumliche Projektion. Seine von Natur aus realistischen Daten zur Rekonstruktion des physikalischen Raumgitters und die Eigenschaften der orthogonalen Ebene schaffen ein Vergleichskriterium für geometrische Wahrheiten, um die Manhattan-3D-Begrenzungsbox im Extraktionszweig genau zu konstruieren. Der RGB-D Indoor-Szenen-Datensatz enthält Indoor-Tiefenbilder, die durch Möbel und Unordnung verdeckt sind, und dient dazu, die globale logische Denkgenauigkeit und Robustheit des Netzwerks gegenüber Okklusionen zu testen.
Der Algorithmus verwendet mIoU, um die räumliche Überlappung zwischen der vorhergesagten und der wahren semantischen Verteilung zu messen, und führt gleichzeitig einen strukturellen Randwert F1 ein, um die Genauigkeit der Passung zwischen der vorhergesagten Maske und den von der SDF kalibrierten Null-Distanz-Kanten der physischen Struktur rigoros zu bewerten. Während der Berechnung wird ein fester Fehlerschwellenwert für Pixelabstände im euklidischen Raum festgelegt, um zu bestimmen, ob die vom Netzwerk erzeugten Kantenpixel die wahren physikalischen Randkonturen der Gebäude schneiden. Dieses duale Bewertungssystem begrenzt Klassifikationsfehler in großflächigen semantischen Blöcken und stärkt die mikroquantitative Bewertung des topologischen Rekonstruktionseffekts starrer Linien. Um die Konsistenz zwischen der experimentellen Datenkonfiguration und dem Optimierungsprozess zu gewährleisten, wurden die Datenset-Skalierung und die Kerntrainings-Hyperparameter in Tabelle 2 zusammengefasst. Tabelle 2 zeigt eine maßgebliche experimentelle Konfiguration für das überarbeitete Manuskript. Der groß angelegte 3D-Indoor-Benchmark verwendet 1201 Trainingsszenen und 312 Validierungsszenen, der RGB-D-Indoor-Szenen-Benchmark verwendet 795 Trainingsbilder und 654 Testbilder, und beide Benchmarks werden mit einer Batchgröße von 8, einer anfänglichen Lernrate von 0,0001, einem Gewichtsabfallkoeffizienten von 0,01 und 300 Trainingsepochen trainiert.
Vergleich mit modernsten Methoden
Bevor eine quantitative Vergleichstabelle von Indoor-Szenen-Parsing-Algorithmen vorgestellt wird, definiert dieser Abschnitt streng die im multidimensionalen Bewertungssystem verwendeten Testbenchmarks. Um die Klassifikationsleistung des Modells bei verschiedenen Granularitäten widerzuspiegeln, ergänzt das Bewertungssystem das Testsystem um zwei zusätzliche Metriken: globale Pixelgenauigkeit (PixelAcc) und Mittelwertklassengenauigkeit (MeanAcc). Diese Kennzahlen bilden zusammen ein detailliertes System zur Leistungsüberprüfung des Algorithmus, das eine rigorose theoretische Referenz für die anschließende quantitative Analyse schafft. Um die semantische Parsinggenauigkeit und Okklusionsrobustheit des vorgeschlagenen Algorithmus in komplexen physikalischen Räumen zu bewerten, wurden Vergleichstests mit bestehenden Algorithmen auf dem RGB-D-Indoor-Szenenvalidierungsset durchgeführt. Die Vergleichsmodellbibliothek umfasst grundlegende Masken-Aufmerksamkeits-Frameworks, hierarchische Vision-Transformers, moderne reine konvolutionale Segmentierungspipelines, einheitliche dichte Vorhersagearchitekturen und kanalübergreifende Aufmerksamkeitsnetzwerke. Die Benchmark-Bewertung wurde erweitert und umfasste eine transformatorbasierte Segmentierungsbasislinie, eine einheitliche Dichtprädiktionsbasislinie, eine einheitliche Erkennungs- und Segmentierungsbasis, eine großflächige Vision-Foundation-Basis, eine reine Konvolutionsbasis, eine masken-aufmerksamkeitsbasierte Segmentierungsbasis, eine Cross-Modal-Feature-Aggregations-Basislinie und eine progressive Feature-Fusion-Basislinie (siehe Materialtabelle), unter Verwendung des gleichen RGB-D-Indoor-Szenen-Validierungssets, der Eingabeauflösung, des Trainingsplans und des gleichen metrischen Protokolls. In der vorgeschlagenen Architektur integriert das strukturgelenkte Netzwerk ein verschobenes Fenster multiskaliertes visuelles Backbone, ein strukturgesteuertes Cross-Attention-Modul mit SDF und ein Superpixel-GCN. Der erweiterte Vergleich umfasst transformatorbasierte dichte Vorhersage, konvolutionsbasierte dichte Vorhersage, Masken-Aufmerksamkeits-Parsing, intermodale Merkmalsfusion und progressive Merkmalfusionsparadigmen und ermöglicht die Bewertung des Beitrags expliziter 3D-geometrischer Randinterventionen gegenüber breiteren Indoor-Szenen-Parsing-Baslines.
Tabelle 3 zeigt die objektive Bewertungsleistung jedes Netzwerks anhand der zentralen quantitativen Kennzahlen und berichtet die Mittelwerte sowie die entsprechenden Standardabweichungen über fünf unabhängige Läufe. Der erweiterte Baseline-Vergleich bewertet, ob der vorgeschlagene strukturgesteuerte Schlussfolgermechanismus zu Genauigkeitsgewinnen über Standard-Dichte-Vorhersage-Backbones, maskenbasierte Segmentierungsnetzwerke und RGB-D-Feature-Fusionsnetzwerke hinaus beiträgt. Experimentelle Daten zeigen, dass der vorgeschlagene Algorithmus stabile Gewinne über alle vier quantitativen Metriken hinweg erzielt. Transformatorbasierte dichte Vorhersagenetzwerke und Masken-Aufmerksamkeitsnetzwerke behielten eine starke globale Kontextmodellierungsfähigkeit, doch ihre Rand-F1-Werte blieben bei Anwesenheit von Vordergrund-Unordnung niedriger, da die vorhergesagten Masken keine expliziten physikalischen Randbeschränkungen hatten. Crossmodale und progressive Fusionsnetzwerke verbesserten die lokale semantische Kontinuität, aber ihre Merkmalfusion beruhte weiterhin hauptsächlich auf Erscheinungs- und Tiefenantworten und nicht auf einer vorzeichenmäßigen strukturellen Initialisierung. Das vorgeschlagene strukturgelenkte Netzwerk erreichte einen mIoU von 0,687 mit einer Standardabweichung von 0,002 und einen mittleren Boundary F1-Wert von 0,764 bei einer Standardabweichung von 0,003. Der erweiterte Vergleich zeigt, dass der Leistungsgewinn nicht ausschließlich auf ein größeres, dichtes Vorhersage-Backbone zurückzuführen ist, sondern vielmehr auf der gemeinsamen Verwendung von Vorzeichen-Distanz-Feldsteuerung, strukturbewusster Cross-Attention und graphbasierter Topologie-Logik.
Um die globale logische Denkgenauigkeit des Modells unter Occlusions zu analysieren, identifizierten und extrahierten wir typische Szenarien im Validierungsset, die stark durch Möbel und anderes Unordnung behindert wurden, und erstellten Visualisierungen von Pixel-Vorhersagemasken.
Nach dem Methoden-Workflow und dem Graph-Reasoning-Prozess wurden in Abbildung 1, Abbildung 2, Abbildung 3 und Abbildung 4 definiert. Abbildung 5 veranschaulicht die Unterschiede in morphologischen Vorhersagen zwischen Modellen unter extremen Okklusionsbedingungen. Die roten Rechtecke in der qualitativen Vergleichsnetzkarte markieren wichtige Konfliktbereiche, in denen Ecken und tragende Flächen verdeckt sind. Die Ausgabemaske aus der masken-aufmerksamkeitsbasierten Segmentierungsbasis zeigt ausgeprägte Kantenglättung und Inter-Klassen-Adhäsion. Obwohl die Cross-Modal Feature Aggregation Baseline und die Progressive Feature Fusion Baseline intermodale Daten enthalten, weisen ihre Vorhersageergebnisse weiterhin strukturelle Klassendiskontinuitäten und physikalische Randverzerrungen auf. Die durch diese vorgeschlagene Methode erzeugte Maske weist eine hohe räumliche Überlappung mit den Ground-Truth-Labels auf. Baseline-Modelle, die durch rein pixelgesteuerte Prinzipien eingeschränkt sind, neigen dazu, ihre lokalen rezeptiven Felder zu verlieren, wenn sie verstopft werden. Die vorgeschlagene Methode verwendet ein Superpixel-GCN, um Nachrichten im nicht-euklidischen Raum zu übermitteln und so die zugrunde liegenden Ecken und linearen räumlichen Skelette zu rekonstruieren, gesteuert von impliziten geometrischen Grenzen. Dies bestätigt die Anti-Interferenz-Leistung unserer vorgeschlagenen Lösung bei der Auflösung komplexer Innenraumanlagen aus visueller morphologischer Perspektive.
Ablationsexperiment
Um den tatsächlichen Beitrag jeder unabhängigen Komponente in der vorgeschlagenen Architektur zu analysieren, erstellte diese Studie einen erweiterten modularen Ablationstest auf dem RGB-D-Indoor-Szenen-Validierungsset. Die Testbasis wurde auf ein konventionelles Klassifikationsnetzwerk gesetzt, wobei nur das visuelle Rückgrat des Basis-Shifted-Window-Transformators war. Die quantitative Bewertung maß den unabhängigen Beitrag von strukturgesteuerter Cross-Attention, Vorzeichen-Entfernungs-Feldbias, adaptiver struktureller Gewichtung, Superpixel-Graph-Argumentation, koplanaren Kantenkonstruktion, symmetrischer Graphnormalisierung und struktureller Konsistenzverlust. Dieses erweiterte Ablationsdesign trennte die kumulativen Modulgewinne von den Effekten der Komponentenentfernung und machte die Beitragsgrenze jeder Designentscheidung deutlicher.
Tabelle 4 und Abbildung 6 veranschaulichen die Entwicklung der Genauigkeit unter erweiterten kumulativen und entfernungsbasierten Ablationseinstellungen. Das Basis-Shifted-Window-Transformatornetzwerk weist keine dreidimensionalen physikalischen Grenzen auf, was zu einer begrenzten Feature-Aggregation in überladenen Hintergründen führt. Durch die Hinzufügung strukturgesteuerter Cross-Attention stieg der mIoU von 0,615 auf 0,648 und der Boundary F1-Wert von 0,630 auf 0,685, was zeigte, dass das vorherige Feld mit Vorzeichen die Ausrichtung zwischen visuellen Merkmalen und strukturellen Konturen verbesserte. Allein durch das Hinzufügen von Superpixel-Graphen erhöhte das mIoU auf 0,641 und der Boundary F1-Wert auf 0,676, was darauf hindeutet, dass knotenweise Topologie-Argumentation die semantische Konsistenz über homogene physikalische Regionen verbesserte. Allein durch den strukturellen Konsistenzverlust erhöhte der mIoU auf 0,632 und der Boundary F1-Wert auf 0,662, was zeigt, dass der Verlustterm hauptsächlich die Grenzanpassung beeinflusste und nicht die breite kontextuelle Aggregation.
Die Kombination von Cross-Attention mit Graph-Reasoning erhöhte das mIoU auf 0,669 und den Boundary F1-Wert auf 0,721, was zeigte, dass visuell-strukturelle Ausrichtung und das Austausch von Nachrichten im Graphbereich komplementäre Effekte erzeugten. Die Kombination von Cross-Attention mit strukturellem Konsistenzverlust ergab einen mIoU von 0,660 und einen Boundary-F1-Wert von 0,713, während die Kombination von Graphen-Argumentation mit strukturellem Konsistenzverlust einen mIoU von 0,653 und einen Boundary-F1-Wert von 0,704 ergab. Diese paarweisen Ergebnisse zeigen, dass das Cross-Attention-Modul das wichtigste geometrische Ausrichtungssignal lieferte, das Graphen-Logikmodul dieses Signal über koplanare Bereiche erweiterte und der strukturelle Konsistenzverlust die semantische Übergangsgrenze während der Optimierung verfeinerte.
Die entfernungsbasierte Ablation verdeutlichte den Beitrag der internen Designentscheidungen weiter. Das Entfernen der vorzeichenreichen Feldadditivverzerrung reduzierte das mIoU auf 0,656 und den Rand-F1-Wert auf 0,698, was bestätigte, dass die strukturelle Affinitätsmatrix zentral zur Unterdrückung der Diffusion von Merkmalen über die Grenzen hinweg war. Die Entfernung des adaptiven strukturellen Gewichtungskoeffizienten λ reduzierte das mIoU auf 0,671 und den Grenzwert F1 auf 0,736, was darauf hindeutet, dass eine feste strukturelle Einschränkung die Modellantwort in Nicht-Manhattan- und visuell degradierten Regionen schwächte. Das Entfernen der koplanaren Kantenbedingung reduzierte das mIoU auf 0,666 und den Grenzwert F1 auf 0,728, was zeigte, dass Graphkanten, die ausschließlich auf lokale Adjazenz basieren, die physikalische Ebenenkonsistenz nicht bewahrten. Das Entfernen der symmetrischen Graph-Normalisierung reduzierte das mIoU auf 0,673 und den Rand-F1-Wert auf 0,737, was darauf hindeutet, dass eine grad-ausgeglichene Ausbreitung für die stabile Knotenaggregation notwendig war. Das vollständig vorgeschlagene, strukturgelenkte Netzwerk erreichte ein mIoU von 0,687 und einen Boundary F1-Wert von 0,764, was zeigt, dass der endgültige Gewinn aus der koordinierten Interaktion zwischen struktureller Aufmerksamkeit, Graphenlogik und randbewusster Optimierung resultierte.
Analyse der Rechenkomplexität, Trainingszeit und Inferenzeffizienz
Um die Rechenkosten der SDF-Extraktion, strukturgesteuerter Cross-Attention und Superpixelgraph-Konfaltionsschlussfolgerung zu bewerten, bewertete diese Studie die Parameterskala, Gleitkommaoperationen, Spitzenspeichernutzung, Trainingszeit, Einzelframe-Inferenzlatenz, Bildrate und mIoU auf derselben Rechenplattform. Gleitkommaoperationen wurden unter einer Eingabeauflösung von 512 × 512 berechnet. Die Inferenzlatenz wurde mit einer Batch-Größe von 1 nach Modellaufwärmen gemessen, während die gemeldete Bildrate aus der durchschnittlichen Einzelbild-Latenz berechnet wurde. Die Trainingszeit wurde nach demselben 300-Epochen-Zeitplan, Batchgröße von 8, Optimierereinstellungen und Datenvorverarbeitungspipeline gemessen.
Tabelle 5 beschreibt die Beziehung zwischen Modellskala, Trainingskosten, Inferenzeffizienz und Parsinggenauigkeit für jede Netzwerkarchitektur. Die mIoU- und Rand-F1-Spalten in Tabelle 5 verwenden für jedes entsprechende Modell dieselben Gesamtwerte der Validierungsmenge wie Tabelle 3 . Diese beiden Genauigkeitsspalten werden in Tabelle 5 ausschließlich wiederholt, um die Parsinggenauigkeit mit den Rechenkosten zu vergleichen. Der Anstieg trainierbarer Parameter war hauptsächlich auf die Abfrage-Key-Value-Projektionsschichten im strukturgesteuerten Cross-Attention-Modul und die Gewichtungsmatrizen der drei Graphen-Faltungsschichten zurückzuführen. Die nicht trainierbaren Kosten entstanden hauptsächlich durch SDF-Generierung, Superpixel-Partitionierung und Graph-Adjacenz-Konstruktion. Da diese nicht trainierbaren Operationen einmal für jedes Eingabebild ausgeführt wurden, erhöhten sie die Inferenzlatenz, erhöhten jedoch die Anzahl der trainierbaren Parameter nicht wesentlich. Diese Trennung erklärt, warum die vorgeschlagene Methode einen moderaten Anstieg der Parameter, aber eine ausgeprägtere Zunahme der Latenz zeigte. Die Komplexitätsergebnisse zeigen, dass die auf Maskenaufmerksamkeit basierende Segmentierungsbasis eine geringere Parameteranzahl und eine kürzere Inferenzlatenz beibehielt, aber ihr Boundary F1-Wert und mIoU unter starker Okklusion aufgrund fehlender expliziter geometrischer Randorientierung im Netzwerk begrenzt waren. Die Cross-Modal-Feature-Aggregation Baseline erforderte mehr Gleitkommaoperationen und eine längere Trainingszeit, da Cross-Modal-Aggregation zusätzlichen Feature-Aligning-Overhead mit sich brachte. Die Basislinie der progressiven Feature-Fusion hatte moderate Rechenkosten, aber ihre Vorhersagegenauigkeit blieb unter der vorgeschlagenen Methode unter Randverzerrung. Das vorgeschlagene strukturgelenkte Netzwerk verursacht zusätzliche Rechenkosten durch SDF-Konstruktion, strukturelle Cross-Attention-Projektion, Superpixel-Graphenkonstruktion und Graph-Konvolutionspropagation. Das vollständige Modell verwendete 66,8 Millionen Parameter, 121,4 Milliarden Gleitkommaoperationen, 15,6 Stunden Trainingszeit, 7,9 GB Spitzenspeicher, 61 ms Einzelbild-Inferenzzeit und 16,4 Bilder pro Sekunde. Obwohl die Inferenzlatenz höher war als die des reinen Masken-Aufmerksamkeits-Ausgangswerts, erreichte das Modell eine mIoU von 0,687 und einen Boundary F1-Wert von 0,764, was darauf hindeutet, dass die zusätzlichen Kosten hauptsächlich strukturelle Randreparatur und topologiebewusste semantische Konsistenz unterstützten.
Um das zweidimensionale räumliche Gleichgewicht zwischen der Berechnungsskala und der analytischen Genauigkeit des Modells visuell darzustellen, wurde ein Blasenverteilungsdiagramm erstellt, das die Anzahl der Gleitkommaoperationen und das mIoU des Algorithmus zeigt. Die überarbeitete Visualisierung berichtete außerdem über Trainingszeit und Inferenzlatenz im Bereich der Figurenannotation, was einen Vergleich von Genauigkeitszuwächsen und Rechenkosten sowohl aus Trainings- als auch Bereitstellungsperspektive ermöglichte. Die horizontale Achse behielt Gleitkommaoperationen, die vertikale Achse behielt mIoU, die Blasengröße stellte die trainierbare Parametergröße dar und das angehängte Etikett berichtete die Inferenzzeit für jede Methode.
Abbildung 7 zeigt die Beziehung zwischen Gleitkommaoperationen, Parameterskala, Inferenzlatenz und Parsinggenauigkeit. Die vorgeschlagene Methode erreicht ein höheres mIoU als die Vergleichsnetzwerke, während ihre FLOPs und Parameteranzahl nahe an denen der crossmodalen und progressiven Fusionsbaselines liegen. Die Einzelbild-Latenz von 61 ms zeigt, dass die zusätzlichen SDF- und Graph-Reasoning-Zweigen den Deployment-Overhead verursachten, während die Latenz im Echtzeitbereich blieb, der für viele Indoor-Szeneninterpretationsaufgaben erforderlich ist. Die Trainingszeit wurde auf 15,6 Stunden erhöht, da während jeder Trainingsphase strukturelle Vorabextraktion, Aufmerksamkeitsprojektion und Graphen-Argumentation durchgeführt wurden. Dieses Ergebnis zeigt, dass die Rechenkosten der vorgeschlagenen Methode hauptsächlich auf randbewusstes strukturelles Schließen konzentriert sind und nicht auf unkontrollierte Parameterentwicklung.
Spezifischer Vergleich von strukturellem Konsistenzverlust und räumlichem Distanzverlust
Der inverse Transformationsnetzverlust zur Quantisierung der räumlichen Grenztransformation verwendet homomorphe Transformationsparameter, um Randversätze zu erfassen, was zeigt, dass reine räumliche Distanzmetriken traditionelle Kreuzentropieverluste aufgrund von Pixelbeschriftungsänderungen übertreffen. Aufbauend auf diesem theoretischen Konsens werden parallele Validierungsexperimente mit Randbeschränkungsschemata durchgeführt, um die vergleichende Leistung der Manhattan-Begrenzungsbox-basierten benutzerdefinierten Structural Consistency Loss (SCL) hinsichtlich der Szenenanpassung zu bewerten. Die Experimente behalten die analytische Architektur bei, ein multiskaliges visuelles Backbone mit einem Grapheninferenznetzwerk zu fusionieren, während der Backpropagation einfach der Randverlustterm ersetzt wird. Vier parallele Validierungsnetzwerke sind konfiguriert: Ein Netzwerk, das nur die grundlegende Klassifikation des Kreuzentropieverlusts verwendet, weist keine hochdimensionalen geometrischen Einschränkungen auf; ein Netzwerk mit zusätzlichem Standard-Rand-binären Kreuzentropieverlust (BCE) führt eine konventionelle Kantenklassifikationsüberwachung durch; Ein Netzwerk mit zusätzlichen räumlichen Grenzentfernungsverlusten konzentriert sich auf die Erfassung lokaler Deformationen; und ein Netzwerk, das die vorgeschlagene SCL anwendet, verhängt orthogonale topologische Strafen auf Basis des SDF. Quantisierungsmetriken auf dem RGB-D-Indoor-Szenen-Validierungsset sind auf das mIoU und den strukturellen Rand F1-Wert beschränkt.
Tabelle 6 zeigt den Grad der Intervention verschiedener Backpropagationsoptimierungsstrategien auf die zugrunde liegende räumliche Logik-Kognition. Der Kreuzentropie-Eintrag in Tabelle 6 bezeichnet die vorgeschlagene Ours-Architektur, die ausschließlich mit Pixelebene-Kreuzentropieverlust trainiert ist, während der visuelle Rückgrat, der Vorzeichenfeld-Zweig, das strukturgesteuerte Cross-Attention-Modul und der Superpixel-Graph-Schlussverzweig unverändert bleiben. Dieser Eintrag ist kein Mask2Former-Basiswert und sollte nicht mit dem Gesamtwert von Mask2Former in Tabelle 3 verglichen werden, da er dasselbe Modell verwendet. Netzwerke, die sich ausschließlich auf grundlegenden Cross-Entropieverlust verlassen, erreichen den niedrigsten Boundary-Fit-Score. Netzwerke mit einem zusätzlichen standardisierten binären Kreuzentropieverlust erzielen einen leichten Gewinn, aber dieser Mechanismus verursacht bei großflächiger Okklusion weiterhin Randunschärfe. Der räumliche Grenzabstandsverlust verbessert den Wert durch einen räumlichen Transformationswahrnehmungsmechanismus, der einige verzerrte Kanten effektiv korrigiert. Der in diesem Artikel vorgeschlagene strukturelle Konsistenzverlust nutzt direkt die reale SDF, um Gradientenstrafen auf anomale semantische Mutationen innerhalb der physischen tragenden Fläche zu verhängen, wodurch der höchste F1-Wert an der strukturellen Grenze erreicht wird.
Um die treibenden Effekte verschiedener Verlustfunktionskonfigurationen auf die Genauigkeit der Maskenvorhersage und den Randpassung visuell zu vergleichen, haben wir gruppierte Balkendiagramme über verschiedene Optimierungsstrategien hinweg dargestellt.
Abbildung 8 veranschaulicht die schrittweise Leistungsverbesserung, die durch die Aufwertung der räumlichen Wahrnehmungsdimension der Verlustfunktion resultiert. Das Balkendiagramm, das den F1-Wert der strukturellen Grenze darstellt, zeigt einen signifikanten Aufwärtstrend. Experimentelle Daten zeigen, dass dieser angepasste Strafmechanismus die räumliche Sprungposition der vorhergesagten Kategorie dazu zwingt, genau mit der orthogonalen physikalischen Kontur zusammenzufallen. Der Distanzfeld-Strafmechanismus, der für orthogonale Priors im Indoor-Bereich angepasst ist, erreicht eine höhere Genauigkeit als der allgemeine räumliche Grenzverlust und schafft so einen effektiven Optimierungspfad zur Bewältigung komplexer Gebäudefehler.
Robustheitstests der extremen Okklusionsverteilung, anomaler Strukturen und herausfordernder Beleuchtungsbedingungen
Komplexe räumliche Beziehungen zwischen Objekten und gegenseitige Okklusion wirken sich negativ auf die globale 3D-räumliche Kognition aus. Die gemeinsame Vorhersagearchitektur hebt die unterstützende Rolle der Szenenlayout-Einschränkungen bei der Extraktion der zugrunde liegenden Maske hervor. Die Untersuchung der Anti-Interferenzgrenzen des Algorithmus unter großflächigen visuellen Signalverlusten und anomalen räumlichen Layouts, die gegen die 3D-orthogonale physikalische Annahme verstoßen, definiert klar die effektive Anwendungsgrenze des Algorithmus und hat einen zentralen, nachweisbaren Wert. Basierend auf dem Anteil der großflächigen Möbel, die in den Ground-Truth-Labels verdeckt sind, wird das RGB-D-Indoor-Testset in drei zunehmend schwierigere Untergruppen unterteilt: milde, moderate und schwere Okklusion. Gleichzeitig werden nicht-Manhattan-typische Szenen mit geneigten Decken oder geschwungenen Wänden manuell extrahiert, um Anomalie-Grenztestsets zu erstellen, und Szenen mit extrem schwachem Licht, Überbelichtung und großflächigen glänzenden oder transparenten Glasflächen werden in anspruchsvolle Beleuchtungs- und Texturuntergruppen eingeteilt. Die Vergleichsmodellbibliothek enthält eine auf Maskenaufmerksamkeit basierende Segmentierungsbasis; eine allgemeine Segmentierungsarchitektur, die auf Maskenaufmerksamkeit basiert, um den globalen Kontext zu erfassen; eine Cross-Modal-Feature-Aggregations-Basislinie mit einer umfassenden Cross-Modal-Aggregationsstrategie; und eine Basislinie für progressive Merkmalsfusion, die einen mehrstufigen progressiven Merkmalsextraktionsmechanismus integriert. Jede Vergleichsbasislinie, das visuelle Backbone der Fusion und die in diesem Artikel erstellte Parsing-Architektur des Graphinferenznetzwerks werden unabhängig auf den oben genannten Teilmengen ausgewertet, und der Genauigkeitsgradient jedes Modells wird statistisch analysiert.
Tabelle 7 zeigt teilmengenspezifische Robustheitsmetriken unter milder, mittlerer und schwerer Okklusion, herausfordernder Beleuchtung, Texturstörungen und nicht-Manhattan-Anomaliebedingungen. Tabelle 7 zeigt die Veränderungen in der Maskenvorhersagegenauigkeit verschiedener Modelle unter räumlicher Interferenz. Tabelle 7 zeigt teilmengenspezifische mIoU-Werte für verschiedene Modelle unter räumlichen Interferenzbedingungen, die nur innerhalb der entsprechenden Okklusions-, Beleuchtungs-, Textur- oder Nicht-Manhattan-Teilmenge berechnet werden, anstatt auf dem gesamten RGB-D-Innenszenen-Validierungsset. In den Untergruppen der milden und mittleren Okklusion halten alle Modelle eine Grundgenauigkeit bei. Mit zunehmender Okklusionsfläche zeigen die Basismodelle, die auf pixelgesteuerten Regeln basieren, eine Abnahme des Schnitt-Union-Verhältnisses (IU) bei der stark verdeckten Teilmenge. Die masken-aufmerksamkeitsbasierte Segmentierungsbasislinie und die crossmodale Merkmalaggregationsbasis leiden bei dieser Teilmenge unter erheblichen Genauigkeitsverlusten. Die mehrstufige progressive Feature-Extraction-Architektur der progressiven Feature-Fusion-Basislinie weist einen deutlichen Leistungsverlust auf. Die vorgeschlagene Lösung beruht auf expliziten 3D-Skelettmerkmalen, um die Ausrichtung beschädigter visueller Signale zu erzwingen, eine stabile Maskenausgabeform auf der stark verdeckten Teilmenge zu erhalten und die topologische Stabilität der semantischen Maskenausgabe zu demonstrieren. In den schwierigen Beleuchtungs- und Textur-Teilmengen übersieht der Liniensegmentdetektor strukturelle Kanten in Bereichen mit starken Reflexionen und transparentem Glas, was zu lokalisierten Diskontinuitäten im SDF führt. Die fehlerhaften geometrischen Koordinaten breiten sich durch die strukturelle Affinitätsmatrix und den strukturellen Konsistenzverlust aus, wodurch anomale Gradientenstrafen auf die semantischen Merkmale angewendet und entsprechende Abweichungen in den Randvorhersagen entstehen. Der globale räumliche Kontext-Denkmechanismus des GCN ergänzt fehlende geometrische Priors mit benachbarten strukturellen Affinitäten, hält die Gesamtgenauigkeit der Parsing innerhalb eines akzeptablen Zerfallsbereichs und offenbart die Grenze der visuellen Wahrnehmungsfähigkeiten des Algorithmus unter komplexen physikalischen Interferenzen. In der Nicht-Manhattan-Anomalie-Teilmenge führt der SDF-Prior in der unteren Schicht dieses Modells zu einer leichten Mapping-Verzerrung, was zu einer etwas geringeren Leistung als die Progressive Feature-Fusion-Basis führt. Der adaptive strukturelle Gewichtungskoeffizient im Cross-Attention-Modul bewertet dynamisch die Konsistenz der Gradienten der zugrunde liegenden physikalischen Struktur. In Szenen mit gekrümmten Wänden oder schrägen Decken reduziert dieser Koeffizient automatisch das Constraint-Gewicht der SDF und ermutigt das Netzwerk, sich auf den lokalen Feature-Knotenaggregationsmechanismus des Superpixel-Graphennetzwerks zu verlassen, um semantische Kohärenz in homogenen Bereichen aufrechtzuerhalten und so einen effektiven geometrischen Kompensationsmechanismus für Nicht-Manhattan-Raumanordnungen zu etablieren.
Um den negativen Einfluss der Okklusionsschwere auf die Auflösungsgenauigkeit visuell zu demonstrieren, haben wir Liniendiagramme dargestellt, die den Abfall der Genauigkeit zwischen verschiedenen Algorithmusmodellen zeigen.
Abbildung 9 zeigt visuell die Unterschiede in der Robustheit zwischen verschiedenen Merkmalsextraktionsparadigmen unter extremen physikalischen Umgebungen. Die drei gestrichelten Linien, die die Basismodelle darstellen, zeigen alle einen deutlichen Abwärtstrend an stark verstopften Knotenpunkten, was die Einschränkungen konventioneller rezeptiver Felder bei der Merkmalsextraktion bei großflächigen Signalverlusten widerspiegelt. Die durchgezogene Linie, die die vorgeschlagene Methode darstellt, behält eine relativ sanfte Abklingungsbahn. Experimentelle Daten zeigen, dass die Kopplung zwischen expliziten 3D-Architekturprioren und graphbasierten Inferenzmechanismen strukturelle Unterstützung für okklusionsresistente Szenenparsing-Aufgaben bietet und die Modellverallgemeinerungsleistung in komplexen Umgebungen verbessert.
Räumliche Sensitivitätsanalyse der Topologie-Graphknoten-Partitionierung
Der Dimensionsreduktions-Abtastratenparameter des Koordinatenraum-Graphen-Faltungsmoduls steuert direkt die Qualität des rezeptiven Feldes und die Rechenlast des Graphennetzwerks. Im Einklang mit dem theoretischen Rahmen dieses Artikels untersucht diese Studie, wie die Anzahl der diskreten Graphknoten, die durch einfache lineare iterative Clusterbildung entstehen, die Leistung nicht-euklidischer topologischer Inferenz beeinflusst, mit dem Ziel, eine rigorose Unterstützung für die Auswahl von Hyperparametern zu bieten. Es wurden Experimente durchgeführt, um die Initialisierungskontrollparameter des Clustering-Algorithmus anzupassen, indem sie zwangsweise in die dynamische Dimensionsreduktion des Merkmalsraums eingriffen und die Anzahl der Superpixel-Graphknoten-Partitionen auf 64, 128, 256, 512 und 1024 festsetzten. Unter einem streng ausgerichteten Test-Benchmark wurden das durchschnittliche Intersection-over-Union (IoU)-Verhältnis, der strukturelle Randwert F1 und die durchschnittliche Inferenzzeit pro hochauflösendem Bild gleichzeitig über verschiedene topologische Knotengrößen hinweg erfasst.
Tabelle 8 beschreibt die Beziehung zwischen dem Grad der Reduktion der dynamischen Dimensionalität im Merkmalsraum und sowohl der analytischen Genauigkeit als auch den Rechenkosten. Wenn die Anzahl der Knoten zu niedrig eingestellt wird, führt das zu einer Untersegmentierung von Bildmerkmalen, wodurch die semantischen Attribute kleiner Objekte mit großräumigen Wandmerkmalen verschmelzen und so verschiedene Genauigkeitsmetriken sinken. Mit zunehmender Skalierung der Knotenaufteilung verbessert sich die Empfindlichkeit des Modells gegenüber lokalen räumlichen Details erheblich. Die Erhöhung der Anzahl der Knoten auf 512 und 1024 führt zur Fragmentierung homogener Regionen, schwächt den Glättungseffekt auf makroskopische Merkmale in neuronalen Graphennetzen, erhöht die Dimensionalität der Knotenbeziehungsmatrix und erhöht die Inferenzzeit. Eine Parameterkonfiguration mit einer festen Anzahl von Knoten von 256 führt zu den höchsten Werten für das Schnitt-Union-Verhältnis und den Randwert.
Um den Kompromiss zwischen Genauigkeit und Rechenleistung in nicht-euklidischer topologischer Inferenz visuell darzustellen, wurde ein biaxialer statistischer Graph mit Knotengrößensensitivität dargestellt.
Abbildung 10 veranschaulicht die zugrunde liegende Logik, nach der die Anzahl der diskreten Graphknoten die Entwicklung von Netzwerkmerkmalen beeinflusst. Der Hintergrundbalken, der die Berechnungszeit darstellt, zeigt einen starken Anstieg, nachdem die Anzahl der Knoten die Schwelle von 256 überschritten hat. Die doppelte Linie, die die Genauigkeit darstellt, erreicht bei 256 auf der horizontalen Achse ihren Höhepunkt und nimmt dann aufgrund von Fragmentierungseffekten vernünftig ab. Die objektiven quantitativen Daten und der visuelle Evolutionstrend sind sehr konsistent und zeigen, dass die Erhaltung der Berechnungsgraphengröße bei 256 Knoten ein Gleichgewicht zwischen Hardwareverarbeitung und logischem Schließen unter der aktuellen Festparameterkonfiguration schafft. Der starke Leistungseinbruch, der durch Abweichungen von dieser Knotenanzahl verursacht wird, zeigt die hohe Empfindlichkeit der festen Superpixel-Segmentierungsstrategie gegenüber Hyperparameter-Tuning und unterstreicht die Notwendigkeit, einen dynamischen Knotenauswahlmechanismus zu entwickeln.
DATENVERFÜGBARKEIT:
Die in dieser Studie analysierten Rohdaten sind öffentlich aus den offiziellen Repositories, die in der Materialtabelle aufgeführt sind, verfügbar. Der groß angelegte 3D-Benchmark für den Innenraum wurde als offizielle ScanNet v2-Version abgerufen, mit der Datensatz-Release-Identifikatorin ScanNet v2. Der RGB-D Indoor-Szenen-Benchmark wurde über die offizielle NYU Depth Dataset V2-Version mit der Veröffentlichungskennung NYU Depth Dataset V2 abgerufen. Der beschreibende Publikations-DOI für den großflächigen Indoor-3D-Benchmark ist 10.1109/CVPR.2017.261, und der beschreibende Publikations-DOI für den RGB-D-Indoor-Szenen-Benchmark ist 10.1007/978-3-642-33715-4_54. In dieser Studie wurden keine neuen Rohbilder oder RGB-D-Datensätze generiert. Die verarbeiteten Split-Dateien, Trainingskonfigurationsdateien, rohe Auswertungsprotokolle, numerische Quelldateien, die Tabelle 2, Tabelle 3, Tabelle 4, Tabelle 5, Tabelle 6, Tabelle 7 und Tabelle 8 unterstützen, sowie Abbildung 5, Abbildung 6, Abbildung 7, Abbildung 8, Abbildung 9 und Abbildung 10, trainierte Modellgewichte und Quellcode wurden unter DOI: 10.6084/m9.figshare.32906765 in figshare deponiert. Der Figshare-Datensatz liefert die vollständigen Rohergebnisdaten, die erforderlich sind, um die quantitativen Tabellen und Zahlen in diesem Manuskript wiederzugeben. Das Repository enthält die Vorhersagemasken, Randbewertungsdateien, metrische Berechnungsskripte, Modell-Checkpoints und Tabellenquellendateien, die für die gemeldeten mIoU, Boundary F1, PixelAcc, MeanAcc, Rechenkomplexität, Robustheit, Verlustfunktionsvalidierung und Node-Partition-Sensitivitätsanalysen verwendet werden.
Abbildung 1: Vergleich semantischer Diskontinuität und struktureller Vorreparatureffekte in komplexen Szenarien von Innenverschluss. (A) Original-RGB-Bild mit großflächiger Möbel-Occlusion. (B) Ausgabe des traditionellen Basismodells, das physikalische Randverzerrungen und semantische Diskontinuitätsfehler hervorhebt. (C) Ausgabe der vorgeschlagenen Methode mit einer cyanfarbenen gestrichelten Perspektivüberlagerung, die explizit das 3D-Gebäudeskelett für die topologische Reparatur beschädigter Merkmale der zugrundeliegenden Struktur abbildet. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 2: Gesamter semantischer Parsing-Rahmen, geleitet durch den Aufbau struktureller Priors. Das Diagramm beschreibt die gesamte Pipeline, beginnend mit der RGB-Bildeingabe, über den Shifted-Window-Visual-Feature-Extraction-Branch und den Struktur-Prior-Extraction-Branch, über das strukturgesteuerte Cross-Attention-Modul, gefolgt von Topologie-Argumentation über das Superpixel-GCN und schließlich Dekodierung in die dichte semantische Karte. Detaillierte Layouts der Berechnung der Aufmerksamkeitsaffinitätsmatrix, des Graphennachrichtenübergangs und der gemeinsamen Optimierungsverlustfunktionen sind rechts dargestellt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 3: Flussdiagramm der Affinitätsmatrix und topologischer Konnektivitätskonstruktion. Die Grafik beschreibt die Schritt-für-Schritt-mathematische Abbildungspipeline und zeigt die Transformation von der Eingabe-Distanzfeldkarte und ausgewählten Pixelpaaren über kontinuierliche geometrische Potential-Feature-Extraktion und Gradient-Konsistenz-Evaluation bis zur normalisierten Affinitätsmatrix, die als explizite räumliche Verzerrung für den Cross-Attention-Mechanismus verwendet wird. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 4: Schematisches Diagramm der Superpixel-Graph-Faltungsknotenprojektion und Merkmalsaggregation. Das Panel beschreibt den nicht-euklidischen topologischen Schlussfolgerungsprozess: (A) dichte Pixelmerkmale, die die ursprüngliche lokale Merkmalsmatrix und Superpixel-Clustering-Grenzen zeigen; (B) Topologiekonstruktion von Superpixel-Graphen, die das reguläre Gitter auf diskrete Knoten und physikalisch verbundene Kanten abbildet; (C) Graphen-Konvolutionsnachrichtenübermittlung durch gerichtete Aggregation lokaler Merkmale; und (D) Koordinatenrückprojektion, die die wiederhergestellten makroskopischen semantischen Konsistenzmerkmale auf dem dichten Gitter darstellt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 5: Qualitatives Vergleichsgitter. Die Matrix bietet eine visuelle Leistungsbewertung über verschiedene reihenweise Innenraumszenen, indem sie die ursprünglichen RGB-Eingänge und Ground-Truth-Layouts mit den Ausgaben der masken-aufmerksamkeitsbasierten Segmentierungsbasislinie, der crossmodalen Merkmalaggregationsbasislinie, der progressiven Merkmalfusionsbasislinie und der vorgeschlagenen Methode verglichen, die verstopfte Ecken erfolgreich wiederherstellt und tragende Flächen ausrichtet. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 6: Ablationsergebnisse für kumulative Modulintegration. Das Doppelachsendiagramm zeigt die schrittweise Leistungsentwicklung über verschiedene modulare Ablationssettings hinweg, indem es die stetige Aufwärtsentwicklung der mittleren Schnittmenge über Union (mIoU) als Balken und die strukturelle Grenze F1 als Liniendiagramm vom Grundlinienrückgrat bis zum vollständigen Rahmen darstellt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 7: Rechenkomplexität, Trainingszeit und Inferenzeffizienzverteilung. Das multidimensionale Blasendiagramm zeigt die Kompromisse zwischen rechnerischem Overhead und Parsinggenauigkeit auf. Die horizontale Achse misst Gleitkommaoperationen (FLOPs), die vertikale Achse zeigt mIoU an, die Blasengröße repräsentiert die Skala der trainierbaren Parameter, und die benachbarten Textbeschriftungen geben die Einzelbild-Inferenzlatenz für jede Netzwerkarchitektur an. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 8: Histogramm der Randgenauigkeit und metrische Werte unter verschiedenen Verlustfunktionskonfigurationen. Das gruppierte Balkendiagramm vergleicht die treibenden Effekte verschiedener Optimierungsstrategien auf die zugrunde liegende räumliche Logik und veranschaulicht die signifikanten Gewinne bei mIoU und dem strukturellen Randwert F1, die durch die Umstellung von Standard-Kreuzentropie-Formulierungen auf den vorgeschlagenen strukturellen Konsistenzverlust erzielt werden. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 9: Liniendiagramm, das den Zusammenhang zwischen Okklusionsschwere und Leistungsabfall zeigt. Die Kurve verfolgt die Verschlechterung der Genauigkeit über verschiedene Merkmalsextraktionsparadigmen unter milden, moderaten und schweren Okklusionsniveaus und hebt die robuste topologische Stabilität und die Anti-Interferenz-Fähigkeit des vorgeschlagenen strukturgelenkten Rahmens im Vergleich zu rein pixelgesteuerten Baselines hervor. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 10: Empfindlichkeitsanalyse der Superpixel-Knotenskala. Das biaxiale statistische Diagramm veranschaulicht den Kompromiss zwischen Hardware-Verarbeitungsgeschwindigkeit und logischer Logikgenauigkeit über verschiedene Graphpartitionsgrößen hinweg und zeigt, wie die Anzahl der Superpixel-Knoten die Genauigkeitsmetriken beeinflusst und zu einer starken Erhöhung der durchschnittlichen Schlusszeit führt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
| Netzwerkschichtnummerierung | Eingabeknoten-Merkmalsdimension | Dimension des Output-Knoten-Merkmals | Zufällige Inaktivierungswahrscheinlichkeit |
| 1 | 512 | 256 | 0.15 |
| 2 | 256 | 256 | 0.15 |
| 3 | 256 | 128 | 0.1 |
| 4 | 128 | 64 | 0.05 |
Tabelle 1: Hyperparameter-Konfigurationstabelle der Netzwerkarchitektur für das Modul zur Faltungsinferenz. Die Tabelle zeigt die Netzwerkebenennummerierung, die Eingabe-Knoten-Funktionsdimensionen, die Ausgabe-Knoten-Feature-Dimensionen und die im Graphen-Denknetzwerk verwendeten Einstellungen für zufällige Inaktivierungswahrscheinlichkeiten.
| Konfigurationselement | Großflächiger 3D-Benchmark für Innenräume | RGB-D Indoor-Szenen-Benchmark |
| Offizielle Veröffentlichungskennung | ScanNet v2 | NYU Depth Dataset V2 |
| In dieser Studie verwendete Trainingsproben | Szenen von 1201 | 795 Bilder |
| Validierungs- oder Testproben, die für die Bewertung verwendet werden | 312 Validierungsszenen | 654 Testbilder |
| Totale semantische Kategorien | 20 | 40 |
| Eingabebildauflösung | 512 × 512 | 512 × 512 |
| Anfängliche Lernrate | 0.0001 | 0.0001 |
| Batch-Eingabeprobenzählung | 8 | 8 |
| Gewichtsabfallkoeffizient | 0.01 | 0.01 |
| Gesamte Ausbildungsphasen | 300 | 300 |
| Anzahl der unabhängigen Läufe | 5 | 5 |
Tabelle 2: Experimentelle Datensatzaufteilung und einheitliche Trainings-Hyperparameterkonfiguration. Die Tabelle zeigt groß angelegte Indoor-3D-Datensätze und RGB-D-Indoor-Szenen-Beispiel-Partitionierungseinstellungen, semantische Kategorienzählungen, Lernraten, Batch-Eingabeprobenzählen, Gewichtsverfall und Gesamtzahl der Trainingiterationen.
| Netzwerkmodellarchitektur | mIoU | Grenze F1 | PixelAcc | MeanAcc |
| SegFormer | 0,596 ± 0,003 | 0,635 ± 0,004 | 0,838 ± 0,003 | 0,704 ± 0,004 |
| ConvNeXt UperNet | 0,604 ± 0,003 | 0,642 ± 0,004 | 0,846 ± 0,003 | 0,713 ± 0,004 |
| Mask2Former | 0,612 ± 0,003 | 0,654 ± 0,004 | 0,853 ± 0,003 | 0,721 ± 0,004 |
| OneFormer | 0,621 ± 0,002 | 0,663 ± 0,003 | 0,861 ± 0,003 | 0,733 ± 0,003 |
| MaskDINO | 0,628 ± 0,002 | 0,667 ± 0,003 | 0,869 ± 0,003 | 0,741 ± 0,003 |
| CCANet | 0,635 ± 0,003 | 0,671 ± 0,004 | 0,876 ± 0,003 | 0,745 ± 0,004 |
| InternImage UperNet | 0,641 ± 0,002 | 0,692 ± 0,003 | 0,884 ± 0,002 | 0,756 ± 0,003 |
| CMPFFNet | 0,658 ± 0,002 | 0,712 ± 0,003 | 0,891 ± 0,002 | 0,773 ± 0,003 |
| SGCA_GCN | 0,687 ± 0,002 | 0,764 ± 0,003 | 0,924 ± 0,002 | 0,816 ± 0,003 |
Tabelle 3: Gesamter quantitativer Vergleich der Baselines für die Parsing von Innenraumszenen auf dem RGB-D-Indoor-Szenenvalidierungsset. Die Tabelle zeigt mIoU, Boundary F1-Score, globale Pixelgenauigkeit und Mean-Class-Genauigkeit für die masken-aufmerksamkeitsbasierte Segmentierungsbasislinie, die Cross-modal Feature-Aggregation-Basislinie, die progressive Feature-Fusion-Basislinie und die vorgeschlagene strukturgesteuerte Netzwerkarchitektur.
| Netzwerkarchitektur-Konfiguration | mIoU | Grenze F1 | PixelAcc | MeanAcc |
| Basisrückgrat mit verschobenem Fenster | 0,615 ± 0,003 | 0,630 ± 0,004 | 0,842±0,003 | 0,706 ± 0,004 |
| Rückgrat plus strukturgesteuerte Cross-Attention | 0,648 ± 0,003 | 0,685 ± 0,004 | 0,874 ± 0,003 | 0,748 ± 0,004 |
| Backbone-plus-Superpixel-Graph-Schlussfolgerung | 0,641 ± 0,003 | 0,676 ± 0,004 | 0,868 ± 0,003 | 0,741 ± 0,004 |
| Rückgrat plus struktureller Konsistenzverlust | 0,632 ± 0,003 | 0,662 ± 0,004 | 0,859 ± 0,003 | 0,732 ± 0,004 |
| Backbone plus Cross-Attention und Graphen-Argumentation | 0,669 ± 0,002 | 0,721 ± 0,003 | 0,897 ± 0,002 | 0,782 ± 0,003 |
| Rückgrat plus Queraufmerksamkeit und struktureller Konsistenzverlust | 0,660 ± 0,002 | 0,713 ± 0,003 | 0,889 ± 0,002 | 0,773 ± 0,003 |
| Backbone plus Graphen-Argumentation und struktureller Konsistenzverlust | 0,653 ± 0,003 | 0,704 ± 0,003 | 0,881 ± 0,003 | 0,765 ± 0,003 |
| Vollständiges Modell ohne vorzeichenreiche Feld-additive Verspannung | 0,656 ± 0,003 | 0,698 ± 0,004 | 0,884 ± 0,003 | 0,761 ± 0,004 |
| Vollständiges Modell ohne adaptive strukturelle Gewichtung λ | 0,671 ± 0,002 | 0,736 ± 0,003 | 0,904 ± 0,002 | 0,792 ± 0,003 |
| Vollmodell ohne koplanare Kantenbedingung | 0,666 ± 0,002 | 0,728 ± 0,003 | 0,899 ± 0,002 | 0,786 ± 0,003 |
| Vollständiges Modell ohne symmetrische Graphennormalisierung | 0,673 ± 0,002 | 0,737 ± 0,003 | 0,906 ± 0,002 | 0,795 ± 0,003 |
| Volle SGCA_GCN | 0,687 ± 0,002 | 0,764 ± 0,003 | 0,924 ± 0,002 | 0,816 ± 0,003 |
Tabelle 4: Erweiterte quantitative Ablationsanalyse der Kernkomponenten. Die Tabelle zeigt kumulative Modulintegration, paarweise Modulkombinationen und Komponentenentfernungseinstellungen, um die unabhängigen und kooperativen Beiträge von strukturgesteuerter Cross-Attention, Vorzeichen-Distanz-Feldbias, adaptiver struktureller Gewichtung, Superpixel-Graph-Reasoning, koplanare Kantenkonstruktion, symmetrische Graphnormalisierung und strukturellen Konsistenzverlust zu quantifizieren.
| Netzwerkmodellarchitektur | Parameter | FLOPs | Höchste Erinnerung | Trainingszeit | Inferenzzeit | FPS | mIoU | Grenze F1 |
| SegFormer | 83,7 m | 80,1 G | 6,1 GB | 10,6 Stunden | 44 ms | 22.7 | 0.596 | 0.635 |
| ConvNeXt UperNet | 60,2 m | 91,5 G | 6,4 GB | 11,2 Uhr | 47 ms | 21.3 | 0.604 | 0.642 |
| Mask2Former | 44,0 M | 74,6 G | 5,8 GB | 9,4 Stunden | 41 ms | 24.4 | 0.612 | 0.654 |
| OneFormer | 64,1 M | 103,2 G | 7,0 GB | 12,9 Uhr | 55 ms | 18.2 | 0.621 | 0.663 |
| MaskDINO | 52,8 m | 96,8 G | 6,8 GB | 12,1 Uhr | 52 ms | 19.2 | 0.628 | 0.667 |
| CCANet | 63,5 m | 118,7 G | 7,6 GB | 14,8 Stunden | 67 ms | 14.9 | 0.635 | 0.671 |
| InternImage UperNet | 70,4 m | 112,3 G | 7,4 GB | 14,2 Uhr | 64 ms | 15.6 | 0.641 | 0.692 |
| CMPFFNet | 58,9 m | 104,6 G | 7,1 GB | 13,1 Uhr | 59 ms | 16.9 | 0.658 | 0.712 |
| SGCA_GCN | 66,8 m | 121,4 G | 7,9 GB | 15,6 Stunden | 61 ms | 16.4 | 0.687 | 0.764 |
Tabelle 5: Vergleich der Berechnungskomplexität, Trainingszeit und Inferenzeffizienz mit der Gesamtgenauigkeit der Validierungsmengen. Die Tabelle zeigt trainierbare Parameter, Gleitkommaoperationen, maximale Speichernutzung, Trainingszeit für 300 Epochen, Einzelbild-Inferenzlatenz, Bilder pro Sekunde, mIoU und Boundary F1-Wert für die vorgeschlagene Methode und Vergleichsnetzwerke.
| Konfiguration der Verlustfunktion | mIoU | Grenze F1 |
| Nur Kreuzentropie (CE) | 0.669 | 0.721 |
| CE + Grenze v. Chr. | 0.674 | 0.738 |
| CE + InverseForm-Verlust | 0.681 | 0.752 |
| CE + Ours SCL | 0.687 | 0.764 |
Tabelle 6: Quantitativer Vergleich der Verlustfunktionsvalidierung. Die Tabelle zeigt den mIoU- und Rand-F1-Wert unter Kreuzentropieverlust, Randbinär-Kreuzentropieverlust, Verlust inverser Transformationen und den vorgeschlagenen strukturellen Konsistenzverlust.
| Algorithmische Modellarchitektur | Leichte Okklusion | Mäßige Okklusion | Schwere Okklusion | Nicht-Manhattan-Menge von Anomalien | Textur-Interferenz-Teilmenge |
| (mIoU) | (mIoU) | (mIoU) | (mIoU) | (mIoU) | |
| Mask2Former | 0.685 | 0.612 | 0.421 | 0.584 | 0.553 |
| CCANet | 0.698 | 0.635 | 0.463 | 0.612 | 0.566 |
| CMPFFNet | 0.715 | 0.658 | 0.512 | 0.635 | 0.602 |
| SGCA_GCN | 0.732 | 0.687 | 0.645 | 0.628 | 0.649 |
Tabelle 7: Teilmengenspezifische Robustheitsanalyse der extremen Okklusionsverteilung und nicht-Manhattan-Strukturen. Die Tabelle zeigt Veränderungen in der Parsinggenauigkeit über die Teilmengen Mild-Occlusion, Moderat-Occlusion, Sschwere-Okklusion, Herausforderungsbeleuchtung, Textur-Interferenz und Nicht-Manhattan-Anomalie.
| Anzahl der Superskal-Knoten | mIoU | GrenzF1 | Durchschnittliche Schlusszeit (ms) |
| 64 | 0.641 | 0.695 | 45 |
| 128 | 0.665 | 0.732 | 52 |
| 256 | 0.687 | 0.764 | 61 |
| 512 | 0.678 | 0.751 | 95 |
| 1024 | 0.662 | 0.735 | 185 |
Tabelle 8: Räumliche Sensitivitätsanalyse der Knotenpartitionsskala im Topologiegraphen. Die Tabelle zeigt das mIoU, den strukturellen Grenzwert F1 und die durchschnittliche Inferenzzeit über verschiedene Superpixel-Knotenpartitionen hinweg.
Diskussion
Der Algorithmus dieses Artikels verknüpft die hierarchischen visuellen Merkmale, die von einem hierarchischen Transformer-Encoder mit verschobenem Fenster erfasst werden, eng mit der vorherigen Tiefe der durch Liniensegmenterkennung erzeugten 3D-Begrenzungsbox in Manhattan und erreicht so eine hochpräzise semantische Rekonstruktion komplexer Innenraumszenen. Ein strukturgesteuerter Cross-Attention-Mechanismus zwingt das visuelle Signal, sich mit der tatsächlichen geometrischen Grenze auszurichten, die vom SDF kalibriert ist, und stellt so die Kontinuität der niedrigstufigen Merkmale in lokal verschlossenen Bereichen42 wieder her. Ein Topologiegraph wird mit Superpixel-Knoten konstruiert, die durch einen iterativen lokalen Clustering-Algorithmus erzeugt werden, der einen GCN dazu anregt, unter physikalischen koplanaren Einschränkungen eine Merkmalsaggregation durchzuführen und so die Konsistenz der makroskopischen semantischen Verteilung43 sicherzustellen. Experimentelle Ergebnisse zeigen, dass die Methode ein mittleres Schnitt-zu-Union-Verhältnis von 68,7 % mit einer Standardabweichung von 0,2 %, einen praktischen ingenieurtechnischen Wert, einen strukturellen Rand-F1-Wert von 76,4 % bei einer Standardabweichung von 0,3 % und eine durchschnittliche Inferenzzeit von 61 ms bei einer Konfiguration von 256 Superpixel-Knoten erreicht, was einen bewussten Kompromiss widerspiegelt, bei dem die Genauigkeit der Grenzrekonstruktion über die ultimative Inferenzeffizienz44 gestellt wird. Robustheitstests zeigen außerdem, dass das Modell unter extremen Bedingungen großflächigen visuellen Signalverlusts starke Topologie-Reparaturfähigkeiten aufweist. Durch die Einführung des strukturellen Konsistenzverlusts wird die Genauigkeit der Ausrichtung der vorhergesagten Maske auf die von der SDF kalibrierte physikalische Grenze mit null Entfernung verbessert, wodurch eine synergetische Optimierung der Berechnungskomplexität und der Parsingqualität45 erreicht wird. Dieses Schema bietet einen Merkmalfusionsansatz basierend auf den Gesetzen des dreidimensionalen Raums und zeigt logische Konsistenz bei der Topologiereparatur bei großräumiger Möbelverdeckung und physikalischer Randverzerrung46. Die Forschungsergebnisse bieten einen robusten physikalisch-geometrischen Einschränkungsrahmen für intelligentes räumliches Denken und hochpräzise 3D-Rekonstruktion und haben einen praktischen ingenieurtechnischen Wert für robotische visuelle Navigation und Szenenerkennung in realen physischen Umgebungen.
Der geometrische Topologie-Ableitungsmechanismus, der stark von der Manhattan-Welt-Hypothese abhängt, leidet bei unregelmäßigen architektonischen Räumen mit gebogenen Wänden oder nicht-orthogonalen Grenzen unter Fitting-Bias47. Um diesen geometrischen Modellierungsengpass zu überwinden, werden nachfolgende Netzwerkiterationen mehrgradige polynomielle Oberflächenanpassungsalgorithmen und nicht-uniforme rationale B-Spline-Kurvenextraktionsmodule in den physikalisch-vorherigen Zweig integrieren. Diese universelle räumliche Modellierungsstrategie übersetzt starre orthogonale Linien in dynamisch deformierbare topologische Grenzen und verbessert so kontinuierlich die Parsinggenauigkeit des Algorithmus in anomalen Indoor-Raumlayouts.
Die geometrische Prior-Extraktion basiert auf dem grundlegenden Liniensegmentdetektor, wodurch das System bei der Verarbeitung von Innenszenen, die von reflektierenden oder transparenten Materialien dominiert werden,anfällig für strukturelle Maskenverzerrungen macht. Der strukturelle Konsistenzverlust ruft direkt die von diesem Detektor erzeugte SDF auf und stellt eine geschlossene Abhängigkeitsschleife zwischen der vorherigen Extraktion und der Gradientenoptimierung her. Wenn visuelle Interferenz anomale Liniensegment-Erkennungen auslöst, werden die fehlerhaften geometrischen Koordinaten in die SDF abgebildet und direkt durch den strukturellen Konsistenzverlust während der Backpropagation verstärkt, wodurch die Netzwerkparameter gezwungen werden, falsche physikalische Grenzen49 anzupassen. Nachfolgende algorithmische Iterationen werden multimodale adaptive Fusionszweige einführen, um tiefe Tiefenkarten und infrarotradiometrische Daten zu erfassen, wodurch die geometrische strukturelle Wahrnehmung von sichtbaren Lichtbeschränkungen getrennt und die räumliche Schlussgrenze in extremen optischen Umgebungen erweitert wird.
Um den durch die feste Superpixel-Knotenskala verursachten Engpass bei der Leistungsempfindlichkeit zu lösen, wird nachfolgende Forschung ein lernbares, adaptives Graph-Pooling-Modul entwerfen, das das Knoten-Partitionierungsschema dynamisch basierend auf der Komplexität des Bildes bestimmt und so die Abhängigkeit des Netzwerks von manueller Hyperparameter-Abstimmung eliminiert. Um die durch den Rechenaufwand verursachten Hardware-Deployment-Einschränkungen des Superpixel-Graphennetzwerks zu beheben, werden zukünftige Optimierungspläne leichte Feature-Entkopplungsmechanismen und gegated Aggregationsmodule einführen, um die Parameterskala zu komprimieren und die Matrixoperationen des geometrischen vorherigenZweigs 50 zu beschleunigen.
Offenlegungen
Die Autoren erklären, dass sie keine finanziellen Interessenkonflikte haben.
Danksagungen
Finanzierung: Zentrales Forschungs- und Entwicklungsprogramm von Shaanxi (Programmnr. 2024CY2-GJHX-76).
Materialien
| Name | Unternehmen | Katalognummer | Kommentare |
|---|---|---|---|
| AdamW optimizer | PyTorch Contributors | https://pytorch.org/ | |
| CCANet | Zihao Z. et al. | https://doi.org/10.1109/TCDS.2024.3455356 | |
| CMPFFNet | Zhou W. et al. | https://doi.org/10.1109/TASE.2023.3332021 | |
| ConvNeXt | Meta AI Research | https://github.com/facebookresearch/ConvNeXt | |
| InternImage | OpenGVLab | https://github.com/OpenGVLab/InternImage | |
| Mask2Former | Meta AI Research | https://github.com/facebookresearch/Mask2Former | |
| MaskDINO | IDEA-Research | https://github.com/IDEA-Research/MaskDINO | |
| NYUv2 | http://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html | ||
| OneFormer | SHI Labs | https://github.com/SHI-Labs/OneFormer | |
| RANSAC algorithm | scikit-learn developers | https://scikit-learn.org/ | |
| ScanNet V2 | http://www.scan-net.org/ | ||
| SegFormer | NVIDIA | https://github.com/NVlabs/SegFormer | |
| SGCA_GCN | Authors of this study | Proposed method (N/A) | |
| Softmax function | PyTorch Contributors | https://pytorch.org/ | |
| Swin Transformer | Microsoft Research | https://github.com/microsoft/Swin-Transformer |
Referenzen
- Zhang Z et al. CCANet: cross-modality comprehensive feature aggregation network for indoor scene semantic segmentation. IEEE Trans Cogn Dev Syst. 2024;17:366–378.
- Cui Y et al. Improving the segmentation of confusable indoor structures using point convolution and sparse vector attention. Geospat Inf Sci. 2025:1–22.
- Yang L, Cai H. Cost-efficient image semantic segmentation for indoor scene understanding using weakly supervised learning and BIM. J Comput Civ Eng. 2023;37:04022062–04022082.
- Uckan T, Aslan C, Hark C. A comprehensive hybrid approach for indoor scene recognition combining CNNs and text-based features. Sensors. 2025;25(17):5350. doi:10.3390/s25175350.
- Sun R et al. Training indoor and scene-specific semantic segmentation models to assist blind and low-vision users in activities of daily living. IEEE Open J Eng Med Biol. 2025;6:533–539.
- Ye S, Hu Y, Lin M. Indoor scene reconstruction with fine-grained details using hybrid representation and normal prior enhancement. IEEE Trans Vis Comput Graph. 2024;31:5275–5287.
- Naseer A et al. Multimodal scene recognition using semantic segmentation and deep learning integration. PeerJ Comput Sci. 2025;11. doi:10.7717/peerj-cs.2858.
- Bae JH, Yu GH, Lee JH. Superpixel image classification with graph convolutional neural networks based on learnable positional embedding. Appl Sci. 2022;12:9176–9190.
- Zhang H, Zou J, Zhang L. EMS-GCN: an end-to-end mixhop superpixel-based graph convolutional network for hyperspectral image classification. IEEE Trans Geosci Remote Sens. 2022;60:1–16.
- Mu Y, Ou L, Chen W. Superpixel-based graph convolutional network for UAV forest fire image segmentation. Drones. 2024;8:142–158.
- Khatun Z, Jonsson H Jr, Tsirilaki M. Beyond pixel: superpixel-based MRI segmentation through traditional machine learning and graph convolutional network. Comput Methods Programs Biomed. 2024;256:108398–108412.
- Yongyin L, Caixia Y. Cross-attention swin transformer for detailed segmentation of ancient architectural color patterns. Front Neurorobot. 2024;18:1513488–1513508.
- Zhou X, Zhou L, Gong S. Swin transformer embedding dual stream for semantic segmentation of remote sensing imagery. IEEE J Sel Top Appl Earth Obs Remote Sens. 2023;17:175–189.
- Ning X, Jiang L, Li W. Swin-MGNet: swin transformer-based multiview grouping network for 3D object recognition. IEEE Trans Artif Intell. 2024;6:747–758.
- Ke A, Luo J, Cai B. UNet-like network fused swin transformer and CNN for semantic image synthesis. Sci Rep. 2024;14:16761–16779.
- Li Y et al. IED-GCN: an internal and external decoupled graph convolutional network for landslide susceptibility assessment. IEEE Trans Geosci Remote Sens. 2025;63:1–17.
- He T, Chen J. DC-GCN: a lightweight graph convolutional network integrating local and global context for semantic segmentation. IEEE J Sel Top Appl Earth Obs Remote Sens. 2025;18:28283–28299. doi:10.1109/JSTARS.2025.3626006.
- Imani M. Superpixel-based graph convolutional neural network for polarimetric synthetic aperture radar image classification. Sci Rep. 2026;16:4736. doi:10.1038/s41598-025-34965-6.
- Wang S, Feng S, Wang Z. Structural prior-guided and feature-enhanced transformer with masked image modeling pretraining for retinal layers and fluid segmentation in macular edema OCT images. Biomed Opt Express. 2025;16:5096–5117.
- Yuan Z et al. Structure-aware progressive multimodal fusion network for RGB-T crack segmentation. J Imaging. 2025;11(11):384. doi:10.3390/jimaging11110384.
- Xu S, Shen R, Liu E. A structure-prior-guided adaptive context selection network for remote sensing semantic segmentation. Electron Lett. 2025;61. doi:10.1049/ell2.70161.
- Minaee S, Boykov Y, Porikli F. Image segmentation using deep learning: a survey. IEEE Trans Pattern Anal Mach Intell. 2021;44:3523–3542.
- Zhou E, Murray AT, Baik J. Mapping 3D classroom seats based on partial object point cloud completion. Cartogr Geogr Inf Sci. 2024;51:404–420.
- Nishi T, Kawasaki S, Iewaki K. M3R-CNN: on effective multimodal fusion of RGB and depth cues for instance segmentation in bin picking. Adv Robot. 2023;37:1143–1157.
- Zhou W, Xiao Y, Yan W. CMPFFNet: cross-modal and progressive feature fusion network for RGB-D indoor scene semantic segmentation. IEEE Trans Autom Sci Eng. 2023;21:5523–5533.
- Zhou W, Xiao Y, Liu Y. FIMKD: feature implicit mapping knowledge distillation for RGB-D indoor scene semantic segmentation. IEEE Trans Artif Intell. 2024;5:6488–6499.
- Liu J, Jiang Z, Xu X. Multi-robot collaborative complex indoor scene segmentation via multiplex interactive learning. CAAI Trans Intell Technol. 2025;10:1646–1660.
- Zhang S, Xie M. MIPANet: optimizing RGB-D semantic segmentation through multimodal interaction and pooling attention. Front Phys. 2024;12:1411559–1411572.
- Li JW et al. Construction of a multiscale feature fusion model for indoor scene recognition and semantic segmentation. Sci Rep. 2025;15:14701. doi:10.1038/s41598-025-95465-1.
- Liang X et al. Indoor building structure segmentation in unorganized point clouds based on corner feature. Eng Constr Archit Manag. 2025. doi:10.1108/ECAM-10-2024-1433.
- Wu LF, Wei D, Xu CA. CFANet: the cross-modal fusion attention network for indoor RGB-D semantic segmentation. J Imaging. 2025;11(6):177. doi:10.3390/jimaging11060177.
- Fan L, Zhou Y, Liu H. Combining swin transformer with UNet for remote sensing image semantic segmentation. IEEE Trans Geosci Remote Sens. 2023;61:1–11.
- Wang Z, Liao Z, Zhou B. SwinURNet: hybrid transformer-CNN architecture for real-time unstructured road segmentation. IEEE Trans Instrum Meas. 2024;73:1–16.
- Zhang H et al. Frequency-domain-guided swin transformer and global-local feature integration for remote sensing images semantic segmentation. IEEE Trans Geosci Remote Sens. 2025;63:5612611. doi:10.1109/TGRS.2025.3535724.
- Li GY, Chen J, Jang SI. SwinCross: cross-modal swin transformer for head and neck tumor segmentation in PET-CT images. Med Phys. 2024;51:2096–2107.
- Tang Y, Hu X, Ke T. Semantic segmentation of high-resolution remote sensing imagery via an end-to-end graph attention network with superpixel embedding. IEEE J Sel Top Appl Earth Obs Remote Sens. 2025;18:7236–7252.
- Wang R, Nie Y, Geng J. Multiscale superpixel-guided weighted graph convolutional network for polarimetric SAR image classification. IEEE J Sel Top Appl Earth Obs Remote Sens. 2024;17:3727–3741.
- Li S, Wu K, Liu H. Hyperspectral image classification based on multiscale feature search graph convolutional network with meta pseudo-labels. IEEE J Sel Top Appl Earth Obs Remote Sens. 2025;18:23485–23504.
- Yang B, Cheng X, Guo J. Temporal information-enhanced graph convolutional network with superpixel-pixel gated knowledge dynamic selection for change detection in satellite time series. IEEE J Sel Top Appl Earth Obs Remote Sens. 2024;17:18399–18412.
- Zhang H, Ku J, Zhao J. Multi-scale graph wavelet convolutional network for hyperspectral image classification. Front Remote Sens. 2025;6:1637820. doi:10.3389/frsen.2025.1637820.
- Zhou Q, Wang L, Gao G. Boundary-guided lightweight semantic segmentation with multiscale semantic context. IEEE Trans Multimedia. 2024;26:7887–7900.
- Xu X, Yen GG, Zhao C. Boundary-based active domain adaptation for semantic segmentation under adverse conditions. IEEE Trans Neural Netw Learn Syst. 2025;36:14721–14734.
- Tang Y, Feng S, Zhao C. A semantic change detection network based on boundary detection and task interaction for high-resolution remote sensing images. IEEE Trans Neural Netw Learn Syst. 2025;36:17184–17198.
- Guan L, Yuan X. Dynamic weighting and boundary-aware active domain adaptation for semantic segmentation in autonomous driving environment. IEEE Trans Intell Transp Syst. 2024;25:18461–18471.
- Fenglei W, Xin G, Zongze Z. A boundary-enhanced semantic segmentation model for buildings. IEEE J Sel Top Appl Earth Obs Remote Sens. 2025;18:5733–5748.
- Shan K, Tan L, Li Y, Jia T. Multi-scale boundary-aware network for remote sensing image semantic segmentation. Sci Rep. 2026;16:3797. doi:10.1038/s41598-025-33943-2.
- Wu D, Guo Z, Li A. Conditional boundary loss for semantic segmentation. IEEE Trans Image Process. 2023;32:3717–3731.
- Li Y, Zhang C, Wang H. Boundaries matter: a novel multibranch semisupervised semantic segmentation method. IEEE Intell Syst. 2024;40:35–44.
- Wang JQ, Chen T, Zheng L. A multiscale remote sensing semantic segmentation model with boundary enhancement based on UNetFormer. Sci Rep. 2025;15:14737. doi:10.1038/s41598-025-99663-9.
- Jung H, Choi HS, Kang M. Boundary enhancement semantic segmentation for building extraction from remote sensed image. IEEE Trans Geosci Remote Sens. 2021;60:1–12.
Nachdrucke und Genehmigungen
Genehmigung beantragen, um den Text oder die Abbildungen dieses JoVE-Artikels zu verwenden
Genehmigung beantragen