Een semantische parsingsmethode voor beelden van binnenscènes gebaseerd op voorafgaande kennis van gebouwstructuur

Samenvatting

Deze studie stelt een algoritme voor dat de hiërarchische visuele kenmerken die door een verschoven venster hiërarchische transformatorencoder worden vastgelegd, nauw koppelt aan de voorafgaande diepte van de Manhattan 3D-begrenzingsbox die door lijnsegmentdetectie wordt gegenereerd, waardoor een zeer precisie semantische reconstructie van complexe binnenscènes wordt bereikt.

Samenvatting

Om semantische voorspellingsdiscontinuïteiten en fysieke randvervormingen veroorzaakt door meubelocclusie in complexe binnenscènes aan te pakken, stelt dit artikel een semantische parsingsmethode voor die gebruikmaakt van gebouw-structuur voorafgaan. Het schema gebruikt een shifted-window hiërarchische transformatorencoder om multi-scale visuele kenmerken te extraheren en combineert een gradient-direction-consistentie lijnsegmentdetectie-algoritme om een Manhattan 3D-begrenzingsbox te construeren. Deze begrenzingsdoos wordt omgezet in een getekend afstandsveld (SDF) voordat discrete geometrische contouren worden gecodeerd in een continu fysisch potentiaalveld. Een structuurgestuurd kruis-aandacht mechanisme dwingt de visuele signalen uit te lijnen met echte 3D-orthogonale geometrische grenzen, waardoor de continuïteit van kenmerken in occludeerde gebieden wordt hersteld. Een ruimtelijke nabijheidsgraaf die is opgebouwd uit superpixelknooppunten stuurt een Graph Convolutioneel Netwerk (GCN) aan om kenmerken te aggregeren, wat zorgt voor macroscopische semantische consistentie binnen het fysieke dragende vlak. Een combinatie van pixelniveau cross-entropieverlies en een speciaal ontworpen structureel consistentieverlies versterkt de beperkingen, waardoor voorspellingen buiten de grenzen worden bestraft. Experimenten over meerdere onafhankelijke runs tonen aan dat de gemiddelde intersectie over union (mIoU) 68,7% bereikt met een standaarddeviatie van 0,2%, en de structurele grens F1-score 76,4% met een standaarddeviatie van 0,3%, wat de robuuste prestaties van de voorgestelde modules bevestigt. Met een enkele afbeeldingsknoop van 256 bleef de gemiddelde inferentietijd 61 ms.

Inleiding

Semantische analyse van binnenscènebeelden neemt een kernpositie in binnen driedimensionale ruimtelijke cognitie en intelligente ruimtelijke redeneeropdrachten ^1,2. Visuele feature-extractie in echte fysieke omgevingen wordt vaak ernstig belemmerd door complexe ruimtelijke indelingen³. Het oplossen van de semantische discontinuïteit en fysieke randvervorming van de funderingsstructuur van het gebouw Funderingsstructuur veroorzaakt door grootschalige meubelocclusie is belangrijk voor ruimtelijk cognitieonderzoek ^4,5. Het nauwkeurig verwijderen van interferentie door rommelige objecten en het herstellen van de fysieke continuïteit van dezelfde muur en vloer bepaalt direct de nauwkeurigheid van driedimensionale scène-reconstructie en globale ruimtelijke logica-analyse⁶. De semantische discontinuïteit veroorzaakt door grootschalige meubelocclusie en het structurele reparatie-effect van de voorgestelde building-prior guidance worden geïllustreerd in Figuur 1, waar de geblokkeerde rood-groen-blauwe (RGB) input in Tabel 1A, baseline maskervervorming in Figuur 1B en structuur-voor-reparatieresultaat in Figuur 1C worden vergeleken onder dezelfde binnenscènecondities.

Om te voldoen aan de nauwkeurigheidseisen van ruimtelijk logisch redeneren, ondervinden huidige mainstream pixelgestuurde visuele netwerken meerdere obstakels bij het omgaan met complexe binnenomgevingen ^7,8. Binnenruimtes zijn vaak gevuld met dicht meubilair en rommelig meubilair, wat resulteert in een aanzienlijk verlies van lage visuele grenssignalen in de beelden⁹. Conventionele mechanismen voor het extractie van kenmerken zijn te veel afhankelijk van lokale tweedimensionale kleur- en textuurreacties, en missen een macroscopisch begrip van de rigide orthogonale wetten van driedimensionale, door mensen gemaakte structuren¹⁰. Deze beperking van het lokale receptieve veld maakt het gemakkelijk onderbroken dat de voortplanting van kenmerken wordt onderbroken, waardoor het moeilijk wordt om de globale topologie over occlusies¹¹ uit te breiden. Momenteel is er een dringende behoefte om het kernprobleem van semantische voorspellingsdiscontinuïteiten en ernstige vervormingen van fysieke grenzen veroorzaakt door occlusie en interferentie^{12 op} te lossen.

Om structurele gebreken in gebouwfunderingen veroorzaakt door occlusie en interferentie aan te pakken, heeft de academische gemeenschap een verscheidenheid aan gerichte interventiemaatregelen ontwikkeld¹³. Crossmodale feature-aggregatienetwerken compenseren effectief de inherente tekortkomingen van een enkele visuele modaliteit in ruimtelijke waarneming door dieptekaarten of tekstpriors toe te voegen ter ondersteuning van rood-groen-blauwe (RGB) beelden^14,15. Grensperceptie en adaptieve contextselectiekaders injecteren fysieke contourverbeteringsstrategieën in de feature-decodeerfase, wat de edge fit van voorspellingsresultaten in complexe scènes aanzienlijk verbetert^16,17. Inferentiemodellen gebaseerd op GCN's en mechanismen voor feature-interactie verbeteren de gladheid van features en macrosemantische consistentie in homogene regio's aanzienlijk door knooppuntniveauverbindingen te construeren^18,19. Het integreren van expliciete Manhattan-structurele priors in de visuele feature-extractiepijplijn handhaaft geometrische consistentiegrenzen, wat de problemen met featurediscontinuïteit veroorzaakt door uitgebreide occlusie van voorgrondobjecten²⁰ aanpakt.

Om de kernuitdaging van semantische voorspellingsfouten en ernstige vervormingen van fysieke grenzen die samenhangen met het bouwen van infrastructuur aan te pakken, wordt een semantisch parsingkader voorgesteld gebaseerd op een gesloten-lus koppelingsmechanisme dat architecturale priors verwerkt. Dit kader overstijgt naïeve engineeringpijplijnen door een bidirectionele mapping alignment te vestigen tussen continue geometrische potentiaalvelden en discrete visuele feature-variëteiten, waardoor een niet-triviale synergie ontstaat die occlusiefouten corrigeert via structurele wetten. Dit schema maakt gebruik van een multischaal visueel backbone-netwerk en een lijnsegmentdetectie-algoritme gebaseerd op vanishing-point schatting om lokale uiterlijkkenmerken en orthogonale randpriors te verkrijgen die de Manhattan 3D-begrenzingsbox parallel vertegenwoordigen, en deze vervolgens om te zetten in een SDF. Het algoritme maakt gebruik van een structuurgestuurd cross-attention mechanisme, waarbij visuele kenmerken als queryvectoren worden gebruikt en SDF-kenmerken worden behandeld als sleutels en waarden voor dot-productberekeningen, waardoor het visuele signaal wordt gedwongen uitgelijnd te zijn met de echte 3D-geometrische grens in de featureruimte. Een ruimtelijke nabijstandsgrafiek, geconstrueerd uit superpixelknopen en ruimtelijke coplanariteitsrandkenmerken, wordt in een GCN gevoerd om cross-node-featureaggregatie en berichtuitwisseling uit te voeren. Het end-to-end parameteroptimalisatieproces maakt gezamenlijk gebruik van pixel-niveau cross-entropie en een aangepaste structurele consistentieverliesfunctie, die voorspelde pixels die de gebouw-prior grens overschrijden strikt beperkt en bestraft. De volledige semantische parsingpijplijn wordt samengevat in Figuur 2, die RGB-beeldinvoer, geometrische prior extractie, cross-attention uitlijning, superpixel graph redenering en semantisch maskerdecodering verbindt binnen een uniforme architectuur.

Vroege scene-parsingnetwerken vertrouwden op convolutionele operaties om lokale uiterlijk-texturen vast te leggen, maar door beperkingen in lokale receptieve velden vertoonden ze onvoldoende semantische coherentie van grootschalige doelen^21,22. Eerdere studies hebben de zelf-aandagmodule van de visuele Transformer-architectuur toegepast om globale contextuele informatie te extraheren en langeafstandspixelassociatiekenmerken te construeren^23,24. Cross-modale multi-view feature-aggregatiestrategieën extraheren de driedimensionale geometrische ruimtelijke kenmerken van de scène door dieptekaart-puntwolken en tekstcommando-invoer te fuseren^25,26. Hybride aandachtsmechanismen voor feature-fusie gericht op specifieke domeinen zijn geleidelijk volwassen geworden. Door het bouwen van feature-interactiebruggen hebben ze het energieverlies en de feature-sparsiteit bij multischaaltransmissie van visuele signalen aanzienlijk verminderd en de robuustheid van complex-structuurparsing verbeterd. Geavanceerde encoderontwerpen integreren en afleiden gezamenlijk ruimtelijke details uit het hoogfrequente domein naast globale en lokale kenmerken, waardoor het netwerk in staat wordt om fijnkorrelige semantische categorieën met hoge gelijkenis te onderscheiden en de nauwkeurigheid van het parsing binnen de deur^{verbetert 27,28}. Recente ontwikkelingen in semantische segmentatiearchitecturen bieden waardevolle referenties voor het optimaliseren van computationele efficiëntie en ruimtelijke waarneming. Modellen die zijn ontworpen voor dichte voorspelling en multi-scale contextuele aggregatie extraheren fijnkorrelige geometrische kenmerken uit complexe achtergronden. Feature-ontkoppeling en synergetische fusiestrategieën pakken de semantische ambiguïteit in grensgebieden aan. Lichtgewicht aandachtsmechanismen en gegated aggregatiemodules optimaliseren de parameterverdeling, waardoor inferentie wordt versnellen en lokale structurele details behouden blijven. Het implementeren van deze efficiënte architectonische ontwerpen biedt theoretische richtlijnen om de rekenkundige overhead van niet-Euclidische topologische inferentieoperaties bij binnenscèneparsing te verminderen.

Gebouwstructuur-priors en 3D-indelingsschatting worden gebruikt om lokale visuele parsingfouten te corrigeren²⁹. Eerdere studies hebben orthogonale en parallelle geometrische kenmerken van binnengebouwen als inferentiebeperkingen geëxtraheerd om netwerkvoorspellingsbias veroorzaakt door rommelige binnenachtergronden te verminderen.^30,31. Bestaande schema's gebruiken lijnsegmentdetectie-algoritmen en beeldablatiepuntanalysetechnieken om Manhattan 3D-begrenzingsboxen te genereren die de fysieke grenzen van kamers in kaart brengen en helpen bij de lokalisatie van onderliggende visuele kenmerken³². De gezamenlijke architectuur van de grensbewustzijnsmodule en de multi-schaal context integreren impliciet voorafgaande structurele informatie in het hoogdimensionale feature-decodeerproces, waardoor het netwerk semantische maskers moet uitvoeren die nauw aansluiten bij de echte fysieke contouren, waardoor de scherpte en vervaging van objectranden effectief verbetert³³. Semi-supervised of zwak gecontroleerde verliesfunctieontwerpen met randversterkingseigenschappen zijn breed onderzocht. Door te vertrouwen op rigoureuze wiskundige formules om onafhankelijk pixelclassificatiegedrag dat ruimtelijke topologische regels schendt te straffen, worden de geometrische gladheid en structurele integriteit van het uiteindelijke segmentatieresultaat gegarandeerd vanuit de bron van gradiëntoptimalisatie³⁴.

Sommige studies hebben grafneurale netwerken gebruikt om cross-domein aggregatie van visuele kenmerken en redeneren over topologische relaties in hoogdimensionale ruimte³⁵ uit te voeren. Het superpixelsegmentatie-algoritme aggregeert aangrenzende pixelblokken met vergelijkbare kleurrespons- en textuurkenmerken vooraf in onafhankelijke verbonden knooppunten. Het superpixelsegmentatie-algoritme comprimeert de rekenkundige redundantie van de grafiekstructuur op beeldniveau en behoudt de basis geometrische topologie van afbeelding³⁶. De GCN, gebouwd op de hoogdimensionale knooppuntkenmerkvector, en de nabijheidsmatrix die ruimtelijke nabijheid weergeeft, zorgt voor efficiënte directionele transmissie en interactieve fusie van multi-scale visuele informatie langs de fysisch verbonden graaf in het ruimtelijke domein^37,38. De toepassing van de temporele informatieverbeteringsmodule en het hybride multi-scale skip-verbindingsmechanisme onderdrukt de overmatige gladmaking en homogenisatie van knooppuntkenmerken die ontstaan tijdens het proces van meerlaagse diepe berichtuitwisseling³⁹. De multi-scale graph wavelet transform technologie en de pseudo-label element learning optimization strategy optimaliseren het anti-achtergrondruismechanisme van de node feature updateformule, zodat features met dezelfde semantische attributen een coöperatieve responsmodus behouden in complex network topology⁴⁰. Het graafgebaseerde redeneermechanisme brengt regelmatige pixelroosters in kaart naar niet-Euclidische topologische ruimten om feature-aggregatieberekeningen uit te voeren van onregelmatige gebouwstructuren en interieurcomponenten⁴¹.

Protocol

Indoor RGB-scènesdatasets en hun semantische annotaties werden voorbereid vóór netwerktraining. De grootschalige indoor 3D-dataset en RGB-D indoor scene dataset (zie de Table of Materials) zijn verkregen uit hun officiële archieven. Binnenopnames met meubelocclusie, verlichtingsvariatie, muurgrensonderbreking en complexe ruimtelijke indelingen werden behouden om aan te sluiten bij het doelparsingscenario. Semantische labels werden omgezet in geïndexeerde enkelkanaals PNG-annotatiemaskers, en alle RGB-afbeeldingen en semantische maskers werden verkleind tot 512 × 512 pixels. Online data-augmentatie werd toegepast tijdens de training, met willekeurige horizontale flipping bij een kans van 0,5, willekeurige helderheidsscaling tussen 0,8 en 1,2, en willekeurige rotatie tussen −10° en +10° om de structurele indelingsverdeling te verbreden. RGB-kanalen werden genormaliseerd met gemiddelde waarden van 0,485, 0,456 en 0,406 en standaarddeviatiewaarden van 0,229, 0,224 en 0,225. De grootschalige indoor 3D-benchmark volgde de officiële release-verdeling die in deze studie werd gebruikt, met 1201 trainingsscènes en 312 validatiescènes voor modelontwikkeling en validatie. De RGB-D indoor scene benchmark volgde het officiële evaluatieprotocol, met 795 trainingsbeelden en 654 testbeelden. Er werd geen extra procentuele splitsing toegepast op deze twee publieke benchmarks.

Een visueel transformer-backbone-netwerk met verschoven-venster (zie de Table of Materials) werd geïnitialiseerd als de backbone van de moving-window transformer-encoder. De patch-embedding was geconfigureerd als 4 x 4 pixels. De embedding-afmetingen van de vier hiërarchische fasen werden ingesteld op 128, 256, 512 en 1024, en het aantal transformatorblokken in de vier fasen werd ingesteld op 2, 2, 18 en 2. De grootte van het lokale aandachtsvenster werd ingesteld op 7 x 7, en het aantal aandachtshoofden op 4, 8, 16 en 32 voor de vier hiërarchische fasen. Niet-lineaire continue activatiefuncties werden gebruikt in alle perceptronlagen van meerdere lagen. Ruimtelijke downsampling werd uitgevoerd via patch-merging operaties met een stap van 2 na elke hiërarchische fase. De kernnetwerkarchitectuur en hyperparameters van de convolutionele inferentiemodule werden samengevat in Tabel 1.

Vervolgens werd het extraheren van zelfaandachtskenmerken in verschoven vensters uitgevoerd op de invoerkenmerkkaarten. Elke featurekaart was verdeeld in niet-overlappende lokale vensters met ruimtelijke afmetingen van 7 × 7. Regelmatige raamaandacht en verschoven raam werden afgewisseld tussen aangrenzende transformatorblokken met verschoven raam. De cyclische shiftafstand werd ingesteld op 3 pixels, en er werd relatieve positionele bias-codering toegepast binnen elk lokaal aandachtsvenster. Lokale visuele kenmerken werden geaggregeerd via multi-head self-attention om hiërarchische, multi-scale feature-representaties te genereren.

Manhattan structurele priors werden geëxtraheerd uit indoor RGB-afbeeldingen. Structurele randsegmenten werden gedetecteerd met behulp van een gradient-direction-consistentie lijnsegmentdetectie-algoritme. Dominante structurele richtingen werden geclusterd via een random sample consensus (RANSAC) algoritme (zie de Materiaaltabel) gebaseerd op nulpuntschatting. Drie onderling orthogonale Manhattan-richtingen werden gereconstrueerd om de Manhattan 3D-begrenzingsboxrepresentatie te genereren. De gereconstrueerde structurele grens werd omgezet in een SDF-kaart door de minimale Euclidische afstand van elke pixel tot het dichtstbijzijnde grenslijnsegment te berekenen.

Structuurgestuurde cross-attention kenmerken werden gegenereerd nadat de visuele kenmerken en SDF-voorafgaande functies waren verkregen. De visuele featurevariëteit werd afgebeeld naar de query-tensor Q via de lineaire transformatiematrix W sub Q element van dubbel geslagen cap R naar de formatiematrix W sub Q element van dubbel geslagen cap R naar de formatiematrix . Het continue afstandsveld daarvoor werd afgebeeld op de sleuteltensor K en de waardetensor V via de transformatiematrices , en de modeldimensie werd ingesteld op 512. Multi-head modulatie verdeelde de projectieruimte in 8 onafhankelijke subruimten, waarbij elke head een dimensie van 64 had. De ruimtelijke indeling vooraf projecteerde discrete pixelcoördinaten in een continu potentiaalveld en genereerde de structurele affiniteitsmatrix S als expliciete additief ruimtelijke bias voor het moduleren van de dot-productgelijkenismatrix. De visuele kenmerktensor werd gebruikt als querybron omdat semantische parsing vereist dat elke visuele locatie actief structureel consistent bewijs uit de geometrische voorgaande ruimte haalt. De SDF werd daarvoor gebruikt als sleutel- en waardebron omdat deze continue grensafstand en binnen-buiten structurele aanwijzingen opslaat, afgeleid van de Manhattan-indeling. De dotproductterm mat de compatibiliteit tussen het semantische uiterlijk en de geometrische prior, terwijl de additieve structurele term λS de aandachtsgewichten verplaatste naar pixels op hetzelfde fysisch vlak of nabij dezelfde architectonische contour. De coëfficiënt λ vertegenwoordigde het vertrouwen in de geëxtraheerde structurele prior en bepaalde in hoeverre rigide orthogonale beperkingen in de aandachtsverdeling werden opgenomen. Deze formulering verminderde de diffusie van cross-boundary features veroorzaakt door meubelocclusie en behield adaptieve relaxatie in niet-Manhattan layouts. De structuurgeleide aandachtverdeling werd berekend volgens Vergelijking 1.

Vergelijking 1:

waarbij A de structuurgeleide aandachtsaggregatiematrix aanduidt, Q de querytensor die wordt gegenereerd uit visuele kenmerken, K de sleuteltensor die wordt gegenereerd uit SDF-voorgaande kenmerken, V de waardetensor die wordt gegenereerd uit structurele priorrepresentaties, dk de kenmerkdimensie van de sleuteltensor, λ de adaptieve structurele wegingscoëfficiënt die wordt gebruikt om de geometrische betrouwbaarheid van lokale regio's te identificeren en starre orthogonale beperkingen in niet-Manhattan ruimtelijke beperkingen te ontspannen layouts, en S duidt de SDF-affiniteitsmatrix aan. De verdeling door dk stabiliseerde de schaal van aandachtslogits en voorkwam dat grote feature-dimensies overgeconcentreerde aandachtsgewichten produceerden. De genormaliseerde exponentiële functie (zie de Tabel van Materiaal) transformeerde de gemoduleerde gelijkenisscores in een genormaliseerde ruimtelijke verdeling, waardoor elke pixel structurele voorinformatie kon aggregeren op basis van semantische en geometrische consistentie. Dit ontwerp verklaart waarom visuele uiterlijk en architectonische grenspriors op aandachtsniveau worden samengevoegd in plaats van door directe feature-concatenatie.

De superpixeltopologiegrafiek is geconstrueerd uit de structuur-uitgelijnde featuremap. De featuremap werd gesegmenteerd met behulp van een algoritme voor ruimtelijke regiogeneratie. Het superpixelgetal werd ingesteld op 256, de compactheidscoëfficiënt op 10, de Gaussische gladmakingscoëfficiënt op 1,0 en het iteratiegetal op 10. Ruimtelijke nabijheidsbeperkingen werden gehandhaafd door het gewicht van de afstandsmetriek tijdens clustering in te stellen op een constante verhouding van 1,0 tot de feature-kleurruimteafstand, waardoor uniforme knooppuntgeneratie over dichte rommelgrenzen behouden bleef. Pixels met homogene semantische responsen werden geaggregeerd tot superpixelknooppunten. Grafranden werden geconstrueerd volgens ruimtelijke nabijheidrelaties, SDF-affiniteitssterkte en coplanaire geometrische consistentiebeperkingen. Het constructieproces van de structurele affiniteitsmatrix en topologische connectiviteit wordt weergegeven in Figuur 3, waarin wordt getoond hoe SDF-geleiding werd omgezet in ruimtelijke relaties op grafniveau.

De grafiekformulering werd geïntroduceerd om dichte pixelwijze redenering om te zetten in node-gewijze ruimtelijke redenering over homogene structurele gebieden. Elke superpixelknoop vertegenwoordigde een lokaal gebied met een vergelijkbare semantische respons en ruimtelijke continuïteit, terwijl elke rand een betrouwbaar pad voor feature-overdracht vertegenwoordigde, onderhevig aan nabijheid, afstand-veld affiniteit en coplanair-consistentiebeperkingen. Dit ontwerp verminderde de invloed van geïsoleerde ruisachtige pixels en maakte occludeerde wand-, vloer- en plafondgebieden mogelijk om berichten te ontvangen van fysiek aangrenzende knooppunten. De randconstructie diende daarom als een wiskundige brug tussen continue SDF-geleiding en discrete niet-Euclidische graafredenering.

Een drielaags graf convolutioneel redeneernetwerk werd geconfigureerd met verborgen feature-dimensies van 512, 256 en 128. De convolutionele laag van de graaf voerde feature-gladmaking uit over de grafiekstructuur op basis van de ruimtelijke relaties tussen de knooppunten. De zelf-lus adjacency behield de oorspronkelijke staat van elke knoop tijdens het doorgeven van berichten, waardoor voorkomen dat de kenmerken van een kleine structurele regio werden gewist door omliggende grote gebieden. Symmetrische normalisatie schaalde de elementen van de nabijheid matrix met het product van de inverse vierkantswortels van de knoopgraden, zodat knooppunten met hoge en lage graad tijdens voortplanting bijdroegen onder vergelijkbare numerieke groottes. Feed-forward propagatie voerde lokale ruimtelijke aggregatie uit, waarbij elke knooptoestand hoogdimensionale kenmerken van aangrenzende coplanaire clusters absorbeerde voordat de elementgewijze niet-lineaire rectificatiefunctie werd toegepast. Deze formulering maakte de grafiekconvolutielaag een benaderde semantische diffusie langs fysiek betekenisvolle binnenvlakken in plaats van onbeperkte gladstrijking over de grenzen van niet-gerelateerde objecten. Grafiekknoopkenmerken werden geëvalueerd volgens Vergelijking 2.

Vergelijking 2:

De projectie van dichte pixelfeatures naar superpixelknooppunten, het doorgeven van grafconvolutieberichten en coördinaten-terugprojectie worden weergegeven in Figuur 4, waarin het feature-aggregatiepad van reguliere beeldroosters naar een niet-Euclidische topologie en terug naar een dichte semantische representatie wordt verduidelijkt. De projectie van dichte pixelkenmerken in Figuur 4A naar superpixelknooppunten in Figuur 4B, het doorgeven van grafconvolutieberichten in Figuur 4C en de coördinaten-backprojectie in Figuur 4D verduidelijken het feature-aggregatiepad van reguliere beeldroosters naar een niet-Euclidische topologie en terug naar een dichte semantische representatie.

waarbij H(l) de knoopkenschapstensor van de l-de grafconvolutielaag aanduidt, Â de adjacentiematrix met zelflusverbindingen, D de graadmatrix die overeenkomt met de adjacentiematrix, W(l) de leerbare gewichtmatrix van de l-de graafconvolutielaag aanduidt, en σ de activatiefunctie van de gerectificeerde lineaire eenheid. De term ÂH(l) aggregeerde kenmerken van aangrenzende superpixelknooppunten, terwijl D^−1/2 en D^−1/2 de bijdrage van knooppunten met verschillende verbindingsdichtheden in balans brachten. De leerbare matrix W(l) projecteerde geaggregeerde knoopkenmerken in een nieuwe semantische ruimte, waardoor de graaflaag structurele consistentie kon onderscheiden van gewone ruimtelijke nabijheid. De niet-lineaire activatie behield het verschil in responsen tussen coplanaire en niet-coplanaire regio's na feature-aggregatie.

Semantische segmentatiekenmerken werden ontcijferd na graafredenering. De decoder werd geconstrueerd met drie bilineaire interpolatie-upsampling-fasen en cross-layer skip-connection fusieoperaties. Ondiepe ruimtelijke encoderkenmerken werden gekoppeld aan hoog-niveau semantische decoderkenmerken via kanaalgewijze fusie. De featureresolutie werd hersteld naar de oorspronkelijke beeldgrootte, en de uiteindelijke semantische kansvoorspellingskaart werd gegenereerd via een convolutielaag van 1 × 1.

Het volledige semantische parsingsnetwerk werd getraind met een ontkoppelde gewicht-decay optimizer (zie de Materiaaltabel). De initiële leersnelheid werd ingesteld op 0,0001, de gewichtsvervalcoëfficiënt op 0,01 en de batchgrootte op 8 voor beide publieke benchmarks. De eerste momentvervalsnelheid werd ingesteld op 0,9, de tweede op 0,999, en de numerieke stabiliteitsepsiloncoëfficiënt op 1 × 10^⁻8. Het validatieverlies werd aan het einde van elke epoch gemonitord, en checkpoints werden opgeslagen wanneer de mIoU op de validatieset toenam. Het netwerk werd getraind voor 300 epochs met behulp van een polynomiale leersnelheidsvervalstrategie met een vervalkracht van 0,9. Vijf onafhankelijke trainingsruns werden uitgevoerd met verschillende willekeurige seed-initialisaties om een statistisch rigoureuze evaluatiebaseline vast te stellen. Het netwerk werd gezamenlijk geoptimaliseerd met behulp van pixelniveau cross-entropieverlies en structurele consistentieverlies. Alle experimenten werden uitgevoerd op een computerplatform uitgerust met hooggeheugen parallelle computerhardware, en gedetailleerde hardware-informatie werd gerapporteerd in de Table of Materials.

Gesamentlike optimalisatie dwong geometrische randuitlijning af door de ruimtelijke gradiëntgrootte van de klasse-kanstensor te berekenen. Het structurele consistentieverlies werd gebruikt als een regularizer, waarbij de norm van de ruimtelijke voorspellingsgradiënten werd vermenigvuldigd met de continue SDF-waarden. De wiskundige redenering was dat veranderingen in semantische categorieën zich moesten concentreren nabij reële architectonische contouren, waar de SDF naar nul toe gaat, terwijl vlakke wand-, vloer- en plafondinterieurs soepele semantische antwoorden moesten behouden. Wanneer een grote voorspellingsgradiënt ver van een structurele grens leek, verhoogde de afstandsveldterm de straf en ontmoedigde valse semantische overgangen binnen een homogeen fysisch vlak. Wanneer een voorspellingsgradiënt verscheen nabij een nul-afstandscontour, bleef de straf beperkt en behield legitieme klasseovergangen langs architectonische grenzen. Semantische overgangsgebieden werden beperkt om uit te lijnen met de nul-afstandscontouren van de SDF, zoals gegeven door Vergelijking 3.

Vergelijking 3:

waarbij L_totaal de uiteindelijke optimalisatiedoelfunctie aanduidt, L_ce het pixelniveau kruis-entropieverlies, L_scl het verlies voor structurele consistentie en α de gewichtscoëfficiënt voor structureel verliesverlies. De kruis-entropieterm bood pixelniveau semantische supervisie via annotatiemaskers, terwijl de term structurele consistentie geometrische regularisatie oplegde met behulp van architecturale priors. De wegingscoëfficiënt α gebalanceerde categorieherkenning en grensuitlijning, waardoor wordt voorkomen dat de optimalisatie lokale labelnauwkeurigheid of starre structurele contouren overpast. Dit gezamenlijke doel verbond visuele semantiek, fysieke grensconsistentie en trainbare netwerkparameters binnen een geïntegreerde optimalisatiedoelstelling.

Resultaten

Experimentele opstelling

Deze studie gebruikte twee standaard indoor scene parsing datasets, een grootschalige indoor 3D-dataset en een RGB-D indoor scene dataset, om de prestaties te evalueren en het model af te stemmen. De grootschalige binnen-3D-dataset bevat realistisch gescande, complexe fysieke ruimte-scènes en hoge resolutie RGB-weergaven, met hoogprecisie, pixel-voor-pixel 3D puntwolk-semantische labels en 2D-ruimtelijke projectie-segmentatiemaskers. De van nature realistische data voor de reconstructie van het raster in de fysieke ruimte en de eigenschappen van het orthogonaal vlak stellen een meetkundige-waarheid vergelijkingscriterium vast voor het nauwkeurig construeren van de Manhattan 3D-begrenzingsbox in de extractietak. De RGB-D binnenscoure-dataset bevat dieptebeelden van binnenshuis die worden verduisterd door meubels en rommel en wordt gebruikt om de globale logische redeneernauwkeurigheid en robuustheid van het netwerk tegen occlusies te testen.

Het algoritme gebruikt mIoU om de ruimtelijke overlap tussen de voorspelde en ware semantische verdelingen te meten, terwijl het ook een structurele grens F1-score introduceert om de nauwkeurigheid van de passing tussen het voorspelde masker en de nul-afstand fysieke structurenranden die door de SDF zijn gekalibreerd, rigoureus te beoordelen. Tijdens de berekening wordt een vaste foutdrempel voor pixelafstand in de Euclidische ruimte ingesteld om te bepalen of de door het netwerk geproduceerde randpixels de werkelijke fysieke grenscontouren van de gebouwen snijden. Dit dubbele evaluatiesysteem beperkt classificatiefouten in semantische blokken met grote oppervlaktes en versterkt de microkwantitatieve beoordeling van het topologische reconstructie-effect van starre lijnen. Om consistentie te behouden tussen de configuratie van de experimentele data en het optimalisatieproces, werden de datasetschaal en de kerntrainingshyperparameters samengevat in Tabel 2. Tabel 2 geeft één gezaghebbende experimentele configuratie voor het herziene manuscript. De grootschalige indoor 3D-benchmark gebruikt 1201 trainingsscènes en 312 validatiescènes, de RGB-D indoor scene benchmark gebruikt 795 trainingsbeelden en 654 testbeelden, en beide benchmarks zijn getraind met een batchgrootte van 8, een initiële leersnelheid van 0,0001, een gewichtsvervalcoëfficiënt van 0,01 en 300 trainingsepochs.

Vergelijking met geavanceerde methoden

Voordat een kwantitatieve vergelijkingstabel van indoor scene parsing-algoritmen wordt gepresenteerd, definieert deze sectie rigoureus de testbenchmarks die in het multidimensionale evaluatiesysteem worden gebruikt. Om de classificatieprestaties van het model bij verschillende granulariteiten weer te geven, vult het evaluatiesysteem het testsysteem aan met twee extra metrics: globale pixelnauwkeurigheid (PixelAcc) en gemiddelde klassenauwkeurigheid (MeanAcc). Deze metrieken vormen samen een gedetailleerd systeem voor het verificatie van algoritmeprestaties, waarmee een rigoureuze theoretische referentie wordt gecreëerd voor latere kwantitatieve analyse. Om de nauwkeurigheid van semantische parsing en occlusierobuustheid van het voorgestelde algoritme in complexe fysieke ruimten te evalueren, werden vergelijkende tests uitgevoerd met bestaande algoritmen op de RGB-D indoor scene validatieset. De bibliotheek van vergelijkingsmodellen omvat fundamentele mask-aandacht frameworks, hiërarchische visie Transformers, moderne pure convolutionele segmentatiepijplijnen, uniforme dichte-voorspellingsarchitecturen en cross-channel aandachtsnetwerken. De benchmarkevaluatie werd uitgebreid met een transformer-gebaseerde segmentatiebaseline, een uniforme dichtvoorspellingbaseline, een uniforme detectie- en segmentatiebaseline, een grootschalige vision foundation-baseline, een pure convolutionele baseline, een op masker gebaseerde segmentatiebaseline, een cross-modale feature-aggregatiebaseline en een progressieve featurefusie-baseline (zie de Table of Materials), met dezelfde RGB-D indoor scene validatieset, inputresolutie, trainingsschema en metriekprotocol. In de voorgestelde architectuur integreert het structuurgeleide netwerk een verschoven-venster multi-schaal visuele ruggengraat, een structuurgeleide cross-attention module met een SDF en een superpixel GCN. De uitgebreide vergelijking omvat transformator-gebaseerde dichte voorspelling, convolutie-gebaseerde dichte voorspelling, masker-aandacht parsing, cross-modale featurefusie en progressieve feature fusion-paradigma's, waardoor de bijdrage van expliciete 3D-geometrische grensinterventie geëvalueerd wordt tegen bredere binnenscène-parsing baselines.

Tabel 3 geeft de objectieve evaluatieprestaties van elk netwerk op de kernkwantitatieve meetwaarden weer, met de gemiddelden en bijbehorende standaarddeviaties over vijf onafhankelijke runs. De uitgebreide baseline-vergelijking evalueert of het voorgestelde structuurgestuurde redeneermechanisme bijdraagt aan nauwkeurigheidswinsten buiten standaard dichte voorspellingsbackbones, maskergebaseerde segmentatienetwerken en RGB-D feature fusion-netwerken. Experimentele gegevens tonen aan dat het voorgestelde algoritme stabiele winsten behaalt over alle vier de kwantitatieve metrics. Transformer-gebaseerde dichte voorspellingsnetwerken en mask-attention netwerken behielden een sterke globale contextmodellering, maar hun Boundary F1-waarden bleven lager bij aanwezigheid van voorgrondrommel omdat de voorspelde maskers geen expliciete fysieke grensbeperkingen hadden. Crossmodale en progressieve fusienetwerken verbeterden de lokale semantische continuïteit, maar hun featurefusie was nog steeds primair afhankelijk van uiterlijk- en diepteresponsen in plaats van van een structurele prior op getekende afstand. Het voorgestelde structuurgeleide netwerk behaalde een mIoU van 0,687 met een standaarddeviatie van 0,002 en een gemiddelde grens F1-score van 0,764 met een standaarddeviatie van 0,003. De uitgebreide vergelijking geeft aan dat de prestatiewinst niet uitsluitend te danken was aan een grotere dichte voorspellingsruggengraat, maar eerder aan het gezamenlijke gebruik van getekende afstandsveldbegeleiding, structuurbewuste kruis-aandacht en grafgebaseerde topologieredenering.

Om de globale logische redeneernauwkeurigheid van het model onder occlusies te analyseren, identificeerden en extraherden we typische scenario's in de validatieset die ernstig werden belemmerd door meubels en andere rommel, en maakten we visualisaties van pixel-niveau voorspellingsmaskers.

Na de methode werden workflow en het grafredeneerproces gedefinieerd in Figuur 1, Figuur 2, Figuur 3 en Figuur 4. Figuur 5 illustreert de verschillen in morfologische voorspellingen tussen modellen onder extreme occlusieomstandigheden. De rode rechthoeken in de kwalitatieve vergelijkingsmesh markeren belangrijke conflictgebieden waar hoeken en dragende oppervlakken verstopt zijn. Het uitvoermasker van de op masker gebaseerde segmentatiebasis toont uitgesproken randgladstrijking en interklassenadhesie. Hoewel de baseline voor cross-modale feature-aggregatie en de progressieve feature-fusie baseline cross-modale data bevatten, vertonen hun voorspellingsresultaten nog steeds structurele klassendiscontinuïteiten en fysieke grensvervormingen. Het masker dat door deze voorgestelde methode wordt gegenereerd, vertoont een sterke ruimtelijke overlap met de grondwaarheidslabels. Basismodellen, beperkt door puur pixelgestuurde principes, zijn gevoelig hun lokale receptieve velden te verliezen wanneer ze worden afgesloten. De voorgestelde methode gebruikt een superpixel GCN om berichten door te geven in niet-Euclidische ruimte, waardoor de onderliggende hoeken en lineaire ruimtelijke skeletten worden gereconstrueerd door impliciete geometrische grenzen. Dit verifieert de anti-interferentieprestaties van onze voorgestelde oplossing bij het oplossen van complexe binnenindelingen vanuit een visueel morfologisch perspectief.

Ablatie-experiment

Om de daadwerkelijke bijdrage van elk onafhankelijk onderdeel in de voorgestelde architectuur te analyseren, stelde deze studie een uitgebreide modulaire ablatietest op op de RGB-D indoor scene validatieset. De testbaseline werd ingesteld op een conventioneel classificatienetwerk met alleen de visuele ruggengraat van de basistransformator met verschoven venster. Kwantitatieve evaluatie mat de onafhankelijke bijdrage van structuurgestuurde kruisaandacht, tekenafstandsveldbias, adaptieve structurele weging, redeneren van superpixelgrafieken, coplanaire randconstructie, symmetrische grafnormalisatie en verlies van structurele consistentie. Dit uitgebreide ablatieontwerp scheidde de cumulatieve modulewinst van componentverwijderingseffecten, waardoor de bijdragegrens van elke ontwerpkeuze duidelijker werd.

Tabel 4 en Figuur 6 illustreren de evolutie van nauwkeurigheid onder uitgebreide cumulatieve en verwijderingsgebaseerde ablatie-instellingen. Het basisnetwerk van verschoven-venstertransformatoren kent geen driedimensionale fysieke grensbeperkingen, wat resulteert in beperkte feature-aggregatie in rommelige achtergronden. Door structuurgeleide kruisaandacht toe te voegen steeg de mIoU van 0,615 naar 0,648 en de grens F1-score van 0,630 naar 0,685, wat aantoont dat het vooraf getekende afstandsveld de uitlijning tussen visuele kenmerken en structurele contouren verbeterde. Door alleen superpixelgrafiekredeneren toe te voegen steeg de mIoU tot 0,641 en de Boundary F1-score tot 0,676, wat aangeeft dat nodegewijze topologieredenering de semantische consistentie verbeterde over homogene fysieke gebieden. Door alleen al het verlies van structurele consistentie toe te voegen, steeg het mIoU tot 0,632 en de Boundary F1-score tot 0,662, wat aantoont dat de verliesterm vooral invloed had op grenspassing in plaats van brede contextuele aggregatie.

Door cross-attention te combineren met grafredenering steeg de mIoU tot 0,669 en de Boundary F1-score tot 0,721, wat aantoont dat visueel-structurele uitlijning en het doorgeven van berichten in het graafdomein complementaire effecten opleverden. Door cross-attention te combineren met structureel consistentieverlies werd een mIoU van 0,660 en een Boundary F1-score van 0,713 bereikt, terwijl het combineren van graph-redeneren met structureel consistentieverlies een mIoU van 0,653 en een Boundary F1-score van 0,704 opleverde. Deze paargewijze resultaten geven aan dat de cross-attention module het belangrijkste geometrische uitlijningssignaal leverde, de graph reasoning module dit signaal uitbreidde over coplanaire gebieden, en het verlies van structurele consistentie de semantische overgangsgrens tijdens optimalisatie verfijnde.

Verwijderingsgebaseerde ablatie verduidelijkte de bijdrage van de interne ontwerpkeuzes verder. Het verwijderen van de getekende-afstand veldadditieve bias verlaagde de mIoU tot 0,656 en de Boundary F1-score tot 0,698, waarmee werd bevestigd dat de structurele affiniteitsmatrix centraal stond bij het onderdrukken van cross-boundary feature-diffusie. Het verwijderen van de adaptieve structurele wegingscoëfficiënt λ verlaagde de mIoU tot 0,671 en de Boundary F1-score tot 0,736, wat aangeeft dat een vaste structurele beperking de modelrespons in niet-Manhattan en visueel verslechterde gebieden verzwakte. Het verwijderen van de coplanaire randbeperking verlaagde de mIoU tot 0,666 en de grens F1-score tot 0,728, wat aantoonde dat grafranden die alleen op lokale adjacency waren gebaseerd er niet in slaagden de consistentie van het fysieke vlak te behouden. Het verwijderen van symmetrische grafnormalisatie verlaagde de mIoU tot 0,673 en de Boundary F1-score tot 0,737, wat aangeeft dat degree-balanced propagation noodzakelijk was voor stabiele knoopaaggregatie. Het volledig voorgestelde structuurgestuurde netwerk behaalde een mIoU van 0,687 en een Boundary F1-score van 0,764, waarmee werd aangetoond dat de uiteindelijke winst voortkwam uit de gecoördineerde interactie tussen structurele aandacht, grafredeneren en grensbewuste optimalisatie.

Analyse van computationele complexiteit, trainingstijd en inferentie-efficiëntie

Om de rekenkosten van SDF-extractie, structuurgestuurde cross-attention en superpixelgraf convolutioneel redeneren te beoordelen, evalueerde deze studie de parameterschaal, floating-point-operaties, piekgeheugengebruik, trainingstijd, single-frame inferentielatentie, framerate en mIoU op hetzelfde computerplatform. Floating-point-operaties werden berekend onder een 512 × 512 inputresolutie. Inferentielatentie werd gemeten met een batchgrootte van 1 na het opwarmen van het model, terwijl de gerapporteerde framerate werd berekend op basis van de gemiddelde latentie voor één afbeelding. De trainingstijd werd gemeten volgens hetzelfde schema van 300 epochs, batchgrootte van 8, optimizer-instellingen en data-preprocessing pipeline.

Tabel 5 beschrijft de relatie tussen modelschaal, trainingskosten, inferentie-efficiëntie en parsingnauwkeurigheid voor elke netwerkarchitectuur. De kolommen mIoU en Boundary F1 in Tabel 5 gebruiken dezelfde totale validatiesetwaarden als Tabel 3 voor elk overeenkomstig model. Deze twee nauwkeurigheidskolommen worden in Tabel 5 herhaald, uitsluitend om parsingnauwkeurigheid te vergelijken met de rekenkosten. De toename van trainbare parameters was voornamelijk te danken aan de query-key-value projectielagen in de structuurgeleide cross-attention module en de gewichtsmatrices van de drie grafconvolutionele lagen. De niet-trainbare kosten werden voornamelijk veroorzaakt door SDF-generatie, superpixelpartitionering en graf-adjacency constructie. Omdat deze niet-trainbare bewerking eenmaal voor elk invoerbeeld werden uitgevoerd, verhoogden ze de inferentielatentie, maar verhoogden ze het aantal trainbare parameters niet wezenlijk. Deze scheiding verklaart waarom de voorgestelde methode een matige toename in parameters liet zien, maar een meer uitgesproken toename van de latentie. De complexiteitsresultaten tonen aan dat de op masker gebaseerde segmentatiebaseline een kleiner aantal parameters en kortere inferentielatentie behield, maar dat de Boundary F1-score en mIoU beperkt waren onder ernstige occlusie vanwege het ontbreken van expliciete geometrische grensrichtlijnen in het netwerk. De baseline voor cross-modale feature-aggregatie vereiste meer floating-point-operaties en een langere trainingstijd omdat cross-modale aggregatie extra feature-alignment overhead introduceerde. De progressieve featurefusie-baseline handhaafde een matige rekenkosten, maar de voorspellingsnauwkeurigheid bleef lager dan die van de voorgestelde methode onder randvervorming. Het voorgestelde structuurgestuurde netwerk brengt extra rekenkosten met zich mee door SDF-constructie, structurele kruisaandachtprojectie, superpixelgrafconstructie en graafconvolutiepropagatie. Het volledige model gebruikte 66,8 miljoen parameters, 121,4 miljard floating-point-operaties, 15,6 uur trainingstijd, 7,9 GB piekgeheugen, 61 ms single-frame inferentietijd en 16,4 frames per seconde. Hoewel de inferentielatentie hoger was dan die van de pure mask-attention baseline, behaalde het model een mIoU van 0,687 en een Boundary F1-score van 0,764, wat aangeeft dat de extra kosten voornamelijk structurele randreparatie en topologiebewuste semantische consistentie ondersteunden.

Om visueel de tweedimensionale ruimtelijke balans tussen de rekenschaal en de analytische nauwkeurigheid van het model weer te geven, werd een bubbelverdelingsdiagram gemaakt dat het aantal floating-point-operaties en de mIoU van het algoritme toont. De herziene visualisatie rapporteerde ook trainingstijd en inferentielatentie in het figuurannotatiegebied, waardoor nauwkeurigheidswinsten en rekenkosten vanuit zowel trainings- als implementatieperspectief werden vergeleken. De horizontale as behield floating-point operaties, de verticale as bleef mIoU, de bubbelgrootte vertegenwoordigde de trainbare parameterhoeveelheid, en het bijgevoegde label rapporteerde inferentietijd voor elke methode.

Figuur 7 toont de relatie tussen floating-pointbewerkingen, parameterschaal, inferentielatentie en parsingnauwkeurigheid. De voorgestelde methode behaalt een hoger mIoU dan de vergelijkingsnetwerken, terwijl de FLOP's en het aantal parameters dicht bij die van de cross-modale en progressieve fusiebaselines blijven. De single-frame latentie van 61 ms geeft aan dat de toegevoegde SDF- en graph-reasoning-takken implementatie-overhead introduceerden, maar de latentie bleef binnen het realtime bereik dat vereist is voor veel taken in de indoor-scene interpretatie. De trainingstijd werd verhoogd tot 15,6 uur omdat structurele voorafgaande extractie, aandachtsprojectie en grafredenering tijdens elk trainingstijdperk werden uitgevoerd. Dit resultaat toont aan dat de rekenkundige kosten van de voorgestelde methode voornamelijk geconcentreerd zijn in randbewuste structurele redenering in plaats van ongecontroleerde parameteruitbreiding.

Specifieke vergelijking van structureel consistentieverlies en ruimtelijk afstandsverlies

Het inverse transformatienetwerkverlies voor het kwantiseren van grensruimtelijke transformatieafstand maakt gebruik van homomorfe transformatieparameters om grensafwijkingen vast te leggen, waarmee wordt aangetoond dat zuivere ruimtelijke afstandsmetrieken beter presteren dan traditionele kruis-entropieverliezen op basis van pixellabelwijzigingen. Voortbouwend op deze theoretische consensus worden parallelle validatie-experimenten uitgevoerd met behulp van grensbeperkingsschema's om de vergelijkende prestaties van de op Manhattan bounding-box gebaseerde aangepaste Structural Consistency Loss (SCL) te beoordelen met betrekking tot scene-adaptability. De experimenten behouden de analytische architectuur waarbij een multischaal visuele backbone wordt samengevoegd met een grafeninferentienetwerk, terwijl de grensverliesterm tijdens backpropagatie simpelweg wordt vervangen. Vier parallelle validatienetwerken zijn geconfigureerd: een netwerk dat alleen de basisclassificatie kruis-entropieverlies gebruikt, mist hoogdimensionale geometrische beperkingen; een netwerk met toegevoegd standaard boundary cross-entropy (BCE) verlies voert conventionele randbinaire classificatie toezicht uit; Een netwerk met toegevoegd ruimtelijk grensverlies richt zich op het vastleggen van lokale vervormingen; en een netwerk dat de voorgestelde SCL toepast, legt orthogonale topologische straffen op op basis van de SDF. Kwantisatiemetrics op de RGB-D indoor scene validatieset zijn beperkt tot de mIoU en de structurele grens F1-score.

Tabel 6 beschrijft de mate van interventie van verschillende backpropagatieoptimalisatiestrategieën op de onderliggende ruimtelijke logische cognitie. De cross-entropie-only vermelding in Tabel 6 duidt de voorgestelde architectuur aan die uitsluitend getraind is met pixelniveau cross-entropieverlies, terwijl de visuele ruggengraat, de getekende afstand veldtak, de structuurgeleide cross-attention module en de superpixel graph redeneertak ongewijzigd blijven. Deze vermelding is geen Mask2Former-basislijn en moet niet worden vergeleken met de algemene Mask2Former-waarde in Tabel 3, omdat het hetzelfde model gebruikt. Netwerken die uitsluitend vertrouwen op basis kruisentropieverlies bereiken de laagste grensfitscore. Netwerken met een extra standaard standaard binaire kruisentropieverlies bereiken een lichte winst, maar dit mechanisme veroorzaakt nog steeds randvervaging bij grootschalige occlusie. Ruimtelijk grensafstand verlies verbetert de score via een ruimtelijk transformatieperceptiemechanisme, waardoor sommige vervormde randen effectief worden gecorrigeerd. Het structurele consistentieverlies dat in dit artikel wordt voorgesteld, benut direct de reële SDF om gradiëntstraffen op te leggen aan anomalische semantische mutaties binnen het fysieke dragende oppervlak, waarmee de hoogste F1-score op de structurele grens wordt behaald.

Om visueel de drijvende effecten van verschillende verliesfunctieconfiguraties op de nauwkeurigheid van maskervoorspelling en grenspassing te vergelijken, hebben we gegroepeerde staafdiagrammen uitgezet over verschillende optimalisatiestrategieën.

Figuur 8 illustreert de stapsgewijze prestatieverbetering als gevolg van het upgraden van de ruimtelijke perceptiedimensie van de verliesfunctie. Het staafdiagram dat de F1-score van de structurele grens weergeeft, toont een significante opwaartse trend. Experimentele gegevens tonen aan dat dit aangepaste strafmechanisme de ruimtelijke spronglocatie van de voorspelde categorie dwingt precies samen te vallen met de orthogonale fysieke contour. Het afstand veld-penaltymechanisme, aangepast voor indoor orthogonale priors, behaalt een hogere nauwkeurigheid dan het algemene ruimtelijke grensvangstverlies, waardoor een effectief optimalisatiepad wordt gecreëerd voor het aanpakken van complexe gebouwfouten.

Robuustheidstesten van extreme occlusieverdeling, afwijkende structuren en uitdagende verlichtingsomstandigheden

Complexe ruimtelijke relaties tussen objecten en wederzijdse occlusie beïnvloeden de globale 3D-ruimtelijke cognitie negatief. De gezamenlijke voorspellingsarchitectuur benadrukt de ondersteunende rol van scène-indelingsbeperkingen bij het extraheren van het onderliggende masker. Het onderzoeken van de anti-interferentielimieten van het algoritme onder visueel signaalverlies in grote gebieden en afwijkende ruimtelijke indelingen die de 3D-orthogonale fysische aanname schenden, definieert duidelijk de effectieve toepassingsgrens van het algoritme en heeft de kern, aantoonbare waarde. Op basis van het aandeel grootschalige meubels dat in de grondwaarheidslabels is gemaskeerd, wordt de RGB-D binnenscènetestset onderverdeeld in drie steeds moeilijkere subsets: milde, matige en ernstige occlusie. Tegelijkertijd worden niet-typische Manhattan-achtige scènes met hellende plafonds of gebogen muren handmatig geëxtraheerd om anomalie-grenstestsets te construeren, en scènes met extreem weinig licht, overbelichting en glanzende of transparante glasoppervlakken worden ingedeeld in uitdagende verlichtings- en textuursubsets. De bibliotheek van het vergelijkingsmodel bevat een op masker gebaseerde segmentatiebasislijn; een algemene segmentatiearchitectuur gebaseerd op maskeraandacht om globale context vast te leggen; een baseline voor cross-modale feature-aggregatie met een uitgebreide cross-modale aggregatiestrategie; en een progressieve feature-fusiebaseline die een meerstaps progressief feature-extractiemechanisme integreert. Elke vergelijkingsbaseline, de fusie visuele ruggengraat en de graf-inferentienetwerkparsingarchitectuur die in dit artikel is geconstrueerd, worden onafhankelijk geëvalueerd op bovenstaande subsets, en de nauwkeurigheidsvervalgradiënt van elk model wordt statistisch geanalyseerd.

Tabel 7 toont subset-specifieke robuustheidsmetrics onder milde, matige en ernstige occlusie, uitdagende verlichting, textuurinterferentie en niet-Manhattan anomalieomstandigheden. Tabel 7 beschrijft de veranderingen in de nauwkeurigheid van de maskervoorspelling van verschillende modellen onder ruimtelijke interferentie. Tabel 7 geeft subset-specifieke mIoU-waarden voor verschillende modellen onder ruimtelijke interferentiecondities, uitsluitend berekend binnen de overeenkomstige occlusie-, verlichtings-, textuur- of niet-Manhattan-subset, in plaats van op de totale RGB-D indoor scene validatieset. In de subsets van milde en matige occlusie behouden alle modellen een basisnauwkeurigheid. Met toenemende occlusieoppervlakte tonen de basismodellen die vertrouwen op pixel-gedreven regels een afname van de intersectie-unieverhouding (IU) op de zwaar geoccludeerde deelverzameling. De op masker gebaseerde segmentatiebaseline en de cross-modale feature-aggregatiebaseline lijden aanzienlijke nauwkeurigheidsverliezen op deze subset. De meerfasige progressieve feature-extractiearchitectuur van de progressieve feature-fusion baseline vertoont een sterke prestatiedaling. De voorgestelde oplossing maakt gebruik van expliciete 3D-skeletkenmerken om de uitlijning van beschadigde visuele signalen af te dwingen, een stabiele maskeruitgang op de zwaar geblokkeerde subset te behouden en topologische stabiliteit van de semantische maskeruitgang aan te tonen. In de uitdagende belichtings- en textuursubsets mist de lijnsegmentdetector structurele randen in gebieden met sterke reflecties en transparant glas, wat leidt tot lokale discontinuïteiten in de SDF. De foutieve geometrische coördinaten planten zich voort via de structurele affiniteitsmatrix en het structurele consistentieverlies, waardoor anomale gradiëntstraffen worden toegepast op de semantische kenmerken en overeenkomstige afwijkingen in randvoorspellingen ontstaan. Het globale ruimtelijke contextredeneermechanisme van de GCN vult ontbrekende geometrische priors aan met aangrenzende structurele affiniteiten, waardoor de algehele parsingsnauwkeurigheid binnen een acceptabel vervalbereik wordt gehandhaafd en de grens van de visuele waarnemingsmogelijkheden van het algoritme onder complexe fysieke interferentie wordt onthuld. In de niet-Manhattan anomalie-subset introduceert de SDF-prior op de onderste laag van dit model een lichte mapping bias, wat resulteert in iets lagere prestaties dan de progressieve feature fusion-basislijn. De adaptieve structurele wegingscoëfficiënt in de cross-attention module beoordeelt dynamisch de consistentie van de gradiënten van de onderliggende fysieke structuur. In scènes met gebogen wanden of hellende plafonds vermindert deze coëfficiënt automatisch het constraintgewicht van de SDF, waardoor het netwerk wordt aangemoedigd om te vertrouwen op het lokale feature-knooppuntaggregatiemechanisme van het superpixel-grafnetwerk om semantische coherentie in homogene gebieden te behouden, waardoor een effectief geometrisch compensatiemechanisme voor niet-Manhattan ruimtelijke indelingen wordt gevestigd.

Om visueel de negatieve impact van de ernst van occlusie op de resolutienauwkeurigheid te demonstreren, hebben we lijngrafieken uitgezet die de afname in nauwkeurigheid over verschillende algoritmemodellen tonen.

Figuur 9 toont visueel de verschillen in robuustheid tussen verschillende paradigma's voor feature-extractie onder extreme fysieke omgevingen. De drie gestippelde lijnen die de basismodellen vertegenwoordigen, vertonen allemaal een significante neerwaartse trend bij zwaar geblokkeerde knooppunten, wat de beperkingen weerspiegelt van conventionele receptieve velden bij feature-extractie bij grootschalig signaalverlies. De doorgetrokken lijn die de voorgestelde methode vertegenwoordigt, behoudt een relatief zachte vervaltraject. Experimentele gegevens tonen aan dat de koppeling tussen expliciete 3D-architectuurvoorafgaande en grafgebaseerde inferentiemechanismen structurele ondersteuning biedt voor occlusiebestendige scèneparsingstaken en de generalisatieprestaties van het model verbetert in complexe omgevingen.

Ruimtelijke gevoeligheidsanalyse van topologie-graafknoopverdeling

De dimensie-reductie bemonsteringssnelheid parameter van de coördinatenruimte-grafconvolutiemodule bepaalt direct de kwaliteit van het receptieve veld en de rekenlast van het graafnetwerk. In lijn met het theoretische kader van dit artikel onderzoekt deze studie hoe het aantal discrete graafknopen dat wordt geproduceerd door eenvoudige lineaire iteratieve clustering de prestaties van niet-Euclidische topologische inferentie beïnvloedt, met als doel rigoureuze ondersteuning te bieden voor hyperparameterselectie. Er werden experimenten uitgevoerd om de initialisatiecontroleparameters van het clustering-algoritme aan te passen, waarbij met geweld werd ingegrepen in de dynamische dimensionaliteitsreductie van de featureruimte, waarbij het aantal superpixel-grafknooppuntpartitities werd ingesteld op 64, 128, 256, 512 en 1024. Onder een strikt uitgelijnde testbenchmark werden de gemiddelde intersection-over-union (IoU) ratio, de structurele grens F1-score en de gemiddelde inferentietijd per afbeelding met hoge resolutie gelijktijdig geregistreerd over verschillende topologische knoopgroottes.

Tabel 8 beschrijft de relatie tussen de mate van dynamische dimensionaliteitsreductie in de featureruimte en zowel analytische nauwkeurigheid als rekenkosten. Het te laag instellen van het aantal knopen leidt tot ondersegmentatie van beeldkenmerken, waardoor de semantische attributen van kleine objecten samensmelten met grootschalige wandkenmerken, waardoor verschillende nauwkeurigheidsmetrieken afnemen. Naarmate de schaal van knoopverdelingen toeneemt, verbetert de gevoeligheid van het model voor lokale ruimtelijke details aanzienlijk. Het verhogen van het aantal knopen tot 512 en 1024 resulteert in fragmentatie van homogene gebieden, verzwakt het gladstrijkeffect op macroscopische kenmerken in grafneurale netwerken, verhoogt de dimensionaliteit van de knooprelatiematrix en verhoogt de inferentietijd. Een parameterconfiguratie met een vast aantal knopen van 256 leidt tot de hoogste waarden voor de intersectie-unieverhouding en grensscore.

Om visueel de afweging tussen nauwkeurigheid en rekenkracht in niet-Euclidische topologische inferentie weer te geven, werd een biaxiale statistische grafiek uitgezet die de gevoeligheid van knooppuntgrootte toont.

Figuur 10 illustreert de onderliggende logica waarmee het aantal discrete graafknooppunten de evolutie van netwerkkenmerken beïnvloedt. De achtergrondbalk die rekentijd vertegenwoordigt, laat een sterke toename zien nadat het aantal knooppunten de drempel van 256 overschrijdt. De dubbele lijn die de nauwkeurigheid weergeeft, piekt op 256 op de horizontale as en neemt dan redelijk af door fragmentatie-effecten. De objectieve kwantitatieve gegevens en de visuele evolutietrend zijn zeer consistent en tonen aan dat het handhaven van de berekeningsgrafiekgrootte op 256 knooppunten een balans vindt tussen hardwareverwerking en logisch redeneren onder de huidige vaste-parameter configuratie. De ernstige prestatieverlies veroorzaakt door afwijking van dit node-aantal onthult de hoge gevoeligheid van de vaste superpixelsegmentatiestrategie voor hyperparameterafstemming en onderstreept de noodzaak om een dynamisch nodeselectiemechanisme te ontwikkelen.

BESCHIKBAARHEID GEGEVENS:

De ruwe benchmarkgegevens die in deze studie zijn geanalyseerd, zijn openbaar beschikbaar in de officiële archieven die in de Materiaaltabel staan. De grootschalige indoor 3D-benchmark werd geraadpleegd als de officiële ScanNet v2-release, met de dataset-release-identificatie ScanNet v2. De RGB-D indoor scene benchmark werd benaderd via de officiële NYU Depth Dataset V2-release, met release-identificatie NYU Depth Dataset V2. De beschrijvende publicatie DOI voor de grootschalige indoor 3D-benchmark is 10.1109/CVPR.2017.261, en de beschrijvende publicatie DOI voor de RGB-D indoor scene benchmark is 10.1007/978-3-642-33715-4_54. In deze studie werden geen nieuwe ruwe beelden of RGB-D-datasets gegenereerd. De verwerkte splitbestanden, trainingsconfiguratiebestanden, ruwe evaluatielogboeken, numerieke bronbestanden die Tabel 2, Tabel 3, Tabel 4, Tabel 5, Tabel 6, Tabel 7 en Tabel 8 ondersteunen, en Figuur 5, Figuur 6, Figuur 7, Figuur 8, Figuur 9 en Figuur 10, getrainde modelgewichten en broncode zijn gedeponeerd in figshare onder DOI: 10.6084/m9.figshare.32906765. Het figshare-record bevat de volledige ruwe resultaatgegevens die nodig zijn om de kwantitatieve tabellen en cijfers in dit manuscript te reproduceren. De repository bevat de voorspellingsmaskers, grensevaluatiebestanden, metrische berekeningsscripts, modelcheckpoints en tabelbronbestanden die worden gebruikt voor de gerapporteerde mIoU, Boundary F1, PixelAcc, MeanAcc, computationele complexiteit, robuustheid, verliesfunctievalidatie en node-partitie gevoeligheidsanalyses.

Figuur 1: Vergelijking van semantische discontinuïteit en structurele prior repair-effecten in complexe binnenshuise occlusiescenario's. (A) Originele RGB-afbeelding met grootschalige meubelocclusie. (B) Output van het traditionele basismodel dat fysieke randvervorming en semantische discontinuïteitsdefecten benadrukt. (C) Output van de voorgestelde methode met een cyaan streeplijnperspectiefoverlay die expliciet het 3D-gebouwskelet in kaart brengt voor topologische reparatie van beschadigde kenmerken van de onderliggende structuur. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2: Algemeen semantisch parsing kader geleid door het bouwen van structurele priors. Het diagram schetst de volledige pijplijn, beginnend bij de RGB-beeldinvoer, via de shifted-window visuele feature-extractietak en de structure prior extractie-branch, naar de structuurgestuurde cross-attention module, gevolgd door topologieredenering via de superpixel GCN, en uiteindelijk decoderend in de dichte semantische map. Gedetailleerde indelingen van de berekening van de aandachtsaffiniteitsmatrix, het doorgeven van grafberichten en de gezamenlijke optimalisatieverliesfuncties zijn rechts weergegeven. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3: Stroomdiagram van affiniteitsmatrix en topologische connectiviteitsconstructie. De grafiek beschrijft de stapsgewijze wiskundige mappingpijplijn, waarin de transformatie wordt getoond van de invoerafstandsveldkaart en geselecteerde pixelparen, via continue geometrische potentiaal-feature-extractie en gradiëntconsistentie-evaluatie, naar de genormaliseerde affiniteitsmatrix die wordt gebruikt als expliciete ruimtelijke bias voor het cross-attention mechanisme. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 4: Schematisch diagram van superpixelgrafiek convolutieknoopprojectie en featureaggregatie. Het paneel beschrijft het niet-Euclidische topologische redeneerproces: (A) dichte pixelkenmerken die de oorspronkelijke lokale featurematrix en superpixelclusteringsgrenzen tonen; (B) topologieconstructie van superpixelgrafieken waarbij het reguliere rooster wordt afgebeeld op discrete knopen en fysiek verbonden ribben; (C) grafiek convolutionele berichtoverdracht waarbij gerichte aggregatie van lokale kenmerken worden uitgevoerd; en (D) coördinat-terugprojectie waarbij de herstelde macroscopische semantische consistentiekenmerken op het dichte raster worden gepresenteerd. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 5: Kwalitatief vergelijkingsrasterdiagram. De matrix biedt een visuele prestatie-evaluatie over verschillende rijgewijze binnenscènes, waarbij de oorspronkelijke indoor RGB-invoer en ground-truth lay-outs worden vergeleken met de uitvoeren van de masker-aandacht gebaseerde segmentatiebaseline, de cross-modale feature aggregation baseline, de progressieve feature fusion baseline en de voorgestelde methode, die succesvol occluded corners herstelt en dragende oppervlakken uitlijnt. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 6: Ablatieresultaten voor cumulatieve module-integratie. De dual-axis grafiek toont de stapsgewijze prestatieontwikkeling over verschillende modulaire ablatie-instellingen, waarbij de gestage opwaartse traject van de gemiddelde snij- over unie (mIoU) als balken wordt uitgezet en de structurele grens F1-score als een lijngrafiek van de basislijnruggengraat naar het volledige raamwerk. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 7: Computationele complexiteit, trainingstijd en inferentie-efficiëntieverdeling. De multidimensionale bubbelgrafiek laat de afwegingen zien tussen computationele overhead en parsingsnauwkeurigheid. De horizontale as meet floating-point operations (FLOPs), de verticale as geeft mIoU aan, de bubbelgrootte geeft de schaal van trainbare parameters weer en de aangrenzende tekstlabels geven de single-frame inferentielatentie voor elke netwerkarchitectuur weer. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 8: Histogram van grensnauwkeurigheid en metrische scores onder verschillende verliesfunctieconfiguraties. Het gegroepeerde staafdiagram vergelijkt de drijvende effecten van verschillende optimalisatiestrategieën op de onderliggende ruimtelijke logica, en illustreert de significante winsten in mIoU en de structurele grens F1-score die worden behaald door te upgraden van standaard cross-entropieformuleringen naar het voorgestelde structurele consistentieverlies. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 9: Lijngrafiek die de relatie toont tussen de ernst van occlusie en prestatieafnemen. De curve volgt de achteruitgang in nauwkeurigheid over verschillende feature-extractieparadigma's onder milde, matige en ernstige occlusieniveaus, en benadrukt de robuuste topologische stabiliteit en anti-interferentiecapaciteit van het voorgestelde structuurgeleide kader vergeleken met puur pixelgestuurde baselines. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 10: Gevoeligheidsanalyse van de superpixel-knoopschaal. De biaxiale statistische grafiek illustreert de afweging tussen hardwareverwerkingssnelheid en logische redeneernauwkeurigheid over verschillende graafpartitiegroottes, en laat zien hoe het aantal superpixelknopen de nauwkeurigheidsmetrieken beïnvloedt en leidt tot een sterke toename van de gemiddelde inferentietijd. Klik hier om een grotere versie van deze figuur te bekijken.

Netwerklaagnummering	Dimensie van de ingangsknoop	Dimensie van de uitvoerknoop eigenschap	Willekeurige inactivatie-kansinstelling
1	512	256	0.15
2	256	256	0.15
3	256	128	0.1
4	128	64	0.05

Tabel 1: Hyperparameter configuratietabel van netwerkarchitectuur voor convolutionele inferentiemodule. De tabel geeft de netwerklaagnummering, input-knooppunten, outputknooppunten-featuredimensies en willekeurige inactivatiekansinstellingen weer die in het graafredeneernetwerk worden gebruikt.

Configuratie-item	Grootschalige indoor 3D-benchmark	RGB-D indoor scene benchmark
Officiële release-identificatie	ScanNet v2	NYU Dieptedataset V2
Trainingsvoorbeelden gebruikt in deze studie	1201 taferelen	795 afbeeldingen
Validatie- of testmonsters gebruikt voor evaluatie	312 validatie-scènes	654 testbeelden
Totale semantische categorieën	20	40
Resolutie van het invoerbeeld	512 × 512	512 × 512
Initiële leersnelheid	0.0001	0.0001
Batch invoer sample count	8	8
Gewichtsvervalcoëfficiënt	0.01	0.01
Totale trainingsperiodes	300	300
Aantal onafhankelijke runs	5	5

Tabel 2: Experimentele dataset splitsing en uniforme trainingshyperparameterconfiguratie. De tabel geeft grootschalige binnen-3D-datasets en RGB-D indoor scene-dataset-instellingen, instellingen voor het partitioneren van voorbeelden, het aantal semantische categorieën, de leersnelheid, het aantal batch-invoermonsters, de gewichtsverval en het totale aantal trainingiteraties weer.

Netwerkmodelarchitectuur	mIoU	Grens F1	PixelAcc	MeanAcc
SegFormer	0,596 ± 0,003	0,635 ± 0,004	0,838 ± 0,003	0,704 ± 0,004
ConvNeXt UperNet	0,604 ± 0,003	0,642 ± 0,004	0,846 ± 0,003	0,713 ± 0,004
Mask2Former	0,612 ± 0,003	0,654 ± 0,004	0,853 ± 0,003	0,721 ± 0,004
OneFormer	0,621 ± 0,002	0,663 ± 0,003	0,861 ± 0,003	0,733 ± 0,003
MaskDINO	0,628 ± 0,002	0,667 ± 0,003	0,869 ± 0,003	0,741 ± 0,003
CCANet	0,635 ± 0,003	0,671 ± 0,004	0,876 ± 0,003	0,745 ± 0,004
InternImage UperNet	0,641 ± 0,002	0,692 ± 0,003	0,884 ± 0,002	0,756 ± 0,003
CMPFFNet	0,658 ± 0,002	0,712 ± 0,003	0,891 ± 0,002	0,773 ± 0,003
SGCA_GCN	0,687 ± 0,002	0,764 ± 0,003	0,924 ± 0,002	0,816 ± 0,003

Tabel 3: Algemene kwantitatieve vergelijking van binnenscène-parsing baselines op de RGB-D indoor scene validatieset. De tabel geeft mIoU, Boundary F1-score, globale pixelnauwkeurigheid en gemiddelde klassenauwkeurigheid weer voor de mask-attention-based segmentatiebaseline, cross-modale feature-aggregatiebaseline, progressieve feature fusion-baseline en de voorgestelde structuur-geleide netwerkarchitectuur.

Configuratie van netwerkarchitectuur	mIoU	Grens F1	PixelAcc	MeanAcc
Basis verschoven-vensterruggengraat	0,615 ± 0,003	0,630 ± 0,004	0,842±0,003	0,706 ± 0,004
Ruggengraat plus structuurgestuurde kruisaandacht	0,648 ± 0,003	0,685 ± 0,004	0,874 ± 0,003	0,748 ± 0,004
Backbone plus superpixel graafredenering	0,641 ± 0,003	0,676 ± 0,004	0,868 ± 0,003	0,741 ± 0,004
Ruggengraat plus verlies van structurele consistentie	0,632 ± 0,003	0,662 ± 0,004	0,859 ± 0,003	0,732 ± 0,004
Backbone plus cross-attention en grafredenering	0,669 ± 0,002	0,721 ± 0,003	0,897 ± 0,002	0,782 ± 0,003
Ruggengraat plus kruisaandacht en verlies van structurele consistentie	0,660 ± 0,002	0,713 ± 0,003	0,889 ± 0,002	0,773 ± 0,003
Backbone plus grafredeneren en verlies van structurele consistentie	0,653 ± 0,003	0,704 ± 0,003	0,881 ± 0,003	0,765 ± 0,003
Volledig model zonder getekende-afstand veldadditieve bias	0,656 ± 0,003	0,698 ± 0,004	0,884 ± 0,003	0,761 ± 0,004
Volledig model zonder adaptieve structurele weging λ	0,671 ± 0,002	0,736 ± 0,003	0,904 ± 0,002	0,792 ± 0,003
Volledig model zonder coplanaire randbeperking	0,666 ± 0,002	0,728 ± 0,003	0,899 ± 0,002	0,786 ± 0,003
Volledig model zonder symmetrische graafnormalisatie	0,673 ± 0,002	0,737 ± 0,003	0,906 ± 0,002	0,795 ± 0,003
Volledige SGCA_GCN	0,687 ± 0,002	0,764 ± 0,003	0,924 ± 0,002	0,816 ± 0,003

Tabel 4: Uitgebreide kwantitatieve ablatie-analyse van kerncomponenten. De tabel geeft cumulatieve module-integratie, paargewijze modulecombinaties en componentverwijderingsinstellingen weer om de onafhankelijke en coöperatieve bijdragen van structuurgestuurde kruis-aandacht, getekende-afstand veldbias, adaptieve structurele weging, superpixel-grafredenering, coplanaire randconstructie, symmetrische grafnormalisatie en verlies van structurele consistentie te kwantificeren.

Netwerkmodelarchitectuur	Parameters	FLOPs	Piekherinnering	Trainingstijd	Inferentietijd	FPS	mIoU	Grens F1
SegFormer	83,7 M	80,1 G	6,1 GB	10,6 uur	44 ms	22.7	0.596	0.635
ConvNeXt UperNet	60,2 M	91,5 G	6,4 GB	11,2 uur	47 ms	21.3	0.604	0.642
Mask2Former	44,0 M	74,6 G	5,8 GB	9,4 uur	41 ms	24.4	0.612	0.654
OneFormer	64,1 M	103,2 G	7,0 GB	12,9 uur	55 ms	18.2	0.621	0.663
MaskDINO	52,8 M	96,8 G	6,8 GB	12,1 uur	52 ms	19.2	0.628	0.667
CCANet	63,5 M	118,7 G	7,6 GB	14,8 uur	67 ms	14.9	0.635	0.671
InternImage UperNet	70,4 M	112,3 G	7,4 GB	14,2 uur	64 ms	15.6	0.641	0.692
CMPFFNet	58,9 m	104,6 G	7,1 GB	13,1 uur	59 ms	16.9	0.658	0.712
SGCA_GCN	66,8 m	121,4 G	7,9 GB	15,6 uur	61 ms	16.4	0.687	0.764

Tabel 5: Vergelijking van computationele complexiteit, trainingstijd en inferentie-efficiëntie met de algehele nauwkeurigheid van validatiesets. De tabel geeft trainbare parameters, floating-point-operaties, piekgeheugengebruik, trainingstijd voor 300 epochs, single-frame inferentielatentie, frames per seconde, mIoU en Boundary F1-score voor de voorgestelde methode en vergelijkingsnetwerken.

Verliesfunctieconfiguratie	mIoU	Grens F1
Alleen Cross-Entropie (CE)	0.669	0.721
CE + Grens BCE	0.674	0.738
CE + InverseFormverlies	0.681	0.752
CE + Ours SCL	0.687	0.764

Tabel 6: Kwantitatieve vergelijking van verliesfunctievalidatie. De tabel geeft de mIoU en grens F1-score weer onder kruis-entropieverlies, grensbinair kruis-entropieverlies, inverse transformatieverlies en het voorgestelde structurele consistentieverlies.

Algoritmische modelarchitectuur	Milde occlusie	Matige occlusie	Ernstige occlusie	Non-Manhattan set van anomalieën	Textuurinterferentie-subset
	(mIoU)	(mIoU)	(mIoU)	(mIoU)	(mIoU)
Mask2Former	0.685	0.612	0.421	0.584	0.553
CCANet	0.698	0.635	0.463	0.612	0.566
CMPFFNet	0.715	0.658	0.512	0.635	0.602
SGCA_GCN	0.732	0.687	0.645	0.628	0.649

Tabel 7: Subset-specifieke robuustheidsanalyse van extreme occlusieverdeling en niet-Manhattan structuren. De tabel geeft veranderingen aan in parsingsnauwkeurigheid over de subsets van milde-occlusie, matige occlusie, ernstige occlusie, uitdagende verlichting, textuurinterferentie en niet-Manhattan-anomalie.

Aantal superscale-knooppunten	mIoU	GrensF1	Gemiddelde inferentietijd (ms)
64	0.641	0.695	45
128	0.665	0.732	52
256	0.687	0.764	61
512	0.678	0.751	95
1024	0.662	0.735	185

Tabel 8: Analyse van ruimtelijke gevoeligheid van de knooppuntpartitieschaal in topologiegrafiek. De tabel geeft de mIoU, de structurele grens F1-score en de gemiddelde inferentietijd over verschillende instellingen van superpixel-knooppunten weer.

Discussie

Het algoritme van dit artikel koppelt de hiërarchische visuele kenmerken die door een shifted-window hiërarchische transformatorencoder worden vastgelegd nauw aan de eerdere diepte van de Manhattan 3D-begrenzingsbox die wordt gegenereerd door lijnsegmentdetectie, waardoor een zeer precisie semantische reconstructie van complexe binnenscènes wordt bereikt. Een structuurgestuurd kruis-aandachtmechanisme dwingt het visuele signaal om zich uit te lijnen met de werkelijke geometrische grens die door de SDF is gekalibreerd, waardoor de continuïteit van laagniveaukenmerken in lokaal afgesloten gebieden⁴² wordt hersteld. Een topologiegraaf wordt geconstrueerd met superpixelknopen die worden gegenereerd door een iteratief lokaal clustering-algoritme, dat een GCN aanstuurt om feature-aggregatie uit te voeren onder fysieke coplanaire beperkingen, wat de consistentie van de macroscopische semantische verdeling⁴³ waarborgt. Experimentele resultaten tonen aan dat de methode een gemiddelde intersectie over union-ratio van 68,7% bereikt met een standaarddeviatie van 0,2%, een praktische technische waarde, een structurele grens F1-score van 76,4% met een standaarddeviatie van 0,3%, en een gemiddelde inferentietijd van 61 ms met een configuratie van 256 superpixelknooppunten, wat een bewuste afweging weerspiegelt waarbij de nauwkeurigheid van grensreconstructie boven de uiteindelijke inferentie-efficiëntie⁴⁴ wordt gesteld. Robuustheidstests tonen verder aan dat het model sterke topologie-reparatiecapaciteiten vertoont onder extreme omstandigheden van grootschalig visueel signaalverlies. Door structureel consistentieverlies te introduceren, wordt de nauwkeurigheid van de uitlijning van het voorspelde masker met de nul-afstand fysieke grens die door de SDF is gekalibreerd, verbeterd, wat een synergetische optimalisatie van computationele complexiteit en parsingskwaliteit⁴⁵ bereikt. Dit schema biedt een feature-fusiebenadering gebaseerd op de wetten van de driedimensionale ruimte en toont logische consistentie in topologiereparatie bij grootschalige meubelocclusie en fysieke randvervorming⁴⁶. De onderzoeksresultaten bieden een robuust fysisch-geometrisch beperkingskader voor intelligent ruimtelijk redeneren en hoogprecisie 3D-reconstructie, en hebben praktische technische waarde voor robotvisuele navigatie en scèneherkenningstaken in echte fysieke omgevingen.

Het mechanisme van het afleiden van de geometrische topologie, dat sterk afhankelijk is van de Manhattanwereldhypothese, lijdt aan passende bias bij het omgaan met onregelmatige architectonische ruimtes met gebogen muren of niet-orthogonale grenzen⁴⁷. Om deze geometrische modelleringsbottleneck te overwinnen, zullen latere netwerkiteraties meervoudige-polynomiale oppervlakpassende algoritmen en niet-uniforme rationale B-spline kromme-extractiemodules integreren in de fysisch-prior-tak. Deze universele ruimtelijke modelleringsstrategie vertaalt starre orthogonale lijnen in dynamisch vervormbare topologische grenzen, waardoor de parsingsnauwkeurigheid van het algoritme in anomalistische binnenruimtelijke indelingen continu wordt verbeterd.

De geometrische voorafgaande extractie is afhankelijk van de basislijnsegmentdetector, waardoor het systeem kwetsbaar is voor structurele maskervervorming bij het verwerken van binnenscènes die worden gedomineerd door reflecterende of transparante materialen⁴⁸. Het structurele consistentieverlies roept direct de SDF aan die door deze detector wordt gegenereerd, waardoor een gesloten afhankelijkheidslus ontstaat tussen voorafgaande extractie en gradiëntoptimalisatie. Wanneer visuele interferentie afwijkende lijnsegmentdetecties veroorzaakt, worden de gebrekkige geometrische coördinaten in de SDF gemapt en direct versterkt door het structurele consistentieverlies tijdens backpropagatie, waardoor de netwerkparameters worden gedwongen om onjuiste fysieke grenzen⁴⁹ te passen. Latere algoritmische iteraties zullen multimodale adaptieve fusietakken introduceren om dieptekaarten en infraroodradiometrische data te verwerken, waardoor geometrische structurele waarneming wordt losgekoppeld van de beperkingen van zichtbaar licht en de ruimtelijke redeneergrens in extreme optische omgevingen wordt uitgebreid.

Om de bottleneck bij prestatiegevoeligheid veroorzaakt door de vaste superpixel-nodeschaal op te lossen, zal volgend onderzoek een leerbare, adaptieve graph pooling-module ontwerpen die dynamisch het node-partitioneringsschema bepaalt op basis van de complexiteit van de afbeelding, waardoor het netwerk niet afhankelijk is van handmatige hyperparameter-tuning. Om de beperkingen van hardware-implementatie veroorzaakt door de rekenkracht van het superpixel graph network aan te pakken, zullen toekomstige optimalisatieplannen lichtgewicht feature-ontkoppelingsmechanismen en gated aggregatiemodules introduceren om de parameterschaal te comprimeren en de matrixbewerkingen van de geometrische prior branch⁵⁰ te versnellen.

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
AdamW optimizer	PyTorch Contributors	https://pytorch.org/
CCANet	Zihao Z. et al.	https://doi.org/10.1109/TCDS.2024.3455356
CMPFFNet	Zhou W. et al.	https://doi.org/10.1109/TASE.2023.3332021
ConvNeXt	Meta AI Research	https://github.com/facebookresearch/ConvNeXt
InternImage	OpenGVLab	https://github.com/OpenGVLab/InternImage
Mask2Former	Meta AI Research	https://github.com/facebookresearch/Mask2Former
MaskDINO	IDEA-Research	https://github.com/IDEA-Research/MaskDINO
NYUv2		http://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html
OneFormer	SHI Labs	https://github.com/SHI-Labs/OneFormer
RANSAC algorithm	scikit-learn developers	https://scikit-learn.org/
ScanNet V2		http://www.scan-net.org/
SegFormer	NVIDIA	https://github.com/NVlabs/SegFormer
SGCA_GCN	Authors of this study	Proposed method (N/A)
Softmax function	PyTorch Contributors	https://pytorch.org/
Swin Transformer	Microsoft Research	https://github.com/microsoft/Swin-Transformer