A Semantic Parsing Method for Indoor Scene Images Based on Prior Knowledge of Building Structure

Podsumowanie

This study proposes an algorithm that tightly couples the hierarchical visual features captured by a shifted-window hierarchical transformer encoder with the prior depth of the Manhattan 3D bounding box generated by line-segment detection, thereby achieving high-precision semantic reconstruction of complex indoor scenes.

Streszczenie

To address semantic prediction discontinuities and physical boundary distortions caused by furniture occlusion in complex indoor scenes, this paper proposes a semantic parsing method that leverages building-structure priors. The scheme uses a shifted-window hierarchical transformer encoder to extract multi-scale visual features and combines a gradient-direction-consistency line segment detection algorithm to construct a Manhattan 3D bounding box. This bounding box is transformed into a signed distance field (SDF) prior to encoding discrete geometric contours into a continuous physical potential field. A structure-guided cross-attention mechanism forces the visual signals to align with real 3D orthogonal geometric boundaries, restoring feature continuity in occluded areas. A spatial adjacency graph constructed from superpixel nodes drives a Graph Convolutional Network (GCN) to aggregate features, ensuring macroscopic semantic consistency within the physical load-bearing plane. A combination of pixel-level cross-entropy loss and a custom-designed structural consistency loss strengthens the constraints, penalizing out-of-bounds predictions. Experiments across multiple independent runs show that the mean intersection over union (mIoU) reaches 68.7% with a standard deviation of 0.2%, and the structural boundary F1 score reaches 76.4% with a standard deviation of 0.3%, confirming the robust performance of the proposed modules. With a single image node size of 256, the average inference time remained at 61 ms.

Wprowadzenie

Indoor scene image semantic analysis occupies a core position in three-dimensional spatial cognition and intelligent spatial reasoning tasks^1,2. Visual feature extraction in real physical environments is often severely hindered by complex spatial layouts³. Solving the semantic discontinuity and physical boundary distortion of the building foundation structure building foundation structure caused by large-scale furniture occlusion is important for spatial cognition research^4,5. Accurately removing interference from cluttered objects and restoring the physical continuity of the same wall and floor will directly determine the accuracy of three-dimensional scene reconstruction and global spatial logic analysis⁶. The semantic discontinuity caused by large-scale furniture occlusion and the structural repair effect of the proposed building-prior guidance are illustrated in Figure 1, where the occluded red green blue (RGB) input in Table 1A, baseline mask distortion in Figure 1B, and structure-prior repair result in Figure 1C are compared under the same indoor scene condition.

To meet the accuracy requirements of spatial logical reasoning, current mainstream pixel-driven visual networks face multiple obstacles when dealing with complex indoor environments^7,8. Indoor spaces are often filled with dense furniture and cluttered furnishings, resulting in a significant loss of low-level visual boundary signals in the images⁹. Conventional feature extraction mechanisms rely excessively on local two-dimensional color and texture responses, lacking a macroscopic understanding of the rigid orthogonal laws of three-dimensional man-made structures¹⁰. This limitation of the local receptive field makes feature propagation easily interrupted, making it difficult to extend the global topology across occlusions¹¹. Currently, there is an urgent need to solve the core problem of semantic prediction discontinuities and severe distortions of physical boundaries caused by occlusion and interference¹².

To address structural faults in building foundations caused by occlusion and interference, the academic community has developed a variety of targeted intervention measures¹³. Cross-modal feature aggregation networks effectively compensate for the inherent deficiencies of a single visual modality in spatial perception by introducing depth maps or text priors to assist with red-green-blue (RGB) images^14,15. Boundary perception and adaptive context selection frameworks inject physical contour enhancement strategies into the feature decoding stage, which greatly improves the edge fit of prediction results in complex scenes^16,17. Inference models based on GCNs and feature interaction mechanisms significantly improve feature smoothness and macro-semantic consistency in homogeneous regions by constructing node-level connections^18,19. Integrating explicit Manhattan structural priors into the visual feature extraction pipeline enforces geometric consistency boundaries, which addresses the feature discontinuity challenges caused by extensive foreground object occlusion²⁰.

To address the core challenge of semantic prediction faults and severe distortions of physical boundaries associated with building infrastructure, a semantic parsing framework is proposed based on a closed-loop coupling mechanism incorporating architectural priors. This framework transcends naive engineering pipelines by establishing a bidirectional mapping alignment between continuous geometric potential fields and discrete visual feature manifolds, forming a non-trivial synergy that rectifies occlusion errors through structural laws. This scheme relies on a multi-scale visual backbone network and a line-segment detection algorithm based on vanishing-point estimation to acquire local appearance features and orthogonal edge priors that represent the Manhattan 3D bounding box in parallel, and then transform them into an SDF. The algorithm employs a structure-guided cross-attention mechanism, using visual features as query vectors and treating SDF features as keys and values for dot-product calculations, thereby forcing the visual signal to align with the real 3D geometric boundary in the feature space. A spatial adjacency graph constructed from superpixel nodes and spatial coplanarity edge features is fed into a GCN to perform cross-node feature aggregation and message passing. The end-to-end parameter optimization process jointly employs pixel-level cross-entropy and a custom structural consistency loss function, which strictly constrains and penalizes predicted pixels that cross the building-prior boundary. The complete semantic parsing pipeline is summarized in Figure 2, which links RGB image input, geometric prior extraction, cross-attention alignment, superpixel graph reasoning, and semantic mask decoding within a unified architecture.

Early scene parsing networks relied on convolutional operations to capture local appearance textures, but due to limitations in local receptive fields, they exhibited insufficient semantic coherence of large-scale targets^21,22. Previous studies have applied the self-attention module of the visual Transformer architecture to extract global contextual information and construct long-distance pixel association features^23,24. Cross-modal multi-view feature aggregation strategies extract the three-dimensional geometric spatial features of the scene by fusing depth-map point clouds and text command inputs^25,26. Hybrid attention mechanisms for feature fusion targeting specific domains have gradually matured. By constructing feature interaction bridges, they have significantly reduced energy loss and feature sparsity in multi-scale transmission of visual signals and improved the robustness of complex-structure parsing. Cutting-edge encoder designs jointly integrate and infer high-frequency domain spatial details alongside global and local features, strengthening the network's ability to distinguish fine-grained semantic categories with high similarity and improving indoor parsing accuracy^27,28. Recent advancements in semantic segmentation architectures provide valuable references for optimizing computational efficiency and spatial perception. Models designed for dense prediction and multi-scale contextual aggregation extract fine-grained geometric features from complex backgrounds. Feature decoupling and synergistic fusion strategies address the semantic ambiguity in boundary regions. Lightweight attention mechanisms and gated aggregation modules optimize the parameter distribution, thereby accelerating inference while preserving local structural details. Implementing these efficient architectural designs offers theoretical guidance for reducing the computational overhead of non-Euclidean topological inference operations in indoor scene parsing.

Building structure priors and 3D layout estimation are used to correct local visual parsing errors²⁹. Previous studies have extracted orthogonal and parallel geometric features of indoor buildings as inference constraints to reduce network prediction bias caused by cluttered indoor backgrounds^30,31. Existing schemes use line segment detection algorithms and image ablation point analysis techniques to generate Manhattan 3D bounding boxes to map the physical boundaries of rooms and assist in the localization of underlying visual features³². The joint architecture of the boundary awareness module and the multi-scale context implicitly embeds prior structural information into the high-dimensional feature decoding process, forcing the network to output semantic masks that closely match the real physical contours, effectively improving the jaggedness and blurring of object edges³³. Semi-supervised or weakly supervised loss function designs with boundary enhancement properties have been widely explored. Relying on rigorous mathematical formulas to punish independent pixel classification behavior that violates spatial topological rules, the geometric smoothness and structural integrity of the final segmentation result are guaranteed from the source of gradient optimization³⁴.

Some studies have used graph neural networks to perform cross-domain aggregation of visual features and reasoning about topological relationships in high-dimensional space³⁵. The superpixel segmentation algorithm pre-aggregates adjacent pixel blocks with similar color response and texture features into independent connected nodes. The superpixel segmentation algorithm compresses the computational redundancy of the graph structure at the image level and preserves the basic geometric topology of the image³⁶. The GCN built on the high-dimensional node feature vector, and the adjacency matrix representing spatial proximity drives the efficient directional transmission and interactive fusion of multi-scale visual information along the physical connected graph in the spatial domain^37,38. The application of the temporal information enhancement module and the hybrid multi-scale skip connection mechanism suppresses the excessive smoothing and homogenization of node features generated in the process of multi-layer deep message passing³⁹. The multi-scale graph wavelet transform technology, and the pseudo-label element learning optimization strategy optimize the anti-background noise mechanism of the node feature update formula, so that features with the same semantic attributes maintain a cooperative response mode in complex network topology⁴⁰. The graph-based reasoning mechanism maps regular pixel grids to non-Euclidean topological spaces to perform feature aggregation calculations of irregular building structures and interior components⁴¹.

Protokół

Przed trenowaniem sieci przygotowano zestawy danych scen RGB wewnątrz pomieszczeń oraz ich adnotacje semantyczne. Wielkoskalowy zestaw danych 3D wnętrz oraz zestaw danych scen RGB-D wewnątrz pomieszczeń (patrz Tabela materiałów) pobrano z ich oficjalnych repozytoriów. Zachowano sceny wnętrz zawierające przesłonięcia przez meble, zmienność oświetlenia, przerwy w granicach ścian oraz złożone układy przestrzenne, aby dopasować je do docelowego scenariusza segmentacji. Etykiety semantyczne przekształcono w indeksowane jednokanałowe maski adnotacji w formacie PNG, a wszystkie obrazy RGB i maski semantyczne zmieniono rozmiarem do 512 × 512 pikseli. Podczas trenowania zastosowano augmentację danych online, obejmującą losowe poziome odbicie lustrzane z prawdopodobieństwem 0,5, losowe skalowanie jasności w zakresie od 0,8 do 1,2 oraz losowy obrót od −10° do +10°, aby rozszerzyć rozkład układów strukturalnych. Kanały RGB znormalizowano, przyjmując wartości średnie 0,485, 0,456 i 0,406 oraz wartości odchylenia standardowego 0,229, 0,224 i 0,225. W przypadku wielkoskalowego benchmarku 3D wnętrz zastosowano oficjalny podział danych wykorzystany w tej badaniu, obejmujący 1201 scen treningowych i 312 scen walidacyjnych do opracowania i walidacji modelu. Benchmark scen RGB-D wewnątrz pomieszczeń realizowano zgodnie z oficjalnym protokołem ewaluacyjnym, wykorzystując 795 obrazów treningowych i 654 obrazy testowe. W przypadku tych dwóch publicznych benchmarków nie stosowano dodatkowego podziału procentowego.

Jako szkielet kodera transformera z przesuwnym oknem zainicjowano hierarchiczną sieć transformatora wizualnego o przesuniętym oknie (patrz Tabela Materiałów). Rozmiar osadzania patchy (patch embedding) skonfigurowano na 4 x 4 piksele. Wymiary osadzania dla czterech etapów hierarchicznych ustawiono odpowiednio na 128, 256, 512 i 1024, a liczbę bloków transformera w tych czterech etapach na 2, 2, 18 i 2. Rozmiar lokalnego okna uwagi ustawiono na 7 x 7, natomiast liczbę głowic uwagi dla czterech etapów hierarchicznych na 4, 8, 16 i 32. Wewnątrz wszystkich warstw wielowarstwowego perceptrona zastosowano nieliniowe ciągłe funkcje aktywacji. Downsampling przestrzenny przeprowadzano poprzez operacje łączenia patchy (patch-merging) z krokiem 2 po każdym etapie hierarchicznym. Podstawowa architektura sieci oraz hiperparametry modułu wnioskowania splotowego zostały podsumowane w Tabeli 1.

Następnie przeprowadzono ekstrakcję cech z map cech wejściowych przy użyciu mechanizmu przesuniętego okna samo-uwagi (shifted-window self-attention). Każda mapa cech została podzielona na niezachodzące na siebie lokalne okna o wymiarach przestrzennych 7 × 7. Mechanizm uwagi w regularnych oknach oraz uwaga w przesuniętych oknach były stosowane naprzemiennie w sąsiadujących blokach transformera z przesuniętymi oknami. Odległość przesunięcia cyklicznego ustawiono na 3 piksele, a w obrębie każdego lokalnego okna uwagi zastosowano kodowanie względnego obciążenia pozycyjnego. Lokalne cechy wizualne zostały zagregowane za pomocą wielogłowicowej samo-uwagi w celu wygenerowania hierarchicznych, wieloskalowych reprezentacji cech.

Strukturalne priory Techniki Manhattan zostały wyekstrahowane z wewnętrznych obrazów RGB. Segmenty krawędzi strukturalnych wykryto za pomocą algorytmu detekcji segmentów linii opartego na spójności kierunku gradientu. Dominujące kierunki strukturalne zgrupowano przy użyciu algorytmu RANSAC (random sample consensus) (patrz w Tabela materiałów) na podstawie estymacji punktu zbiegu. Zrekonstruowano trzy wzajemnie prostopadłe kierunki Manhattan, aby wygenerować reprezentację 3D w formie ograniczającego prostokąta Manhattan (Manhattan 3D bounding box). Zrekonstruowaną granicę strukturalną przekształcono w mapę SDF poprzez obliczenie minimalnej odległości euklidesowej z każdego piksela do najbliższego odcinka linii granicznej.

Cechy wzajemnej uwagi sterowanej strukturą zostały wygenerowane po uzyskaniu cech wizualnych i priorytetów SDF. Rozmaitość cech wizualnych została odwzorowana na tensor zapytania Q za pomocą liniowej macierzy transformacji W sub Q element of double-struck cap R to the formation matrix W sub Q element of double-struck cap R to the formation matrix . Priorytet ciągłego pola dystansu został odwzorowany na tensor klucza K oraz tensor wartości V za pomocą macierzy transformacji , a wymiar modelu ustawiono na 512. Modulacja wielogłowicowa podzieliła przestrzeń projekcji na 8 niezależnych podprzestrzeni, z których każda głowica miała wymiar 64. Priorytet układu przestrzennego rzutował dyskretne współrzędne pikseli na ciągłe pole potencjału i generował macierz powinowactwa strukturalnego S jako jawne addytywne obciążenie przestrzenne do modulacji macierzy podobieństwa iloczynu skalarnego. Tensor cech wizualnych posłużył jako źródło zapytania, ponieważ analiza semantyczna wymaga, aby każda lokalizacja wizualna aktywnie pobierała strukturalnie spójne dowody z przestrzeni priorytetów geometrycznych. Priorytet SDF został użyty jako źródło klucza i wartości, ponieważ przechowuje on ciągły dystans brzegowy oraz strukturalne wskazówki wewnątrz-zewnątrz pochodzące z układu Manhattan. Człon iloczynu skalarnego mierzył kompatybilność między wyglądem semantycznym a priorytetem geometrycznym, podczas gdy addytywny człon strukturalny λS przesuwał wagi uwagi w stronę pikseli znajdujących się na tej samej płaszczyźnie fizycznej lub w pobliżu tego samego konturu architektonicznego. Współczynnik λ reprezentował stopień pewności w zakresie wyekstrahowanego priorytetu strukturalnego i kontrolował zakres, w jakim sztywne ograniczenia ortogonalne zostały włączone do rozkładu uwagi. Sformułowanie to zredukowało dyfuzję cech międzygranicznych spowodowaną przesłonięciem przez meble i zachowało adaptacyjne rozluźnienie w układach nie-Manhattan. Rozkład uwagi sterowanej strukturą został obliczony zgodnie z Równaniem 1.

Równanie 1:

gdzie A oznacza macierz agregacji uwagi sterowanej strukturą, Q oznacza tensor zapytania (query) wygenerowany z cech wizualnych, K oznacza tensor klucza (key) wygenerowany z cech a priori SDF, V oznacza tensor wartości (value) wygenerowany z reprezentacji strukturalnych a priori, dk oznacza wymiar cech tensora klucza, λ oznacza adaptacyjny współczynnik wag strukturalnych używany do określenia pewności geometrycznej obszarów lokalnych i rozluźnienia sztywnych ograniczeń ortogonalnych w przestrzennych układach niemanhattańskich, a S oznacza macierz powinowactwa SDF. Dzielenie przez dk ustabilizowało skalę logitów uwagi i zapobiegło powstawaniu nadmiernie skoncentrowanych wag uwagi przy dużych wymiarach cech. Znormalizowana funkcja wykładnicza (patrz: Tabela materiałów) przekształciła zmodyfikowane wyniki podobieństwa w znormalizowany rozkład przestrzenny, co pozwoliło każdemu pikselowi agregować informacje strukturalne a priori w oparciu o spójność semantyczną i geometryczną. Taka konstrukcja wyjaśnia, dlaczego wygląd wizualny i priory teoretyczne granic architektonicznych są łączone na poziomie uwagi, a nie poprzez bezpośrednią konkatenację cech.

Graf topologii superpikseli został zbudowany na podstawie mapy cech wyrównanej strukturalnie. Mapę cech podzielono przy użyciu algorytmu generowania regionów przestrzennych. Liczbę superpikseli ustawiono na 256, współczynnik zwartości na 10, współczynnik wygładzania Gaussa na 1,0, a liczbę iteracji na 10. Ograniczenia bliskości przestrzennej wymuszono poprzez ustawienie wagi metryki odległości na stały stosunek 1,0 do odległości w przestrzeni kolorów cech podczas klastrowania, co pozwoliło na utrzymanie jednorodnego generowania węzłów na gęstych granicach szumu. Piksele o jednolitych odpowiedziach semantycznych zostały zagregowane w węzły superpikseli. Krawędzie grafu zbudowano zgodnie z relacjami sąsiedztwa przestrzennego, siłą powinowactwa SDF oraz ograniczeniami spójności geometrycznej współpłaszczyznowości. Proces budowy macierzy powinowactwa strukturalnego i łączności topologicznej przedstawiono na Rysunku 3, który obrazuje, w jaki sposób prowadzenie SDF zostało przekształcone w relacje przestrzenne na poziomie grafu.

Sformułowanie grafu wprowadzono w celu przekształcenia gęstego rozumowania na poziomie pikseli w rozumowanie przestrzenne na poziomie węzłów w obrębie jednorodnych regionów strukturalnych. Każdy węzeł superpiksela reprezentował lokalny obszar o podobnej odpowiedzi semantycznej i ciągłości przestrzennej, podczas gdy każda krawędź reprezentowała niezawodną ścieżkę transmisji cech, podlegającą ograniczeniom sąsiedztwa, powinowactwa pola odległości oraz spójności koplanarnej. Taka konstrukcja ograniczyła wpływ izolowanych szumów pikselowych i umożliwiła przysłoniętym regionom ścian, podłóg i sufitów odbieranie komunikatów z fizycznie sąsiednich węzłów. Konstrukcja krawędzi służyła zatem jako matematyczny pomost pomiędzy ciągłym prowadzeniem SDF a dyskretnym, nieeuklidesowym rozumowaniem grafowym.

Skonfigurowano trójwarstwową grafową splotową sieć rozumowania z wymiarami cech ukrytych wynoszącymi 512, 256 i 128. Grafowa warstwa splotowa przeprowadzała wygładzanie cech w strukturze grafu w oparciu o relacje przestrzenne węzłów. Autopętla macierzy sąsiedztwa pozwalała zachować pierwotny stan każdego węzła podczas przekazywania komunikatów, zapobiegając usunięciu cech niewielkiego regionu strukturalnego przez otaczające go duże regiony. Symetryczna normalizacja skalowała elementy macierzy sąsiedztwa przez iloczyn odwrotności pierwiastków kwadratowych stopni węzłów, aby węzły o wysokim i niskim stopniu wnosiły wkład o zbliżonej wartości liczbowej podczas propagacji. Propagacja w przód realizowała lokalną agregację przestrzenną, w której stan każdego węzła absorbował wysokowymiarowe cechy z sąsiednich klastrów współpłaszczyznowych przed zastosowaniem elementowej nieliniowej funkcji prostowania. Taka konstrukcja sprawiła, że grafowa warstwa splotowa przybliżała dyfuzję semantyczną wzdłuż fizycznie znaczących płaszczyzn wewnętrznych, zamiast nieograniczonego wygładzania ponad granicami niepowiązanych obiektów. Cechy węzłów grafu oceniano zgodnie z Równaniem 2.

Równanie 2:

Projekcja z gęstych cech pikseli na węzły superpikseli, przekazywanie wiadomości za pomocą splotu grafowego oraz odwrotna projekcja współrzędnych zostały przedstawione na Rysunku 4, co wyjaśnia ścieżkę agregacji cech od regularnych siatek obrazu do topologii nieeuklidesowej i z powrotem do gęstej reprezentacji semantycznej. Projekcja z gęstych cech pikseli na Rysunku 4A na węzły superpikseli na Rysunku 4B, przekazywanie wiadomości za pomocą splotu grafowego na Rysunku 4C oraz odwrotna projekcja współrzędnych na Rysunku 4D wyjaśniają ścieżkę agregacji cech od regularnych siatek obrazu do topologii nieeuklidesowej i z powrotem do gęstej reprezentacji semantycznej.

gdzie H(l) oznacza tensor cech węzłów l-tej warstwy splotu grafowego, Â oznacza macierz sąsiedztwa z połączeniami samopętlowymi, D oznacza macierz stopni odpowiadającą macierzy sąsiedztwa, W(l) oznacza uczną macierz wag l-tej warstwy splotu grafowego, a σ oznacza funkcję aktywacji ReLU (Rectified Linear Unit). Termin ÂH(l) agreguje cechy z sąsiednich węzłów superpikseli, natomiast D^−1/2 i D^−1/2 balansują wkład węzłów o różnej gęstości połączeń. Uczna macierz W(l) rzutuje zagregowane cechy węzłów do nowej przestrzeni semantycznej, co pozwala warstwie grafowej odróżnić spójność strukturalną od zwykłego sąsiedztwa przestrzennego. Nieliniowa aktywacja zachowuje różnice w odpowiedziach między obszarami koplanarnymi a niekoplanarnymi po agregacji cech.

Cechy segmentacji semantycznej zostały zdekodowane po wnioskowaniu grafowym. Dekoder skonstruowano z trzech etapów upsamplingu z interpolacją biliniową oraz operacji fuzji z połączeniami pomijającymi (skip-connections) między warstwami. Płytkie cechy przestrzenne kodera zostały połączone z wysokopoziomowymi semantycznymi cechami dekodera poprzez fuzję kanałową. Rozdzielczość cech przywrócono do pierwotnego rozmiaru obrazu, a końcowa mapa przewidywania prawdopodobieństwa semantycznego została wygenerowana za pomocą warstwy splotu 1 × 1.

Pełna sieć analizy semantycznej została wytrenowana przy użyciu optymalizatora z rozdzielonymy zanikiem wag (weight-decay) (patrz Tabela Materiałów). Początkowa szybkość uczenia została ustawiona na 0,0001, współczynnik zaniku wag na 0,01, a rozmiar serii (batch size) na 8 dla obu publicznych zestawów referencyjnych. Współczynnik zaniku pierwszego momentu ustawiono na 0,9, współczynnik zaniku drugiego momentu na 0,999, a współczynnik epsilon dla stabilności numerycznej na 1 × 10⁻⁸. Stratę walidacyjną monitorowano po każdej epoce, a punkty kontrolne (checkpoints) zapisywano w momencie wzrostu mIoU na zbiorze walidacyjnym. Sieć była trenowana przez 300 epok przy użyciu wielomianowej strategii zaniku szybkości uczenia z potęgą zaniku równą 0,9. Przeprowadzono pięć niezależnych procesów trenowania z różnymi losowymi inicjacjami ziarna (random-seed), aby stworzyć statystycznie rygorystyczną bazę oceny. Sieć optymalizowano wspólnie, wykorzystując stratę entropii krzyżowej na poziomie pikseli oraz stratę spójności strukturalnej. Wszystkie eksperymenty wykonano na platformie obliczeniowej wyposażonej w sprzęt do obliczeń równoległych o dużej pojemności pamięci; szczegółowe informacje o sprzęcie podano w Tabeli Materiałów.

Wspólna optymalizacja wymusiła geometryczne wyrównanie granic poprzez obliczenie wielkości gradientu przestrzennego tensora prawdopodobieństwa klasy. Strata spójności strukturalnej została wykorzystana jako regulator, mnożąc normę gradientów przestrzennych predykcji przez ciągłe wartości SDF. Uzasadnienie matematyczne polegało na tym, że zmiany kategorii semantycznej powinny koncentrować się w pobliżu rzeczywistych konturów architektonicznych, gdzie SDF dąży do zera, podczas gdy wnętrza płaskich ścian, podłóg i sufitów powinny zachowywać gładkie odpowiedzi semantyczne. Gdy pojawiał się duży gradient predykcji daleko od granicy strukturalnej, człon pola dystansu zwiększał karę i zniechęcał do fałszywych przejść semantycznych wewnątrz jednorodnej płaszczyzny fizycznej. Gdy gradient predykcji pojawił się w pobliżu konturu o zerowym dystansie, kara pozostawała ograniczona i zachowywała uzasadnione przejścia klas wzdłuż granic architektonicznych. Regiony przejścia semantycznego zostały ograniczone tak, aby pokrywały się z konturami zerowego dystansu SDF, zgodnie z równaniem 3.

Równanie 3:

gdzie L_total oznacza końcową funkcję celu optymalizacji, L_ce oznacza stratę entropii krzyżowej na poziomie pikseli, L_scl oznacza stratę kary za spójność strukturalną, a α oznacza współczynnik wagowy straty strukturalnej. Termin entropii krzyżowej zapewniał semantyczny nadzór na poziomie pikseli za pomocą masek adnotacji, podczas gdy termin spójności strukturalnej narzucał regularyzację geometryczną z wykorzystaniem priorytetów architektonicznych. Współczynnik wagowy α równoważył rozpoznawanie kategorii i dopasowanie granic, zapobiegając przeuczeniu optymalizacji pod kątem dokładności lokalnych etykiet lub sztywnych konturów strukturalnych. Ten wspólny cel powiązał semantykę wizualną, spójność granic fizycznych oraz trenowalne parametry sieci w ramach jednolitego celu optymalizacji.

Wyniki

Układ eksperymentalny

W niniejszym badaniu wykorzystano dwa standardowe zestawy danych do analizy scen wewnętrznych – wielkoskalowy trójwymiarowy zestaw danych wnętrz oraz zestaw danych scen wewnętrznych RGB-D – w celu oceny wydajności i dostrojenia modelu. Wielkoskalowy trójwymiarowy zestaw danych wnętrz zawiera realistycznie zeskanowane, złożone sceny przestrzeni fizycznej oraz widoki RGB o wysokiej rozdzielczości, zapewniając wysokoprecyzyjne, pikselowe etykiety semantyczne chmury punktów 3D oraz maski segmentacji rzutowania przestrzennego 2D. Zawarte w nim realistyczne dane rekonstrukcji siatki przestrzeni fizycznej oraz właściwości płaszczyzn ortogonalnych stanowią kryterium porównawcze prawdy geometrycznej dla dokładnego konstruowania trójwymiarowych ramki ograniczającej w modelu Manhattan w gałęzi ekstrakcji. Zestaw danych scen wewnętrznych RGB-D zawiera obrazy głębi wnętrz zasłonięte przez meble i inne przedmioty i służy do testowania dokładności globalnego rozumowania logicznego sieci oraz jej odporności na okluzje.

Algorytm wykorzystuje mIoU do pomiaru pokrycia przestrzennego między przewidywanym a rzeczywistym rozkładem semantycznym, wprowadzając jednocześnie miarę F1 dla granic strukturalnych, aby rygorystycznie ocenić dokładność dopasowania między przewidywaną maską a krawędziami struktur fizycznych o zerowej odległości, skalibrowanymi przez SDF. Podczas obliczeń ustalono stały próg błędu odległości pikseli w przestrzeni euklidesowej, aby określić, czy piksele krawędzi wygenerowane przez sieć przecinają rzeczywiste kontury fizycznych granic budynków. Ten podwójny system ewaluacji ogranicza błędy klasyfikacji w dużych blokach semantycznych, wzmacniając jednocześnie mikroilościową ocenę efektu rekonstrukcji topologicznej linii sztywnych. Aby zachować spójność między konfiguracją danych eksperymentalnych a procesem optymalizacji, skala zbioru danych oraz podstawowe hiperparametry uczenia zostały podsumowane w Tabeli 2. Tabela 2 przedstawia jedną autorytatywną konfigurację eksperymentalną dla poprawionego manuskryptu. Wielkoskalowy benchmark 3D wnętrz wykorzystuje 1201 scen treningowych i 312 scen walidacyjnych, benchmark scen wnętrz RGB-D wykorzystuje 795 obrazów treningowych i 654 obrazów testowych, a oba benchmarki są trenowane z rozmiarem partii (batch size) wynoszącym 8, początkową stopą uczenia 0.0001, współczynnikiem decay wag 0.01 oraz 300 epokami treningowymi.

Porównanie z najnowocześniejszymi metodami

Przed przedstawieniem tabeli z ilościowym porównaniem algorytmów analizy scen wewnętrznych, w tej sekcji rygorystycznie zdefiniowano benchmarki testowe wykorzystane w wielowymiarowym systemie ewaluacji. Aby odzwierciedlić wydajność klasyfikacji modelu na różnych poziomach szczegółowości, system ewaluacji uzupełniono o dwie dodatkowe metryki: globalną dokładność pikseli (PixelAcc) oraz średnią dokładność klas (MeanAcc). Metryki te wspólnie tworzą szczegółowy system weryfikacji wydajności algorytmu, stanowiąc rygorystyczny punkt odniesienia dla późniejszej analizy ilościowej. W celu oceny dokładności analizy semantycznej oraz odporności na przesłonięcia proponowanego algorytmu w złożonych przestrzeniach fizycznych, przeprowadzono testy porównawcze z istniejącymi algorytmami na zbiorze walidacyjnym scen wewnętrznych RGB-D. Biblioteka modeli porównawczych obejmuje podstawowe frameworki mask-attention, hierarchiczne transformatory wizyjne, nowoczesne potoki segmentacji w pełni konwolucyjne, zunifikowane architektury gęstej predykcji oraz sieci uwagi międzykanałowej. Ewaluację benchmark rozszerzono o baseline segmentacji oparty na transformerze, baseline zunifikowanej gęstej predykcji, baseline zunifikowanej detekcji i segmentacji, baseline wielkoskalowego fundamentu wizyjnego, baseline w pełni konwolucyjny, baseline segmentacji oparty na mask-attention, baseline agregacji cech międzymodalnych oraz baseline progresywnej fuzji cech (patrz Tabela Materiałów), przy zastosowaniu tego samego zbioru walidacyjnego scen wewnętrznych RGB-D, rozdzielczości wejściowej, harmonogramu treningu oraz protokołu metryk. W proponowanej architekturze sieć sterowana strukturą integruje wieloskalowy szkielet wizyjny z przesuniętym oknem (shifted-window), moduł uwagi krzyżowej sterowany strukturą z SDF oraz GCN superpikseli. Rozszerzone porównanie obejmuje paradygmaty gęstej predykcji opartej na transformerach, gęstej predykcji opartej na konwolucjach, analizy mask-attention, fuzji cech międzymodalnych oraz progresywnej fuzji cech, co umożliwia ocenę wkładu jawnej interwencji w 3D w obrębie granic geometrycznych w odniesieniu do szerszych baseline'ów analizy scen wewnętrznych.

Tabela 3 szczegółowo przedstawia obiektywną ocenę wydajności każdej sieci w odniesieniu do kluczowych metryk ilościowych, podając wartości średnie oraz odpowiadające im odchylenia standardowe z pięciu niezależnych uruchomień. Rozszerzone porównanie z modelem bazowym pozwala ocenić, czy proponowany mechanizm rozumowania sterowanego strukturą przyczynia się do wzrostu dokładności ponad standardowe szkielety gęstej predykcji, sieci segmentacji opartej na maskach oraz sieci fuzji cech RGB-D. Dane eksperymentalne pokazują, że proponowany algorytm osiąga stabilne zyski we wszystkich czterech metrykach ilościowych. Sieci gęstej predykcji oparte na Transformerach oraz sieci uwagi oparte na maskach zachowały silną zdolność do modelowania kontekstu globalnego, jednak ich wartości Boundary F1 pozostały niższe w obecności clutteru pierwszego planu, ponieważ przewidywane maski nie posiadały jawnych ograniczeń fizycznych krawędzi. Sieci fuzji progresywnej i międzymodalnej poprawiły lokalną ciągłość semantyczną, ale ich fuzja cech wciąż opierała się głównie na odpowiedziach wyglądu i głębokości, a nie na strukturalnym priorytecie odległości podpisanej. Proponowana sieć sterowana strukturą osiągnęła mIoU na poziomie 0,687 z odchyleniem standardowym 0,002 oraz średni wynik Boundary F1 wynoszący 0,764 z odchyleniem standardowym 0,003. Rozszerzone porównanie wskazuje, że wzrost wydajności nie wynikał wyłącznie z zastosowania większego szkieletu gęstej predykcji, lecz z łącznego wykorzystania prowadzenia przez pole odległości podpisanej, mechanizmu cross-attention świadomego struktury oraz rozumowania topologicznego opartego na grafach.

Aby przeanalizować ogólną dokładność rozumowania logicznego modelu w warunkach okluzji, zidentyfikowano i wyodrębniono ze zbioru walidacyjnego typowe scenariusze, które były silnie przysłonięte przez meble i inne przedmioty, a następnie przygotowano wizualizacje masek predykcyjnych na poziomie pikseli.

Po zdefiniowaniu schematu metody oraz procesu wnioskowania grafowego na Rysunku 1, Rysunku 2, Rysunku 3 i Rysunku 4, Rysunek 5 ilustruje różnice w predykcjach morfologicznych pomiędzy modelami w warunkach ekstremalnego przesłonięcia. Czerwone prostokąty na mapie siatki porównania jakościowego zaznaczają kluczowe obszary konfliktów, w których narożniki i powierzchnie nośne są przesłonięte. Maska wyjściowa z bazowego modelu segmentacji opartego na mechanizmie mask-attention wykazuje wyraźne wygładzanie krawędzi i adhezję międzyklasową. Mimo że bazowe modele agregacji cech multimodalnych oraz progresywnej fuzji cech wykorzystują dane multimodalne, ich wyniki predykcji nadal wykazują nieciągłości klas strukturalnych i zniekształcenia granic fizycznych. Maska wygenerowana przez proponowaną metodę wykazuje wysoki stopień nakładania się przestrzennego z etykietami ground-truth. Modele bazowe, ograniczone przez zasady czysto pikselowe, są podatne na utratę lokalnych pól recepcyjnych w przypadku przesłonięcia. Proponowana metoda wykorzystuje superpixel GCN do przekazywania komunikatów w przestrzeni nieeuklidesowej, rekonstruując w ten sposób podstawowe narożniki i liniowe szkielety przestrzenne prowadzone przez niejawne granice geometryczne. Potwierdza to odporność na zakłócenia proponowanego rozwiązania w rozstrzyganiu złożonych układów wnętrz z perspektywy morfologii wizualnej.

Eksperyment ablacyjny

Aby przeanalizować rzeczywisty wkład każdego niezależnego komponentu w proponowanej architekturze, w niniejszym badaniu przeprowadzono rozszerzony modularny test ablacyjny na zbiorze walidacyjnym wewnętrznych scen RGB-D. Punktem odniesienia dla testu była konwencjonalna sieć klasyfikacyjna z samym podstawowym wizualnym szkieletem typu shifted-window transformer. Ewaluacja ilościowa pozwoliła zmierzyć niezależny wkład mechanizmu cross-attention kierowanej strukturą, obciążenia pola dystansu podpisanego (signed-distance field bias), adaptacyjnego ważenia strukturalnego, wnioskowania na grafie superpikseli, konstrukcji krawędzi współpłaszczyznowych, symetrycznej normalizacji grafu oraz straty spójności strukturalnej. Taka rozszerzona konstrukcja ablacji pozwoliła oddzielić skumulowane korzyści z modułów od efektów usuwania poszczególnych komponentów, co uczyniło granicę wkładu każdego wyboru projektowego bardziej przejrzystą.

Tabela 4 oraz Rysunek 6 ilustrują ewolucję dokładności w ramach rozszerzonych ustawień ablacji kumulatywnej i opartej na usuwaniu elementów. Podstawowa sieć transformatora z przesuniętym oknem (shifted-window transformer) nie posiada trójwymiarowych ograniczeń fizycznych granic, co skutkuje ograniczoną agregacją cech w zagraconych tłach. Dodanie mechanizmu cross-attention sterowanego strukturą zwiększyło mIoU z 0,615 do 0,648, a wynik Boundary F1 z 0,630 do 0,685, co wykazuje, że a priori pole odległości podpisanych (signed-distance field) poprawiło dopasowanie między cechami wizualnymi a konturami strukturalnymi. Samo dodanie rozumowania grafu superpikseli zwiększyło mIoU do 0,641, a wynik Boundary F1 do 0,676, co wskazuje, że rozumowanie topologiczne na poziomie węzłów poprawiło spójność semantyczną w jednorodnych regionach fizycznych. Dodanie wyłącznie straty spójności strukturalnej zwiększyło mIoU do 0,632, a wynik Boundary F1 do 0,662, wykazując, że człon straty wpłynął głównie na dopasowanie granic, a nie na szeroką agregację kontekstową.

Połączenie mechanizmu cross-attention z rozumowaniem grafowym (graph reasoning) zwiększyło wskaźnik mIoU do 0,669, a wynik Boundary F1 do 0,721, co wskazuje, że wyrównanie wizualno-strukturalne oraz przekazywanie komunikatów w domenie grafu (graph-domain message passing) wywarły komplementarny wpływ. Połączenie cross-attention ze stratą spójności strukturalnej (structural consistency loss) pozwoliło osiągnąć mIoU na poziomie 0,660 i wynik Boundary F1 wynoszący 0,713, podczas gdy połączenie rozumowania grafowego ze stratą spójności strukturalnej doprowadziło do uzyskania mIoU 0,653 i wyniku Boundary F1 0,704. Te wyniki dla poszczególnych par wskazują, że moduł cross-attention zapewnił główny sygnał wyrównania geometrycznego, moduł rozumowania grafowego rozszerzył ten sygnał na obszary koplanarne, a strata spójności strukturalnej doprecyzowała granicę przejścia semantycznego podczas optymalizacji.

Ablacja oparta na usuwaniu elementów dodatkowo wyjaśniła wpływ poszczególnych wyborów projektowych. Usunięcie addytywnego obciążenia pola dystansu podpisanego (signed-distance field) obniżyło wskaźnik mIoU do 0,656, a wynik Boundary F1 do 0,698, co potwierdza, że macierz powinowactwa strukturalnego była kluczowa dla tłumienia dyfuzji cech międzygranicznych. Usunięcie adaptacyjnego współczynnika wagowania strukturalnego λ obniżyło mIoU do 0,671, a wynik Boundary F1 do 0,736, co wskazuje, że stałe ograniczenie strukturalne osłabiło odpowiedź modelu w regionach niemanhattanowskich i wizualnie zdegradowanych. Usunięcie ograniczenia krawędzi współpłaszczyznowych obniżyło mIoU do 0,666, a wynik Boundary F1 do 0,728, wykazując, że krawędzie grafu oparte wyłącznie na lokalnej sąsiedztwie nie zapewniły zachowania spójności płaszczyzn fizycznych. Usunięcie symetrycznej normalizacji grafu obniżyło mIoU do 0,673, a wynik Boundary F1 do 0,737, co wskazuje, że propagacja zrównoważona względem stopnia była niezbędna dla stabilnej agregacji węzłów. Pełna proponowana sieć sterowana strukturalnie osiągnęła mIoU na poziomie 0,687 oraz wynik Boundary F1 równy 0,764, co dowodzi, że końcowy wzrost wydajności wynikał ze skoordynowanej interakcji między uwagą strukturalną, rozumowaniem grafowym a optymalizacją świadomą granic.

Analiza złożoności obliczeniowej, czasu trenowania i wydajności wnioskowania

Aby ocenić koszt obliczeniowy ekstrakcji SDF, sterowanego strukturą mechanizmu cross-attention oraz wnioskowania splotowego na grafie superpikseli, w badaniu tym oceniono skalę parametrów, liczbę operacji zmiennoprzecinkowych, szczytowe zużycie pamięci, czas trenowania, opóźnienie wnioskowania dla pojedynczej klatki, liczbę klatek na sekundę oraz mIoU na tej samej platformie obliczeniowej. Operacje zmiennoprzecinkowe obliczono dla rozdzielczości wejściowej 512 × 512. Opóźnienie wnioskowania zmierzono dla rozmiaru partii (batch size) równego 1 po rozgrzaniu modelu, natomiast raportowana liczba klatek na sekundę została wyliczona na podstawie średniego opóźnienia dla pojedynczego obrazu. Czas trenowania zmierzono przy zastosowaniu tego samego harmonogramu 300 epok, rozmiarze partii wynoszącym 8, tych samych ustawieniach optymalizatora oraz potoku preprocessingu danych.

Tabela 5 szczegółowo przedstawia zależność między skalą modelu, kosztem szkolenia, wydajnością wnioskowania a dokładnością parsowania dla każdej architektury sieci. Kolumny mIoU oraz Boundary F1 w Tabeli 5 zawierają te same wartości dla zbioru walidacyjnego co Tabela 3 dla każdego odpowiadającego modelu. Te dwie kolumny dokładności zostały powtórzone w Tabeli 5 wyłącznie w celu porównania dokładności parsowania z kosztem obliczeniowym. Wzrost liczby trenowalnych parametrów wynikał głównie z warstw projekcji query-key-value w module cross-attention sterowanym strukturą oraz macierzy wag trzech grafowych warstw splotowych. Koszt nietrenowalny wynikał przede wszystkim z generowania SDF, podziału na superpiksele i konstrukcji macierzy sąsiedztwa grafu. Ponieważ te nietrenowalne operacje były wykonywane raz dla każdego obrazu wejściowego, zwiększyły one opóźnienia podczas wnioskowania, ale nie zwiększyły znacząco liczby parametrów trenowalnych. Ten podział wyjaśnia, dlaczego proponowana metoda wykazała umiarkowany wzrost liczby parametrów, ale bardziej wyraźny wzrost opóźnień. Wyniki złożoności pokazują, że baseline segmentacji oparty na mask-attention zachował mniejszą liczbę parametrów i krótsze opóźnienie wnioskowania, ale jego wynik Boundary F1 oraz mIoU były ograniczone przy silnych przesłonięciach z powodu braku jawnego geometrycznego prowadzenia granic w sieci. Baseline agregacji cech cross-modalnych wymagał większej liczby operacji zmiennoprzecinkowych i dłuższego czasu szkolenia, ponieważ agregacja cross-modalna wprowadziła dodatkowy narzut związany z dopasowaniem cech. Baseline progresywnego łączenia cech utrzymał umiarkowany koszt obliczeniowy, ale jego dokładność predykcji pozostała niższa niż w proponowanej metodzie przy zniekształceniu granic. Proponowana sieć sterowana strukturą generuje dodatkowy koszt obliczeniowy ze względu na konstrukcję SDF, projekcję strukturalnego cross-attention, konstrukcję grafu superpikseli oraz propagację splotu grafowego. Pełny model wykorzystał 66,8 miliona parametrów, 121,4 miliarda operacji zmiennoprzecinkowych, 15,6 godziny czasu szkolenia, 7,9 GB szczytowej pamięci, 61 ms czasu wnioskowania dla pojedynczej klatki oraz 16,4 klatki na sekundę. Chociaż opóźnienie wnioskowania było wyższe niż w przypadku czystego baseline’u mask-attention, model osiągnął mIoU na poziomie 0,687 oraz wynik Boundary F1 wynoszący 0,764, co wskazuje, że dodatkowy koszt wspierał przede wszystkim naprawę strukturalnych granic i semantyczną spójność z uwzględnieniem topologii.

Aby wizualnie przedstawić dwuwymiarową równowagę przestrzenną między skalą obliczeniową a dokładnością analityczną modelu, stworzono wykres rozrzutu w formie baniek, obrazujący liczbę operacji zmiennoprzecinkowych oraz wskaźnik mIoU algorytmu. W zaktualizowanej wizualizacji w obszarze adnotacji do rysunku przedstawiono również czas uczenia oraz opóźnienie inferencji, co umożliwiło porównanie wzrostu dokładności i kosztów obliczeniowych zarówno z perspektywy uczenia, jak i wdrożenia. Oś pozioma pozostała osią operacji zmiennoprzecinkowych, oś pionowa osią mIoU, rozmiar bańki reprezentował liczbę trenowalnych parametrów, a dołączona etykieta informowała o czasie inferencji dla każdej metody.

Rysunek 7 przedstawia zależność między operacjami zmiennoprzecinkowymi, skalą parametrów, opóźnieniem wnioskowania a dokładnością parsowania. Zaproponowana metoda osiąga wyższe mIoU niż sieci porównawcze, podczas gdy liczba FLOPs i parametrów pozostaje zbliżona do wartości dla bazowych modeli fuzji cross-modalnej i progresywnej. Opóźnienie dla pojedynczej klatki wynoszące 61 ms wskazuje, że dodane gałęzie SDF i rozumowania grafowego wprowadziły narzut wdrożeniowy, jednak opóźnienie pozostało w zakresie czasu rzeczywistego wymaganym dla wielu zadań interpretacji scen wewnętrznych. Czas trenowania zwiększył się do 15,6 godziny, ponieważ ekstrakcja wiedzy strukturalnej, projekcja uwagi i rozumowanie grafowe były wykonywane podczas każdej epoki trenowania. Wynik ten pokazuje, że koszt obliczeniowy zaproponowanej metody koncentruje się głównie na rozumowaniu strukturalnym z uwzględnieniem granic, a nie na niekontrolowanym zwiększaniu liczby parametrów.

Szczegółowe porównanie utraty spójności strukturalnej i utraty odległości przestrzennej

Strata sieci odwrotnej transformacji dla kwantyzacji dystansu przestrzennej transformacji granicznej wykorzystuje homomorficzne parametry transformacji do przechwytywania przesunięć granic, wykazując, że czyste metryki odległości przestrzennej przewyższają tradycyjne straty entropii krzyżowej oparte na zmianach etykiet pikseli. Opierając się na tym teoretycznym konsensusie, przeprowadzono równoległe eksperymenty walidacyjne z wykorzystaniem schematów ograniczeń granicznych, aby ocenić względną wydajność niestandardowej straty spójności strukturalnej (SCL) opartej na ramce ograniczającej Manhattan w odniesieniu do adaptacyjności sceny. Eksperymenty zachowują architekturę analityczną polegającą na połączeniu wieloskalowego szkieletu wizualnego z siecią wnioskowania grafowego, zastępując jedynie człon straty granicznej podczas wstecznej propagacji. Skonfigurowano cztery równoległe sieci walidacyjne: sieć wykorzystująca wyłącznie podstawową stratę entropii krzyżowej klasyfikacji wykazuje brak wysokowymiarowych ograniczeń geometrycznych; sieć z dodatkową standardową binarną stratą entropii krzyżowej (BCE) granicy realizuje konwencjonalny nadzór nad binarną klasyfikacją krawędzi; sieć z dodatkową stratą dystansu granicy przestrzennej koncentruje się na przechwytywaniu lokalnych deformacji; natomiast sieć stosująca proponowaną SCL nakłada ortogonalne kary topologiczne w oparciu o SDF. Metryki kwantyzacji na zbiorze walidacyjnym wewnętrznych scen RGB-D ograniczono do mIoU oraz wyniku F1 dla granicy strukturalnej.

Tabela 6 szczegółowo przedstawia stopień wpływu różnych strategii optymalizacji wstecznej propagacji na podstawowe poznawcze rozumowanie przestrzenne. Wpis dotyczący wyłącznie entropii krzyżowej w Tabeli 6 oznacza proponowaną przez nas architekturę trenowaną wyłącznie z użyciem straty entropii krzyżowej na poziomie pikseli, przy zachowaniu niezmienionego szkieletu wizualnego, gałęzi pola dystansu podpisanego (SDF), modułu krzyżowej uwagi sterowanej strukturą oraz gałęzi rozumowania na grafie superpikseli. Wpis ten nie jest bazą (baseline) Mask2Former i nie powinien być porównywany z ogólną wartością Mask2Former w Tabeli 3, ponieważ wykorzystuje ten sam model. Sieci opierające się wyłącznie na podstawowej stracie entropii krzyżowej osiągają najniższy wynik dopasowania granic. Sieci z dodatkową standardową binarną stratą entropii krzyżowej dla granic osiągają niewielki wzrost, jednak mechanizm ten nadal powoduje rozmycie krawędzi przy zakryciu na dużą skalę. Strata dystansu granicy przestrzennej poprawia wynik dzięki mechanizmowi percepcji transformacji przestrzennej, skutecznie korygując niektóre zniekształcone krawędzie. Strata spójności strukturalnej zaproponowana w niniejszej pracy bezpośrednio wykorzystuje rzeczywiste SDF do nakładania kar gradientowych na anomalne mutacje semantyczne w obrębie fizycznej powierzchni nośnej, osiągając najwyższy wynik F1 dla granicy strukturalnej.

Aby wizualnie porównać wpływ różnych konfiguracji funkcji straty na dokładność przewidywania maski i dopasowanie krawędzi, wykreślono grupowane wykresy słupkowe dla różnych strategii optymalizacji.

Rysunek 8 ilustruje stopniową poprawę wydajności wynikającą z ulepszenia wymiaru percepcji przestrzennej funkcji straty. Wykres słupkowy przedstawiający wynik F1 dla granicy strukturalnej wykazuje znaczący trend wzrostowy. Dane eksperymentalne pokazują, że ten spersonalizowany mechanizm kary wymusza, aby lokalizacja skoku przestrzennego przewidywanej kategorii dokładnie pokrywała się z ortogonalnym konturem fizycznym. Mechanizm kary pola dystansu, dostosowany do ortogonalnych założeń wnętrz, osiąga wyższą dokładność niż ogólna strata przechwytywania granic przestrzennych, ustanawiając tym samym skuteczną ścieżkę optymalizacji w celu rozwiązywania złożonych usterek budynków.

Testy odporności na ekstremalny rozkład przesłonięć, anomalne struktury oraz trudne warunki oświetlenia

Złożone relacje przestrzenne między obiektami oraz wzajemne przesłanianie negatywnie wpływają na globalną percekcję przestrzenną 3D. Architektura wspólnej predykcji podkreśla pomocniczą rolę ograniczeń układu sceny w wydobywaniu podstawowej maski. Zbadanie granic odporności algorytmu na zakłócenia w warunkach rozległej utraty sygnału wizualnego oraz anomalnych układów przestrzennych, które naruszają fizyczne założenie o ortogonalności 3D, pozwala na jasne zdefiniowanie granic skutecznego zastosowania algorytmu i ma kluczową, możliwą do wykazania wartość. W zależności od proporcji dużych mebli zamaskowanych w etykietach ground-truth, zestaw testowy wnętrz RGB-D został podzielony na trzy podzbiory o rosnącym stopniu trudności: przesłanianie lekkie, umiarkowane i silne. Jednocześnie ręcznie wyekstrahowano sceny nietypowe dla układu Manhattan, z pochyłymi sufitami lub zakrzywionymi ścianami, aby stworzyć zestawy testowe granic anomalii, natomiast sceny charakteryzujące się ekstremalnie niskim oświetleniem, prześwietleniem oraz rozległymi błyszczącymi lub przezroczystymi szklanymi powierzchniami zaklasyfikowano do podzbiorów z trudnym oświetleniem i teksturą. Biblioteka modeli porównawczych obejmuje: bazowy model segmentacji oparty na uwadze maski (mask-attention); ogólną architekturę segmentacji opartą na uwadze maski w celu przechwycenia globalnego kontekstu; bazowy model agregacji cech międzymodalnych wykorzystujący kompleksową strategię agregacji międzymodalnej oraz bazowy model progresywnej fuzji cech integrujący wieloetapowy mechanizm progresywnej ekstrakcji cech. Każdy model bazowy, wizualny szkielet fuzyjny oraz architektura sieci wnioskowania grafowego opracowana w niniejszej pracy zostały niezależnie ocenione na powyższych podzbiorach, a gradient spadku dokładności każdego modelu został poddany analizie statystycznej.

Tabela 7 przedstawia specyficzne dla podzbiorów metryki odporności w warunkach lekkiego, umiarkowanego i silnego przesłonięcia, trudnego oświetlenia, interferencji tekstury oraz anomalii nie-Manhattanowskich. Tabela 7 szczegółowo opisuje zmiany w dokładności przewidywania masek dla różnych modeli w warunkach interferencji przestrzennej. Tabela 7 podaje wartości mIoU specyficzne dla podzbiorów dla różnych modeli w warunkach interferencji przestrzennej, obliczone wyłącznie w ramach odpowiadającego podzbioru przesłonięcia, oświetlenia, tekstury lub anomalii nie-Manhattanowskich, a nie na całym zbiorze walidacyjnym wnętrz RGB-D. W podzbiorach z lekkim i umiarkowanym przesłonięciem wszystkie modele zachowują dokładność bazową. Wraz ze wzrostem obszaru przesłonięcia, modele bazowe opierające się na regułach sterowanych pikselami wykazują spadek współczynnika części wspólnej do sumy (IU) w podzbiorze z silnym przesłonięciem. Model bazowy segmentacji oparty na mechanizmie mask-attention oraz model bazowy agregacji cech międzymodalnych odnotowują znaczne straty dokładności w tym podzbiorze. Wieloetapowa architektura progresywnej ekstrakcji cech w modelu bazowym progresywnej fuzji cech wykazuje silny spadek wydajności. Zaproponowane rozwiązanie opiera się na jawnych cechach szkieletu 3D w celu wymuszenia wyrównania uszkodzonych sygnałów wizualnych, co pozwala na zachowanie stabilnego kształtu wyjściowej maski w podzbiorze z silnym przesłonięciem i wykazuje stabilność topologiczną wyjściowej maski semantycznej. W podzbiorach z trudnym oświetleniem i teksturowaniem detektor segmentów linii pomija krawędzie strukturalne w obszarach z silnymi odbiciami i przezroczystym szkłem, co prowadzi do lokalnych nieciągłości w SDF. Błędne współrzędne geometryczne propagują się poprzez macierz powinowactwa strukturalnego i stratę spójności strukturalnej, nakładając tym samym anomalne kary gradientowe na cechy semantyczne i powodując odpowiadające odchylenia w przewidywaniach granic. Mechanizm rozumowania globalnego kontekstu przestrzennego GCN uzupełnia brakujące priorytety geometryczne sąsiednimi powinowactwami strukturalnymi, utrzymując ogólną dokładność analizy w akceptowalnym zakresie spadku i ujawniając granicę możliwości percepcji wizualnej algorytmu w warunkach złożonych interferencji fizycznych. W podzbiorze anomalii nie-Manhattanowskich priorytet SDF w dolnej warstwie tego modelu wprowadza niewielki błąd mapowania, co skutkuje nieco niższą wydajnością niż w przypadku modelu bazowego progresywnej fuzji cech. Adaptacyjny współczynnik wag strukturalnych w module cross-attention dynamicznie ocenia spójność gradientów podstawowej struktury fizycznej. W scenach z zakrzywionymi ścianami lub skośnymi sufitami współczynnik ten automatycznie redukuje wagę ograniczenia SDF, zachęcając sieć do polegania na mechanizmie agregacji węzłów cech lokalnych sieci grafu superpikseli w celu zachowania spójności semantycznej w obszarach jednorodnych, ustanawiając tym samym efektywny mechanizm kompensacji geometrycznej dla nie-Manhattanowskich układów przestrzennych.

Aby wizualnie zademonstrować negatywny wpływ stopnia przesłonięcia na dokładność rozdzielczości, narysowano wykresy liniowe przedstawiające spadek dokładności w różnych modelach algorytmów.

Rysunek 9 wizualnie ukazuje różnice w odporności pomiędzy różnymi paradygmatami ekstrakcji cech w ekstremalnych środowiskach fizycznych. Trzy linie przerywane reprezentujące modele bazowe wykazują znaczący trend spadkowy w węzłach z silną okluzją, co odzwierciedla ograniczenia konwencjonalnych pól recepcyjnych w ekstrakcji cech przy znacznej utracie sygnału. Linia ciągła reprezentująca proponowaną metodę utrzymuje stosunkowo łagodną trajektorię spadku. Dane eksperymentalne pokazują, że powiązanie jawnych priora architektonicznych 3D z mechanizmami wnioskowania opartymi na grafach zapewnia wsparcie strukturalne dla zadań analizy scen odpornych na okluzję i poprawia zdolność generalizacji modelu w złożonych środowiskach.

Analiza czułości przestrzennej partycjonowania węzłów grafu topologicznego

Parametr częstotliwości próbkowania redukcji wymiarowości w module splotu grafu w przestrzeni współrzędnych bezpośrednio kontroluje jakość pola recepcyjnego oraz obciążenie obliczeniowe sieci grafowej. Zgodnie z ramami teoretycznymi niniejszej pracy, badanie to analizuje, w jaki sposób liczba dyskretnych węzłów grafu generowanych przez prosty liniowy klasteryzator iteracyjny wpływa na wydajność nieeuklidesowej inferencji topologicznej, mając na celu zapewnienie rygorystycznego wsparcia dla doboru hiperparametrów. Przeprowadzono eksperymenty polegające na dostosowaniu parametrów kontrolnych inicjalizacji algorytmu klasteryzacji, wymuszając interwencję w dynamiczną redukcję wymiarowości przestrzeni cech poprzez ustawienie liczby partycji węzłów grafu superpikseli na 64, 128, 256, 512 i 1024. W ramach ściśle wyrównanego benchmarku testowego, dla różnych rozmiarów węzłów topologicznych, jednocześnie rejestrowano średni stosunek intersection-over-union (IoU), wynik F1 dla granic strukturalnych oraz średni czas inferencji na obraz o wysokiej rozdzielczości.

Tabela 8 szczegółowo przedstawia zależność między stopniem dynamicznej redukcji wymiarowości w przestrzeni cech a dokładnością analityczną i kosztem obliczeniowym. Zbyt niska liczba węzłów prowadzi do niedosegmentacji cech obrazu, co powoduje łączenie się atrybutów semantycznych małych obiektów z wielkoskalowymi cechami ścian, obniżając tym samym różne wskaźniki dokładności. Wraz ze zwiększaniem skali podziału na węzły znacząco poprawia się czułość modelu na lokalne szczegóły przestrzenne. Zwiększenie liczby węzłów do 512 i 1024 skutkuje fragmentacją jednorodnych obszarów, osłabieniem efektu wygładzania cech makroskopowych w grafowych sieciach neuronowych, zwiększeniem wymiarowości macierzy relacji między węzłami oraz wydłużeniem czasu wnioskowania. Konfiguracja parametrów z ustaloną liczbą węzłów wynoszącą 256 pozwala uzyskać najwyższe wartości stosunku części wspólnej do sumy (IoU) oraz wyniku brzegowego.

Aby wizualnie przedstawić kompromis między dokładnością a mocą obliczeniową w nieeuklidesowej inferencji topologicznej, wykreślono dwuosiowy wykres statystyczny obrazujący czułość na rozmiar węzłów.

Rysunek 10 przedstawia podstawową logikę, według której liczba dyskretnych węzłów grafu wpływa na ewolucję cech sieci. Tło w postaci słupków reprezentujących czas obliczeń wykazuje gwałtowny wzrost po przekroczeniu progu 256 węzłów. Podwójna linia reprezentująca dokładność osiąga szczyt przy wartości 256 na osi poziomej, a następnie znacząco spada ze względu na efekty fragmentacji. Obiektywne dane ilościowe oraz wizualny trend ewolucji są wysoce spójne, co dowodzi, że utrzymanie rozmiaru grafu obliczeniowego na poziomie 256 węzłów zapewnia równowagę między przetwarzaniem sprzętowym a rozumowaniem logicznym w aktualnej konfiguracji stałych parametrów. Poważny spadek wydajności spowodowany odejściem od tej liczby węzłów ujawnia wysoką wrażliwość strategii stałej segmentacji superpikseli na dostrojenie hiperparametrów i podkreśla potrzebę opracowania dynamicznego mechanizmu wyboru węzłów.

Dostępność danych:

Surowe dane referencyjne analizowane w niniejszym badaniu są publicznie dostępne w oficjalnych repozytoriach wymienionych w Tabeli Materiałów. W przypadku wielkoskalowego benchmarku 3D wnętrz uzyskano dostęp do oficjalnej wersji ScanNet v2, z identyfikatorem wydania zbioru danych ScanNet v2. W przypadku benchmarku scen wewnętrznych RGB-D uzyskano dostęp poprzez oficjalne wydanie NYU Depth Dataset V2, z identyfikatorem wydania NYU Depth Dataset V2. DOI publikacji opisowej dla wielkoskalowego benchmarku 3D wnętrz to 10.1109/CVPR.2017.261, a DOI publikacji opisowej dla benchmarku scen wewnętrznych RGB-D to 10.1007/978-3-642-33715-4_54. W ramach niniejszego badania nie generowano nowych surowych obrazów ani zbiorów danych RGB-D. Przetworzone pliki podziału, pliki konfiguracji treningu, surowe logi ewaluacji, numeryczne pliki źródłowe wspierające Tabelę 2, Tabelę 3, Tabelę 4, Tabelę 5, Tabelę 6, Tabelę 7, oraz Tabelę 8, a także Rysunek 5, Rysunek 6, Rysunek 7, Rysunek 8, Rysunek 9 i Rysunek 10, wyuczone wagi modeli oraz kod źródłowy zostały zdeponowane w figshare pod adresem DOI: 10.6084/m9.figshare.32906765. Rekord w figshare zawiera kompletne surowe dane wyników niezbędne do odtworzenia ilościowych tabel i rysunków przedstawionych w niniejszym manuskrypcie. Repozytorium zawiera maski predykcji, pliki ewaluacji krawędzi, skrypty obliczeniowe metryk, punkty kontrolne modeli (checkpoints) oraz pliki źródłowe tabel wykorzystane do analiz mIoU, Boundary F1, PixelAcc, MeanAcc, złożoności obliczeniowej, odporności, walidacji funkcji straty oraz wrażliwości podziału węzłów.

Rysunek 1: Porównanie efektów nieciągłości semantycznej i wcześniejszej naprawy strukturalnej w złożonych scenariuszach przesłonięć wewnątrzpomieszczeniowych. (A) Oryginalny obraz RGB z zakłóceniami spowodowanymi dużymi meblami. (B) Wynik tradycyjnego modelu bazowego, uwidaczniający zniekształcenia granic fizycznych i defekty nieciągłości semantycznej. (C) Wynik proponowanej metody z nałożoną perspektywą w postaci cyjanowej przerywanej linii, która jednoznacznie mapuje trójwymiarowy szkielet budynku w celu naprawy topologicznej uszkodzonych cech struktury bazowej. Aby zobaczyć powiększoną wersję tego rysunku, kliknij tutaj.

Rysunek 2: Ogólny schemat analizy semantycznej prowadzonej przez strukturalne priory documentary budynków. Diagram przedstawia kompletny proces, zaczynając od obrazu wejściowego RGB, poprzez gałąź ekstrakcji cech wizualnych z przesuniętymi oknami oraz gałąź ekstrakcji priorytetów strukturalnych, do modułu uwagi krzyżowej sterowanej strukturą, a następnie rozumowanie topologiczne za pomocą superpikselowej sieci GCN i ostatecznie dekodowanie do gęstej mapy semantycznej. Po prawej stronie przedstawiono szczegółowe układy obliczeń macierzy powinowactwa uwagi, przekazywania komunikatów w grafie oraz wspólnych funkcji straty optymalizacji. Proszę kliknąć tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 3: Schemat blokowy konstrukcji macierzy powinowactwa i łączności topologicznej. Wykres szczegółowo przedstawia wieloetapowy potok mapowania matematycznego, ukazując transformację z wejściowej mapy pola dystansu i wybranych par pikseli, poprzez ekstrakcję cech ciągłego potencjału geometrycznego i ocenę spójności gradientu, aż do znormalizowanej macierzy powinowactwa wykorzystywanej jako jawne obciążenie przestrzenne dla mechanizmu cross-attention. Proszę kliknąć tutaj, aby wyświetlić większą wersję tego rysunku.

Rysunek 4: Schematyczny diagram projekcji węzłów i agregacji cech w splotowej sieci grafowej superpikseli. Panel szczegółowo przedstawia proces nieeuklidesowego rozumowania topologicznego: (A) gęste cechy pikseli pokazujące oryginalną macierz cech lokalnych i granice klastrowania superpikseli; (B) konstrukcję topologii grafu superpikseli, mapującą regularną siatkę na dyskretne węzły i fizycznie połączone krawędzie; (C) przekazywanie komunikatów w splotach grafowych, wykonujące kierunkową agregację cech lokalnych; oraz (D) wsteczną projekcję współrzędnych, prezentującą przywrócone makroskopowe cechy spójności semantycznej na gęstej siatce. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 5: Schemat porównania jakościowego. Macierz przedstawia wizualną ocenę wydajności dla różnych wierszowych scen wnętrz, porównując oryginalne wejściowe obrazy RGB wnętrz oraz layouty rzeczywiste (ground-truth) z wynikami bazowej metody segmentacji opartej na masce uwagi (mask-attention), bazowej metody agregacji cech między-modalnych, bazowej metody progresywnej fuzji cech oraz proponowanej metody, która skutecznie odtwarza zasłonięte narożniki i wyrównuje powierzchnie nośne. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rycina 6: Wyniki ablacji dla kumulatywnej integracji modułów. Wykres z dwiema osiami przedstawia stopniową ewolucję wydajności dla różnych ustawień ablacji modułowych, obrazując stały trend wzrostowy średniego współczynnika IoU (mIoU) za pomocą słupków oraz wynik F1 dla granic strukturalnych w formie wykresu liniowego, od bazowej architektury (backbone) aż do pełnego modelu. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rysunek 7: Rozkład złożoności obliczeniowej, czasu trenowania i wydajności wnioskowania. Wielowymiarowy wykres bąbelkowy przedstawia kompromisy między narzutem obliczeniowym a dokładnością analizy. Oś pozioma mierzy operacje zmiennoprzecinkowe (FLOPs), oś pionowa wskazuje mIoU, wielkość bąbelka reprezentuje skalę trenowalnych parametrów, a sąsiadujące etykiety tekstowe podają opóźnienie wnioskowania dla pojedynczej klatki dla każdej architektury sieci. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 8: Histogram dokładności granic i wyników metryk dla różnych konfiguracji funkcji straty. Grupowany wykres słupkowy porównuje wpływ różnych strategii optymalizacji na podstawową logikę przestrzenną, ilustrując znaczące wzrosty wskaźników mIoU oraz wyniku F1 dla granic strukturalnych osiągnięte dzięki przejściu ze standardnych sformułowań entropii krzyżowej na zaproponowaną stratę spójności strukturalnej. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 9: Wykres liniowy przedstawiający zależność między stopniem zasłonięcia a spadkiem wydajności. Krzywa obrazuje spadek dokładności w różnych paradygmatach ekstrakcji cech przy lekkim, umiarkowanym i silnym stopniu zasłonięcia, co podkreśla wysoką stabilność topologiczną i zdolność do przeciwdziałania zakłóceniom proponowanego frameworku sterowanego strukturą w porównaniu z bazowymi rozwiązaniami opartymi wyłącznie na pikselach. Kliknij tutaj, aby zobaczyć powiększoną wersję tego rysunku.

Rysunek 10: Analiza czułości skali węzłów superpikseli. Dwuośowy wykres statystyczny ilustruje kompromis między prędkością przetwarzania sprzętowego a dokładnością rozumowania logicznego dla różnych rozmiarów partycji grafu, pokazując, w jaki sposób liczba węzłów superpikseli wpływa na wskaźniki dokładności i prowadzi do gwałtownego wzrostu średniego czasu wnioskowania. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Numeracja warstwy sieciowej	Wymiar cech węzła wejściowego	Wymiar cech węzła wyjściowego	Ustawienie prawdopodobieństwa losowej inaktywacji
1	512	256	0.15
2	256	256	0.15
3	256	128	0.1
4	128	64	0.05

Tabela 1: Tabela konfiguracji hiperparametrów architektury sieci dla modułu wnioskowania splotowego. Tabela zawiera numerację warstw sieci, wymiary cech węzłów wejściowych, wymiary cech węzłów wyjściowych oraz ustawienia prawdopodobieństwa losowej dezaktywacji zastosowane w sieci rozumowania grafowego.

Pozycję konfiguracyjną	Wielkoskalowy wewnętrzny benchmark 3D	benchmark scen wewnętrznych RGB-D
Oficjalny identyfikator wydania	ScanNet v2	Zbiór danych NYU Depth Dataset V2
Próbki treningowe wykorzystane w niniejszym badaniu	1201 scen	795 obrazów
Próbki walidacyjne lub testowe wykorzystane do oceny	312 sceny walidacyjne	654 obrazy testowe
Całkowite kategorie semantyczne	20	40
Rozdzielczość obrazu wejściowego	512 × 512	512 × 512
Początkowa szybkość uczenia	0.0001	0.0001
Liczba próbek w partii wejściowej	8	8
Współczynnik zaniku wag	0.01	0.01
Całkowita liczba epok treningowych	300	300
Liczba niezależnych powtórzeń	5	5

Tabela 2: Podział zbioru danych eksperymentalnych i ujednolicona konfiguracja hiperparametrów treningowych. W tabeli przedstawiono ustawienia partycjonowania próbek dla wielkoskalowego wewnętrznego zbioru danych 3D oraz wewnętrznego zbioru danych scen RGB-D, liczbę kategorii semantycznych, ustawienia tempa uczenia, liczbę próbek wejściowych w partii, współczynnik zaniku wag oraz całkowitą liczbę iteracji treningowych.

Architektura modelu sieciowego	mIoU	Granica F1	PixelAcc	Średnia dokładność
SegFormer	0.596 ± 0.003	0.635 ± 0.004	0.838 ± 0.003	0.704 ± 0.004
ConvNeXt UperNet	0.604 ± 0.003	0.642 ± 0.004	0.846 ± 0.003	0.713 ± 0.004
Mask2Former	0.612 ± 0.003	0.654 ± 0.004	0.853 ± 0.003	0.721 ± 0.004
OneFormer	0.621 ± 0.002	0.663 ± 0.003	0.861 ± 0.003	0.733 ± 0.003
MaskDINO	0.628 ± 0.002	0.667 ± 0.003	0.869 ± 0.003	0.741 ± 0.003
CCANet	0.635 ± 0.003	0.671 ± 0.004	0.876 ± 0.003	0.745 ± 0.004
InternImage UperNet	0.641 ± 0.002	0.692 ± 0.003	0.884 ± 0.002	0.756 ± 0.003
CMPFFNet	0.658 ± 0.002	0.712 ± 0.003	0.891 ± 0.002	0.773 ± 0.003
SGCA_GCN	0.687 ± 0.002	0.764 ± 0.003	0.924 ± 0.002	0.816 ± 0.003

Tabela 3: Ogólne porównanie ilościowe modeli bazowych dla analizy scen wnętrz na zbiorze walidacyjnym scen wnętrz RGB-D.Tabela przedstawia mIoU, wynik Boundary F1, globalną dokładność pikseli oraz średnią dokładność klas dla modelu bazowego segmentacji opartego na atencji masek, modelu bazowego agregacji cech między-modalnych, modelu bazowego progresywnej fuzji cech oraz proponowanej architektury sieci sterowanej strukturą.

Konfiguracja architektury sieci	mIoU (średnia współczynnik części wspólnej do sumy)	Granica F1	PixelAcc	Średnia dokładność
Podstawa architektury z przesuniętym oknem	0.615 ± 0.003	0.630 ± 0.004	0.842±0.003	0.706 ± 0.004
Szkielet oraz mechanizm cross-attention sterowany strukturą	0.648 ± 0.003	0.685 ± 0.004	0.874 ± 0.003	0.748 ± 0.004
Wnioskowanie grafowe oparte na sieci głównej i superpikselach	0.641 ± 0.003	0.676 ± 0.004	0.868 ± 0.003	0.741 ± 0.004
Strata spójności strukturalnej oraz szkieletowej	0.632 ± 0.003	0.662 ± 0.004	0.859 ± 0.003	0.732 ± 0.004
Szkielet sieci oraz mechanizm wzajemnej uwagi i rozumowanie grafowe	0.669 ± 0.002	0.721 ± 0.003	0.897 ± 0.002	0.782 ± 0.003
Szkielet sieci plus mechanizm cross-attention i strata spójności strukturalnej	0.660 ± 0.002	0.713 ± 0.003	0.889 ± 0.002	0.773 ± 0.003
Szkielet plus rozumowanie grafowe i strata spójności strukturalnej	0.653 ± 0.003	0.704 ± 0.003	0.881 ± 0.003	0.765 ± 0.003
Pełny model bez błędu addytywnego pola odległości podpisanej	0.656 ± 0.003	0.698 ± 0.004	0.884 ± 0.003	0.761 ± 0.004
Pełny model bez adaptacyjnego ważenia strukturalnego λ	0.671 ± 0.002	0.736 ± 0.003	0.904 ± 0.002	0.792 ± 0.003
Pełny model bez ograniczenia współpłaszczyzności krawędzi	0.666 ± 0.002	0.728 ± 0.003	0.899 ± 0.002	0.786 ± 0.003
Pełny model bez symetrycznej normalizacji grafu	0.673 ± 0.002	0.737 ± 0.003	0.906 ± 0.002	0.795 ± 0.003
Pełny SGCA_GCN	0.687 ± 0.002	0.764 ± 0.003	0.924 ± 0.002	0.816 ± 0.003

Tabela 4: Rozszerzona analiza ablacyjna ilościowa kluczowych komponentów. Tabela przedstawia kumulatywną integrację modułów, parzyste kombinacje modułów oraz ustawienia usuwania komponentów w celu ilościowego określenia niezależnych i wspólnych wkładów mechanizmu cross-attention sterowanego strukturą, biasu pola dystansu podpisanego, adaptacyjnego ważenia strukturalnego, rozumowania grafowego superpikseli, konstrukcji krawędzi koplanarnych, symetrycznej normalizacji grafu oraz straty spójności strukturalnej.

Architektura modelu sieci	Parametry	operacje zmiennoprzecinkowe na sekundę	Szczytowe zużycie pamięci	Czas szkolenia	Czas inferencji	FPS	mIoU	Granica F1
SegFormer	83,7 M	80,1 g	6,1 GB	10,6 h	44 ms	22.7	0.596	0.635
ConvNeXt UperNet	60,2 M	91,5 G	6,4 GB	11,2 h	47 ms	21.3	0.604	0.642
Mask2Former	44,0 M	74,6 g	5,8 GB	9,4 h	41 ms	24.4	0.612	0.654
OneFormer	64,1 M	103,2 G	7,0 GB	12,9 h	55 ms	18.2	0.621	0.663
MaskDINO	52,8 M	96,8 g	6,8 GB	12,1 h	52 ms	19.2	0.628	0.667
CCANet	63,5 M	118,7 G	7,6 GB	14,8 h	67 ms	14.9	0.635	0.671
InternImage UperNet	70,4 M	112,3 g	7,4 GB	14,2 h	64 ms	15.6	0.641	0.692
CMPFFNet	58,9 M	104,6 g	7,1 GB	13,1 h	59 ms	16.9	0.658	0.712
SGCA_GCN	66,8 M	121,4 G	7,9 GB	15,6 h	61 ms	16.4	0.687	0.764

Tabela 5: Porównanie złożoności obliczeniowej, czasu trenowania i wydajności inferencji wraz z ogólną dokładnością na zbiorze walidacyjnym.Tabela przedstawia liczbę trenowalnych parametrów, liczbę operacji zmiennoprzecinkowych, szczytowe zużycie pamięci, czas trenowania dla 300 epok, opóźnienie inferencji pojedynczej klatki, liczbę klatek na sekundę, mIoU oraz wynik Boundary F1 dla proponowanej metody i sieci porównawczych.

Konfiguracja funkcji straty	mIoU	Granica F1
Wyłącznie entropia krzyżowa (CE)	0.669	0.721
CE + Boundary BCE	0.674	0.738
Strata CE + InverseForm	0.681	0.752
CE + nasze SCL	0.687	0.764

Tabela 6: Ilościowe porównanie walidacji funkcji straty. Tabela przedstawia wartości mIoU oraz Boundary F1 score dla funkcji straty cross-entropy, boundary binary cross-entropy, inverse transformation oraz proponowanej funkcji straty strukturalnej spójności (structural consistency loss).

Architektura modelu algorytmicznego	Lekkie przesłonięcie	Umiarkowane przesłonięcie	Silne przesłonięcie	Zbiór anomalii nienewyorkich (non-manhattan)	Podzbiór interferencji tekstury
	(mIoU)	(mIoU)	(mIoU)	(mIoU)	(mIoU)
Mask2Former	0.685	0.612	0.421	0.584	0.553
CCANet	0.698	0.635	0.463	0.612	0.566
CMPFFNet	0.715	0.658	0.512	0.635	0.602
SGCA_GCN	0.732	0.687	0.645	0.628	0.649

Tabela 7: Analiza odporności specyficzna dla podzbiorów w zakresie rozkładu ekstremalnych przesłonięć i struktur nie-Manhattanowskich. Tabela przedstawia zmiany w dokładności analizy dla podzbiorów: lekkiego przesłonięcia, umiarkowanego przesłonięcia, silnego przesłonięcia, trudnego oświetlenia, interferencji tekstury oraz anomalii nie-Manhattanowskich.

Liczba węzłów superscale	mIoU	BoundaryF1	Średni czas wnioskowania (ms)
64	0.641	0.695	45
128	0.665	0.732	52
256	0.687	0.764	61
512	0.678	0.751	95
1024	0.662	0.735	185

Tabela 8: Analiza czułości przestrzennej skali partycji węzłów w grafie topologicznym.Tabela przedstawia wartości mIoU, wynik F1 dla granic strukturalnych oraz średni czas wnioskowania dla różnych ustawień partycji węzłów superpikseli.

Dyskusja

This paper's algorithm tightly couples the hierarchical visual features captured by a shifted-window hierarchical transformer encoder with the prior depth of the Manhattan 3D bounding box generated by line-segment detection, thereby achieving high-precision semantic reconstruction of complex indoor scenes. A structure-guided cross-attention mechanism forces the visual signal to align with the true geometric boundary calibrated by the SDF, thereby restoring the continuity of low-level features in locally occluded areas⁴². A topology graph is constructed using superpixel nodes generated by an iterative local clustering algorithm, which drives a GCN to perform feature aggregation under physical coplanar constraints, ensuring the consistency of the macroscopic semantic distribution⁴³. Experimental results show that the method achieves a mean intersection over union ratio of 68.7% with a standard deviation of 0.2%, a practical engineering value, a structural boundary F1 score of 76.4% with a standard deviation of 0.3%, and an average inference time of 61 ms with a configuration of 256 superpixel nodes, reflecting a deliberate trade-off prioritizing boundary reconstruction accuracy over ultimate inference efficiency⁴⁴. Robustness tests further demonstrate that the model exhibits strong topology-repair capabilities under extreme conditions of large-scale visual signal loss. By introducing structural consistency loss, the accuracy of the predicted mask's alignment with the zero-distance physical boundary calibrated by the SDF is enhanced, achieving a synergistic optimization of computational complexity and parsing quality⁴⁵. This scheme provides a feature fusion approach based on the laws of three-dimensional space and demonstrates logical consistency in topology repair when dealing with large-scale furniture occlusion and physical boundary distortion⁴⁶. The research results provide a robust physical-geometric constraint framework for intelligent spatial reasoning and high-precision 3D reconstruction, and have practical engineering value for robot visual navigation and scene recognition tasks in real physical environments.

The geometric topology derivation mechanism, which is highly dependent on the Manhattan world hypothesis, suffers from fitting bias when dealing with irregular architectural spaces with curved walls or non-orthogonal boundaries⁴⁷. To overcome this geometric modeling bottleneck, subsequent network iterations will integrate multi-degree-polynomial surface-fitting algorithms and non-uniform rational B-spline curve-extraction modules into the physical-prior branch. This universal spatial modeling strategy translates rigid orthogonal lines into dynamically deformable topological boundaries, thereby continuously enhancing the algorithm's parsing accuracy in anomalous indoor spatial layouts.

The geometric prior extraction relies on the basic line-segment detector, leaving the system vulnerable to structural mask distortion when processing indoor scenes dominated by reflective or transparent materials⁴⁸. The structural consistency loss directly invokes the SDF generated by this detector, establishing a closed dependency loop between prior extraction and gradient optimization. When visual interference triggers anomalous line-segment detections, the flawed geometric coordinates are mapped into the SDF and directly amplified by the structural-consistency loss during backpropagation, thereby forcing the network parameters to fit incorrect physical boundaries⁴⁹. Subsequent algorithmic iterations will introduce multimodal adaptive fusion branches to ingest deep depth maps and infrared radiometric data, thereby decoupling geometric structural perception from visible-light illumination constraints and expanding the spatial reasoning boundary in extreme optical environments.

To resolve the performance sensitivity bottleneck caused by the fixed superpixel node scale, subsequent research will design a learnable, adaptive graph pooling module that dynamically determines the node partitioning scheme based on the image's complexity, eliminating the network's reliance on manual hyperparameter tuning. To address the hardware deployment limitations caused by the computational overhead of the superpixel graph network, future optimization plans will introduce lightweight feature decoupling mechanisms and gated aggregation modules to compress the parameter scale and accelerate the matrix operations of the geometric prior branch⁵⁰.

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
AdamW optimizer	PyTorch Contributors	https://pytorch.org/
CCANet	Zihao Z. et al.	https://doi.org/10.1109/TCDS.2024.3455356
CMPFFNet	Zhou W. et al.	https://doi.org/10.1109/TASE.2023.3332021
ConvNeXt	Meta AI Research	https://github.com/facebookresearch/ConvNeXt
InternImage	OpenGVLab	https://github.com/OpenGVLab/InternImage
Mask2Former	Meta AI Research	https://github.com/facebookresearch/Mask2Former
MaskDINO	IDEA-Research	https://github.com/IDEA-Research/MaskDINO
NYUv2		http://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html
OneFormer	SHI Labs	https://github.com/SHI-Labs/OneFormer
RANSAC algorithm	scikit-learn developers	https://scikit-learn.org/
ScanNet V2		http://www.scan-net.org/
SegFormer	NVIDIA	https://github.com/NVlabs/SegFormer
SGCA_GCN	Authors of this study	Proposed method (N/A)
Softmax function	PyTorch Contributors	https://pytorch.org/
Swin Transformer	Microsoft Research	https://github.com/microsoft/Swin-Transformer